통계 실험실 차트
넘스탯 로고
넘스탯
LEARN · SIMULATE · VERIFY

확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼

로그인
학습 메뉴
도움말
홈

Self-Attention (셀프 어텐션)

마일스톤 학습법으로 단계별 완전 정복
딥러닝
LLM
셀프 어텐션
트랜스포머
QKV
이 학습을 통해 달성할 수 있는 목표
기초 이해
  • • 셀프 어텐션의 개념을 이해할 수 있다
  • • 쿼리·키·값이 같은 입력에서 나옴을 설명할 수 있다
  • • 병렬 처리의 이점을 이해할 수 있다
심화 학습
  • • 스케일드 닷-프로덕트 어텐션을 이해할 수 있다
  • • 소프트맥스 정규화의 역할을 설명할 수 있다
  • • O(n²) 복잡도의 의미를 이해할 수 있다
실무 적용
  • • 효율적 어텐션(희소·선형) 개념을 이해할 수 있다
  • • 마스킹과 자기회귀 생성을 설명할 수 있다
  • • 긴 문맥 처리의 과제를 이해할 수 있다
한눈에 보기

셀프 어텐션은 하나의 시퀀스가 자기 자신에 어텐션하는 메커니즘으로, 같은 입력에서 만든 쿼리·키·값으로 모든 토큰 쌍의 관련도를 계산해 문맥을 반영한다.

학습 로드맵

각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다

기초 이해
개념 정의와 기본 원리
약 12분
클릭
심화 학습
공식 유도와 다양한 예시
약 20분
클릭
실무 적용
실제 케이스와 고급 응용
약 28분

학습 진도 (완료한 단계)

0%

Self-Attention이란?

난이도 3/5
약 12분

셀프 어텐션은 문장 속 각 단어가 같은 문장의 다른 단어들에 얼마나 집중할지를 계산하는 방법입니다. 문맥을 반영해 각 단어의 표현을 다듬습니다.

셀프 어텐션 — 문장이 자기 자신에 집중같은 입력에서 쿼리·키·값을 만들어 모든 토큰 쌍의 관련도를 계산합니다그고양이가잔다키 (어디에 집중하나)0.550.300.050.100.150.550.100.200.100.350.450.100.100.350.100.45그고양이가잔다쿼리 (누가 보나)※ 진한 칸일수록 강한 관련 · 순서 무관하게 모든 쌍을 한 번에 계산 → 병렬 처리·장거리 의존성
핵심 포인트
  • •한 시퀀스가 자기 자신에 어텐션
  • •같은 입력에서 쿼리·키·값 생성
  • •모든 토큰 쌍의 관련도를 한 번에 계산(병렬)
  • •멀리 떨어진 단어도 직접 연결
간단한 예시

"동물이 길을 건넜다, 너무 피곤해서"에서 "피곤"이 "동물"을 가리키는지 "길"을 가리키는지, 셀프 어텐션이 각 단어 쌍의 관련도로 판단합니다.

이해도 확인하기

정답: 순서대로 하나씩 처리하는 RNN과 달리, 셀프 어텐션은 모든 토큰 쌍의 관련도를 동시에(행렬 연산으로) 계산하기 때문입니다.

정답: 쿼리·키·값이 모두 같은 입력 시퀀스에서 나온다는 뜻입니다. 즉 시퀀스가 자기 자신에 어텐션합니다.

딥러닝 이론 페이지로 돌아가기