넘스탯
DATA ANALYTICS & INSIGHTS
확률에서 LLM까지 – 데이터 사이언스 전문 교육 플랫폼
Self-Attention 실습실
문장의 단어들이 서로에게 주는 어텐션 가중치를 직접 살펴보세요. 쿼리 단어를 바꾸고, √d_k 스케일링을 켜고 꺼가며 어떻게 달라지는지 확인합니다.
원하는 개념·랩·가이드를 검색해보세요
Ctrl K"그 강아지는 지쳐서 그것은 길을 못 건넜다"
쿼리 단어를 클릭하면 그 단어가 다른 단어들을 얼마나 참조하는지 보여줍니다.
강아지
지쳐서
길
그것
어텐션 히트맵 — 행(쿼리)이 열(키)을 얼마나 참조하나
강아지
지쳐서
길
그것
강아지
0.55
0.05
0.05
0.34
지쳐서
0.07
0.75
0.07
0.10
길
0.08
0.08
0.77
0.08
그것
0.47
0.11
0.07
0.35
색이 진할수록 그 단어를 많이 참조합니다. 각 행의 합은 1입니다.
"그것"의 어텐션 계산 — 4단계
강아지
점수 3.20 → ÷√d_k 1.85
47%
지쳐서
점수 0.60 → ÷√d_k 0.35
11%
길
점수 0.00 → ÷√d_k 0.00
7%
그것
점수 2.65 → ÷√d_k 1.53
35%
→ "그것"은(는) "강아지"을(를) 가장 강하게 참조합니다 (47%). 점수(QKᵀ) → ÷√d_k → softmax → 비중의 순서입니다.
실험으로 확인해 볼 것
- "그것"을 쿼리로 선택하면 어느 단어를 가장 많이 참조하나요? ('강아지'인지 확인하세요)
- √d_k 스케일링을 끄면 가중치 분포가 어떻게 변하나요? (한쪽으로 더 쏠려 포화되는지 관찰 — 이것이 스케일링이 필요한 이유)
- 히트맵에서 각 행의 합이 왜 항상 1인가요? (softmax의 성질)
- 거리가 먼 단어끼리도 직접 참조가 되나요? (RNN과 달리 어텐션은 거리에 무관)
※ 임베딩 숫자는 개념 이해를 위한 예시이며, 적용된 계산은 실제 Scaled Dot-Product Attention 수식과 동일합니다.