Multi-Head Attention (멀티헤드 어텐션)

마일스톤 학습법으로 단계별 완전 정복

딥러닝

LLM

멀티헤드

어텐션

트랜스포머

이 학습을 통해 달성할 수 있는 목표

기초 이해

• 멀티헤드 어텐션의 개념을 이해할 수 있다
• 여러 헤드가 다른 관계를 본다는 것을 설명할 수 있다
• concat 결합을 이해할 수 있다

심화 학습

• 헤드 분할(d/h)과 결합을 계산할 수 있다
• 연산량이 유지되는 이유를 설명할 수 있다
• 헤드별 역할 분담을 이해할 수 있다

실무 적용

• 헤드 해석·가지치기를 이해할 수 있다
• MQA/GQA 등 효율 변형을 설명할 수 있다
• 실무 최적화에 적용할 수 있다

한눈에 보기

멀티헤드 어텐션은 어텐션을 여러 헤드로 나눠 각기 다른 부분공간에서 병렬로 계산한 뒤 이어붙이는 방식으로, 여러 종류의 관계를 동시에 학습한다.

입력을 여러 헤드로 나눠 각 헤드가 서로 다른 관계(문법·의미·위치 등)에 집중한다.
각 헤드의 출력을 이어붙여(concat) 선형변환하면, 한 헤드가 놓친 관계를 다른 헤드가 보완한다.
단일 어텐션보다 표현력이 풍부해 트랜스포머 성능의 핵심이 된다(Vaswani 등, 2017).

학습 로드맵

각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다

기초 이해

개념 정의와 기본 원리

약 12분

클릭

심화 학습

공식 유도와 다양한 예시

약 20분

클릭

실무 적용

실제 케이스와 고급 응용

약 28분

학습 진도 (완료한 단계)

먼저 알아두면 좋은 개념들

Self-Attention →

멀티헤드는 셀프 어텐션을 여러 개 병렬화한 것이라 먼저 알아야 합니다

Multi-Head Attention이란?

난이도 3/5

약 12분

멀티헤드 어텐션은 어텐션을 여러 개("헤드") 병렬로 돌려, 각 헤드가 서로 다른 관점의 관계를 보게 하는 방법입니다. 그 결과를 합쳐 더 풍부한 표현을 만듭니다.

한 문장을 여러 전문가가 각자 다른 관점(문법 담당, 의미 담당, 어순 담당)으로 동시에 읽는 것과 비슷합니다. 한 명이 놓친 관계를 다른 전문가가 잡아내고, 마지막에 의견을 합쳐 종합적으로 이해합니다.

핵심 포인트

•어텐션을 여러 헤드로 병렬 계산
•각 헤드가 서로 다른 부분공간·관계에 집중
•헤드 출력을 이어붙여(concat) 합침
•단일 어텐션보다 풍부한 표현력

간단한 예시

헤드 1은 주어-동사 관계, 헤드 2는 대명사-지시대상 관계, 헤드 3은 인접 어순을 학습하는 식으로, 한 문장에서 여러 관계를 동시에 포착합니다.

이해도 확인하기

정답: 여러 헤드가 서로 다른 종류의 관계를 병렬로 학습해, 한 헤드가 놓치는 관계를 다른 헤드가 보완하기 때문입니다.

정답: 각 헤드의 출력을 이어붙인(concat) 뒤 선형변환해 하나의 출력으로 합칩니다.

딥러닝 이론 페이지로 돌아가기

LEARN · SIMULATE · VERIFY

Multi-Head Attention (멀티헤드 어텐션)

마일스톤 학습법으로 단계별 완전 정복

이 학습을 통해 달성할 수 있는 목표

기초 이해

심화 학습

실무 적용

한눈에 보기

학습 로드맵

기초 이해

심화 학습

실무 적용

먼저 알아두면 좋은 개념들

Self-Attention →

Multi-Head Attention이란?

핵심 포인트

간단한 예시

이해도 확인하기

Q1: 멀티헤드가 단일 어텐션보다 나은 이유는?

Q2: 헤드들의 출력은 어떻게 합쳐지나요?