넘스탯
LEARN · SIMULATE · VERIFY
확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼
확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼
트랜스포머 아키텍처는 멀티헤드 어텐션 + 순전파층을 잔차 연결·층 정규화로 감싼 블록을 N번 쌓은 구조로, 인코더·디코더로 구성돼 현대 LLM의 뼈대가 된다.
각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다
학습 진도 (완료한 단계)
0%
트랜스포머는 어텐션 블록을 여러 겹 쌓아 만든 신경망 구조입니다. 인코더(입력 이해)와 디코더(출력 생성)로 이뤄지며, 오늘날 대부분의 대규모 언어 모델의 기반입니다.
번역 모델은 인코더가 원문("I am a student")을 이해하고, 디코더가 이전에 생성한 단어를 보며 번역문("나는 학생이다")을 한 토큰씩 만들어냅니다.
정답: GPT는 디코더만(자기회귀 생성), BERT는 인코더만(양방향 이해) 사용합니다. 같은 블록을 어떤 방식으로 쌓느냐가 다릅니다.
정답: 어텐션은 순서를 자체적으로 알지 못하므로, 입력에 위치 정보를 더해줘야 단어의 순서를 반영할 수 있습니다.