통계 실험실 차트
넘스탯 로고

넘스탯

DATA ANALYTICS & INSIGHTS

확률에서 LLM까지 – 데이터 사이언스 전문 교육 플랫폼

학습 메뉴
도움말
홈

딥러닝 기초 이론과 핵심 아키텍처

퍼셉트론부터 학습 메커니즘(손실·옵티마이저·정규화·BN·Gradient), CNN·RNN·Transformer까지 — 빠짐없이 체계적으로
아키텍처 원리
학습 메커니즘
단계별 학습

원하는 개념·랩·가이드를 검색해보세요

Ctrl K

퍼셉트론 (Perceptron)

가중합과 임계값으로 입력을 두 부류로 나누는 가장 단순한 인공 뉴런

예시:

AND·OR 논리 게이트, 이진 분류 — 단, XOR은 풀 수 없음

핵심:

선형 분리만 가능 — 다층 구조로 확장이 필요한 이유

다층 퍼셉트론 (MLP)

은닉층을 가진 완전연결 신경망 — XOR 등 비선형 문제 해결

예시:

Iris 꽃 분류, 보스턴 집값 예측

핵심:

은닉층 + 비선형 활성화 = 범용 함수 근사기

활성화 함수 (Activation)

뉴런 출력에 비선형성을 부여해 복잡한 패턴 학습을 가능케 함

예시:

Sigmoid: 0~1 확률 / ReLU: 음수 0, 양수 통과 / Tanh: -1~1

핵심:

활성화 없으면 아무리 깊어도 결국 선형 모델

인공신경망 (ANN)

입력층·은닉층·출력층이 연결된 다층 구조 — 순전파·역전파로 학습

예시:

손글씨 숫자 인식(MNIST), 이미지 분류, 회귀 예측

핵심:

충분한 뉴런으로 어떤 함수도 근사 가능 (Universal Approximator)

손실 함수 (Loss)

예측과 정답의 차이를 수치화 — 학습의 출발점이자 목표

예시:

회귀: MSE / 이진 분류: Binary CE / 다중 분류: Categorical CE

핵심:

문제 종류에 맞는 손실 선택이 학습 방향을 결정

옵티마이저 (Optimizer)

Gradient를 사용해 실제 가중치를 업데이트하는 알고리즘

예시:

SGD → Momentum → RMSProp → Adam (2024 사실상 표준)

핵심:

Adam = Momentum(관성) + RMSProp(적응 학습률)

정규화 (Regularization)

과적합을 막아 처음 보는 데이터에서도 잘 동작하게 만드는 기법

예시:

L1/L2 페널티, Dropout, Early Stopping, Data Augmentation

핵심:

훈련 정확도 ↑ vs 검증 정확도 격차 ↑ = 과적합 신호

배치 정규화 (Batch Norm)

각 층의 입력 분포를 미니배치 단위로 안정화 — 깊은 망 학습 가능

예시:

ResNet 학습 안정화, Transformer(Layer Norm), GAN 안정화

핵심:

내부 공변량 변화(Internal Covariate Shift) 완화

CNN의 등장 배경

이미지의 지역적 패턴(엣지·질감)을 효율적으로 학습하기 위한 구조

예시:

32×32 이미지에 FC: 파라미터 폭발 → CNN: 필터 공유로 효율

핵심:

가중치 공유(weight sharing)와 지역 연결(local connectivity)

합성곱층 (Convolution)

필터(커널)를 입력 위로 슬라이딩하며 특징 맵을 추출

예시:

3×3 필터 + 32 채널 = 32개 특징 맵 생성

핵심:

낮은 층 = 엣지·색상 / 깊은 층 = 객체 부위·전체

풀링층 (Pooling)

특징 맵 크기를 줄여 연산량 감소 + 위치 변화에 강인

예시:

Max Pooling 2×2: 4픽셀 중 최대값만 → 크기 1/4

핵심:

다운샘플링으로 추상화 + 과적합 방지

계층적 특징 학습

단순한 엣지 → 질감 → 부위 → 객체로 점진적으로 추상화

예시:

ResNet, VGG, EfficientNet — 의료 영상·자율주행 객체 인식

핵심:

얕은 층의 특징을 합쳐 깊은 층에서 의미 있는 표현 형성

Vanishing/Exploding Gradient

깊은 망·긴 시퀀스에서 Gradient가 0 또는 무한대로 발산하는 문제

예시:

RNN의 장기 의존성 학습 실패 → LSTM 등장 배경

핵심:

활성화 함수와 가중치 초기화가 Gradient 흐름을 결정

Skip Connection (잔차 연결)

입력을 출력에 직접 더해 Gradient가 얕은 층까지 흐르도록 보장

예시:

ResNet 152층 학습 성공의 핵심 — Highway Network도 동일 아이디어

핵심:

F(x) + x 형태로 Identity Mapping 보장

RNN (순환 신경망)

이전 시점의 은닉 상태를 다음 시점으로 전달 — 시퀀스 처리

예시:

기계 번역, 음성 인식, 주가 예측, 텍스트 생성

핵심:

가변 길이 시퀀스 처리 가능, 단 장기 의존성에 약함

LSTM / GRU

게이트(forget·input·output)로 장기 의존성 문제를 해결한 개선 모델

예시:

Google 번역(2016 이전), 음성 비서, 시계열 예측

핵심:

메모리 셀이 정보를 선택적으로 기억·망각

어텐션 메커니즘

입력의 어느 부분에 집중할지 가중치를 학습 — RNN의 한계 극복

예시:

번역: "I love AI" → 한국어 출력 시 각 단어와의 관련도 계산

핵심:

Query·Key·Value로 동적 가중치 부여

Self-Attention

시퀀스 내 모든 토큰이 서로를 참조 — 병렬 처리로 RNN보다 빠름

예시:

"고양이가 매트 위에 앉다" → "앉다"가 "고양이"를 강하게 참조

핵심:

순차 처리 불필요 → GPU 병렬화의 자유

Multi-Head Attention

여러 어텐션 헤드가 다른 관점(문법·의미·위치)으로 동시에 학습

예시:

12~96개 헤드 — 각 헤드가 서로 다른 패턴 포착

핵심:

하나의 모델 안에 여러 관점이 공존

Transformer 아키텍처

Encoder + Decoder 구조, Self-Attention + FFN + Layer Norm + Residual

예시:

BERT·GPT·T5·LLaMA 등 모든 현대 LLM의 기반

핵심:

CNN/RNN 없이 Attention만으로 SOTA 달성 (Attention is All You Need, 2017)

🎮 TensorFlow Playground — 브라우저에서 직접 신경망 학습

구글이 만든 인터랙티브 시각화로 활성화 함수·정규화·학습률·층 수를 바꿔가며 학습 과정을 직접 관찰할 수 있습니다.

💡 추천: Spiral 데이터셋 + ReLU + 4-2 은닉층으로 학습 시도 → 층을 늘리거나 정규화를 켜며 변화를 관찰하세요.

효과적인 학습 및 탐구 방법
  • 퍼셉트론·MLP를 먼저 손으로 따라 계산 — 순전파·역전파 직관 확보
  • 손실 곡선을 항상 그려보기 — 학습률·과적합 진단의 첫 단계
  • 활성화·옵티마이저·정규화는 Playground에서 직접 바꿔가며 비교
  • CNN → RNN → Transformer 순서로 — Gradient 문제가 RNN·Skip을 낳은 흐름 추적
  • 작은 모델부터 시작 — 큰 모델은 디버깅이 매우 어려움
  • 최신 논문은 후순위 — 기초 원리(역전파·정규화·어텐션)부터 단단히
실습으로 학습 완성하기

이론을 익혔다면 직접 실험·실습으로 신경망을 체화하세요