LEARN · SIMULATE · VERIFY

확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼

로그인

학습 메뉴

도움말

홈

딥러닝 기초 이론과 핵심 아키텍처

퍼셉트론부터 학습 메커니즘(손실·옵티마이저·정규화·BN·Gradient), CNN·RNN·Transformer까지 — 빠짐없이 체계적으로

아키텍처 원리

학습 메커니즘

단계별 학습

원하는 개념·랩·가이드를 검색해보세요

Ctrl K

이론 메인으로 딥러닝 실습으로

왜 번역기가 갑자기 자연스러워졌을까

십수 년 전 자동 번역은 단어를 하나씩 바꿔 놓은 듯 어색했지만, 지금은 문맥까지 살린 문장이 나옵니다. 그 사이 무엇이 바뀌었을까요? 사람이 "이런 특징, 저런 규칙"을 일일이 설계하던 방식에서, 여러 층(layer)을 쌓은 신경망이 데이터로부터 특징을 스스로 학습하는 딥러닝으로 옮겨간 것입니다. 이미지 인식, 음성 인식, 번역이 비슷한 시기에 함께 도약한 이유가 여기 있습니다.

이 페이지에서 배우고 나면

퍼셉트론에서 다층 신경망까지, 층을 깊게 쌓으면 무엇이 가능해지는지 설명할 수 있습니다.
무작정 층을 깊게 쌓으면 오히려 학습이 안 되는 이유(기울기 소실)와 완화법을 이해할 수 있습니다.
CNN·RNN·Transformer가 각각 어떤 데이터(이미지·순차·언어)에 강한지 구분할 수 있습니다.

실제로 어디에 쓰일까?

딥러닝은 사람이 특징을 일일이 설계하기 어려운 이미지·음성·언어 문제 전반에서 실전 도구로 쓰입니다.

자율주행 인지

카메라 영상에서 보행자·차선·표지판을 실시간으로 인식

생성 AI

이미지·글·음성을 새로 만들어내는 확산 모델·대규모 언어 모델

단백질 구조 예측

아미노산 서열로부터 3차원 접힘 구조를 예측해 신약 연구를 가속

게임·로보틱스 제어

시행착오로 전략을 학습하는 심층 강화학습(바둑·로봇 제어)

제조 결함 검출

제품 이미지를 분석해 미세한 불량을 잡아내는 비전 검사

퍼셉트론 (Perceptron)

가중합과 임계값으로 입력을 두 부류로 나누는 가장 단순한 인공 뉴런

예시:

AND·OR 논리 게이트, 이진 분류 — 단, XOR은 풀 수 없음

핵심:

선형 분리만 가능 — 다층 구조로 확장이 필요한 이유

다층 퍼셉트론 (MLP)

은닉층을 가진 완전연결 신경망 — XOR 등 비선형 문제 해결

예시:

Iris 꽃 분류, 보스턴 집값 예측

핵심:

은닉층 + 비선형 활성화 = 범용 함수 근사기

활성화 함수 (Activation)

뉴런 출력에 비선형성을 부여해 복잡한 패턴 학습을 가능케 함

예시:

Sigmoid: 0~1 확률 / ReLU: 음수 0, 양수 통과 / Tanh: -1~1

핵심:

활성화 없으면 아무리 깊어도 결국 선형 모델

인공신경망 (ANN)

입력층·은닉층·출력층이 연결된 다층 구조 — 순전파·역전파로 학습

예시:

손글씨 숫자 인식(MNIST), 이미지 분류, 회귀 예측

핵심:

충분한 뉴런으로 어떤 함수도 근사 가능 (Universal Approximator)

손실 함수 (Loss)

예측과 정답의 차이를 수치화 — 학습의 출발점이자 목표

예시:

회귀: MSE / 이진 분류: Binary CE / 다중 분류: Categorical CE

핵심:

문제 종류에 맞는 손실 선택이 학습 방향을 결정

옵티마이저 (Optimizer)

Gradient를 사용해 실제 가중치를 업데이트하는 알고리즘

예시:

SGD → Momentum → RMSProp → Adam (2024 사실상 표준)

핵심:

Adam = Momentum(관성) + RMSProp(적응 학습률)

정규화 (Regularization)

과적합을 막아 처음 보는 데이터에서도 잘 동작하게 만드는 기법

예시:

L1/L2 페널티, Dropout, Early Stopping, Data Augmentation

핵심:

훈련 정확도 ↑ vs 검증 정확도 격차 ↑ = 과적합 신호

배치 정규화 (Batch Norm)

각 층의 입력 분포를 미니배치 단위로 안정화 — 깊은 망 학습 가능

예시:

ResNet 학습 안정화, Transformer(Layer Norm), GAN 안정화

핵심:

내부 공변량 변화(Internal Covariate Shift) 완화

CNN의 등장 배경

이미지의 지역적 패턴(엣지·질감)을 효율적으로 학습하기 위한 구조

예시:

32×32 이미지에 FC: 파라미터 폭발 → CNN: 필터 공유로 효율

핵심:

가중치 공유(weight sharing)와 지역 연결(local connectivity)

합성곱층 (Convolution)

필터(커널)를 입력 위로 슬라이딩하며 특징 맵을 추출

예시:

3×3 필터 + 32 채널 = 32개 특징 맵 생성

핵심:

낮은 층 = 엣지·색상 / 깊은 층 = 객체 부위·전체

풀링층 (Pooling)

특징 맵 크기를 줄여 연산량 감소 + 위치 변화에 강인

예시:

Max Pooling 2×2: 4픽셀 중 최대값만 → 크기 1/4

핵심:

다운샘플링으로 추상화 + 과적합 방지

계층적 특징 학습

단순한 엣지 → 질감 → 부위 → 객체로 점진적으로 추상화

예시:

ResNet, VGG, EfficientNet — 의료 영상·자율주행 객체 인식

핵심:

얕은 층의 특징을 합쳐 깊은 층에서 의미 있는 표현 형성

Vanishing/Exploding Gradient

깊은 망·긴 시퀀스에서 Gradient가 0 또는 무한대로 발산하는 문제

예시:

RNN의 장기 의존성 학습 실패 → LSTM 등장 배경

핵심:

활성화 함수와 가중치 초기화가 Gradient 흐름을 결정

Skip Connection (잔차 연결)

입력을 출력에 직접 더해 Gradient가 얕은 층까지 흐르도록 보장

예시:

ResNet 152층 학습 성공의 핵심 — Highway Network도 동일 아이디어

핵심:

F(x) + x 형태로 Identity Mapping 보장

RNN (순환 신경망)

이전 시점의 은닉 상태를 다음 시점으로 전달 — 시퀀스 처리

예시:

기계 번역, 음성 인식, 주가 예측, 텍스트 생성

핵심:

가변 길이 시퀀스 처리 가능, 단 장기 의존성에 약함

LSTM / GRU

게이트(forget·input·output)로 장기 의존성 문제를 해결한 개선 모델

예시:

Google 번역(2016 이전), 음성 비서, 시계열 예측

핵심:

메모리 셀이 정보를 선택적으로 기억·망각

어텐션 메커니즘

입력의 어느 부분에 집중할지 가중치를 학습 — RNN의 한계 극복

예시:

번역: "I love AI" → 한국어 출력 시 각 단어와의 관련도 계산

핵심:

Query·Key·Value로 동적 가중치 부여

Self-Attention

시퀀스 내 모든 토큰이 서로를 참조 — 병렬 처리로 RNN보다 빠름

예시:

"고양이가 매트 위에 앉다" → "앉다"가 "고양이"를 강하게 참조

핵심:

순차 처리 불필요 → GPU 병렬화의 자유

Multi-Head Attention

여러 어텐션 헤드가 다른 관점(문법·의미·위치)으로 동시에 학습

예시:

12~96개 헤드 — 각 헤드가 서로 다른 패턴 포착

핵심:

하나의 모델 안에 여러 관점이 공존

Transformer 아키텍처

Encoder + Decoder 구조, Self-Attention + FFN + Layer Norm + Residual

예시:

BERT·GPT·T5·LLaMA 등 모든 현대 LLM의 기반

핵심:

CNN/RNN 없이 Attention만으로 SOTA 달성 (Attention is All You Need, 2017)

효과적인 학습 및 탐구 방법

퍼셉트론·MLP를 먼저 손으로 따라 계산 — 순전파·역전파 직관 확보
손실 곡선을 항상 그려보기 — 학습률·과적합 진단의 첫 단계
활성화·옵티마이저·정규화는 각 개념의 ‘자세히 학습하기’ 도형으로 비교
CNN → RNN → Transformer 순서로 — Gradient 문제가 RNN·Skip을 낳은 흐름 추적
작은 모델부터 시작 — 큰 모델은 디버깅이 매우 어려움

최신 논문은 후순위 — 기초 원리(역전파·정규화·어텐션)부터 단단히

실습으로 학습 완성하기

이론을 익혔다면 직접 실험·실습으로 신경망을 체화하세요

이론 메인으로 딥러닝 실습 LLM 이론으로

LEARN · SIMULATE · VERIFY

딥러닝 기초 이론과 핵심 아키텍처

퍼셉트론부터 학습 메커니즘(손실·옵티마이저·정규화·BN·Gradient), CNN·RNN·Transformer까지 — 빠짐없이 체계적으로

왜 번역기가 갑자기 자연스러워졌을까

이 페이지에서 배우고 나면

실제로 어디에 쓰일까?

자율주행 인지

생성 AI

단백질 구조 예측

게임·로보틱스 제어

추천·랭킹

제조 결함 검출

기초 신경망: 퍼셉트론에서 ANN까지

퍼셉트론 (Perceptron)

다층 퍼셉트론 (MLP)

활성화 함수 (Activation)

인공신경망 (ANN)

학습 메커니즘: 손실·옵티마이저·정규화

손실 함수 (Loss)

옵티마이저 (Optimizer)

정규화 (Regularization)

배치 정규화 (Batch Norm)

CNN: 합성곱 신경망과 이미지 처리

CNN의 등장 배경

합성곱층 (Convolution)

풀링층 (Pooling)

계층적 특징 학습

Gradient 문제와 RNN: 시퀀스를 다루는 망

Vanishing/Exploding Gradient

Skip Connection (잔차 연결)

RNN (순환 신경망)

LSTM / GRU

Transformer: 어텐션이 모든 것을 바꾸다

어텐션 메커니즘

Self-Attention

Multi-Head Attention

Transformer 아키텍처

효과적인 학습 및 탐구 방법

실습으로 학습 완성하기

딥러닝 기초 이론과 핵심 아키텍처

퍼셉트론부터 학습 메커니즘(손실·옵티마이저·정규화·BN·Gradient), CNN·RNN·Transformer까지 — 빠짐없이 체계적으로

왜 번역기가 갑자기 자연스러워졌을까

이 페이지에서 배우고 나면

실제로 어디에 쓰일까?

자율주행 인지

생성 AI

단백질 구조 예측

게임·로보틱스 제어

추천·랭킹

제조 결함 검출

기초 신경망: 퍼셉트론에서 ANN까지

퍼셉트론 (Perceptron)

다층 퍼셉트론 (MLP)

활성화 함수 (Activation)

인공신경망 (ANN)

.css-1qxeim2{color:#ef4444;}학습 메커니즘: 손실·옵티마이저·정규화

학습 메커니즘: 손실·옵티마이저·정규화

손실 함수 (Loss)

옵티마이저 (Optimizer)

정규화 (Regularization)

배치 정규화 (Batch Norm)

.css-1soedxw{color:#10b981;}CNN: 합성곱 신경망과 이미지 처리

CNN: 합성곱 신경망과 이미지 처리

CNN의 등장 배경

합성곱층 (Convolution)

풀링층 (Pooling)

계층적 특징 학습

.css-yjg7dr{color:#f59e0b;}Gradient 문제와 RNN: 시퀀스를 다루는 망

Gradient 문제와 RNN: 시퀀스를 다루는 망

Vanishing/Exploding Gradient

Skip Connection (잔차 연결)

RNN (순환 신경망)

LSTM / GRU

.css-1bq43kb{color:#8b5cf6;}Transformer: 어텐션이 모든 것을 바꾸다

Transformer: 어텐션이 모든 것을 바꾸다

어텐션 메커니즘

Self-Attention

Multi-Head Attention

Transformer 아키텍처

효과적인 학습 및 탐구 방법

실습으로 학습 완성하기