손실 함수 (Loss Function)

마일스톤 학습법으로 단계별 완전 정복

딥러닝

손실함수

MSE

Cross-Entropy

KL Divergence

Focal Loss

학습

이 개념 직접 실험하기 — 손실 함수 시뮬레이터

이 학습을 통해 달성할 수 있는 목표

기초 이해

• MSE와 Cross-Entropy의 차이와 사용 시점 파악
• 회귀와 분류에서 적절한 손실 선택
• 손실값이 학습을 이끄는 신호임을 이해

심화 학습

• 손실 함수 수식과 미분을 직접 계산
• 분포 가정과 손실의 통계적 연결 이해
• 클래스 불균형 등 실무 함정 인지

실무 적용

• Focal Loss, Label Smoothing, Triplet Loss 등 최신 변형 활용
• KL Divergence와 정보이론적 해석 적용
• GAN/RLHF에서 분포 거리 손실 설계

한눈에 보기

손실 함수는 모델의 예측과 실제 정답의 차이를 하나의 수로 나타내는 함수로, 학습은 이 손실을 최소화하는 방향으로 가중치를 조정한다.

회귀에는 평균제곱오차(MSE), 분류에는 교차엔트로피가 표준으로 쓰인다.
교차엔트로피는 확률 예측이 정답에서 멀수록 벌점이 급격히 커져 분류 학습을 빠르게 이끈다.
손실의 기울기(그래디언트)가 역전파로 각 가중치에 전달되어 갱신 방향을 정한다.

이 내용은 넘스탯의 손실 함수 시뮬레이터에서 직접 실험으로 확인할 수 있습니다.

학습 로드맵

각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다

기초 이해

개념 정의와 기본 원리

약 20분

클릭

심화 학습

공식 유도와 다양한 예시

약 30분

클릭

실무 적용

실제 케이스와 고급 응용

약 45분

학습 진도 (완료한 단계)

먼저 알아두면 좋은 개념들

인공신경망 →

손실 함수는 신경망의 출력과 정답을 비교하므로 신경망 구조를 먼저 이해해야 합니다.

활성화 함수 →

Sigmoid/Softmax 출력 형태가 어떤 손실을 쓸지 결정합니다.

기초 단계예측과 정답의 차이를 수치로

기초 단계: 예측과 정답의 차이를 수치로

난이도 2/5

약 20분

손실 함수는 모델의 예측값과 실제 정답이 얼마나 다른지를 하나의 숫자로 측정하는 함수입니다. 모든 딥러닝 학습은 "이 숫자를 줄이는 방향으로 가중치를 조정"하는 과정이므로, 손실 함수의 선택은 학습 자체를 결정합니다.

시험 점수에 비유해보세요. 학생(모델)이 답을 적었을 때, 채점 기준(손실 함수)이 "정답과 얼마나 다른가"를 점수로 환산합니다. MSE는 "틀린 정도의 제곱"으로 큰 실수에 엄격하고, Cross-Entropy는 "확률적 확신이 얼마나 틀렸나"를 측정해 분류에 적합합니다.

핵심 포인트

•MSE (Mean Squared Error): 예측-정답 차이의 제곱 평균 — 회귀의 표준
•MAE (Mean Absolute Error): 절댓값 차이 평균 — 이상치에 강건
•Cross-Entropy: 두 확률 분포 간 거리 — 분류 문제의 표준
•손실 vs 비용: 손실은 단일 샘플, 비용은 데이터셋 전체 평균

간단한 예시

집값 예측 (회귀, MSE 사용): • 실제 가격: 5억, 예측: 4.5억 → MSE = (0.5)² = 0.25 • 실제 가격: 5억, 예측: 4억 → MSE = (1.0)² = 1.0 → 큰 실수일수록 손실이 제곱으로 커집니다. 고양이 vs 개 분류 (이진 분류, Binary Cross-Entropy): • 정답: 고양이(1), 모델 확률: 0.9 → 손실 작음 (확신이 정답에 가까움) • 정답: 고양이(1), 모델 확률: 0.1 → 손실 큼 (확신이 정답과 멀음) → 잘못된 확신에 페널티가 큽니다.

딥러닝 이론 페이지로 돌아가기