하이퍼파라미터 튜닝 실습

Q: 훈련 손실은 계속 줄어드는데 검증 손실이 어느 순간부터 다시 오르기 시작합니다. 무슨 일일까요?

두 곡선이 갈라지는 지점이 과적합의 시작입니다 — 모델이 패턴 학습을 끝내고 훈련 데이터의 노이즈를 외우기 시작한 순간입니다. 조기 종료(early stopping)가 이 지점을 노립니다. 넘스탯(NumStats)의 브라우저 시뮬레이션에서 직접 실험으로 확인할 수 있습니다.

Q: 최적의 학습률은 어디에 있을까요?

하이퍼파라미터 튜닝의 본질은 트레이드오프 사이에서 최적점을 실험으로 찾는 것입니다. 정답 공식은 없고, 실험 기록이 곧 지도입니다. 넘스탯(NumStats)의 브라우저 시뮬레이션에서 직접 실험으로 확인할 수 있습니다.

학습률·배치 크기·옵티마이저를 바꿔가며 신경망을 실제로 학습시키고 최적 설정을 찾아보세요

원하는 개념·랩·가이드를 검색해보세요

Ctrl K

기계학습 실습 메인

좋은 모델은 감이 아니라 실험 기록에서 나옵니다

모델의 가중치는 학습이 스스로 찾지만, 학습률·배치 크기·구조 같은 하이퍼파라미터는 사람이 정해야 합니다. 이 실습에서는 하이퍼파라미터를 바꿔가며 신경망을 브라우저에서 실제로 학습시키고, 훈련/검증 곡선과 실험 기록표를 근거로 더 나은 설정을 고르는 과정을 체험합니다 — 실무 튜닝의 축소판입니다.

이 페이지에서 배우고 나면

학습률·배치 크기·에포크가 훈련/검증 곡선에 미치는 영향을 실측 곡선으로 비교할 수 있습니다.
Adam·SGD·RMSprop·Adagrad 옵티마이저의 수렴 차이를 같은 조건에서 실험으로 확인할 수 있습니다.
실험 기록표에서 검증 정확도를 기준으로 최적 설정 조합을 골라낼 수 있습니다.

이 실습의 곡선·정확도는 브라우저에서 실제 학습되는 신경망의 실측값입니다. 함께 기억할 것:

무작위 초기화 때문에 같은 설정도 실행마다 결과가 다릅니다 — 한 번의 실행으로 어느 설정이 낫다고 단정하지 마세요.
검증 점수가 가장 좋은 조합을 고르면 그 검증 점수는 낙관적으로 편향됩니다 — 최종 성능 주장은 손대지 않은 테스트 세트로만 해야 합니다.
무작위 탐색의 우위(Bergstra & Bengio, 2012)는 "중요한 하이퍼파라미터가 소수일 때"라는 조건이 붙으며, 실무에는 베이지안 최적화 등 더 발전한 기법도 있습니다 — 이 실습은 수동 실험과 무작위 탐색만 다루는 단순화 버전입니다.

예측 먼저 — 실험 전에 답을 정해 보세요

예측 → 실험 → 확인

정답을 몰라도 괜찮습니다 — 먼저 예측을 정해야 시뮬레이션 결과가 기억에 남습니다. 예측을 고른 뒤 아래 시뮬레이션으로 직접 확인하고, 그다음 결과를 열어 보세요.

1. 훈련 손실은 계속 줄어드는데 검증 손실이 어느 순간부터 다시 오르기 시작합니다. 무슨 일일까요?

2. 최적의 학습률은 어디에 있을까요?

로그인하면 예측 기록이 계정에 저장됩니다

어느 기기에서든 이어서 학습하고, 오답 기반 복습 추천을 받을 수 있습니다.

만 14세 이상이며 이용약관과 개인정보 처리방침에 동의합니다

카카오로 시작하기 네이버로 시작하기 구글로 시작하기

회원가입 절차 없음 — 닉네임만 저장하며, 이메일·연락처는 수집하지 않습니다.

이 실습의 모든 곡선과 정확도는 브라우저에서 실제로 학습되는 신경망(MLP)의 실측값입니다. 과제는 8×8 노이즈 이미지의 4클래스 도형 분류(학습 160장 / 검증 60장, 매 설정 동일 데이터)이며, 아래 하이퍼파라미터가 진짜 학습 결과에 그대로 반영됩니다. 초기 가중치는 실행마다 무작위라서 같은 설정도 결과가 조금씩 다릅니다.

하이퍼파라미터 설정

학습 파라미터

학습률: 0.01

배치 크기: 32

에포크 수: 50

옵티마이저

네트워크 구조

은닉층 수: 2

층당 뉴런 수: 64

드롭아웃 비율: 0.2

활성화 함수

실측 요약 — 이 실습이 보여주는 것

8×8 노이즈 글리프(십자·X·테두리·T) 4클래스 분류를 브라우저 신경망(MLP)이 실제로 학습하는 실험입니다. 학습률·배치·에포크·옵티마이저(Adam·SGD·RMSprop·Adagrad)·은닉 구조·드롭아웃·활성화를 바꿔가며 훈련/검증 실측 곡선을 보고, 실험 기록표와 무작위 탐색(5회) 버튼으로 최적 설정을 찾습니다.

데이터는 시드 고정(클래스당 학습 40장 + 검증 15장 = 학습 160/검증 60, 픽셀 노이즈 σ=0.3)으로 모든 설정에 동일하다 — 설정 간 비교는 공정하고, 초기 가중치만 실행마다 무작위라서 같은 설정도 결과가 조금씩 다르다(그래서 중요한 비교는 여러 번 실행이 원칙)
탐색 공간: 학습률 0.001~0.1, 배치 8~128, 에포크 10~100, 옵티마이저 4종, 은닉 1~4층 × 16~128뉴런, 드롭아웃 0~0.5, 활성화 4종 — 무작위 탐색 버튼이 뽑는 이산 격자만 세어도 8,640가지 조합이라 전수 조사는 비현실적이고, 그래서 탐색 전략이 필요하다
학습 엔진(ConfigurableMLP)의 역전파는 수치 미분 대조 검증을 통과한 실제 구현(활성화 4종, float64 기준 상대 오차 2×10⁻⁵ 이하) — 곡선의 요동은 연출이 아니라 진짜 학습 동역학이며, "수렴 시점"은 검증 손실이 8에폭 연속 0.002 이상 개선되지 않는 순간으로 기록된다

바로잡는 오개념: "훈련 손실이 계속 줄고 있으니 학습이 잘 되고 있다"는 판단 — 훈련 손실이 줄어드는 동안 검증 손실이 반등하기 시작했다면 모델은 패턴 학습을 끝내고 노이즈를 외우는 중이다. 두 곡선이 갈라지는 지점이 과적합의 시작이다.

AI 튜터에게 물어보기

베타

— 정답 대신 힌트로 유도합니다. 지금 화면의 실험 상태를 알고 답해요.

예: “방금 결과가 이론과 다른데 왜죠?”, “이 값을 올렸는데 왜 반대로 변하죠?”

AI 답변은 부정확할 수 있습니다. 핵심 개념은 반드시 시뮬레이션 실측으로 확인하세요. 질문 0/5 · 하루 질문 한도가 있습니다

직접 해보기 — 실습 과제

옵티마이저만 Adam에서 SGD로 바꿔 두 번 실험하고, 검증 손실이 수렴하는 시점을 비교해 보세요 — 같은 학습률에서도 옵티마이저에 따라 속도가 크게 다릅니다.
드롭아웃을 0과 0.5로 설정해 각각 학습시키고, 훈련 정확도와 검증 정확도의 간격(과적합 신호)이 어떻게 변하는지 확인해 보세요.
서로 다른 설정으로 실험을 5회 이상 실행해 기록표를 채운 뒤, 검증 정확도 1위 설정을 찾아보세요. "무작위 탐색(5회)" 버튼과 직접 고른 설정 중 어느 쪽이 더 좋았나요?