넘스탯

DATA ANALYTICS & INSIGHTS

확률에서 LLM까지 – 데이터 사이언스 전문 교육 플랫폼

학습 메뉴

도움말

하이퍼파라미터 튜닝 실습

학습률·배치 크기·옵티마이저를 바꿔가며 신경망을 실제로 학습시키고 최적 설정을 찾아보세요

원하는 개념·랩·가이드를 검색해보세요

Ctrl K

기계학습 실습 메인

좋은 모델은 감이 아니라 실험 기록에서 나옵니다

모델의 가중치는 학습이 스스로 찾지만, 학습률·배치 크기·구조 같은 하이퍼파라미터는 사람이 정해야 합니다. 이 실습에서는 하이퍼파라미터를 바꿔가며 신경망을 브라우저에서 실제로 학습시키고, 훈련/검증 곡선과 실험 기록표를 근거로 더 나은 설정을 고르는 과정을 체험합니다 — 실무 튜닝의 축소판입니다.

이 페이지에서 배우고 나면

학습률·배치 크기·에포크가 훈련/검증 곡선에 미치는 영향을 실측 곡선으로 비교할 수 있습니다.
Adam·SGD·RMSprop·Adagrad 옵티마이저의 수렴 차이를 같은 조건에서 실험으로 확인할 수 있습니다.
실험 기록표에서 검증 정확도를 기준으로 최적 설정 조합을 골라낼 수 있습니다.

이 실습의 곡선·정확도는 브라우저에서 실제 학습되는 신경망의 실측값입니다. 함께 기억할 것:

무작위 초기화 때문에 같은 설정도 실행마다 결과가 다릅니다 — 한 번의 실행으로 어느 설정이 낫다고 단정하지 마세요.
검증 점수가 가장 좋은 조합을 고르면 그 검증 점수는 낙관적으로 편향됩니다 — 최종 성능 주장은 손대지 않은 테스트 세트로만 해야 합니다.
무작위 탐색의 우위(Bergstra & Bengio, 2012)는 "중요한 하이퍼파라미터가 소수일 때"라는 조건이 붙으며, 실무에는 베이지안 최적화 등 더 발전한 기법도 있습니다 — 이 실습은 수동 실험과 무작위 탐색만 다루는 단순화 버전입니다.

이 실습의 모든 곡선과 정확도는 브라우저에서 실제로 학습되는 신경망(MLP)의 실측값입니다. 과제는 8×8 노이즈 이미지의 4클래스 도형 분류(학습 160장 / 검증 60장, 매 설정 동일 데이터)이며, 아래 하이퍼파라미터가 진짜 학습 결과에 그대로 반영됩니다. 초기 가중치는 실행마다 무작위라서 같은 설정도 결과가 조금씩 다릅니다.

하이퍼파라미터 설정

학습 파라미터

학습률: 0.01

배치 크기: 32

에포크 수: 50

옵티마이저

네트워크 구조

은닉층 수: 2

층당 뉴런 수: 64

드롭아웃 비율: 0.2

활성화 함수

직접 해보기 — 실습 과제

옵티마이저만 Adam에서 SGD로 바꿔 두 번 실험하고, 검증 손실이 수렴하는 시점을 비교해 보세요 — 같은 학습률에서도 옵티마이저에 따라 속도가 크게 다릅니다.
드롭아웃을 0과 0.5로 설정해 각각 학습시키고, 훈련 정확도와 검증 정확도의 간격(과적합 신호)이 어떻게 변하는지 확인해 보세요.
서로 다른 설정으로 실험을 5회 이상 실행해 기록표를 채운 뒤, 검증 정확도 1위 설정을 찾아보세요. "무작위 탐색(5회)" 버튼과 직접 고른 설정 중 어느 쪽이 더 좋았나요?