넘스탯
LEARN · SIMULATE · VERIFY
확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼
확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼
하이퍼파라미터 튜닝은 학습률·트리 깊이·규제 강도처럼 학습 전에 사람이 정하는 설정값을, 검증 성능을 기준으로 체계적으로 탐색해 좋은 조합을 찾는 과정이다.
이 내용은 넘스탯의 모델 설정 비교 실습에서 직접 실험으로 확인할 수 있습니다.
각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다
학습 진도 (완료한 단계)
0%
기계학습 모델에는 두 종류의 "숫자"가 있습니다. 파라미터는 학습 과정에서 데이터가 스스로 결정하는 값(예: 회귀 계수, 신경망 가중치)이고, 하이퍼파라미터는 학습을 시작하기 전에 사람이 정해 주어야 하는 설정값(예: 학습률, 트리의 최대 깊이, 규제 강도, K-Means의 K)입니다. 하이퍼파라미터 튜닝은 이 설정값들의 좋은 조합을 체계적으로 찾는 과정입니다.
K-최근접 이웃(KNN)에서 K 고르기 (교육용 시나리오): KNN은 "가까운 이웃 K명의 다수결"로 분류하는 모델인데, 이웃을 몇 명 볼지(K)는 학습이 알려 주지 않습니다. 사람이 정해야 하는 하이퍼파라미터입니다. 데이터를 훈련/검증으로 나눈 뒤 K = 1, 3, 5, 7, 9 다섯 가지 후보를 시험해 봅니다. 각 K로 훈련 데이터를 학습하고 검증 데이터 정확도를 재 보니 K=1일 때 82%, K=3일 때 88%, K=5일 때 90%, K=7일 때 89%, K=9일 때 86%가 나왔다고 합시다. 검증 정확도가 가장 높은 K=5를 선택합니다. K가 너무 작으면 노이즈에 휘둘리고(과적합), 너무 크면 경계가 뭉개지는(과소적합) 균형점을 검증 성능이 알려 준 것입니다.
같은 16회 시도라도 격자 탐색은 축마다 4개 값만 훑지만, 랜덤 탐색은 축마다 16개의 서로 다른 값을 훑어 중요한 축을 더 촘촘히 탐색합니다.정답: 기울기 계수는 학습 알고리즘이 데이터에서 자동으로 찾아내므로 파라미터입니다. 규제 강도 λ는 학습을 시작하기 전에 사람이 정해 주어야 하고, λ가 달라지면 학습 결과(계수들)도 달라지므로 하이퍼파라미터입니다.
정답: 후보 하이퍼파라미터 조합마다 모델을 학습시키고 검증 데이터로 성능을 평가한 뒤, 가장 성능이 좋은 조합을 선택하는 단계에 해당합니다. 시식(평가)에 쓰는 빵이 검증 세트 역할을 합니다.
정답: 테스트 세트는 "한 번도 보지 않은 새 데이터에서의 실력"을 재는 최종 성적표입니다. 테스트 성능이 좋아지도록 설정을 고르면 테스트 세트에 맞춰진 선택이 되어, 최종 평가가 실제 실력보다 낙관적으로 나옵니다. 튜닝에는 검증 세트나 교차 검증을 써야 합니다.