넘스탯
LEARN · SIMULATE · VERIFY
확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼
확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼
데이터 기반 학습은 사람이 규칙을 일일이 프로그래밍하는 대신, 컴퓨터가 데이터(경험)로부터 패턴을 스스로 찾아 성능을 개선하는 기계학습의 근본 방식이다.
각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다
학습 진도 (완료한 단계)
0%
전통적인 프로그래밍은 사람이 "이럴 때는 이렇게 하라"는 규칙을 하나하나 코드로 적어 넣는 방식입니다. 데이터 기반 학습은 접근을 뒤집습니다. 사람이 규칙을 쓰는 대신, 컴퓨터에 많은 예시(데이터)를 보여 주고 그 안에서 패턴을 스스로 찾게 합니다. 규칙으로 다 적기 어려운 복잡한 문제(사진 속 고양이 알아보기, 스팸 메일 거르기)에서 특히 강력합니다.
스팸 메일 거르기 (교육용 시나리오): [규칙 방식] 개발자가 규칙을 직접 작성합니다. "제목에 '무료'가 있으면 스팸", "발신자가 주소록에 없으면 의심"... 그런데 스팸 발송자가 '무료'를 '무.료'로 바꾸면? 규칙을 또 추가해야 합니다. 규칙은 끝없이 늘어나고, 정상 메일("무료 배송 안내드립니다")까지 잘못 거르기 시작합니다. [데이터 방식] 사람들이 이미 "스팸/정상"으로 분류해 둔 메일 수만 통을 컴퓨터에 보여 줍니다. 컴퓨터는 어떤 단어 조합·발신 패턴이 스팸에서 자주 나타나는지 통계적으로 학습합니다. 새로운 수법이 등장해도 새 데이터로 다시 학습하면 따라잡을 수 있습니다. 여기서 과제 T = 메일을 스팸/정상으로 분류하기, 경험 E = 분류가 끝난 메일 데이터, 성능 P = 분류 정확도입니다.
전통 프로그래밍은 사람이 규칙을 작성하지만, 기계학습은 데이터와 답(레이블)에서 규칙(모델)을 스스로 찾아냅니다.정답: 규칙을 누가 만드는가의 차이입니다. 전통적 프로그래밍은 사람이 규칙을 코드로 직접 작성하고 컴퓨터는 그 규칙을 실행만 합니다. 데이터 기반 학습은 데이터(입력)와 답(예시)을 주면 컴퓨터가 그 관계를 설명하는 규칙(모델)을 스스로 찾아냅니다.
정답: T(Task)는 수행할 과제, E(Experience)는 학습에 쓰는 경험(데이터), P(Performance)는 성능 측정 기준입니다. 손글씨 숫자 인식이라면 T = 이미지를 0~9 중 하나로 분류하기, E = 정답 숫자가 표시된 손글씨 이미지 모음, P = 새 이미지를 얼마나 정확히 맞히는가(정확도)입니다.
정답: 쓰레기(품질 나쁜 데이터)를 넣으면 쓰레기(품질 나쁜 결과)가 나온다는 뜻입니다. 아무리 뛰어난 학습 알고리즘이라도 편향되거나, 오류가 많거나, 현실을 대표하지 못하는 데이터로 학습하면 잘못된 패턴을 배울 수밖에 없습니다. 모델 성능의 상한은 데이터 품질이 결정합니다.