Skip Connection (잔차 연결)

마일스톤 학습법으로 단계별 완전 정복

딥러닝

ResNet

잔차 연결

그래디언트

초심층망

이 학습을 통해 달성할 수 있는 목표

기초 이해

• Skip Connection의 개념(H=F(x)+x)을 이해할 수 있다
• 왜 학습이 쉬워지는지 설명할 수 있다
• ResNet과의 관계를 이해할 수 있다

심화 학습

• 퇴화 문제와 잔차 학습을 이해할 수 있다
• 항등 경로가 기울기 흐름에 주는 이점을 설명할 수 있다
• F(x)=0의 의미를 이해할 수 있다

실무 적용

• 잔차 연결의 최적화·앙상블 해석을 이해할 수 있다
• DenseNet·트랜스포머의 잔차 활용을 설명할 수 있다
• 실무 백본 선택에 적용할 수 있다

한눈에 보기

Skip Connection(잔차 연결)은 입력을 몇 개 층을 건너뛰어 출력에 그대로 더해주는 지름길로, 출력이 H(x)=F(x)+x가 되어 아주 깊은 신경망도 학습되게 한다.

층은 전체 매핑 H(x) 대신 잔차 F(x)=H(x)−x만 학습하면 되므로 최적화가 쉬워진다.
항등 지름길로 기울기가 층을 건너뛰어 잘 흘러, 그래디언트 소실을 완화한다 — ResNet은 152층 학습을 가능케 했다(He 등, 2016).
트랜스포머·U-Net 등 현대 아키텍처 대부분이 잔차 연결을 표준으로 채택한다.

학습 로드맵

각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다

기초 이해

개념 정의와 기본 원리

약 12분

클릭

심화 학습

공식 유도와 다양한 예시

약 20분

클릭

실무 적용

실제 케이스와 고급 응용

약 28분

학습 진도 (완료한 단계)

먼저 알아두면 좋은 개념들

Gradient 문제 →

잔차 연결이 해결하려는 그래디언트 소실을 먼저 알아야 합니다

Skip Connection이란?

난이도 3/5

약 12분

Skip Connection은 신경망에서 입력을 몇 개 층 뒤로 곧장 더해주는 지름길입니다. 층이 아주 깊어져도 학습이 잘 되도록 돕는 장치입니다.

고속도로의 지름길 같습니다. 정보가 여러 층(F)을 거쳐 변형되더라도, 원래 입력 x가 지름길로 곧장 전달돼 결과에 더해집니다. 덕분에 층이 원래 값을 "완전히 새로 만들" 필요 없이, "얼마나 바꿀지(잔차 F(x))"만 배우면 되어 학습이 쉬워집니다.

핵심 포인트

•입력 x를 층 뒤로 곧장 더함 → 출력 H(x) = F(x) + x
•층은 잔차 F(x)만 학습 → 최적화 쉬움
•기울기가 지름길로 잘 흘러 소실 완화
•ResNet의 핵심, 현대 아키텍처의 표준

간단한 예시

아주 깊은 망은 층을 늘릴수록 오히려 성능이 나빠지곤 했는데(퇴화 문제), 잔차 연결을 넣자 152층까지도 안정적으로 학습되어 성능이 향상됐습니다.

이해도 확인하기

정답: 전체 매핑 H(x)가 아니라 잔차 F(x)=H(x)−x입니다. 입력을 얼마나 바꿀지만 배우면 되므로 학습이 쉬워집니다.

정답: 항등 지름길을 통해 기울기가 여러 층을 건너뛰어 앞쪽 층까지 거의 그대로 전달되기 때문입니다.

딥러닝 이론 페이지로 돌아가기

LEARN · SIMULATE · VERIFY

Skip Connection (잔차 연결)

마일스톤 학습법으로 단계별 완전 정복

이 학습을 통해 달성할 수 있는 목표

기초 이해

심화 학습

실무 적용

한눈에 보기

학습 로드맵

기초 이해

심화 학습

실무 적용

먼저 알아두면 좋은 개념들

Gradient 문제 →

Skip Connection이란?

핵심 포인트

간단한 예시

이해도 확인하기

Q1: 잔차 연결에서 층이 실제로 학습하는 것은?

Q2: 잔차 연결이 그래디언트 소실을 완화하는 이유는?