코드 한줄

■ Degradation 문제 Deep Residual Learning for Image Recognition 논문을 보면 시작은 56-layer를 사용하면 이론적으로 더 error 가 낮아야 하지만, 20-layer 보다 더 높은 값을 나타내고 있습니다. 이는 다시말하면 layer가 깊어질수록 overfitting 의 문제가 아닌, training error 가 증가한다는 말로 네트워크가 학습이 잘 진행이 되지 않는다는 것을 의미합니다. ■ Shortcut connection (skip connection) Degradation 문제를 해결하기 위해 논문에서 제안한 방법이 shutcut connection 이란 방법으로 Gradient 를 유지할 수 있도록 shorcut을 만든 다는 것이 핵심입니다. ..