경사하강법(Gradient descent)을 이해하자 - 1

딥러닝(DeepLearning)이란?

 

이전 글에서 딥러닝이란 인공 신경망을 사용해서 데이터를 가장 잘 표현하는 weight를 구하는 것이라는 것을 익혔다. weight를 구하기 위해서 실제 값과 예측 값의 차이를 구한 손실 (Loss)를 활용하는 것이다. 근데 이게 직관적으로 와닿진 않는다. 손실은 x.xxxx와 같이 소수점으로 표현이 될텐데 이걸로 가중치를 어떻게 업데이트 할까? 감이 안잡힌다... 

 

일단 먼저 Pytorch 학습 코드를 좀 봐보자.

outputs = Model(images)
loss = loss_function(outpus, labels)
loss.backward()

 

그래 보통 Model을 정의하고 inputs을 넣고 순전파를 통해 결과 (outputs)를 얻게 된다. 그리고 실제 값과의 손실을 구하고 backward() 함수를 통해 가중치를 업데이트 한다!! 그림으로 살펴보면 아래와 같다.

 

다음에는 손실 값으로 가중치를 어떻게 조절하는지 알아봐야겠다. 오늘은 시간이 없어서 여기까지 ㅎㅎ..