특갤에서는 역전파에 대한 이해로 오차를 뒤로 보내서 학습하는 알고리즘이라는 생각을 가지고 있는것 같다.

물론 그게 틀린말이라는 것은 아닌데 너무 막연하므로 있어서 왜 이 알고리즘이 초기에 욕을 먹었는지 간단히 소개하면서 설명해보겠다.

먼저 머신러닝이 무슨 목표로 어떻게 돌아가는지 알아보겠다.

통계학습이론에서 학습은 일반적으로 경험적 위험 최소화 (empirical risk minimization)를 통해 '위험'을 최소화 하는 방향으로 학습한다. 

여기에서 위험이라는게 도대체 뭘까?

만약 당신이 개와 고양이를 분류하고 싶다고 하자. 

좀 더 추상적으로, 개라는 데이터를 보면 0, 고양이라는 데이터를 보면 1이라고 대답하는 함수 (기계)를 만든다면 이걸 수행할 수 있다.

즉, 

이렇게 생겨먹은 함수를 만들면 당신은 개와 고양이 이미지를 분류할 수 있는게 되겠다.

그렇다면 f를 어떻게 만들까? 

이게 사실 기계학습이다. 즉, 원하는 목표에 적합한 함수 f를 어떻게 찾을거냐 <- 이게 목적이란 소리다.

LLM도 이미지AI도 모두 x집어넣어서 y가 나오는 함수를 찾는거임.

물론 이상적인 함수 f*가 있어서...

모든 개와 고양이 사진에 대해서 저렇게 분류할 수 있는 함수 f*를 찾을 수 있으면 좋겠지만, 

그렇게 하기 위해서는 이 세상에 존재하는 모든 개사진 X_dog와 고양이사진 X_cat이 필요하기 때문에 현실적으로 불가능하겠다 (그리고 쓸모도 별로 없을거임).

따라서 우리는 우리가 가지고 있는 데이터를 통해 f*를 근사하고 싶은거다

그래서 우리는 우리가 가지고 있는 데이터에서 계산할 수 있는 경험적 위험*을 정의해서 이러한 위험을 최대한 빗겨나가게하는 함수를 찾을거다.

우리는 따라서 다음을 손실이라고 정의하고 이로부터 위험을 정의해보자.

틀리면 1이고 맞으면 0이 되도록 하는 함수 L을 가지고 가지고 있는 데이터 분포에 대해 모두 손실을 계산하고, 그에 따른 평균을 내보자.

직관적으로, 이렇게하면 평균 성능을 정량화할 수 있을것이고, 이것을 최소화하면 좋은 분류기 f를 배울 수 있을 것이다.

이것을 우리는 경험적 위험이라고 한다.

이렇게 하면 위험을 최소화 하는 f를 찾으면 우리가 가지고 있는 데이터 상에서 잘 동작하는 분류기를 만들 수 있다.

물론 손실함수 l을 0-1 loss를 사용하지 않고 더 좋은 성질을 가진 손실함수로 변경해서 사용하긴 하는데 일단 차치하고...

자 이제 f를 이루는 여러 파라미터들 (행렬연산이므로 행렬값들)을 잘 조절해서 경험적위험을 최소화 하는것이 우리의 목적이 되겠다.

이걸 어떻게 하는가? 무작위로 대입해서? 복잡한 모델일수록 파라미터들이 엄청나게 많아지기 때문에 이런 방법은 쓰기 어렵다.. 

간단하게 말해서 가장 낮은 곳으로 공을 굴려보내는 게임을 생각하면 된다. 

이런 파라미터를 찾는 휴리스틱은 일단 근처의 기울기를 보고 '낮은 곳'으로 공을 굴려보내는 것이다. 손실이 미분가능해야 하는 이유가 여기에 있다.

(물론 기울기를 사용하지 않는 다른 방법도 있다! 유전알고리즘이 대표적 예시)

이게 '경사하강법'이다.

이러한 경사하강법을 딥러닝 파라미터를 수정하기 위해 체인룰*을 사용해 모든 연결된 파라미터에 대해 기울기를 반대방향으로 계산하는 것을 역전파라고 한다.

기울기가 음인 쪽으로 다가가다 보면 자꾸 낮은 곳으로 가지 않겠느냐는 휴리스틱이다.

물론 맞다! 볼록(convex)일때만!

저렇게 깔끔한 손실 그래프는 잘 나오지 않는다.. 실제로 손실 landscape를 보면...

이렇게 개좆같이 생겼기 때문에, 경사하강법으로 저 깊은 전역최소값에 도달한다는 보장이 없다.

 ** 따라서 경사하강법을 깊어진 신경망에 적용하려는 역전파는 본질적으로 국소최소값에 멈춰서버릴 가능성이 항상 있다. **

물론 이걸 극복하려고 여러 방법들이 개발되었다. 

최근(?) 등장한 방법으로는 기울기에 관성을 줘서 국소최소값에 멈추지 말고 전체적인 기울기 방향으로 튀어나가게끔 하는 알고리즘이 개발되었다 (ADAM).

두 번째 문제점으로는 ** 역전파가 기울기소실 (gradient vanishing) 및 기울기폭발 (gradient exploding) 을 유도할 수 있다는 점이다. **

역전파는 적당히 얕은 네트워크에서 기울기를 계산할 수 있는 아주 효율적인 방법이었지만
그것보다 깊어지면 수치적으로 계산할 수 있는 기울기가 죽어버리던지
아주 극단값을 가지는 파라미터들에 대해서 국소 기울기가 거의 0이라 가중치 업데이트가 아예 안된다던지,

또는 동일 파라미터를 자꾸 곱하게 되는 바닐라 RNN의 경우 1 이상인 기울기들이 폭발하게된다던지 이런 문제가 생긴다.

즉, 초기 레이어들이 뒷쪽 레이어에 비해 학습이 현저히 느려진다는 문제가 발생한다. 

gradient clipping, batch normalization 등 해결책들이 많이 제시되었는데 일단 여기서는 활성화 함수의 교체를 좀 집중해서 보겠다.

딥러닝은 nonlinear 함수를 맵핑하기 위해 활성화 함수라는 비선형 함수를 통과시킨다.

이러한 비선형 변환이 원래 데이터공간을 이리저리 휘게하기 때문에 매우 중요한데, 초기 딥러닝은 얘를 sigmoid라는 함수를 사용했다.

부드럽게 휘는게 딱봐도 비선형이다. 문제는 얘를 미분하면 나오는 기울기 최대값이 1/4이라는 점인데,
앞서 말했듯 뒤로 전파하면서 기울기가 1/4씩 잘려나가는 상황이 발생하게 된다.

그래서 비슷하게 생겼는데 좀 더 큰 값을 가지는 함수 tanh를 사용하는데..

이번에는 가중치가 너무 큰 값을 가졌을 때 기울기가 거의 0으로 수렴하는 문제가 생겨버렸다 (물론 sigmoid에도 같은 문제는 있다).

그래서 이번에는 아예 ReLU라는 정류함수를 가져와서 사용하게 된다.

깔끔하다! 그러나 ReLU의 경우에도 문제가 있는데, 가중치가 음수면 기울기가 0이 되어버려서 더 이상 업데이트 되지 않는 죽어버린 가중치가 되어버린다는 점이다.

이 문제를 dying ReLU라고 한다. 얘를 해결하기 위해 leakyReLU, GeLU와 같은 가중치가 음수여도 0이 아닌 기울기를 가지게 되는 함수들이 개발되었다.