캐리(carry)는 수학적인 덧셈이나 뺄셈 과정에서 한 자릿수의 계산 결과가 해당 자리의 최대값(대개 10)을 초과할 때 다음 자릿수로 넘겨주는 값을 의미합니다. 예를 들어, '8 + 7'의 계산에서 15가 되며, 이 경우 일의 자리인 5는 남기고, 10이 넘었으므로 1을 십의 자리로 넘겨주는데, 이를 '캐리'라고 합니다.

그러나 트랜스포머 알고리즘에서 말하는 '캐리'는 이와는 다소 다른 개념입니다. 트랜스포머 모델은 순차적인 데이터 처리를 위한 RNN이나 LSTM과 달리 '어텐션 메커니즘'을 사용하여 전체 시퀀스를 한 번에 처리합니다. 이 때문에 수학적 덧셈의 '캐리'와 같은 개념이 직접적으로 트랜스포머 모델에 적용되지는 않습니다.

트랜스포머 모델 내에서 시퀀스의 각 요소에 다른 요소들이 얼마나 중요한지를 결정하는 데 어텐션 메커니즘이 중심 역할을 하며, 이는 정보의 '가중치'를 분배하는 과정으로 볼 수 있습니다. 즉, 모델이 숫자를 거꾸로 처리하면서 높은 정확도를 보이는 것은 '캐리'가 아니라, 모델이 특정 정보(덧셈에서는 높은 자릿수의 숫자)에 더 높은 어텐션 가중치를 할당하여 이 정보를 더 잘 학습하기 때문일 수 있습니다.

따라서 이미지에서 보여지는 현상은 트랜스포머 모델이 숫자를 거꾸로 처리할 때, 어텐션 메커니즘을 통해 초기 단계에서 더 중요한 정보(예: 높은 자릿수의 숫자와 캐리)에 집중할 수 있기 때문에 더 나은 성능을 보이는 것으로 해석할 수 있습니다. 이는 트랜스포머의 어텐션 메커니즘이 전체 시퀀스에 대한 문맥을 학습하는 동안 중요한 정보를 강조하는 방식에 기인합니다.

얀르쿤이 왜 scale is all you need 에 부정적인지 이해가 될거 같기도 함...