지금까지 다음 토큰 하나만 예측하던 것에서

여러 토큰을 한번에 예측 (논문에서는 주로 4개 토큰)하는 패러다임을 제시

이렇게 했을 때의 장점:

학습 효율이 좋아지며, 특히 코딩쪽 성능이 크게 향상됨

또한 모델이 크면 클수록 그 효과는 배가됨

그리고 모델의 추론 속도도 매우 빨라짐

생각해보면 그렇게 엄청나게 신박한 아이디어는 아닌데

왜 지금까지 이렇게 안했을까? 라는 질문에 대한 저자들의 생각은

아래 표에서 볼 수 있다.

보면 알 수 있듯이, 1B 미만 모델에서는 오히려 다중 토큰이 성능 저하를 불러옴

사실 1B도 작은 모델이 아니기 때문에

여기까지 실험해보고나서 '이건 안되겠다'하고 다른 연구자들이

간과했다는게 논문 저자들의 의견임.

실제로는 보면 알 수 있듯이 모델이 크면 클 수록 그 효과가 더욱 커짐.

직관적으로 다음 토큰 하나 예측보다 훨씬 어렵기 때문에

작은 모델에서는 낮은 능지로 그 어려운 문제를 푸는데 과부하가 걸렸기 때문이 아닐까 생각

이번엔 4-토큰 예측이었지만, 앞으로 더 많은 토큰을 한번에 예측하는 식으로

모델 사이즈와 비례에서 문제를 어렵게 만들면 어떤 모델이 만들어질지 기대됨.

(이건 음모론이지만 OAI의 비법 소스 중에 하나가 이 방식이 아닐까 생각도 해봄.

스케일에 미친 놈들이라 한 번쯤은 실험해봤을 것 같다.)

끝-