https://arxiv.org/abs/2404.15758

언어 모델의 연쇄적 사고 반응은 대부분의 벤치마크에서 성능을 향상시킵니다. 그러나 이러한 성능 향상의 원인이 인간과 같은 작업 분해 때문인지 아니면 단순히 추가 토큰이 허용하는 더 큰 계산 능력 때문인지는 아직 명확하지 않습니다. 저희는 트랜스포머가 중간 토큰 없이 응답할 때 풀 수 없었던 두 가지 어려운 알고리즘 작업을 풀기 위해 생각의 사슬 대신 의미 없는 필러 토큰(예: '......')을 사용할 수 있음을 보여줍니다. 그러나 경험적으로 필러 토큰을 사용하는 방법을 배우는 것은 어렵고, 수렴을 위해서는 구체적이고 밀도 있는 감독이 필요하다는 것을 발견했습니다. 또한 일차 공식의 양자화 깊이 측면에서 필러 토큰이 유용한 문제 클래스에 대한 이론적 특성화도 제공합니다. 이 특성화를 만족하는 문제의 경우, 생각의 사슬 토큰은 다중 토큰 계산과 관련된 중간 계산 단계에 대한 정보를 제공할 필요가 없습니다. 요약하자면, 저희의 결과는 추가 토큰이 토큰 선택과 무관하게 계산상의 이점을 제공할 수 있음을 보여줍니다. 중간 토큰이 필러 토큰의 역할을 할 수 있다는 사실은 대규모 언어 모델이 관찰된 사고 사슬 토큰과 점점 더 분리되는, 들을 수 없는 숨겨진 계산에 관여하는 것에 대한 우려를 불러일으킵니다.