Q* 알고리즘의 이름에 대한 가장 유력한 추측중 하나가

강화 학습 알고리즘인 Q-Learning 과 길찿기 알고리즘의 A* 에서 가져왔다는 것.


이번에 4o 의 예시를 보면 비언어적 표현을 이해하는 모습을 보이는데

기존의 모델과 다른 4o의 멀티-모달리티를 나타내는 부분임

호랑이 울음소리와 으르렁 이라는 단어를 연결시켜 학습시켜야 하는데 이게 필연적으로

모델의 복잡성을 늘리게 되고, 장기적으로 성능 향상을 유지하기 힘든 구조가 될 수 밖에 없음.

여기서 Q*가 나오는거임.


Q-Learning은 주어진 상태에서의 최적의 결과 값 쌍을 학습시키는 알고리즘

A*는 최단거리를 알아내는 알고리즘

MoE 방식으로 구성된 GPT의 내부 모델

이 특징을 조합해서 탄생한 Q*는 아마도 입력된 값에 따라서 내부 모델들의 노드별 최적의 연결 및 활성화 정도를 결정하는 알고리즘이라고 생각함

이러한 방식으로 모델을 형성하면 모델의 크기가 커져도 필요한 부분만을 활성화 시키기 때문에

Scale is all you need 로 대표되는 성능의 증대를 성취함과 동시에 따라붙는 비용 증가/속도 저하 문제도 해결이 가능함

그래서 GPT-4 대비 성능 상승, 속도 2배, 비용 1/2 를 모두 이룰 수 있었던 거라고 본다.