모두 다 알겠지만 기본 지식부터 짚고 넘어가면 2017년에 그 유명한 'Transformer' 모델이 발표된 이후 LLM에서는 구글의 BERT와 OpenAI의 GPT로 대표되는 두 가지 파생 모델로 나뉘었고 GPT가 너무 압도적인 성능을 보여 너도나도 이쪽을 하고 있음. (Transformer와 정확히 어떻게 다른지는 직접 검색해봐)

그런데 GPT, GPT-2, GPT-3는 모델의 크기와 학습량, 즉 스케일이 커졌을 뿐 모델의 아키텍처 자체는 큰 변화가 없었어. GPT-3.5, GPT-4 는 모델이 공개가 되지 않아서 아무도 모르지만, 아마 더더욱 큰 스케일과 MoE를 적용한 것 이외에는 구조 자체는 비슷할거라고 추측할 수 있음. 제미니, 클로드, 여러가지 오픈소스 모델들이 다들 비슷비슷한 성능을 보여주는 이유도 기본적인 아키텍처 자체는 대단한 차이가 없어서 그럼. 여기서 스케일을 100배, 1000배 계속 늘리기만 한다면 성능이 올라가기는 할 텐데 그에 비례한 만큼의 전기(돈)이 들어가고 데이터를 합성해서 불리는 것도 한계가 있음. 그래서 LLM의 한계가 찾아왔다는 지적들도 지금 꽤 많지. 

여기서 GPT2라는 새로운 네이밍이 나왔다? 이는 Transformer를 기반으로 하지만 GPT의 아키텍처 자체를 '근본적'으로 개선한 새로운 라인업이라고 추측이 가능함. 물론 이에 대해 "그런 좋은 모델이 있다면 GPT-4에 비해 압도적으로 성능이 좋아야 할 것 아니냐!" 라는 반론이 가능함. 

하지만 OpenAI도 아예 신개념의 아키텍쳐를 새로 개발했다면 처음부터 GPT-4 급의 자본을 쏟아부어 큰 모델을 만들지 않고 작은 모델부터 순차적으로 학습시켜 볼 것임. 그러다 마침 GPT-4 혹은 그 이상 급의 학습이 완료된 것이고 객관적인 성능 확인 및 사람들의 관심을 끌기 위해 허깅페이스에 몰래 올려둔 것이라고 생각됨. 공개 전개 호들갑 떨지 않은 것은 아직은 작은 모델이니 대대적으로 광고하면 사람들이 실망할게 뻔하기 때문. 하지만 허깅페이스까지 기어 들어와 모델을 돌려본 사람들이라면 위와 같은 사실을 파악할 거라고 생각했겠지. 

좀 있으면 모델 크기 키워서 GPT2-5..... 같은 구린 네이밍으로 발표하지 않을까 싶음.... 이게 여름에 나온다는 모델일 수도 있고. 

요약: 

1. 단순 경량화 GPT-4 아니고 새로운 기술 도약일 가능성
2. 념글에 올라왔던 이 그림의 '불연속점' 으로 생각됨.