맞나 싶어 영문 자료도 좀 찾아보니 얘가 젤 첨 발언한 거 맞는듯.

George: 그래, 그래, 우리는 구축할 수 있어. 그래서 오늘날 가장 큰 훈련 클러스터처럼, 나는 GPT-4가 어떻게 훈련되었는지에 대해 잘 알고 있어. 나는 가중치와 관련된 몇 가지 대략적인 숫자를 알고 있어, 하지만 Lama-

Swyx: 1조 개의 매개변수? [00:43:30]

George: 음, 그래, 그래서 GPT-4는 각 헤드에 2200억 개의 매개변수를 가지고 있고, 그리고 그것은 8방향 MoE야. 그래서 혼합 모델은 아이디어가 고갈되었을 때 사용하는 것이야. 그래서, 알다시피, 그것은 혼합 모델이야. 그들은 같은 모델을 8번 훈련시키고, 그리고 작은 트릭을 사용해. 실제로 그들은 16번의 추론을 하지만, 아니, 그것은 그런 식이 아니야- [00:43:45]

지오핫이 말한 게 정설인게 웃기네. 쟤 천재해커인데 아무 서버나 아무도 모르게 들락거릴듯.. 진짜 들어갔다 나온거면 겁나 웃긴건데 ㅋㅋㅋ

아는사람한테 들었다고 둘러대는데 얘 말고는 누설한 사람이 아무도 없어 ㅋㅋㅋ