※ 해당 글은 점심 먹다 든 생각을 대충 정리해둔 글이며 틀린 부분이 있을 수 있습니다.

https://gall.dcinside.com/m/thesingularity/880327

일론 그록5 언급 대화문 - 특이점이 온다 마이너 갤러리

확실히 프리트레이닝부터 좀 뭔가 다르게 접근할 모양인가보네 - dc official App

gall.dcinside.com

- 파라미터 6조 개

- 본질적으로 멀티 모달 (텍스트, 그림, 비디오, 오디오)

- 시각이 극도로 좋을 것.

- 실시간 사운드, 실시간 비디오를 가질 것.

- 현재 어떠한 AI도 실시간 비디오를 이해할 수 없지만 ‘Grok 5’는 가능할 것.

- 인간은 실시간 비디오 이해가 가능한데 AI가 할 수 없다면 그것은 AGI라고 부를 수 없다.

해당 글 내용이 사실이라면 

‘Grok 5’는 현존 최대 파라미터 규모를 가진 ‘LLM 네이티브 비디오 모델 = 월드모델’로 추정된다.

허사비스가 말하는 AGI의 핵심을 요약하자면..

1. 한 영역에서 배운 지식을 완전히 새로운 다른 영역으로 옮겨 사용하는 ‘전이 학습’이 범용성의 핵심 키.

2. 전이 학습을 하기 위해선 ‘인지되는 세부 사항을 추상화하여 개념화’ 해야 한다.

3. 따라서 AI에게 가장 먼저 선행되어야 하는 능력은 ‘세상을 인지하는 능력’이다.

4. 이것을 위해 최근 업계는 ‘월드 모델 = LLM 네이티브 비디오 모델’ 개발에 올인 중.

5. 세상을 인지하고 이해할 수 있는 월드 모델에 전이 학습을 통해 ‘개념적 지식(conceptual knowledge)’을 쌓는다.

6. 최종적으로 ‘개념적 계층(conceptual layer)’를 구축하여 어떠한 새로운 문제를 만나도 금방 학습하고 적응하는 ‘AGI’를 구현한다.

현재 월드 모델 구축은 특히 데이터 셋 규모의 한계 영향을 크게 받고 있다.

1. 월드 모델은 연속적인 환경인 현실의 물질 간의 상호작용을 이해하는 모델.

2. 이것을 이해하는데 가장 좋은 데이터는 ‘1인칭 시점의 영상 데이터’.

3. ‘AR 안경 카메라 1인칭 시점 영상 데이터’가 제일 좋으나 대중화 안 됨.

4. ‘Genie’ 응용한 방법도 이제야 시작한 상태.

5. 월드 모델에 환장한 메타의 데이터 셋 규모조차도 839명 / 5,625개 장면 / 1,422 시간 규모.

이러한 데이터 셋 규모 한계를 AR 안경 대중화 시대를 마냥 기다리는 것이 아닌

‘Genie’ 같은 것을 응용하여 돌파구를 찾아내고 있기에 어느 정도 해소될 것으로 보이나

현재 월드 모델 구축은 매우 빈약한 데이터 셋을 이용하고 있기 때문에

1세대 월드 모델의 세상에 대한 이해는 완벽하지 않을 것으로 예상된다.

https://gall.dcinside.com/m/thesingularity/878800

하사비스

하사비스

gall.dcinside.com

허사비스는 10년 안에 ‘완전한’ AGI를 가지게 될 것이라 하였고

https://www.newsspace.kr/news/article.html?no=10218

[빅테크칼럼] 머스크, 그록 5 AGI 달성 확률 10% '자신감'…AI 업계에 '긴장감'

[뉴스스페이스=윤슬 기자] 일론 머스크가 자신의 인공지능 회사 xAI의 차세대 AI 모델인 Grok 5가 인공일반지능(AGI)을 달성할 확률을 10%로 추정하며 큰 자신감을 보이고 있다. 이번 발표는 AI 연구 및 산업계에 새로운 파장을 일으키고 있으며, 머스크의 기존 평가보다 한층 진전된 낙관론으로 주목받고 있다. Economic Times, Teslar

www.newsspace.kr

머스크는 ‘Grok 5’가 AGI 일 가능성은 10% 정도라고 한다.

그들의 이러한 발언은 빈약한 데이터 셋의 한계로 인한 불완전 한 월드 모델이 배경일 가능성이 높다.

https://www.hankookilbo.com/News/Read/A2025111209160004040

튜링상 수상 'AI 대부' 얀 르쿤, 메타 떠난다… 왜? | 한국일보

얀 르쿤 메타 AI 수석 과학자가 퇴사해 스타트업 창업에 나섭니다. 메타 AI 리더십과 장기 전략에 변화가 예상되며, 월드 모델 등 인공지능 연구 분야에 큰 영향을 미칠 전망입니다.

www.hankookilbo.com

하지만 ‘Grok 5’가 정말로 실시간 비디오 이해가 가능한 ‘LLM 네이티브 비디오 모델 = 월드 모델’이라면

‘다음 프레임 예측’ 원툴인 얀 르쿤의 ‘JEPA’는 더 이상 경쟁력이 없으며 그가 메타를 떠난 이유가 이해가 된다.

‘Grok 5’는 내년 1분기 출시 예정이며 해당 모델에서 가장 기대가 되는 부분은.

다양한 게임 스피드런일 것이다.

아직 전이 학습을 완벽하게 구현하지 못했기에 

게임에 등장하는 다양한 문제를 해결하지 못할 가능성은 높지만

‘포켓몬스터 골드 버전’ 같은 간단한 게임은 스피드런을 기대해 볼 수 있을 거 같다.

드디어 LLM이 이산적인 ‘이미지’가 아닌 연속적인 ‘비디오’로 추론하면서 게임을 플레이할 것이기 때문이다.

‘LLM 네이티브 이미지 모델’이 ‘이미지’를 생성할 수 있는 것처럼

‘LLM 네이티브 비디오 모델’은 ‘비디오’를 생성할 수 있을 것인데.

이것은 ‘언어’를 통해 ‘비디오’로 상상하여 연속적인 인과 관계를 추론할 수 있게 될 가능성이 있기 때문에

아마 포켓몬 스피드런에 비약적인 향상이 있을 것으로 예상된다.

머스크는 옵티머스 시장 선점을 위해 다른 빅 테크들에 비해 무리하게 데이터센터를 확장하고 있으며

그 결과물인 ‘Grok 5’는 내년 1분기에 출시 예정이라고 한다.

월드 모델 1세대인 ‘Grok 5’가 어느 정도로 세상을 인지하고 이해하는가?

그 결과에 따라 이번 세기 안에 특이점이 가능한지를 알 수 있을 것이며

만약 결과물이 망하면 월드 모델 구현에 대한 길을 잃게 되며

상상하기 싫지만 AI 때문에 버티고 있는 현재 거품이 상상할 수 없는 규모로 연달아 터질 가능성이 있다.

‘Grok 5’가 만약 상상대로의 성능일 경우 대중들은 ‘인간의 시대’가 저물어 가고 있다는 것을 체감할 것이다.