※ 해당 글은 점심 먹다 든 생각을 대충 정리해둔 글이며 틀린 부분이 있을 수 있습니다.

범용 인공지능의 핵심 ‘전이 학습’

Campus Chats: Demis Hassabis, Deepmind | Google for Startups

Demis Hassabis is the founder and CEO of DeepMind, a neuroscience-inspired AI company, bought by Google in Jan 2014 in their largest European acquisition to ...

www.youtube.com

https://www.youtube.com/watch?v=SZpINa6UvpQ&t=3124s

허사비스는 2017년 한 강연에서 범용 지능의 핵심은 ‘전이 학습’이란 발언을 하였다.

전이 학습이란, 한 영역에서 배운 지식을 완전히 새로운 다른 영역으로 옮겨 사용하는 것을 만한다.

예를 들어 허사비스는 어릴 때부터 여러 보드게임에 빠져 살았다.

그런 그가 새로운 보드게임을 배울 때 완전히 백지상태에서 시작하지는 않는다.

이미 다른 보드게임에서 배워 둔 온갖 휴리스틱(경험적 규칙)들을, 

한 번도 본 적 없는 새 게임에도 바로 적용할 수 있기 때문이다.

이러한 ‘전이 학습’은 인간이 엄청나게 잘하는 능력이기도 하다.

그가 말하길, 전이 학습을 가능하게 만드는 핵심은 ‘개념적 지식’, 즉 추상적 지식이라고 한다.

어디서, 어떤 감각 정보(시각·소리 등)를 통해 배웠는지와 상관없이, 

그 구체적인 감각적 디테일에서 분리·추상화된 개념적 지식을 획득하는 것이다.

Atari의 ‘Pong’과 ‘Breakout’이라는 게임이 있다.

둘 다 공을 튕겨서 치는 게임이라 구조적으로는 비슷하지만 화면 모양은 완전히 다르게 생겼다.

현재 시스템들은, 만약 ‘Pong’을 잘 하도록 학습시킨 다음에 

‘Breakout’을 주면, ‘Breakout’을 더 빨리 배우지 못한다.

그냥 처음부터 ‘Breakout’만 줬을 때와 학습 속도가 똑같다.

이건 명백히 이상한 일인 것이다.

당연히 한 게임에서 배운 일종의 ‘뉴턴 역학’ 개념을 다른 게임으로 옮겨서 써야 정상이다.

하지만 지금 시스템들은 그걸 못 한다.

그 이유는 지식이 전부 ‘암묵적’으로만 들어 있기 때문이다.

예를 들어 한 게임 안에서, 공이 화면에서 어떻게 움직이는지 예측하는 법은 배웠는데,

그걸 ‘명시적인 개념적 지식’으로 만들어 놓지 못했기 때문에,

새로운 지각적 환경, 즉 새 게임으로 그 지식을 옮겨갈 방법이 없던 것이다.

시스템 입장에선 그냥 완전히 새로운 문제로만 보일 뿐인 것이다.

하지만 인간은 ‘Pong’을 플레이하면 그것으로부터 인지되는 세부 사항을 추상화하여 개념화한다.

그 후에 ‘Breakout’을 플레이하면 “어? 전에 봤던 ‘Pong’이란 비슷한 게임이네?”라고 느끼며 더 빠르게 학습한다.

인간은 현실을 통해 방대한 규모의 ‘개념적 지식(conceptual knowledge)’을 쌓아

‘개념적 계층(conceptual layer)’를 구축했기에 어떠한 새로운 문제를 만나도 금방 학습하고 적응하였다.

그렇기에 허사비스는 ‘전이 학습’을 통해 ‘conceptual layer’를 AI에게 만들어 주는 것이

AGI로 가는 가장 중요한 핵심 키라고 생각했다.

SIMA 2: 가상 3D 세계에서 당신과 함께

플레이하고, 추론하며, 학습하는 에이전트

https://gall.dcinside.com/m/thesingularity/879521

(구글) SIMA 2: 가상 세계에서 당신과 함께하는 에이전트 - 특이점이 온다 마이너 갤러리

2025년 11월 13일 Research SIMA 2: 가상 3D 세계에서 당신과 함께플레이하고, 추론하며, 학습하는 에이전트

gall.dcinside.com

딥마인드는 2025년 11월 13일 ‘SIMA 2’라는 에이전트를 발표한다.

해당 에이전트는 다양한 가상 환경에서 기본적인 지시를 따를 수 있는 범용 AI이다.

‘SIMA 2’는 훈련 게임 환경에서 과제 완료 성공률이 인간 플레이어 수준에 근접했다.

물론 놀라운 발전이긴 하지만 이 모델의 핵심은 이것이 아니다.

이 모델의 진짜 놀라운 점은 훈련 중 한 번도 본 적 없는 

게임에서의 과제 성공률이 비약적으로 향상되었다는 점이다.

8년 전, 허사비스가 말하던 ‘AGI’의 핵심 키인 ‘전이 학습’의 첫 단계에 해당하는 모델을 달성한 것이다.

“학습된 개념을 전이하는 능력, 예를 들어 한 게임에서 배운

‘채광(mining)’ 개념을 다른 게임의 ‘수확(harvesting)’에 적용하는 것은 

인간의 인지 능력에서 볼 수 있는 광범위한 일반화를 달성하는 데 기초가 됩니다.”

“실제로 이러한 능력 덕분에 SIMA 2의 성능은 광범위한 작업에서 인간 플레이어의 수준에 상당히 근접했습니다.”

최근 업계는 어째서 월드 모델에 올인하는가?

전이 학습을 하기 위해선 ‘인지되는 세부 사항을 추상화하여 개념화’ 해야 한다.

즉, 가장 먼저 선행되어야 하는 것은 ‘세상을 인지하는 것’이다.

인간은 시각, 청각, 후각, 미각, 촉각 총 5가지의 감각으로 데이터를 처리한다.

선천적인 장애로 인하여 청각, 후각, 미각이 없는 경우 어느 정도 일상생활이 가능하지만

시각과 촉각은 없으면 일상생활에 큰 영향이 생긴다.

따라서 전이 학습을 위해선 시각적 이해는 필수이며 촉각적 이해가 후행되어야 할 것이다.

그렇기에 최근 업계는 ‘월드 모델’ 개발에 올인하고 있고 해당 모델 뜻은 다음과 같다.

‘물리법칙에 따라 존재하는 공간과 공간 속의 오브젝트들을 시간의 흐름에 따라 시뮬레이션하는 모델’

쉽게 말하면 세상에 존재하는 물질 간의 상호작용을 학습하고 이해한 모델이라는 것이다.

Veo

Introducing our state of the art video generation model Veo 3, and new capabilities for Veo 2.

deepmind.google

https://deepmind.google/models/veo/

‘Google Veo’ 같은 영상 인공지능 모델을 이용하여 영상을 생성해 본 사람이라면 바로 이해할 것이다.

사실 이 월드 모델이란 것은 ‘영상 인공지능 모델’과 같은 말이다.

영상엔 세상에 존재하는 물질 간의 상호작용이 방대하게 포함되어 있기 때문이다.

그렇기에 영상 인공지능은 발전할수록 현실의 물리 법칙과 상호작용을 잘 구현할 수 있게 되었다.

그리고 이러한 월드 모델이 진정하게 완성되기 위해서 필요한 것이 바로 ‘언어’다.

그렇기에 ‘SIMA 2’는 기존 ‘SIMA 1’에 ‘LLM - Gemini’를 통합하였다.

https://www.technologyreview.kr/yann-lecun-bold-new-vision-future-ai-deep-learning-meta/

구글 브레인의 연구원 나타샤 자크스는 르쿤의 제안에서 언어가 완전히 배제된 것은 이상하다고 지적하면서,

“우리는 대형 언어 모델이 매우 효과적이며 수많은 인간의 지식을 활용한다는 사실을 알고 있다”고 덧붙였다.

우리는 뜨거운 냄비를 직접 만지지 않더라도 그렇게 하지 말라는 말만 듣고 행동을 고칠 수 있다.

그녀는 “언어가 없다면 얀이 제안하는 이 월드 모델을 어떻게 업데이트할 수 있겠는가?”라고 물었다.

미첼은 “르쿤의 아이디어를 바탕으로 빠른 시일 내에 인간 수준의 AI가 만들어질 가능성은 거의 없다”고 말했다.

인류는 ‘언어’의 발명을 통해 월드 모델을 업데이트하고 서로 상호작용하여 

기하급수적인 문명의 발전을 이룰 수 있었다.

‘언어 모델’과 ‘비디오 모델’의 네이티브 결합은 필연인 것이다.

현재 인공지능은 ‘LLM’에 이것저것 붙이고 꿰맨 ‘LLM 누더기 골렘’이라고 할 수 있다.

LLM 모델들이 포켓몬을 플레이하는 것을 라이브로 본 사람들은 이해할 것이다.

이 조잡한 누더기 골렘 같은 모델 구조 때문에 병목이 발생하여 느리고 문제가 많다.

현재 LLM 모델들은 디퓨전 모델의 도움 없이도 스스로 이미지를 만들 수 있다.

해당 모델은 학습 초기부터 언어와 이미지 데이터 간의 복잡하고 

미묘한 상호 의존성을 대규모로 초기부터 학습했다.

그 결과 모델의 이미지에 대한 이해는 비약적으로 향상되었다.

이렇듯 만약 LLM이 네이티브로 비디오를 학습한다면 세상에 대한 이해는 비약적으로 향상될 것이다.

전이 학습의 미래

현재 업계 최전선은 월드 모델 구축을 위해 ‘1인칭 시점의 영상 데이터’ 확보에 혈안이다.

월드 모델 구축에 가장 좋은 데이터 셋은 ‘1인칭 카메라 시점인 AR 안경 영상 데이터’이다.

하지만 AR 안경 대중화는 아직도 멀었다.

출처: https://x.com/Tesla_Optimus/status/1925047336256078302?s=20

“Optimus는 많은 새로운 작업을 배우고 있습니다.

자연어 지시만으로 학습합니다.”

“이 모든 작업은 하나의 신경망으로 수행되며, 사람들의 영상으로부터 직접 학습되었습니다.

이 돌파구 덕분에 우리는 새로운 작업을 훨씬 더 빠르게 학습할 수 있게 되었고, 

지금은 신뢰성을 더욱 높이는 데 집중하고 있습니다.”

테슬라의 옵티머스 역시 ‘1인칭 시점의 영상’으로부터 학습되고 있다.

여기서 말하는 ‘돌파구’가 바로 위에서 설명한 ‘전이 학습’이다.

그럼 월드 모델에 환장한 얀 르쿤이 있는 메타의 상황은 어떨까?

메타, 멀티모달 데이터 세트 Ego-Exo4D 공개 “839명의 인간 활동 기록”

https://www.cio.com/article/3505478/%EB%A9%94%ED%83%80-%EB%A9%80%ED%8B%B0%EB%AA%A8%EB%8B%AC-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%84%B8%ED%8A%B8-ego-exo4d-%EA%B3%B5%EA%B0%9C-839%EB%AA%85%EC%9D%98-%EC%9D%B8%EA%B0%84-%ED%99%9C%EB%8F%99.html

이고-엑소4D(Ego-Exo4D)는 839명의 참가자의 숙련된 활동을 8개 분야에 걸쳐 

5,625개의 장면을 통해 1,422 시간의 동영상으로 담아낸 멀티 모달 데이터 세트다.

월드 모델에 환장한 메타조차도 겨우 5,625개의 장면, 총 1,422 시간 분량의 데이터 셋 수준이다.

구글의 ‘SIMA 2’가 왜 대단한 성과인지 이 부분에서 알 수 있다.

“SIMA 2 자가 개선 사이클은 Gemini가 초기 작업과 SIMA 2의 행동에 대한 

예상 보상을 제공하는 것으로 시작됩니다. 이 정보는 자가 생성 경험 저장소에 추가되어, 

다음 세대의 에이전트가 추가 훈련을 하는 데 사용됩니다. 

이 과정을 통해 에이전트는 인간이 생성한 시연이나 개입 없이도 

이전에 실패했던 작업을 독립적으로 개선할 수 있습니다.”

해당 모델은 ‘자가 개선(self-improvement)’ 능력을 가지도록 모델 구조가 짜여있다.

이것보다 더 중요한 내용이 이 다음에 나온다.

“우리는 심지어 새롭게 생성된 Genie 환경에서도 SIMA 2의 자가 개선 능력을 활용할 수 있었습니다. 

이는 다양하고 생성된 세계 전반에 걸쳐 일반 에이전트를 훈련시키는 데 있어 중요한 이정표입니다.”

모델의 자가 개선 능력이 ‘Genie’의 시뮬레이션 환경에서도 활용할 수 있었다는 점이다.

지니는 텍스트 또는 이미지를 통해 실시간으로 조작하여 

상호작용 가능한 시뮬레이션 세계를 만들 수 있는 모델이다.

즉.. 원하는 1인칭 영상 데이터와 상호 작용 가능한 시뮬레이션 세계를 무한하게 뽑아낼 수 있다는 것이다.

그리고 가장 중요한 것은 이 과정(인풋/아웃풋)에서 인간의 개입을 완전히 배제할 수 있다.

이 말은 막대한 연산력만 있다면 완전한 월드 모델 구축을 향한 과정을 가속할 수 있다는 것이다.

https://gall.dcinside.com/m/thesingularity/787585

전 딥마인드 연구원

@GoogleDeepMind 가 Genie 3을 체험해볼 수 있도록 초대해주셔서 정말 감사드립니다. 이 초기 연구 프로토타입에 대한 제 생각과 실시간 녹화 영상을 아래에 공유하게 되어 매우 기쁩니다.하루 종일 이 시스

gall.dcinside.com

“이 기술은 완전한 AGI(범용 인공지능)로 가는 마지막 퍼즐 조각 같으며, 

이러한 시스템이 스케일업 되면 진정한 AGI 달성도 가까워질 것이라고 생각합니다. 

어떤 의미에서는 AGI라기보단 ASI(초지능)에 가까울 수도 있지만, 

이건 정의의 문제입니다. 정확도와 일반화 능력은 인간 수준에 도달하고, 곧 인간을 능가할 것입니다.”

곧 ‘Geinie’를 통한 전이 학습으로 방대한 규모의 

‘개념적 계층(conceptual layer)’을 구축한 월드 모델이 출현할 것이다.

구글 "2030년까지 AGI 등장...가능성 높은 시나리오는 '재귀적 개선'

https://www.aitimes.com/news/articleView.html?idxno=169315

의식이란 무엇인가?

의식이란 ‘깨어 있는 상태에서 자기 자신이나 사물에 대하여 인식하는 작용’라는 뜻이다.

일리야는 ‘NeurIPS 2024’에서 추론이 “엄청나게 예측할 수 없는” 행동으로 이어질 것이라고 하였으며 

AI 시스템에서 ‘자기 인식’이 나타날 것이라고 말했다.

이게 대체 무슨 말일까?

일리야의 말을 이해하기 위해선 이번에 발표된 딥마인드의 ‘SIMA 2’ 글 내용을 볼 필요가 있다.

“단순한 지시 수행을 넘어서: SIMA 2는 사용자의 질문에 답할 수 있으며, 자신의 행동과 환경에 대해 추론합니다.”

인류는 휴머노이드 개발을 위해 에이전트들에게 육체를 주기 위한 시도를 하고 있다.

그리고 그 육체를 움직이게 하기 위해 1인칭 시점의 영상 데이터를 학습시키고 있다.

1인칭 시점의 영상 데이터엔 1인칭 시야에 보이는 손과 발 그리고 몸의 움직임에 따라 

세상에 변화가 생기는 상호작용에 대한 것들이 들어있다.

인공지능은 추론을 통해 금방 모든 행동 과정에 ‘육체(내부)’와 ‘세상(외부)’가 있다는 것을 구분할 것이다.

이러한 1인칭 영상 데이터 셋을 스케일링하면 어떤 일이 생길까?

우리는 이미 이러한 순간을 경험해 봤다.

인공지능 업계에 ‘스케일이 전부다’라는 붐을 일으킨 'Scale Is All You Need' 관련 논문이 바로 그것이다.

LLM의 모델 크기와 데이터 셋의 규모 그리고 연산력을 계속 늘리다 보니 특정 지점에서

갑자기 원인 모를 새로운 능력들이 창발된 것이다.

어쩌면 곧 인공지능에겐 ‘의식’이라고 부를 무언가가 생길지도 모른다.

출처: 디트로이트 비컴 휴먼 게임 장면

다가오는 ‘노동 대체’란 쓰나미

최근 발표된 ‘1X’의 로봇은 한 달 임대 비용이 70만 원이라고 한다.

곧 월드 모델로 인해 휴머노이드 시장엔 엄청난 혁신이 일어날 것이고

그로 인해 엄청난 속도로 양산되기 시작할 것이다.

양산된 휴머노이드의 월 임대료는 20~30만 원 수준일 것이라 예상된다.

제조업 종사자 1명을 월 20~30만 원 수준으로 대체할 수 있게 되는 것이다.

나는 현재 근미래 노동 대체에 대한 위험성이 엄청나게 저평가 되었다고 생각한다.

월드 모델 완성과 동시에 로보틱스 분야엔 엄청난 속도로 혁신이 생겨나게 될 것이고

그 속도는 사회가 도저히 대응할 수 있는 수준이 아닐 것이다.

출처: 고용노동통계포털

월 20~30만 원의 임대료로 약 400만 제조업과 약 80만 운수업만 대체한다고 생각해 보자.

그들이 부양하는 가족까지 다 합치면 거의 1,000만 명이다.

이것만으로도 한국이란 나라는 무너질 것이다.

이것은 비현실적인 수치가 아니다.

https://www.thescoop.co.kr/news/articleView.html?idxno=306457

인간 156만명 로봇 100만대 : 아마존이 말하는 미래 [Global]

글로벌 최대 전자상거래 기업 아마존의 물류시설에서 일하는 로봇의 수가 조만간 인간 노동자를 넘어설 것이란 전망이 나왔다. 월스트리트저널(WSJ)은 1일(현지시간) 아마존에 배치된 로봇이 역사상 최다인 100만대를 넘어섰다고 보도했다. 월스트리저널은 “아마존은 수년간 사람이 손으로 하던 작업을 자동화해 왔다”며 “로봇의 숫자가 인간 노동자와 거의 비슷한 수준이 됐다”고 밝혔다. 올해 1분기 기준 아마존 직원 수는 156만명을 기록했다.아마존 물류시설에 투입된 로봇은 선반에서 물건을 집어 올리고, 운반·분류·포장 등을 하는 역할을 맡고

www.thescoop.co.kr

“아마존의 물류시설에서 일하는 로봇의 수가 조만간 인간 노동자를 넘어설 것이란 전망이 나왔다.

월스트리트저널(WSJ)은 1일(현지시간) 아마존에 배치된 로봇이 역사상 최다인 100만 대를 넘어섰다고 보도했다.”

“월스트리저널은 “아마존은 수년간 사람이 손으로 하던 작업을 자동화해 왔다”며 

‘로봇의 숫자가 인간 노동자와 거의 비슷한 수준이 됐다’고 밝혔다. 

올해 1분기 기준 아마존 직원 수는 156만 명을 기록했다.”

현재 빅 테크들은 사람 고용은 줄이고 엄청난 속도로 해고하기 시작했다.

가장 큰 문제는 기본.소득은 선제적으로 시행할 수 있는 정책이 아니라는 점이다.

‘인공지능 노동 대체 → 기업한테 세금 징수 → 기본.소득 정책 시행’

대중들이 생각하는 기본.소득에 대한 구조는 이럴 것이다.

하지만 현실은 인공지능으로 노동 대체 당한 만큼 기업의 물건을 구매해 줄 사람이 사라진다.

즉.. 인공지능으로 무작정 노동 대체를 하면 기업도 같이 망한다.

YouTube

📗김대식 교수님 신간 ‘AGI, 천사인가 악마인가’/ https://product.kyobobook.co.kr/detail/S000217325457오늘은 카이스트 김대식 교수님을 모시고AGI 시대 전망과 생존 전략에 대해 들어봤습니다영상이 유익했다면 구독!! 영상이 재밌으셨다면 ...

youtu.be

https://youtu.be/v5jWMfqKcus?t=2384

과거 로마가 유럽 전체를 정복하면서 노예 1,000만 명이 생겨났다.

노예는 ‘무료 노동력’이었다.

그로 인해 기존 로마의 노동자들은 실직해버렸다.

로마의 실업률은 40%까지 치솟았다.

국가는 부자가 됐는데 국민은 거지가 된 것이다.

그래서 로마는 ‘로마 시민’이면 먹여 살리겠다 선언한다.

역사가 반복되고 있다.

인류는 인공지능 로봇 덕분에 노동에서 해방되고 역대급으로 풍요로워질 것이다.

하지만 시민들은 실직하고 거지가 될 것이다.

현대판 로마는 바로 ‘인공지능 기업’이다.

그들은 우리들이 ‘살아있는 인간’인 것을 증명만 한다면 정부발 기본.소득 정책 시행 전까지 먹여살릴 것이다.

당신은 그저 홍채나 또는 정맥 생체 인증 같은 것을 통해서 ‘살아있는 인간’임을 증명하기만 하면 된다.

자신이 인공지능에 의한 노동 대체로부터 안전한 직종에 종사하고 있다고 다행이라고 여기는 사람도 있을 것이다.

하지만 제조업과 운수업만 대체 당해도 고용 시장이 붕괴하고 임금 기반 소득 모델이 붕괴할 것이다.

임금 기반 소득 모델이 붕괴한다는 것은 현재 자본주의 사회가 무너진다는 것과 같다.

이젠 정말로 모두를 위한 정책을 시행해야 모두가 살 수 있다.

인류의 마지막 시험이 시작되었다.