추론의 힘 (The Power of Reasoning)

SIMA의 첫 번째 버전은 다양한 상용 비디오 게임에서 "왼쪽으로 돌아", "사다리를 올라가", "지도를 열어"와 같은 600개 이상의 언어 수행 기술을 배웠습니다. 기본 게임 메커니즘에 접근하지 않고도, 마치 사람처럼 화면을 '보고' 가상 키보드와 마우스를 사용하여 환경을 탐색했죠.

SIMA 2에서는 단순한 지시 수행 그 이상으로 나아갔습니다. Gemini 모델을 에이전트의 핵심에 탑재함으로써, SIMA 2는 지시에 반응하는 것을 넘어 그 지시에 대해 생각하고 추론할 수 있게 되었습니다.

SIMA 2의 새로운 아키텍처는 Gemini의 강력한 추론 능력을 통합하여, 사용자의 상위 목표(high-level goal)를 이해하고, 이를 추구하기 위한 복잡한 추론을 수행하며, 게임 내에서 목표 지향적인 행동을 능숙하게 실행할 수 있도록 돕습니다.

우리는 언어 라벨이 달린 인간의 시연 영상과 Gemini가 생성한 라벨을 혼합하여 SIMA 2를 훈련시켰습니다. 그 결과, SIMA 2는 이제 자신이 무엇을 하려고 하는지 사용자에게 설명하고, 목표 달성을 위해 밟고 있는 단계들을 상세히 이야기할 수 있습니다.

테스트 결과, 에이전트와의 상호작용은 명령을 내리는 느낌보다는 당면한 과제에 대해 함께 추론할 수 있는 동료와 협업하는 느낌에 더 가까웠습니다.

또한, 기존 및 신규 게임 파트너들과의 협력 덕분에(감사의 글 참조), 우리는 더 광범위한 게임에서 SIMA 2를 훈련하고 평가할 수 있었습니다.

"이것이 바로 신체화된 AI(embodied AI)에 적용된 Gemini의 힘입니다. 복잡하고 상호작용적인 3D 환경을 인식하고, 이해하며, 행동을 취할 수 있는 세계적 수준의 추론 엔진인 것입니다."

일반화 성능의 비약적 도약 (A Leap in Generalization Performance)

Gemini의 추가는 일반화와 신뢰성 향상으로 이어졌습니다. SIMA 2는 이제 이전 모델보다 더 복잡하고 미묘한 지시를 이해할 수 있으며, 특히 새로운 바이킹 생존 게임인 ASKA나 인기 오픈 월드 샌드박스 게임인 마인크래프트의 연구용 구현체 MineDojo와 같이 훈련받지 않은 상황이나 게임에서 임무를 수행하는 데 훨씬 더 뛰어난 성공률을 보입니다.

SIMA 2는 길고 복잡한 작업을 이해하고 완수할 수 있습니다

SIMA 2는 멀티모달 프롬프트를 이해합니다

SIMA 2는 다양한 언어와 심지어 이모지(Emoji)까지 이해합니다

게다가 학습된 개념을 전이하는 능력—예를 들어 한 게임에서 배운 "채광(mining)" 개념을 다른 게임의 "수확(harvesting)"에 적용하는 것—은 인간의 인지 능력에서 볼 수 있는 광범위한 일반화를 달성하는 데 기초가 됩니다. 실제로 이러한 능력 덕분에 SIMA 2의 성능은 광범위한 작업에서 인간 플레이어의 수준에 상당히 근접했습니다.

모든 훈련 게임 환경에서의 과제 완료 성공률. SIMA 2가 인간의 성능 격차를 상당히 좁힌 것을 보여줍니다. (참고: 여기에 보고된 SIMA 1의 성능은 더 넓은 환경과 복잡한 지시를 포함한 새롭고 훨씬 더 어려운 평가 기준에 따른 것입니다.)

훈련 중 한 번도 본 적 없는 게임(ASKA 및 MineDojo)에서의 과제 완료 성공률.

궁극의 테스트: 새롭게 상상된 세계에서의 플레이

SIMA 2의 일반화 능력의 한계를 시험하기 위해, 우리는 단일 이미지나 텍스트 프롬프트로부터 실시간 3D 시뮬레이션 세계를 생성할 수 있는 또 다른 획기적인 연구 프로젝트인 Genie 3와 이를 결합했습니다.

이렇게 새롭게 생성된 세계에서 플레이하도록 도전했을 때, SIMA 2는 이전에는 본 적 없는 환경임에도 불구하고 현명하게 방향을 잡고, 사용자의 지시를 이해하며, 목표를 향해 의미 있는 행동을 취할 수 있었습니다. 이는 전례 없는 수준의 적응력을 보여준 것입니다.

확장 가능한 멀티태스크 자가 개선을 향해 (Towards Scalable, Multitask Self-Improvement)

SIMA 2의 가장 흥미로운 새로운 기능 중 하나는 자가 개선(self-improvement) 능력입니다. 우리는 훈련 과정 전반에 걸쳐 SIMA 2 에이전트가 시행착오와 Gemini 기반의 피드백을 통해 점점 더 복잡하고 새로운 작업을 수행할 수 있게 되는 것을 관찰했습니다.

예를 들어, 초기에는 인간의 시연을 통해 학습한 후, SIMA 2는 오직 자기 주도적인 플레이만을 통해 새로운 게임에서 학습을 이어갈 수 있으며, 추가적인 인간 생성 데이터 없이도 이전에 본 적 없는 세계에서 기술을 발전시킵니다. 이후의 훈련에서는 SIMA 2 자신의 경험 데이터가 다음 세대의 더 유능한 에이전트를 훈련시키는 데 사용될 수 있습니다. 우리는 심지어 새롭게 생성된 Genie 환경에서도 SIMA 2의 자가 개선 능력을 활용할 수 있었습니다. 이는 다양하고 생성된 세계 전반에 걸쳐 일반 에이전트를 훈련시키는 데 있어 중요한 이정표입니다.

SIMA 2 자가 개선 사이클은 Gemini가 초기 작업과 SIMA 2의 행동에 대한 예상 보상을 제공하는 것으로 시작됩니다. 이 정보는 자가 생성 경험 저장소에 추가되어, 다음 세대의 에이전트가 추가 훈련을 하는 데 사용됩니다. 이 과정을 통해 에이전트는 인간이 생성한 시연이나 개입 없이도 이전에 실패했던 작업을 독립적으로 개선할 수 있습니다.

이러한 반복적인 개선의 선순환은 에이전트가 인간의 개입을 최소화하면서 성장하고 학습하여, 신체화된 AI 분야의 개방형 학습자(open-ended learners)가 될 수 있는 미래의 길을 열어줍니다.

미래를 향하여: 일반 신체화 지능을 향한 여정

다양한 게임 환경에서 작동하는 SIMA 2의 능력은 일반 지능을 입증하는 중요한 시험대이며, 이를 통해 에이전트는 기술을 마스터하고, 복잡한 추론을 연습하며, 자기 주도적인 플레이를 통해 지속적으로 학습할 수 있습니다.

SIMA 2가 범용적이고 상호작용적인 신체화 지능을 향한 중요한 단계인 것은 맞지만, 근본적으로는 연구 프로젝트이며 현재의 한계점들은 향후 연구가 필요한 중요한 영역들을 보여줍니다. 에이전트들은 여전히 광범위하고 다단계의 추론과 목표 검증이 필요한 매우 긴 호흡의 작업(long-horizon tasks)에서는 어려움을 겪고 있습니다. 또한 SIMA 2는 상호작용에 대한 기억이 비교적 짧습니다. 낮은 지연 시간(latency)의 상호작용을 달성하기 위해 제한된 컨텍스트 창을 사용해야 하기 때문입니다. 마지막으로, 키보드와 마우스 인터페이스를 통해 정밀하고 낮은 수준의 행동을 실행하는 것과 복잡한 3D 장면을 강력하게 시각적으로 이해하는 것은 이 분야 전체가 계속해서 해결해야 할 과제로 남아 있습니다.

이 연구는 행동 지향적 AI(action-oriented AI)의 새로운 경로에 대한 근본적인 검증을 제공합니다. SIMA 2는 다양한 다중 세계 데이터와 Gemini의 강력한 추론 능력을 활용하여 광범위한 역량을 갖춘 AI가, 수많은 전문화된 시스템의 기능을 하나의 일관된 범용 에이전트로 성공적으로 통합할 수 있음을 확인시켜 줍니다.

SIMA 2는 또한 로보틱스 응용을 향한 강력한 경로를 제시합니다. 내비게이션부터 도구 사용, 협업 작업 실행에 이르기까지 SIMA 2가 학습한 기술들은 물리적 세계의 미래 AI 비서들에게 필요한 지능의 물리적 구현(embodiment)을 위한 근본적인 구성 요소들입니다.

책임감 있는 개발 (Responsible Development)

SIMA 2는 상호작용적이고 인간 중심적인 에이전트로, 특히 자신의 추론 과정을 설명하는 재미있는 방식을 통해 함께하는 즐거움을 줍니다. 우리의 모든 첨단 기반 기술과 마찬가지로, 우리는 처음부터 SIMA 2를 책임감 있게 개발하는 데 깊이 전념하고 있습니다. 이는 특히 자가 개선 능력과 같은 기술적 혁신과 관련하여 더욱 그렇습니다.

우리는 SIMA 2를 구축하면서 '책임감 있는 개발 및 혁신 팀(Responsible Development & Innovation Team)'과 협력해 왔습니다. 잠재적인 응용 분야를 계속 탐구함에 따라, 우리는 SIMA 2를 제한적 연구 프리뷰(limited research preview)로 발표하고 소수의 학계 및 게임 개발자 코호트에게 조기 액세스를 제공하고 있습니다. 이러한 접근 방식은 우리가 이 새로운 분야를 탐구하고 위험 요소와 적절한 완화 조치에 대한 이해를 넓혀가는 과정에서 중요한 피드백과 학제 간 관점을 수집할 수 있게 해줍니다. 우리는 이 기술을 책임감 있게 발전시키기 위해 커뮤니티와 더 깊이 협력하기를 고대합니다.

SIMA에 대해 더 알아보기
SIMA 기술 보고서 - 곧 공개 예정