How close is AI to human-level intelligence?

Large language models such as OpenAI’s o1 have electrified the debate over achieving artificial general intelligence, or AGI. But they are unlikely to reach this milestone on their own.

www.nature.com

OpenAI의 o1과 같은 대형 언어 모델은 인공지능 일반(AGI)의 달성에 대한 논의를 활성화시켰습니다. 

그러나 이러한 모델들이 스스로 이 이정표에 도달할 가능성은 낮습니다.

"LLM이 AGI를 제공할 수 있을까?" 트랜스포머 아키텍처는 여러 종류의 데이터에서 통계적 패턴을 처리하고 찾을 수 있는데, 그 데이터 세트들은 한 가지 특징을 공유합니다: 이 데이터 세트들은 낮은 '콜모고로프 복잡성'(이 데이터를 생성하는 가장 짧은 컴퓨터 프로그램의 길이)을 가지고 있습니다. 

또한, 트랜스포머 기반 LLM들에는 한계가 있다는 신호들이 있습니다. 우선, 모델을 훈련하는 데 사용되는 데이터가 고갈되고 있습니다. LLM이 커지면서 얻는 성과도 한때만큼 크지 않다는 신호도 있습니다. 신경과학자들은 우리의 지능이 뇌가 '세계 모델'을 구축할 수 있는 능력 덕분이라고 주장합니다.

여러 보고서에서 오늘날의 LLM 내부에서 원시적인 세계 모델의 발생을 나타내는 증거를 제시했습니다. 오늘날의 LLM이 부족한 중요한 기능 중 하나는 내부 피드백입니다. 인간의 뇌는 정보가 뉴런 층 사이에서 양방향으로 흐를 수 있도록 하는 피드백 연결이 가득 차 있습니다. 이는 감각 시스템에서 더 높은 뇌 층으로 정보가 흐를 수 있도록 합니다.

"머신은 인간 뇌의 인지 능력을 실제로 갖추려면 얼마나 더 시간이 필요할까?" 이 질문은 수십 년간 인공지능 분야에서 핵심적인 문제였으며, 2024년 말 다시 한 번 전 세계 기술계의 초점이 되었습니다.

인공지능이 이미지 인식, 자연어 처리 등 특정 분야에서 지속적으로 돌파구를 마련하는 동안, 보다 도전적인 목표는 여전히 가까운 듯 멀리 있습니다. 그것은 기계가 유추력을 갖추고, 추상적 개념을 추론하며, 인간처럼 인지 자원을 계획하고 배치하는 능력을 갖추게 하는 것입니다.

이러한 기계 지능의 한계에 대한 지속적인 논쟁 속에서, OpenAI의 최근 출시된 새로운 인공지능 시스템이 이 전통적인 질문에 새로운 변수를 불러일으켰습니다. 샌프란시스코에 본사를 둔 AI 거대 기업인 OpenAI는 9월에 O1이라는 새로운 세대의 대형 언어 모델(LLM)을 발표했습니다. 

그리고 이번 달에는 O3라는 더 강력한 시스템이 개발 중이라는 소식이 전해졌습니다. 이 프로젝트는 "통합 인공지능(AGI)의 전주"라고 불리며 새로운 관심을 끌고 있습니다. 이전 AI 모델들과 비교할 때, O1에서 O3로 이어지는 기술적 경로는 인간의 인지 방식에 더 가까운 운영 메커니즘을 보여주며, 이러한 혁신적인 진전은 우리가 인공지능의 잠재력에 대해 인식하는 방식을 재정의하고 있습니다.

AGI가 실현된다면, 이는 인류에게 전례 없는 혁신을 가져올 수 있습니다. 기후 변화 대응, 팬데믹 방지, 암과 알츠하이머병과 같은 난제를 해결하는 데 큰 기여를 할 수 있습니다. 하지만 이러한 거대한 힘은 불확실성을 동반하며 인류에게 잠재적인 위험을 초래할 수도 있습니다. 캐나다 몬트리올대학교의 심층 학습 연구원인 요슈아 벵지오(Yoshua Bengio)는 "AI의 오용이나 통제를 잃으면 심각한 결과를 초래할 수 있다"고 경고했습니다.

최근 LLM의 혁신적인 발전은 AGI가 곧 도달할 것이라는 추측을 불러일으켰습니다. 그러나 일부 연구자들은 LLM의 구성 및 훈련 방식 때문에 AGI를 실현하기에는 "여전히 몇 가지 핵심적인 부분이 부족하다"고 주장하고 있습니다.

AGI에 대한 논의는 이제 그 어느 때보다 시급하고 중요해졌습니다. "저는 평생 AGI에 대해 이야기하는 사람들이 비정상적이라고 생각했습니다."라고 애리조나주립대학교의 컴퓨터 과학자 수바라오 캄밤파티(Subbarao Kambhampati)는 말합니다. "하지만 이제 모든 사람들이 그것에 대해 이야기하고 있습니다. 이제는 누구도 '비정상적'이라고 할 수 없습니다."

AGI 논의의 전환

"통합 인공지능(AGI)"라는 용어는 2007년 AI 연구자 벤 거르첼(Ben Goertzel)과 카시오 페나친(Cassio Pennachin)이 동명의 책 제목으로 처음 등장시켰습니다. AGI의 정확한 정의는 여전히 명확하지 않지만, 일반적으로 인간처럼 추론하고 일반화하는 능력을 갖춘 AI 시스템을 의미합니다. 인공지능 발전 역사에서 대부분의 사람들은 AGI가 여전히 실현되지 않은 목표라고 생각해왔습니다. 예를 들어, 구글 DeepMind가 개발한 AlphaGo 프로그램은 바둑을 두기 위해 설계되었으며, 최고 수준의 인간 바둑 기사들을 이겼지만, 그 능력은 오직 바둑에만 한정되었습니다.

하지만 LLM의 새로운 능력은 이 상황을 완전히 변화시키고 있습니다. 인간의 뇌처럼, LLM은 다양한 능력을 가지고 있으며, 이는 일부 연구자들이 AGI의 형태가 곧 도달하거나 이미 존재할 수 있다고 진지하게 고려하게 만들고 있습니다.

연구자들이 LLM이 이 목표를 어떻게 달성하는지에 대해 부분적으로만 이해하고 있다는 점을 고려하면, 그 능력의 범위는 더욱 놀라울 수 있습니다. LLM은 인간 뇌에서 영감을 받은 신경망으로, 계층적으로 배열된 인공 신경세포(또는 계산 단위)로 구성되어 있습니다. 이들 층 간의 연결 강도는 조정 가능한 파라미터로 표시됩니다. 훈련 중, 강력한 LLM(예: O1, Claude(Anthropic에서 개발), 구글의 Gemini)은 "다음 단어 예측(next token prediction)"이라는 방법에 의존합니다. 이 방법에서는 모델이 텍스트 샘플을 반복하여 입력받고, 마지막 단어를 숨기거나 "마스크"하고 그것을 예측하도록 요구됩니다. 그런 다음 훈련 알고리즘은 예측값과 마스크된 단어를 비교하고, 모델 파라미터를 조정하여 더 나은 예측을 할 수 있도록 합니다.

이 과정은 반복적으로 이루어지며, 수십억 개의 대화 조각, 과학적 텍스트, 프로그래밍 코드 등을 사용하여 모델이 숨겨진 단어를 신뢰성 있게 예측할 수 있게 됩니다. 이후 모델 파라미터는 훈련 데이터의 통계적 구조와 포함된 지식을 포착하며, 고정된 후 새로운 질문이나 "프롬프트"에 대해 예측을 생성하는 데 사용됩니다. 이러한 방식은 LLM이 언어를 인간처럼 해석하는 듯한 방식으로 작동하게 만듭니다.

이러한 방식은 다양한 응용 분야에서 현저한 성과를 거두었습니다. 예를 들어 자연어로 설명된 문제를 해결하기 위해 컴퓨터 프로그램을 생성하거나, 학술 기사를 요약하고 수학 문제를 푸는 등의 작업에서 성공을 거두었습니다.

LLM의 한계

O1은 "CoT(chain of thought)"라는 새로운 방법을 도입해 AGI에 근접할 가능성을 보입니다. 이 방법은 복잡한 문제를 더 작은 단계로 분해하여 해결하는 방식으로, 작은 LLM에서는 효과가 미미하지만 O1과 같은 대형 모델에서는 그 효과가 두드러집니다.

하지만 O1도 여전히 AGI 기준에는 미치지 못한다고 전문가들은 보고 있습니다. Kambhampati는 O1이 최대 16단계까지는 잘 작동하지만, 20~40단계에 이르는 계획에서는 성능이 급격히 떨어진다고 밝혔습니다.

Vafa는 "이 지도에는 물리적으로 불가능한 거리 방향과 다른 도로를 가로지르는 고가도로가 포함되어 있다"고 지적했습니다. 연구자들이 테스트 데이터를 조정하여 훈련 데이터에 나타나지 않은 예상치 못한 우회로를 추가했을 때, 모델은 다음 회전 방향을 예측하지 못했으며, 이는 모델이 새로운 상황에 적응하는 능력이 약하다는 것을 보여줍니다.

피드백의 중요성

구글 딥마인드의 AGI 연구팀 멤버인 Dileep George는 현재의 LLM이 중요한 특성인 내부 피드백을 결여하고 있다고 지적했습니다. 인간의 뇌는 방대한 피드백 연결을 가지고 있어 정보가 신경세포 계층 간에 양방향으로 흐를 수 있게 합니다. 이 메커니즘은 감각 정보가 뇌의 고위 계층으로 흐르며 환경을 반영하는 세계 모델을 생성하게 합니다. 동시에 세계 모델에서 나온 정보는 아래로 전파되어 추가적인 감각 정보를 얻도록 이끕니다. 이 양방향 과정은 지각에 매우 중요하며, 뇌는 세계 모델을 이용해 감각 입력의 잠재적 원인을 추론합니다. 또한, 이 과정은 계획을 지원하며, 세계 모델을 사용하여 다양한 행동 계획을 시뮬레이션하는 데 사용됩니다.

하지만 현재의 LLM은 피드백을 추가적인 방식으로만 사용할 수 있습니다. 예를 들어, O1에서는 내부 CoT 프롬프트 메커니즘이 쿼리 응답을 돕고 최종 답변을 생성하기 전에 이를 LLM에 다시 피드백합니다. 그러나 Chollet의 테스트에서 보여준 바와 같이, 이 메커니즘은 추상적 추론 능력의 신뢰성을 보장하지 않습니다.

Kambhampati 등 연구자들은 LLM에 검증기라는 외부 모듈을 추가하려고 시도했습니다. 이 모듈은 특정 맥락에서 LLM이 생성한 답변을 확인하며, 예를 들어 여행 계획의 실행 가능성을 검증합니다. 만약 답변이 충분하지 않으면, 검증기는 LLM에 쿼리를 다시 실행하라고 요구합니다. Kambhampati의 팀은 외부 검증기가 포함된 LLM이 여행 계획을 생성할 때 일반 LLM보다 뛰어난 성과를 보였지만, 연구자들은 각 작업에 대해 전용 검증기를 설계해야 한다고 밝혔습니다. "보편적인 검증기는 없다"고 Kambhampati는 지적했습니다. 이에 비해 AGI 시스템은 인간처럼 새로운 작업에서 올바른 추론을 보장하기 위해 추상적인 규칙을 이용하는 것처럼 다양한 상황에 적응할 수 있도록 자체적으로 검증기를 구축해야 할 필요가 있을 수 있습니다.

이러한 아이디어를 바탕으로 새로운 AI 시스템을 개발하는 연구는 아직 초기 단계에 있습니다. 예를 들어, Bengio는 현재의 Transformer 기반 모델과는 다른 AI 시스템을 구축하는 방법을 탐구하고 있습니다. 그는 "생성적 흐름 네트워크(generative flow networks)"라는 방법을 제안했으며, 이는 하나의 AI 시스템이 세계 모델을 구축하고 이를 사용하여 추론과 계획을 수행할 수 있도록 설계되었습니다.

LLM이 직면한 또 다른 중요한 장애물은 그들의 데이터 요구량입니다. 런던 대학의 이론 신경과학자 Karl Friston은 미래의 AI 시스템이 환경에서 데이터를 얼마나 샘플링할지 자율적으로 결정함으로써 효율성을 향상시킬 수 있다고 제안했으며, 이는 단순히 모든 사용 가능한 데이터를 수집하는 방식이 아닙니다. 그는 이러한 자율성이 AGI에 필수적일 수 있다고 생각합니다. "현재의 대형 언어 모델이나 생성형 AI에서는 이러한 진정한 자율성이 존재하지 않습니다. 만약 AI가 일정 수준의 자율적 선택을 할 수 있다면, 그것이 AGI로 가는 중요한 단계가 될 것이라고 생각합니다."