오늘 OpenAI Forum에 공개된

<Thinking Machines & AI Economics: How Reasoning AI Is Rewriting the Future of Work, Science, and Strategy>

라는 제목의 영상 내용 중 발췌한 것입니다.

25년 3월 5일에 녹화된 영상이며, 공개는 어제 되었습니다.

노암 브라운 :

"우리는 9월에 o1 Preview를 발표하고 출시했고, 12월에 o1을 발표하고 출시했으며, o3를 발표했습니다.

경진 프로그래밍, 코드포스에서 o1은 1890점, 즉 89번째 백분위수를 얻었습니다.

o3는 2700점을 얻었는데, 이는 인간 전문 경진 프로그래머 중 상위 0.1%에 해당합니다.

제 생각에는 세계에서 175번째로 뛰어난 경진 프로그래머였던 것 같습니다.

우리는 그 이후로, 샘(Sam)이 강연에서 언급했듯이,

약 한두 달 전에 내부적으로 세계 상위 50위 안에 드는 모델을 보유하게 되었다고 말했습니다.

상위 50위가 아니라, 상위 50위 이내 입니다.

그리고 이 순위는 계속 높아지고 있습니다.

저는 올해 말까지 우리 모델이 경진 프로그래밍에서 초인적인 수준이 될 것이라고 완전히 확신합니다.

이것은 경진 프로그래밍입니다.

다시 말하지만, 역사적으로 인상적인 AI 결과들이 많이 있었습니다.

딥 블루는 1997년에 세계 체스 챔피언 게리 카스파로프를 이기는 AI를 만들었습니다.

그래서 제가 "우리는 초인적인 수준에서 무언가를 하고 있다"고 말할 때, 그 자체는 새로운 것이 아닙니다.

AI 역사상 그런 결과는 많았습니다.

하지만 o3가 특별한 점은 단지 경진 프로그래밍만이 아니라,

'많은 것들'을 정말 인상적으로 수행한다는 것입니다.

실제로 SWE-bench Verified라는 벤치마크가 있는데,

여기에는 실제 코딩 작업이 포함됩니다.

이 벤치마크는 인간이 풀 리퀘스트(pull request)를 제출하기 위해 하는 모든 것을 요구합니다.

o1 Preview는 41%를 얻었습니다.

이것만으로도 이미 최첨단입니다.

o1은 이 벤치마크에서 49%를 얻었습니다.

o3는 72%를 얻습니다.

그러니 아시다시피,

이 모델에는 단지 코딩에만 훈련된 것이 아님에도 불구하고 많은 실제적인 경제적 영향력이 있습니다.

로니가 말했듯이 AI는 매우 빠르게 움직이고 있다는 것을 다시 한번 강조하고 싶습니다.

왜냐하면 AI 분야 사람들을 포함하여 AI에 대한 많은 회의론을 보기 때문입니다.

제 생각에 이러한 비판의 상당 부분은 발전 속도가 너무 빨라서 발생하며,

그들이 결함으로 지적하는 많은 것들이 6개월 전에는 사실이었지만

오늘날에는 더 이상 사실이 아니거나,

앞으로 3개월 또는 6개월 후에는 반드시 사실이 아닐 수도 있다는 점 때문입니다.

예를 들어, 2023년 여름 중반 자연어 처리 학회 기조 강연에서 연사는

어떤 모델도 할 수 없는 예시로 이 프롬프트를 제시했습니다.

"블록 C가 블록 A 위에 있고, 블록 B가 별도로 테이블 위에 있다면,

블록 C를 움직이지 않고 블록 A가 블록 B 위에,

블록 B가 블록 C 위에 있는 블록 더미를 어떻게 만들 수 있는지 말해줄 수 있나요?"

라는 추론 문제입니다.

답은 사실 불가능하다는 것입니다.

기존의 어떤 언어 모델에게 이 질문을 하면 항상 어떤 종류의 답을 환각처럼 만들어내며

"네, 이렇게 하면 됩니다"라고 말했습니다.

정답은 실제로는 불가능하다는 것인데도 말이죠.

이제 우리는 o1이 즉시 이것이 불가능하다는 것을 인식한다는 것을 봅니다.

실제로 이제 GPT-4.5조차도 즉시 이것이 불가능하다는 것을 인식합니다.

그래서 저는 여러분 모두가 이것을 염두에 두시기를 바랍니다.

사람들이 "좋아, 이것은 불가능하다, 언어 모델은 이것을 할 수 없다,

그래서 언어 모델은 큰 사건이 되지 않을 것이다"라고 말할 때,

첫째로, 오늘날 현재로서도 이미 사실이 아닐 수도 있고,

둘째로, 오늘 사실이라 할지라도 3개월 또는 6개월 후에는

반드시 사실이 아닐 수도 있다는 점을 염두에 두십시오."

https://forum.openai.com/public/videos/ai-economics-in-the-forum-2025