몇년 간 인공지능 모델의 장기적인 일관성 개선될듯

존 슐먼

모델은 5년 안에 상당히 개선될 것입니다.

존 슐먼

1~2년 후에도 모델이 지금보다 훨씬 더 많은 관련 작업을 수행할 수 있다는 것을 알게 될 것입니다. 예를 들어, 함수를 작성하는 방법에 대한 한 가지 제안을 제공하는 대신 모델이 전체 코딩 프로젝트를 수행하도록 하는 것을 상상할 수 있습니다. 코딩할 내용에 대한 높은 수준의 지침을 받아 모델이 스스로 나가서 파일을 작성하고 테스트하여 출력물을 보는 것을 상상할 수 있습니다. 그것은 심지어 약간 반복될 수도 있습니다. 훨씬 더 복잡한 작업입니다.

(중략)

AGI가 만약 내년 혹은 2~3년후에 달성된다면 개발 및 배포의 일시중지를 고려할것같다.

존 슐만

AGI가 예상보다 빨리 온다면 확실히 조심해야 할 것입니다. 안전하게 대처할 수 있다는 확신이 들 때까지 교육과 배포 속도를 조금 늦추고 싶을 수도 있습니다. 우리는 그것이 무엇을 할 것이고 무엇을 할 수 있는지에 대해 꽤 잘 알고 있어야 할 것입니다. 예상보다 빨리 발생한다면 매우 조심해야 할 것입니다. 저희의 이해는 아직 여러 면에서 초보적인 수준입니다.

드와르케시 파텔(진행자)

조심한다는 것은 무엇을 의미하나요? 이미 조심하고 계시겠죠? 배포하기 전에 이러한 평가를 수행하시죠?

존 슐만

더 똑똑한 버전을 훈련시키지 않거나 훈련할 때 정말 조심해야 한다는 뜻일 수도 있습니다. 샌드박스가 제대로 적용되었는지 등 모든 것을 확인할 수 있습니다. 대규모로 배포하지 않거나 배포 규모에 신중을 기해야 한다는 의미일 수도 있습니다.

드와르케시 파텔

시나리오를 예로 들어보겠습니다. AGI는 내년에 발생합니다. 더 똑똑한 시스템을 훈련하는 것이 아니라 어느 정도 측정된 방식으로 배포하는 것이죠. 아마도 이 개발은 OpenAI에만 국한되지 않을 것입니다. AGI는 예상보다 훨씬 더 쉬운 것으로 판명되었고, 그래서 그렇게 된 것입니다. 그래서 배포를 조금 기다렸습니다. 이제 다른 회사들도 비슷한 수준의 역량을 갖추게 되었습니다. 그 다음에는 어떻게 될까요? 배포를 기다리는 동안 여러분은 무엇을 기다리고 있을까요? 이 시나리오에서 모든 회사는 무엇을 하고 있을까요?

존 슐만

게임 이론은 생각하기 조금 어렵습니다. 우선, 내년에 이런 일이 일어날 것 같지는 않지만 대화를 나누는 것은 여전히 유용합니다. 대신 2년이나 3년이 될 수도 있습니다.

드와르케시 파텔

2년이나 3년은 여전히 빠르죠.

존 슐만

아직 멀었습니다. 조율이 필요할 것 같습니다. 배포 또는 추가 교육에 대한 합리적인 한도에 대해 모두가 동의해야 합니다. 그렇지 않으면 모두가 항상 앞서 나가려고 하는 경쟁의 역학 관계에 놓이게 되고, 안전을 희생해야 할 수도 있습니다. 이런 종류의 훈련을 실시하는 대규모 단체들 간의 조율이 필요할 것입니다.

드와르케시 파텔

정확히 언제까지 배포를 일시 중지하도록 조율한다는 건가요? 모델에서 무슨 일이 일어나고 있는지 파악할 때까지요?

존 슐만

추가 훈련을 일시 중지할 수 있습니다. 배포를 일시 중지할 수 있습니다. 더 위험할 수 있는 특정 유형의 훈련을 피할 수 있습니다. 이러한 상황을 제한하기 위해 모든 사람이 해야 할 일에 대한 합리적인 규칙을 설정할 것입니다.

드와르케시 파텔

어디까지 제한한다는 건가요? 언젠가는 이 지능에 내재된 잠재적 에너지가 발휘될 것입니다. 2년 후에 우리가 AGI를 얻게 된다고 가정해봅시다. 지금 모두가 겁에 질려 있을 겁니다. 인공지능 회사들은 멈췄어요. 우리는 언제까지 기다릴 계획일까요?

존 슐만

저도 좋은 대답이 없습니다. 그렇게 조율할 수 있다면 꽤 좋은 시나리오가 될 것입니다. 이러한 모델을 구축하는 데는 많은 자본이 필요하고 복잡한 부분이 많습니다. 모든 사람이 집에서 이걸 재현할 수 있는 것도 아니니까요.

대규모 모델을 훈련할 수 있는 기관의 수가 상대적으로 적다는 점을 감안하면 조율하는 것이 가능할 것 같습니다. 이 균형을 어떻게 오랫동안 유지할 수 있을지는 모르겠지만, 그 시점에 도달하면 괜찮은 위치에 있을 것이라고 생각합니다.

(중략)

존 슐만

이전 시스템보다 점진적으로 더 스마트한 시스템을 구축할 수 있다면 더 안전할 것입니다. 모든 사람이 조율하고, 잠그고, 안전하게 해제해야 하는 시나리오가 아니었으면 좋겠습니다. 그렇게 되면 잠재적 에너지가 크게 축적될 수 있습니다.

저는 오히려 우리 모두가 이전보다 조금 더 나은 것들을 지속적으로 출시하는 시나리오를 원합니다. 이렇게 하면 기능 향상에 상응하는 안전성과 일관성이 향상될 것이라는 확신을 가지게 될 것입니다. 상황이 조금 무섭게 보이기 시작하면 속도를 늦출 수 있을 것입니다. 그것이 제가 바라는 바입니다.

불연속적인 도약이 더 많다면 "지금 가지고 있는 것이 안전한지 어떻게 알 수 있는가"라는 문제가 있습니다. 일반적인 답변을 드릴 수는 없습니다. 그러나 이를 더 수용하기 위해 할 수 있는 일의 유형은 모의 배포를 테스트하고 일종의 레드 팀을 구성하는 것입니다. 실제 환경에서 계획하는 것보다 실패할 가능성이 훨씬 더 높은 방식으로 테스트하는 것이 좋습니다.

배포된 시스템에 문제가 발생하기 시작하면 즉시 감지할 수 있도록 모니터링 시스템을 잘 갖춰야 합니다. 배포된 AI를 감시하고, 그들이 하는 일을 지켜보며, 문제의 징후를 찾는 무언가가 있을 수도 있습니다.

심층적인 방어가 필요할 것입니다. "모델 자체는 모든 면에서 흠잡을 데 없이 도덕적으로 잘 작동하는 것 같다"와 "어떤 종류의 심각한 오용에도 매우 강하다는 확신이 든다"의 조합을 원할 것입니다. 또한 예기치 못한 문제를 감지할 수 있도록 모니터링 기능이 매우 우수해야 합니다.

존 슐만

이런 종류의 훈련을 할 때 잠재적으로 무서운 능력을 많이 볼 수 있다면 매우 조심해야 할 것입니다. 지금은 모델들이 일관된 행동을 하기가 어렵기 때문에 지금은 두려워할 필요가 없다고 말하고 싶습니다.

만약 모델이 정말 잘하기 시작한다면, 우리는 이러한 질문 중 일부를 진지하게 받아들이고 싶을 것입니다. 주로 모델의 정렬을 위해 잘못된 동작을 테스트하는 많은 평가를 하고 싶을 것입니다. 모델이 우리에게 등을 돌리지 않는지 확인하고 싶을 것입니다. 또한 기능의 불연속적인 점프를 찾아볼 수도 있습니다. 모델의 기능에 대한 많은 평가가 있어야 합니다.

또한 훈련하는 대상이 무엇이든 모델이 등을 돌릴 이유가 없는지도 확인해야 합니다. 그게 가장 어려운 일은 아닌 것 같습니다. RLHF로 훈련하는 방식은 모델이 매우 똑똑함에도 불구하고 매우 안전하다고 느껴집니다. 모델은 그저 사람에게 기분 좋은 메시지를 전달하려고 노력할 뿐입니다. 자신이 생산한 텍스트가 승인되었는지 여부 외에는 다른 어떤 것도 신경 쓰지 않습니다.

물론 모델이 도구를 사용하여 긴 일련의 작업을 수행해야 하는 작업을 수행하는 경우라면 최종 결과를 생성하는 과정에서 인간에게는 이해되지 않는 엉뚱한 일을 많이 하려는 동기가 있을 수 있습니다. 하지만 최종 결과물을 매우 높은 품질로 만들어내는 것 외에는 다른 일을 할 유인이 없을 것입니다.

도구적 융합에 대한 오래된 지적 중 하나는 모델이 세상을 장악하여 마지막에 멋진 코드를 생성하기를 원한다는 것입니다. 플라스크 앱을 작성해 달라고 요청하면 "그래, 우선 세상을 장악해야겠어"라는 식이죠. 앱 코딩과 같이 상당히 잘 지정된 작업의 경우 왜 먼저 세상을 정복하고 싶은지 상상하기 어렵습니다. 물론 '돈을 버는 것'과 같은 과제를 부여했다면 그 목표를 수단으로 삼아 사악한 행동을 할 수도 있겠죠.

GPT-4는 2022년 8월에 훈련을 마쳤으며, 그 후의 개선은 대부분 사후 교육 덕분이다.

존 슐먼

사실, GPT-4는 그 해 8월에 훈련을 마쳤습니다. 오픈에서의 대표적인 RL 노력AI는 생산에 배포되는 모델이었기 때문에 노력의 지침이었습니다. GPT-4의 첫 번째 미세 조정은 전체 스택을 사용했습니다. 그 모델들은 정말 좋았고 모두가 GPT-4의 미세 조정을 보고 매우 흥분했습니다.

드와르케시 파텔

현재 GPT-4의 Elo 점수는 처음 출시되었을 때보다 100점 정도 더 높습니다. 이 모든 것이 사후 훈련으로 인한 개선 사항 때문인가요?

존 슐만

네, 대부분 사후 교육 덕분입니다. 개선에는 여러 가지 별도의 축이 있습니다.

데이터 품질과 데이터 양을 고려합니다. 새로운 데이터를 배포하고 수집하는 전체 프로세스를 더 많이 반복하는 것뿐입니다. 수집하는 주석의 종류도 변경하고 있습니다. 많은 것들이 쌓여 있지만, 이 모든 것이 합쳐지면 효과적인 컴퓨팅 증가를 가져옵니다.

(중략)

드와르케시 파텔

정말 흥미롭네요. 마지막 질문입니다. 인공지능이 업무를 대체하는 데 걸리는 평균 시간은 어느 정도인가요?

존 슐만

제 직업을 대체한다고요? 5년 정도요.

드와르케시 파텔

곧요. 흥미롭네요. 존, 정말 흥미로웠어요. 시간 내주셔서 정말 감사합니다. AI 프로세스에서 매우 중요하지만 사람들이 잘 이해하지 못하는 부분 중 하나인 것 같습니다. 이에 대해 자세히 알아보고 의견을 들어보니 매우 흥미로웠습니다.

https://www.dwarkeshpatel.com/p/john-schulman?initial_medium=video

John Schulman (OpenAI Cofounder) - Reasoning, RLHF, & Plan for 2027 AGI

Watch now | Chatted with John Schulman (cofounded OpenAI and led ChatGPT creation) on: How post-training tames the shoggoth & enabled GPT-4o AI coworkers in 1-2 years The plan if AGI comes in 2025 Reasoning traces, long horizon RL, & multimodal agents Plateaus & moats

www.dwarkeshpatel.com