GPT-4
Lex Fridman: GPT-4에 대해 여쭤보겠습니다. 질문이 너무 많네요. 우선, 정말 놀랍습니다. 돌이켜보면 GPT-3, 4, 5와 ChatGPT가 역사적 전환점이 될 것 같아요.
Sam Altman: 아마 GPT-5가 전환점이 될지도 모르겠네요. 잘 모르겠어요. 앞을 내다보기는 어려운 일이에요.
Lex Fridman: 우리는 절대 알 수 없겠죠. 미래라는 건 예측하기 어려워서 짜증 나는 점이에요. 하지만 제 생각에 GPT-4와 ChatGPT는 역사적으로 엄청나게 인상 깊어 보입니다. GPT-4와 GPT-4 Turbo에서 가장 인상 깊었던 능력은 무엇인가요?
Sam Altman: 솔직히 좀 구려요.
Lex Fridman: 전형적인 인간의 반응이에요. 놀라운 것에 익숙해져 버렸죠.
Sam Altman: 아뇨, 정말 놀라운 기술이에요. 하지만 우리가 도달해야 할 곳, 도달할 수 있다고 믿는 곳에 비하면 말이죠. GPT-3 당시에는 사람들이 "와, 이건 놀라워. 기술의 경이로움이야"라고 했어요. 맞아요, 그랬죠. 하지만 이제 GPT-4가 나왔고 GPT-3를 보면 "상상할 수 없을 정도로 끔찍하다"고 합니다. GPT-5와 4의 차이가 4와 3의 차이만큼 클 거라 예상해요. 우리의 임무는 몇 년 후의 미래를 살아가면서, 지금 가진 도구들이 되돌아보면 좀 구릴 거란 걸 기억하는 거예요. 그래야 더 나은 미래를 만들 수 있습니다.
Lex Fridman: GPT-4가 구린 가장 영광스러운 점은 뭔가요?
Sam Altman: GPT-4가 가장 잘하는 건 뭘까요?
Lex Fridman: GPT-4가 가장 잘하는 일이 뭐고, 그 한계가 뭐라서 구리다고 말씀하시는 건가요? 그래서 미래에 대한 영감과 희망을 갖게 되나요?
Sam Altman: 요즘 내가 GPT-4를 더 많이 쓰는 건 일종의 브레인스토밍 파트너로서예요.
Lex Fridman: 맞아요, 그 용도로 최고죠.
Sam Altman: 거기에 놀라운 무언가가 보이기 시작해요. 사람들이 GPT-4가 하는 일에 대해 얘기할 때 "코딩을 더 생산적으로 할 수 있게 해줘. 글을 더 빠르고 잘 쓸 수 있게 해줘. 이 언어에서 저 언어로 번역하는 걸 도와줘"라는 식으로 말하죠. 하지만 창의적인 브레인스토밍 파트너로서의 모습, "이 것의 이름을 짓는 데 도움이 필요해. 이 문제를 다른 관점에서 생각해봐야겠어. 여기서 뭘 해야 할지 모르겠어"와 같은 모습에서 앞으로 더 보고 싶은 무언가를 엿볼 수 있어요.
(00:47:03) 또 다른 작은 감흥을 주는 건, 장기적인 작업을 도울 때예요. 무언가를 여러 단계로 나누고, 그 중 일부를 실행하고, 인터넷을 검색하고, 코드를 작성하고, 뭐든 간에 그걸 함께 모아내는 거죠. 잘 작동하지는 않지만, 가끔 그럴 때면 아주 마법 같아요.
Lex Fridman: 인간과의 반복적인 소통은 저한테 많이 통하던데요. 무슨 뜻이에요?
Sam Altman: 인간과의 반복적 소통은 더 자주 통하죠. 혼자서 10단계짜리 문제를 풀어낼 수 있을 때 말이에요.
Lex Fridman: 오.
Sam Altman: 그건 자주 되진 않아요. 가끔씩요.
Lex Fridman: 여러 추상화 계층을 더하는 건가요, 아니면 그냥 순차적으로 하는 건가요?
Sam Altman: 둘 다요. 문제를 나누고 서로 다른 추상화 계층에서 일을 한 뒤 합치는 거죠. GPT-4의 성과를 과소평가하고 싶진 않아요. 하지만 과대평가하고 싶지도 않고요. 우리가 지수적 성장 곡선에 있다는 점, 곧 GPT-3를 지금 보는 것처럼 GPT-4를 돌아보게 될 거라는 점을 기억해야 해요.
Lex Fridman: 그렇긴 해도 ChatGPT는 사람들이 믿기 시작하는 전환점이 된 것 같아요. OpenAI 내부가 아니라 밖에서 말이에요.
Sam Altman: 맞아요.
Lex Fridman: 아마 여기엔 믿는 사람들이 있겠지만, 당신이 생각하기에는...
Sam Altman: 그런 면에서는 전 세계 사람들이 믿지 않던 데서 믿기 시작한 순간이 될 거예요. 그건 ChatGPT 인터페이스에 대한 얘기였고요. 인터페이스와 제품이라는 말엔 모델 사후 훈련과 사용자에게 도움이 되도록 조율하는 방법, 사용 방법 같은 것도 포함돼요. 근본 모델 자체보다는요.
Lex Fridman: 그 각각이 얼마나 중요할까요? 기반 모델과 RLHF 같이 모델을 사람에게 더 매력적이고 효과적이며 생산적으로 만드는 조율 말이에요.
Sam Altman: 둘 다 엄청 중요하죠. 하지만 RLHF, 사후 훈련 단계, 기반 모델 위에 덧붙이는 작은 포장지들은 엄청난 작업량에도 불구하고 컴퓨팅 관점에서는 작은 부분이에요. 그래도 정말 중요해요. 우리가 그 주위에 만드는 제품은 말할 것도 없고요. 어떤 면에서 우리는 두 가지를 해내야 했어요. 기반 기술을 발명하고, 사람들이 좋아할 제품으로 만드는 법을 알아내야 했죠. 제품 작업 자체에 대한 것뿐만 아니라 모델을 어떻게 정렬하고 유용하게 만드는지에 대한 것이기도 해요.
Lex Fridman: 많은 사람이 동시에 쓸 수 있게 규모를 키우는 것 같은 거 말이죠.
Sam Altman: 맞아요. 하지만 그건 어려운 일이 될 거란 걸 알고 있었어요. 규모를 키워야 한다는 건 알고 있었죠. 우리는 전에 아무도 해내지 못한 두 가지를 해내야 했어요. 둘 다 상당한 성과라고 봅니다. 그리고 규모를 키우는 것처럼 다른 회사들이 해냈던 많은 일들도요.
Lex Fridman: GPT-3에서 GPT-4로 넘어갈 때 문맥 윈도우를 8K 토큰에서 128K 토큰으로 늘린 것은 GPT-4 Turbo와 비교하면 어떤가요?
Sam Altman: 대부분의 사람들은 보통 128까지 모두 필요하지 않아요. 먼 미래, 정말 먼 미래를 꿈꾼다면 문맥 길이가 수십억이 될 거예요. 모든 정보, 시간이 지나며 쌓인 모든 기록을 집어넣을 수 있을 거고 당신을 점점 더 잘 알게 될 거예요. 그건 정말 멋질 거예요. 하지만 지금은 사람들이 그렇게 모델을 쓰지 않아요. 가끔 논문이나 코드 저장소의 상당 부분을 올리기도 하지만 대부분의 경우 긴 문맥을 많이 쓰진 않죠.
Lex Fridman: 당신의 "꿈이 있습니다" 연설이 마음에 드네요. 언젠가는 우리가 인생 전체의 맥락을 다 담아 평가받게 될 거라는 거죠. 흥미롭습니다. 그게 당신이 바라는 확장의 일부인가요? 점점 더 넓어지는 맥락 말이에요.
Sam Altman: 한번은 인터넷에서 클립을 봤는데, 숫자는 좀 틀릴지 모르겠지만 빌 게이츠가 초기 컴퓨터의 메모리 용량에 대해 얘기하는 거였어요. 아마 64K였던 것 같아요. 640K일 수도 있고요. 대부분이 스크린 버퍼에 쓰였죠. 그냥 진심으로 들리지 않았어요. 언젠가 세상에 기가바이트나 테라바이트 단위의 메모리가 필요할 거라곤 상상도 못 했던 거죠. 하지만 우리는 항상 기술의 지수적 성장을 좇아가요. 더 나은 기술을 어떻게 쓸지 알아내게 되죠. 지금 당장은 문맥 길이가 언젠가 수십억까지 늘어날 거라는 걸 상상하기 어려워요. 꼭 그렇게 되진 않을 수도 있지만 그렇게 느껴질 거예요. 하지만 우리가 그걸 쓰게 될 거란 건 알아요. 그리고 한번 써보면 돌아가고 싶지 않을 걸요.
Lex Fridman: 맞아요. 10년 뒤엔 수십억이라는 말조차 멍청해 보일 수 있어요. 수조 단위가 될 테니까요.
Sam Altman: 그렇죠.
Lex Fridman: 문맥이 사실상 무한해지는 돌파구가 어딘가에 있겠죠. 하지만 120퍼센트 솔직하게 제가 그 정도로 밀어붙여 본 적은 없어요. 아마 책 전체나 일부, 논문 같은 걸 넣어본 적은 있겠죠. GPT-4를 쓴 흥미로운 사례가 있나요?
Sam Altman: 제가 가장 흥미롭게 생각하는 건 특정 사례가 아니에요. 물론 그것들에 대해 얘기할 순 있겠지만요. 주로 젊은 사람들이지만, GPT-4를 모든 종류의 지식 작업에서 기본으로 시작하는 사람들이 있어요. 꽤 많은 일을 제법 잘해내는 게 중요해요. GPT-4를 사용해서 코드를 짜는 걸 도울 수 있고, 검색을 돕는 데 쓸 수 있고, 논문을 편집하는 데 쓸 수 있죠. 저한텐 그냥 자기 작업 흐름의 시작점으로 GPT-4를 쓰는 사람들이 가장 흥미롭더라고요.
Lex Fridman: 저도 많은 일에 그렇게 사용해요. 책을 읽을 때 독서 파트너로 써요. 생각을 정리하는 데 도움이 돼요. 특히 고전 책들은 잘 씌어졌잖아요. 잘 알려진 주제에 대해서는 GPT-4가 위키피디아보다 훨씬 나은 것 같아요. 어떤 면에선 더 균형 잡히고 뉘앙스가 살아있어요. 제 느낌일 수도 있지만, 위키피디아 글보다 더 깊이 생각하게 만들어요. 정확히 뭔지는 모르겠어요.
(00:53:22) 협업에 대해 말씀하셨잖아요. 마법이 어디 있는지 모르겠어요. 여기 있는 건지, 저기 있는 건지, 그 사이 어딘가에 있는 건지. 모르겠어요. 하지만 GPT-4로 지식 작업을 시작할 때 걱정되는 건, 보통 사실 확인을 해야 한다는 거예요. 가짜 정보를 만들어내지 않았는지 확인하는 거죠. GPT-4가 납득할 만한 가짜를 만들어낼 수 있다는 걸 어떻게 알아내셨나요? 어떻게 진실에 기반을 두게 하나요?
Sam Altman: 그건 당연히 우리가 굉장한 관심을 갖고 있는 분야예요. 곧 나올 버전에서는 많이 나아질 거라고 생각해요. 하지만 계속 작업해야 할 부분이고, 올해 안에 다 해결하진 못할 거예요.
Lex Fridman: 무서운 건, GPT-4가 나아질수록 사실 확인을 점점 더 안 하게 될 거라는 점이에요. 맞죠?
Sam Altman: 그건 양면이 있다고 봅니다. 사람들은 우리가 생각하는 것보다 훨씬 정교한 기술 사용자라고 봐요.
Lex Fridman: 물론이죠.
Sam Altman: 그리고 사람들은 GPT-4나 이런 모델들이 가끔씩 헛소리를 한다는 걸 정말 잘 이해하는 것 같아요. 중요한 일이라면 반드시 확인해야 하죠.
Lex Fridman: 기자들은 그걸 잘 모르는 것 같아요. 기자들이 GPT-4를 적당히 쓰는 걸 봤거든요. 좀...
Sam Altman: 제가 기자들에 대해 까고 싶은 긴 목록 중에서 이건 최우선 비판 대상은 아니에요.
Lex Fridman: 글쎄요, 더 큰 비판은 아마도 기자로서의 압박감과 동기 부여가 아닐까요? 엄청 빨리 일해야 하고 GPT-4가 지름길이 되는 거죠. 우리 사회가 이런 걸 장려했으면 좋겠어요...
Sam Altman: 저도 그러면 좋겠네요.
Lex Fridman: 며칠, 몇 주씩 걸리는 심층 저널리즘에 보상을 주고 장려하는 거요. 비판하면서도 칭찬하는 균형 잡힌 방식으로 기사를 쓰는 저널리즘 말이에요. 비판이 클릭을 유도하고 거짓말을 지어내는 것도 클릭을 유도하고 제목은 완전히 잘못 묘사하잖아요. "그 모든 드라마가 클릭을 많이 모았겠죠"라며 기자들을 깎아내리는 사람들이 많을 거예요.
Sam Altman: 그랬겠죠.
GPT-5
Lex Fridman: GPT-5는 언제 출시될 예정인가요?
Sam Altman: 잘 모르겠어요. 솔직히 말하자면요.
Lex Fridman: 아, 그게 솔직한 대답이군요. 올해라면 눈을 두 번 깜빡여 주세요.
Sam Altman: 올해 안에 엄청난 새 모델을 출시할 것입니다. 뭐라고 부를지는 모르겠지만요.
Lex Fridman: 그럼 이 질문으로 가보죠. 이걸 어떻게 내놓을까요?
Sam Altman: 앞으로 몇 달 안에 여러 가지 다른 것들을 내놓을 겁니다. 정말 멋질 거예요. GPT-5라고 부를지, 다른 이름을 붙일지, 기대했던 것보다 조금 나을지 조금 못할지 모르겠지만, 그 전에 먼저 내놓아야 할 중요한 것들이 많다고 봅니다.
Lex Fridman: GPT-5에 기대해야 할 게 뭔지 모르겠어요. 긴장되면서도 흥분되네요. GPT-5 개발의 가장 큰 도전과제와 걸림돌은 뭘까요? 컴퓨팅 파워 때문인가요? 기술적인 문제인가요?
Sam Altman: 항상 이 모든 것들이 함께 작용하죠. 무엇이 한 가지 큰 돌파구일까요? 더 큰 컴퓨터? 새로운 비밀 무기? 아니면 다른 것? 이 모든 것이 함께 작용합니다. OpenAI가 정말 잘하는 일은... 사실 Ilya가 했던 말인데 내가 좀 망칠 것 같지만, "우리는 중간 크기의 것 200개를 곱해서 하나의 거대한 것으로 만든다"는 식으로 말했어요.
Lex Fridman: 그럼 분산된 지속적 혁신이 이뤄지고 있는 거네요?
Sam Altman: 네.
Lex Fridman: 기술적인 면에서도요?
Sam Altman: 특히 기술적인 면에서 그래요.
Lex Fridman: 세부적인 접근 방식에서도요?
Sam Altman: 네.
Lex Fridman: 서로 다른 팀들이 어떻게 협력하나요? 어떻게 중간 크기의 것들이 하나의 거대한 Transformer가 되나요?
Sam Altman: 전체를 하나로 모으는 걸 생각해야 하는 사람들이 몇 명 있지만, 대부분의 사람들은 큰 그림을 머릿속에 그리려고 노력해요.
Lex Fridman: 아, 개별 팀과 개인들이 큰 그림을 염두에 두려고 하는군요?
Sam Altman: 대략적으로는 그래요. 물론 모든 조각이 어떻게 작동하는지 정확히 알 순 없죠. 하지만 내가 일반적으로 믿는 건, 때로는 전체 지도를 내다보는 게 도움이 된다는 거예요. 기술적 문제에서든, 비즈니스 혁신에서든 마찬가지라고 봐요. 놀라운 방식으로 결합되는 것들이 있는데, 대부분의 시간을 한 영역에서 허우적거리며 보내더라도 그 전체 그림을 이해하고 있으면 놀라운 통찰을 얻을 수 있어요. 사실 내가 예전에 가지고 있었고 매우 가치 있었던 건, 기술 업계의 모든 혹은 대부분의 프론티어에 대한 좋은 지도였어요. 그래서 가끔 이런 연결고리나 새로운 가능성을 볼 수 있었죠. 한 영역에만 깊이 파고들었다면 모든 데이터를 갖고 있지 않아서 그런 아이디어를 낼 수 없었을 거예요. 하지만 지금은 그런 게 별로 없어요. 요즘은 엄청 깊이 파고들거든요. 하지만 그게 가치 있다는 건 알아요.
Lex Fridman: 예전의 Sam이 아니시군요.
Sam Altman: 지금 하는 일이 예전에 했던 일과는 아주 달라요.
번외: 일리야 수츠케버
Sam Altman: 아니요.
Lex Fridman: 그럼 그냥 비밀 시설은요?
Sam Altman: 아니요.
Lex Fridman: 핵 비밀이 아닌 시설은요?
Sam Altman: 둘 다 아니에요. 그것도 아니고요.
Lex Fridman: 이것도 밈이 되겠는걸요. Ilya를 오랫동안 알고 지냈죠. 그는 분명 이사회 드라마의 한 부분이었어요. 지금 그와의 관계는 어떤가요?
Sam Altman: 저는 Ilya를 사랑해요. 그를 엄청나게 존경하죠. 그의 계획에 대해선 지금 제가 말할 수 있는 게 없어요. 그건 그에게 직접 물어봐야 할 것 같네요. 하지만 제가 일하는 동안은 꼭 함께 일했으면 좋겠어요. 그는 저보다 조금 어리니까요. 아마 저보다 조금 더 오래 일하겠죠.
Lex Fridman: Ilya가 뭔가를 봤다는 밈이 있어요. AGI를 봤는데 그게 그에게 큰 걱정을 안겨줬다는 거죠. Ilya는 뭘 본 걸까요?
Sam Altman: Ilya는 AGI를 보지 않았어요. 우리 중 아무도 AGI를 본 적 없죠. 우리는 AGI를 만들지 않았어요. 제가 Ilya에 대해 정말 사랑하는 점 중 하나는 그가 AGI와 안전 문제, 특히 이것이 사회에 미칠 영향 같은 것들을 매우 진지하게 받아들인다는 거예요. 우리가 계속 큰 진전을 이루면서 지난 몇 년간 제가 Ilya와 가장 많은 시간을 보낸 건 이게 무엇을 의미하는지, 우리가 제대로 하기 위해 무엇을 해야 하는지, 사명을 성공시키기 위해 무엇을 해야 하는지에 대해 이야기하는 거였어요. Ilya는 AGI를 보지 않았지만 이걸 제대로 해내기 위해 얼마나 고민하고 노력하는지 보면 인류에게 신용이 될 만한 사람이에요.
Lex Fridman: 예전에 그와 많은 대화를 나눴어요. 기술에 대해 얘기할 때 그는 항상 장기적 사고를 하더라고요. 1년 후를 생각하는 게 아니라 10년 후를 생각하죠. 근본적인 것에서부터 생각해요. "이게 확장된다면 기본적으로 뭘까? 이게 어디로 가는 걸까?" 하는 식으로요. 그래서 그것이 모든 다른 안전 문제를 생각하는 토대가 되는 거죠. 그 점이 그와 얘기하는 걸 정말 흥미롭게 만들어요. 그가 조용했던 이유를 짐작할 수 있나요? 영혼을 찾는 중인가요?
Sam Altman: 다시 말하지만 제가 Ilya를 대신해 말하고 싶진 않아요. 그건 직접 물어보는 게 좋겠어요. 그는 분명 사려 깊은 사람이에요. Ilya는 항상 정말 좋은 방식으로 영혼을 찾아 헤매는 것 같아요.
Lex Fridman: 맞아요. 그는 침묵의 힘도 인정하죠. 그리고 그가 실없는 사람일 수도 있다고 들었는데 전 그런 모습은 본 적이 없어요.
Sam Altman: 그럴 때 되게 귀여워요.
Lex Fridman: Ilya가 실없는 모습은 본 적이 없는데 그것도 기대돼요.
Sam Altman: 최근에 그와 저녁 파티에 갔는데 강아지랑 놀면서 엄청 실없는 기분이 들더라고요. 되게 사랑스러웠어요. 그 때 생각했죠. '세상이 보통 보는 Ilya의 모습이 이게 아닌데' 하고요.
Lex Fridman: 이 모든 사건을 마무리 짓자면, 이사회 구조에 대해 좋게 생각하나요?
Sam Altman: 네.
Lex Fridman: 이 모든 일과 앞으로 나아가는 방향에 대해서요.
Sam Altman: 새 이사회에 대해 아주 좋게 생각해요. OpenAI의 구조와 관련해서는 이사회의 과제 중 하나가 어떻게 하면 더 견고하게 만들 수 있을지 살펴보는 거예요. 우선 새 이사진을 구성하고 싶었지만 이 과정에서 확실히 구조에 대한 교훈을 얻었어요. 제가 딱히 깊은 말씀을 드릴 건 없는 것 같아요. 미친 듯이 고통스러운 경험이었죠. 이상한 일의 완벽한 폭풍이었어요. 이해관계가 점점 더 커지면서 앞으로 벌어질 일에 대한 예고편 같았어요. 견고한 거버넌스 구조와 프로세스, 사람들이 필요하다는 걸 깨달았죠. 지금 이런 일이 일어나서 다행이에요. 그래도 충격적으로 고통스러웠어요.
다 읽어볼사람은 읽어봐라
조금만 잘라다가 선동 하는 놈들한테 들이미는 분탕 방지 목적으로 만들었음
가장 중요한 부분들은 굵게 해놨음
읽어보면 GPT-5가 꽤 괜찮게 나올거라는걸 알 수 있을거임
아쉬운건 빠른 시일내에 뭔가 출시할 가능성이 낮아졌다는 정도
근데 또 모름 몇달안에 여러개 출시한다고 했지만 그게 내일이 아니라곤 안했으니까
댓글 영역
획득법
① NFT 발행
작성한 게시물을 NFT로 발행하면 일주일 동안 사용할 수 있습니다. (최초 1회)
② NFT 구매
다른 이용자의 NFT를 구매하면 한 달 동안 사용할 수 있습니다. (구매 시마다 갱신)
사용법
디시콘에서지갑연결시 바로 사용 가능합니다.