질문자 : (잠깐, 요즘 유행하는 주제인 '데이터가 고갈되고 있는 걸까요? 합성 데이터가 필요할까요?'라는 것에 대한 당신의 입장은 무엇인가요?)

하사비스 : 

현재 논쟁은 이러한 대규모 기반 모델이 거의 인터넷 전체를 사용했다는 것과 관련이 있다고 봅니다.

그것들로부터 학습을 시도하고 나면 무엇이 남았을까요? 세상에 있는 언어는 그게 거의 전부입니다.

물론 비디오, 오디오같은 다른 종류의 데이터도 있습니다.

저는 우리가 그런 모든 멀티모달 토큰을 다 소진했다고 보지는 않지만, 그것조차도 어떤 한계에 도달 할 것입니다.

그렇다면 질문은 '합성 데이터를 생성할 수 있는가?'가 됩니다.

그리고 저는 그것이 수학이나 코딩 분야에서 상당한 진전을 보고 있는 이유라고 생각합니다.

왜냐하면 그 영역들에서는 합성 데이터를 생성하기가 꽤 쉽기 때문입니다.

왜냐하면 합성 데이터의 문제는 당신이 올바른 분포, 즉 실제 분포에서 나온 데이터를 만들고 있는가 하는 점이기 때문입니다.

또한 당신이 생성하는 데이터가 정확한가 하는 점이죠.

그리고 수학, 코딩, 그리고 '게임' 같은 경우에는, 새로운 시스템의 훈련 데이터 입력으로 넣기 전에 최종 데이터를 실제로 테스트하고 그것이 정확한지 검증할 수 있습니다.

그래서 특정 영역들은 합성 데이터 생성에 매우 적합합니다.

질문자 : (요즘 Deepmind를 비롯한 모든 주요 연구소는 코딩 어시스턴트 개발에 집중하고 있는데요. 이에 대해 말씀해주세요.)

하사비스 :

저는 우리가 코딩 분야에서 매우 흥미로운 새로운 시대로 접어들고 있다고 생각합니다.

그리고 말씀하신 것처럼, 모든 주요 연구소들이 이 분야를 적극적으로 개척하고 있습니다.

합성 데이터를 만들기 쉽다는 점도 모두가 이 방향으로 나아가는 또 다른 이유죠.

그리고 제 생각에 우리는 앞으로, 최근 Vibe coding이라고 불리는 방향의 세상으로 나아가게 될 겁니다.

기본적으로 정말 자연어로 코딩을 하는거죠.

이런 일은 컴퓨터 역사에서도 본 적이 있습니다.

제가 80년대에 처음 프로그래밍을 시작했을 땐 어셈블리어로 코딩했죠.

물론, 지금 보면 왜 굳이 기계어를 썼을까 싶을 정도로 말도 안되는 일로 보입니다.

C언어로 시작해서, 파이썬 같은 언어가 나왔죠.

정말로, 프로그래밍 언어의 추상화 수준이 점점 더 높아지면서, 이제 이것을 자연스러운 마지막 단계로 볼 수 있습니다.

즉, "글쎄, 그냥 자연어를 쓰면 되지."라는 것이죠.

제 생각에 결국 우리가 도달하게 될 모습이 아마 그것일 겁니다.

여기서 흥미로운 점은, 이것이 창작자들 (디자이너, 게임 디자이너 등)에게 코딩을 더 쉽게 만들어 줄 것이라는 점입니다.

그래서 창의성 측면에서 꽤 흥미로울 거라고 봅니다.

하지만 앞으로 몇 년 동안은 확실히 코더들에게도 매우 좋을 수 있습니다.

왜냐하면 초기에 이 도구들로부터 가장 큰 혜택을 볼 사람들은 바로 그 분야의 전문가들이기 때문이죠.

제 생각에 현재의 전문가들(영화 제작자든, 게임 디자이너든, 코더든)이 이런 새로운 도구들을 받아들일 경우, 그들이 할 수 있는 일의 측면에서 마치 초인적인 능력을 발휘하게 될 일종의 과도기가 있을 겁니다.

요약:

1. 현실 데이터 한계와 합성 데이터의 부상: AI 학습에 사용되는 인터넷 데이터(특히 언어)는 거의 한계에 도달했고 다른 데이터(비디오, 오디오)도 곧 한계에 부딪힐 것이므로, AI 발전을 지속하기 위해 '합성 데이터(Synthetic Data)' 생성이 중요해지고 있습니다.

2. 합성 데이터 생성과 코딩 분야의 발전: 특히 수학, 코딩, 게임처럼 생성된 데이터의 '정확성 검증'이 쉬운 분야에서는 양질의 합성 데이터를 만들기 용이합니다. 이것이 최근 AI 코딩 보조 기술이 빠르게 발전하는 주요 이유 중 하나입니다.

3. 자연어 코딩 시대와 전문가의 역할 변화: 코딩은 점차 자연어로 소통하는 '바이브 코딩(Vibe Coding)' 형태로 진화하여 비전문가(디자이너 등)의 접근성을 높이고 창의성을 촉진할 것입니다. 동시에, 이 새로운 AI 도구를 능숙하게 활용하는 기존 전문가(코더, 디자이너 등)들은 당분간 생산성이 비약적으로 향상되는 '초인적인' 기회를 맞이하게 될 것입니다.