In conversation | Geoffrey Hinton and Joel Hellermark - YouTube

1. 2011년 이전 일리야와 한 작업에서 복잡한 데이터 맵, HTML 문자 예측을 하는 프로젝트를 했었다.
일리야는 규모와 데이터의 중요성을 인식하고 한 달은 걸릴 것 같은 문제를 하루 아침에 해결했고 놀랍도록 잘 작동했다.

2. 일리야는 가장 큰 변화는 알고리즘 뿐만 아니라 규모에도 있다는 직감을 아주 일찍 깨달았다.
일리야는 항상 더 크게 만들면 더 잘 작동할 것이라고 설교했다.

3. 힌튼 교수는 항상 그것이 다소 성급하다고 생각했었다. 하지만 일리야가 기본적으로 옳았다는 것이 밝혀졌다.
여러분도 일리야처럼 새로운 아이디어가 있어야한다.

4. 그 당시만 해도 컴퓨터가 10억 배나 빨라질 것이라고 상상도 못했다. 100배 더 빨라질 것이라 생각했다.
더 큰 규모의 데이터와 연산 능력이 있었다면 저절로 해결되었을 일을 기발한 아이디어로 해결하려 했다.

5. 예를 들어보자 "퇴비 더미가 왜 원자 폭탄과 같냐고 GPT-4에게 묻는다면?" 대부분의 사람들은 대답할 수 없는 질문이다.
대부분의 사람들은 이러한 질문을 생각하지 못했다. 하지만 GPT-4는 바로 알려줄 것이다.
에너지 스케일과 시간 스케일 모두 매우 다르지만 퇴비 더미가 뜨거워지면 열이 더 빨리 발생한다는 점은 동일하다
그리고 원자 폭탄이 더 많은 중성자를 생성하면 할수록 더 빨리 생성한다. 그래서 연쇄 반응이라는 아이디어를 얻게 된다

6. 이러한 이해를 바탕으로 모든 정보를 가중치로 압축한다. 바로 여기서 창의력을 발휘할 수 있다. 겉으로 보기에 매우 다른 것들
사이의 이러한 공통점을 찾아낼 것이다. 그래서 나는 GPT-4가 더 커지면 매우 창의적인 모델이 될 거라고 생각한다.
학습한 텍스트를 되풀이하는 것뿐이고 붙여넣기만 한다는 것은 완전히 잘못된 생각이다. 사람보다 훨씬 더 창의적일 것이다.
지금까지 인류가 발전시켜온 지식을 반복하는 데 그칠 것이라고 주장할 수도 있지만 그 이상으로 발전할 수도 있다.
이것은 아직 우리가 보지 못한 부분이라 생각한다.

7. 이세돌과 알파고의 대국에서 모든 전문가들이 알파고의 실수라고 생각했던 수가 훌륭한 한 수였다는 걸 깨달았다.
제한된 영역 내에서 창의력을 발휘한 예이고 이러한 일이 더 커지면 더 많은 것을 보게 될 것이다.


24-05-17 인터뷰로 5분 분량 일부 요약하여 올림. 영상이 45분이니 궁금한 사람은 직접 보는 걸 추천