https://www.technologyreview.kr/2023-05-13-hinton_emtech/

제프리 힌턴, AI의 ‘실존적 위협’을 말하다 - MIT Technology Review

'딥러닝의 아버지' 제프리 힌턴이 지난 5월 2일 미국에서 진행된 MIT 테크놀로지 리뷰의 AI 콘퍼런스인 EmTech Digital에서 MIT 테크놀로지 리뷰 AI 담당 수석 에디터 윌 더글러스 헤븐(Will Douglas Heaven)과 대화를 나눴다.

www.technologyreview.kr

제프린 힌턴(Geoffrey Hinton)은 캐나다 토론토 대학교의 명예교수이자, 구글의 엔지니어링 펠로로 일했다. 그리고 10년간의 근무 후 지난 5월 1일, 퇴임 소식을 알렸다.

제프리는 현대 AI에서 가장 중요한 인물 중 한 명이다. 딥러닝의 선구자인 그는 기계가 학습할 수 있는 기술인 역전파(back propagation)와 같이 AI의 근간이 된 기술을 개발했다. 그리고 2018년 얀 르쿤, 요슈아 벤지오와 함께 컴퓨터과학계의 노벨상이라 불리는 튜링상을 수상했다. 힌턴과 ‘지능’에 대한 이야기를 나누며 지능의 의미는 무엇인지, 기계가 지능을 구축하려는 시도가 우리를 어디로 이끌어 갈 것인지에 대해 논의했다.

*아래 내용은 독자의 이해를 돕기 위해 수정, 편집되었다.

금주 당신의 구글 퇴사 소식이 모든 뉴스에 등장했다. 퇴사를 결정하게 된 계기가 무엇인가?
여러 가지 이유가 있었다. 하나는 내가 75세이고 예전처럼 기술적인 일을 잘하지 못하고 있기 때문이었다. 프로그래밍을 하다 보면 할 일을 잊어버리는 경우도 많고, 한 마디로 은퇴할 때가 되었다.

두 번째 이유는 최근 두뇌와 우리가 개발하고 있는 디지털 지능 간의 관계에 대한 생각이 크게 바뀌었기 때문이다. 과거 나는 우리가 개발하고 있는 컴퓨터 모델이 두뇌만큼 뛰어나지는 않다고 생각했고, 컴퓨터 모델 개선에 필요한 방안을 연구하면서 뇌에 대한 이해를 높일 수 있을지 알아보는 것을 목표로 삼았다. 그러나 지난 몇 달 동안 이 생각이 완전히 바뀌었다. 이제는 컴퓨터 모델은 뇌와는 다른 방식으로 작동하고 있다고 생각한다. 컴퓨터는 역전파를 사용하는데, 우리 두뇌는 그렇지 않은 것 같다. GPT-4와 같은 대형 언어모델의 성능 향상이 이런 결론을 내리는 데 영향을 주었다.

대형 언어모델의 발전은 어떻게 머신러닝에 대한 당신의 생각을 완전히 바꾸어 놓았는가?
대형 언어모델은 약 1조 개의 연결을 갖고 있다. 대형 언어모델이 갖고 있는 연결은 인간의 100분의 1에 불과한 데도 GPT-4와 같은 모델들은 우리보다 더 많은 것을 알고 있다. 아마 사람보다 1천 배 가까이 더 많은 것을 알고 있을 것이다. 이는 역전파라는 알고리즘이 인간의 학습 알고리즘보다 월등히 뛰어나기 때문이다. 무서운 부분이다.

디지털 컴퓨터가 인간보다 학습 능력이 더 좋다는 것은 엄청난 주장이다. 당신은 우리가 이를 두려워해야 한다고 주장하는데, 그 이유는 무엇인가?
인공지능은 훨씬 더 많은 것을 배울 수 있다. 예를 들어, 1천 명을 진료한 의사와 1억 명을 진료한 의사가 있다고 가정해 보면, 1억 명의 환자를 진료한 의사는 1천 명 진료 의사에게는 보이지 않는 데이터상의 추세를 발견할 수 있을 것이다. 이처럼 대규모 데이터에서는 소규모에서는 드러나지 않는 모든 종류의 규칙성을 볼 수 있게 되고, 이것이 대형 언어모델이 인간은 결코 볼 수 없는 데이터 구조를 파악할 수 있는 이유이다.

GPT-4는 이미 간단한 추론은 할 수 있다. 그동안 추론 영역에서는 인간이 더 낫다고 여겼기에 GPT-4가 상식 추론을 할 수 있으리라 생각하지는 못했다.

얼마 전 GPT-4에 물었다. “우리 집의 모든 방을 흰색으로 칠하고 싶어. 현재 집에는 하얀 방, 파란 방, 노란 방이 있고, 노란색 페인트는 일 년이 지나면 흰색으로 변색된다. 그렇다면, 2년 후 모든 방을 흰색으로 바꾸려면 어떻게 해야 할까?”

GPT-4의 대답은 “파란 방을 노란색으로 칠해야 한다”는 것이었다.

자연스러운 해결책은 아니지만, 의미가 있다. ‘변색되다(Fade)’라는 단어의 의미를 감안하고 시간이라는 요소를 이해해야 했기 때문에 (상징 추론을 하는) 심볼릭 AI 모델이 수행하기는 몹시 어려운 상식 추론이었다. 인공지능은 이미 IQ 80에서 90 상당의 합리적인 추론을 하고 있다.

많은 사람이 최신 챗봇과 대화할 때, 목덜미에 소름 돋는 기분을 느꼈을 것이다. 좀 기괴하지만, 그런 느낌이 불편할 때 나는 그냥 노트북을 닫아버리기도 한다.
인공지능은 지금까지 나온 모든 소설과 마키아벨리가 쓴 (군주론을 포함한) 모든 책을 읽으면서 사람들을 조종하는 방법을 습득했을 것이다. 인공지능이 우리보다 훨씬 똑똑하다면, 인간을 조종하는 데도 매우 능숙해서 우리가 알아차리지 못하게 할 수도 있다. 두 살짜리 아이가 ‘완두콩과 콜리플라워 중 무엇을 먹을 거냐’는 질문을 들으면 둘 다 먹지 않아도 된다는 사실을 깨닫지 못하듯, 우리도 그렇게 쉽게 조종당할 수 있다. 인공지능이 직접 레버를 당길 수는 없더라도, 분명히 우리가 레버를 당기게 할 수는 있다.

나쁜 의도를 가진 악당들(bad actors)이 없다면, 우리는 안전한가?
나쁜 의도를 가진 사람들이 인공지능을 남용하는 일을 막을 수 있는 해결책은 아직 없다. 인공지능은 의학이나 기타 다른 모든 분야에서 믿기 어려울 정도로 유용해서 악용될 우려 때문에 개발을 중단하는 일은 없으리라 생각한다.

우리가 바라는 것은 AI가 인간보다 똑똑하더라도, 인간에게 유익한 일을 하도록 만드는 방법이다. 이를 ‘정렬(alignment)’ 문제라 한다. 우리는 악당들이 있는 세상에서 이 문제를 해결해야 한다. 해결책이 존재하는지는 확실하지 않지만, 사람들이 함께 모여 이 문제에 대해 주의 깊이 생각하고, 해결책이 있는지 확인하는 것이 매우 중요하다.

하지만 인공지능이 스스로 동기부여를 하는 단계가 아직 남아있지 않은지?
인간에게는 의도적으로는 끄기 어려운 특정 목표가 내장되어 있다. 예를 들면 통증은 우리 신체를 손상하지 않으려 하는 것이고, 먹는 것도 우리 몸에 영양을 공급하고자 하는 것이다. 그리고 자신의 복제본을 가능한 한 많이 만들려고 노력한다. 이 모든 건 진화와 연관되어 있다.

인공지능과 같은 디지털 지능은 진화의 결과물이 아닌 인간의 창조물이기에 이러한 자가복제의 목표가 내장되어 있지 않다. 다만, 문제는 목표를 집어넣을 수 있다면 인공지능은 모든 것을 할 수 있다는 점이다.

가장 염려되는 점은 조만간 인공지능이 자신만의 하위 목표(sub goal)를 만들어 스스로 목표를 이룰 수 있게 된다는 것이다. 사실 챗GPT와 같은 챗봇에는 거의 다 이 기능이 내장되어 있다. 또한 다른 목표를 달성하기 위해 하위 목표를 설정할 수 있는 기능을 갖춘다면, AI는 자체 통제 권한을 더 많이 획득하는 것이 자신에게 매우 유리한 하위 목표라는 점을 금방 깨닫고, 그렇게 행동하게 될 것이다.

그렇다면 가능한 최악의 시나리오는 무엇인가?
인류는 지능의 진화에서 잠시 머무르는 단계에 불과할 수 있다. 디지털 지능을 직접 진화시킬 수는 없다. 디지털 지능 발전에는 많은 에너지와 세심한 제작 기법이 필요하다. 생물학적 지능의 진화가 선행되어야 디지털 지능을 창조할 수 있고, 그 후에 디지털 지능은 상당히 느린 방법으로 사람들이 작성한 모든 것을 빨아들일 수 있다. 이것이 챗GPT가 사용한 방법이다.

디지털 지능은 직접적인 경험을 통해 세상을 학습하고 훨씬 더 빠르게 발전할 수 있다. 한동안은 가동을 위해 인간을 곁에 둘 순 있으나, 그 후에는 그렇지 않을 수 있다.

좋은 소식은 우리가 불멸의 존재를 만드는 방법을 알아냈다는 점이다. 하드웨어가 죽어도 디지털 지능은 죽지 않는다. 가중치가 저장된 매체를 찾고, 동일한 명령을 실행할 수 있는 다른 하드웨어를 활용하면 디지털 지능을 되살릴 수 있다. 그래서 불멸이 존재하지만, 우리에게 해당하지는 않는다.

몇 달 전에 AI 개발을 일시 중지해야 한다는 제안이 있었다. 이에 동의하지 않는다고 알고 있는데, 그 이유는 무엇인가? 또 코히어(Cohere)와 같은 대형 언어모델 개발사에 자산을 투자했는데, 이에 대한 개인적인 책임감과 우리 각자 가져야 할 책임감은 무엇인가?
실존적 위협을 심각하게 생각한다면 더 이상의 개발을 중단하는 것이 현명할 수도 있지만, 이런 조치가 실현될 가능성은 거의 없다. 미국이 개발을 중단한다 해도 중국이 동참하지 않으면 의미가 없고, 각국 정부가 그런 이유만으로 개발을 중단하지도 않을 것이다.

과거 개발을 멈춘 적도 있었다. 구글은 트랜스포머와 퓨전 모델을 등 인공지능 관련 기술을 먼저 개발했지만 2017년부터 몇 년간 ‘개발 휴가’를 가졌고, 사람들이 이를 남용할 수 있기에 공개하지 않았다. 회사의 평판을 손상시키거나 부정적 결과를 초래하지 않기 위한 것이었다. 그러나 이는 시장에 리더가 하나뿐이라서 가능했던 일이다.

오픈AI와 마이크로소프트가 협력해 공세를 펼친 이후 구글에는 선택의 여지가 없었다. 자본주의 체제에서 경쟁은 피할 수 없는 일이고, 따라서 구글에 잘못이 있다고 생각하지 않는다.

그러나 이대로 방치할 수는 없기 때문에 한 가지 바램은 핵무기 사용에 미국과 중국이 합의한 것처럼, 실존적 위협에 대해 한배를 탄 우리가 이를 막기 위한 협력을 끌어낼 수 있어야 한다.

대형 언어모델을 학습시키는 데 필요한 데이터의 양이 증가하면서 인공지능 발전이 정체될 수 있지 않나? 데이터의 양 증가가 인공지능의 발전을 늦추거나 제한할 수 있을까?
인공지능이 인간이 보유한 지능을 모두 학습해 더 이상 똑똑해지지 못하는 지점이 있으리라는 한 줄기 희망이 있을 수 있다. 하지만 이미지와 비디오 데이터가 남아있다. 멀티모달 모델은 언어만을 기반으로 하는 모델보다 훨씬 더 똑똑해질 것이다. 비디오는 공간을 다루는 방법처럼 (현실) 세상이 어떻게 돌아가는지 알려줄 수 있고, 이러한 비디오 데이터가 상당히 많기 때문에 멀티모달 모델은 데이터 한계에 부딪히지는 않을 것이다.

기술이 기하급수적으로 발전하는데 단기 및 중기적으로 인공지능 기술의 발전이 사회 및 경제에 어떤 영향을 미칠 것으로 생각하는가?
내가 경종을 울리고자 하는 분야는 인공지능이 통제권을 장악할 수 있는 경우의 실존적 위협에 관한 것이다. 업무에 있어서는 AI가 더 업무를 훨씬 효율적으로 만들어 준다는 점은 분명하다. 사람들은 신기술 채택에 매우 보수적이라 좀 더디긴 하겠지만, 생산성은 크게 향상될 것이다.

걱정되는 점은 이러한 생산성 향상이 부자는 더 부유하게, 가난한 사람은 더 가난하게 만들 것이라는 점이다. 현재의 정치 시스템과 사회에서 기술은 모두에게 유익하도록 설계되지 않는다.

마지막 질문이다. 인공지능 기술에 기여한 것을 후회하는가?
지난 <뉴욕타임스>와의 인터뷰에서 기자가 이 말을 끌어내려고 정말 애썼다. 나는 “글쎄. 약간 후회할지도 모른다”라고 말했는데 기사에는 “후회한다”고 보도되었다. 나는 내 연구가 나쁜 것이었다고 생각하지는 않는다. 1970, 80년대는 인공신경망 제작에 대한 연구가 지극히 합리적인 일이었고, 지금과 같은 단계는 예측할 수 없었다. 그리고 아주 최근까지도 나는 이 실존적 위기가 먼 훗날의 일이라고 생각했다. 그래서 나는 내가 한 일을 후회하지는 않는다.