테드 창의 2023년 2월 뉴욕 타임즈 투고문으로

현재까지 LLM의 한계점과 미래의 해줄 수 있는 역할

정도에 관한 글이 있었습니다.

https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web

ChatGPT Is a Blurry JPEG of the Web

OpenAI’s chatbot offers paraphrases, whereas Google offers quotes. Which do we prefer?

www.newyorker.com

(테드 창은 브라운대학교 컴퓨터 과학과 출신으로

마이크로소프트 퇴사 이후 SF작가로 활동하는

현 세대 자타공인 최고의 SF작가입니다.

개인적으로는 <우리가 해야 할 일>, <바빌론의 탑> 등

몇 작품을 재밌게 읽었습니다.

애초에 단편작가 치고 작품 수도 많지 않습니다.)

전문은 아래와 같습니다.

===================================

「ChatGPT는 인터넷의 흐릿한 버전일 뿐」

2013년, 독일의 건축 회사의 직원들은 회사의 제록스 복사기에 문제가 있음을 발견했다. 어느 집의 바닥 도면을 복사했을 때, 원본과는 미묘한 차이가 나지만 분명히 다르게 출력되었기 때문이다. 원래의 도면에서 방의 크기는 직사각형 안에 표기되어 있었는데, 각각 14.13, 21.11, 17.42㎡였으나 복사된 출력물에서는 모든 방의 크기가 14.13㎡로 표기되어있던 것이다. 사측은 컴퓨터 과학자 데이비드 크리셀을 통해 이 사안을 조사하였다. 지금은 1960년과는 다르게 정전복사(xerographic process)를 진행하지 않기 때문이다. 현재의 복사기는 문서를 디지털화해서 읽고, 해당 디지털화된 파일을 통해 이미지를 출력함으로써 진행된다. 모든 디지털 파일은 공간 확보를 위해 압축된다는 것을 고려했을 때 문제가 어디 있는지 밝혀지기 시작했다.

파일의 압축은 크게 두 가지로 진행된다: 1) 더 작은 크기가 되도록 파일을 인코딩하고 2) 인코딩한 것을 반대로 돌리는 디코딩. 만약 저장된 파일이 원본과 완벽히 같다면 이 과정은 어떤 정보도 버려지지 않은 '무손실'로 표현된다. 반면에 만들어진 파일이 원본과 유사하다면 이 과정은 어떤 정보들이 복구가 될 수 없는 '손실'되었다고 표현한다. 무손실 압축은 주로 컴퓨터 문서 등에서 나타나는데, 한 글자만 틀려도_치명적일 수 있기 때문이다. 손실 압축은 사진, 오디오, 영상, 그리고 완벽히 온전한 상태가 필요 없는 경우에서 사용된다. 대부분의 경우에선 우리는 사진, 노래, 영화가 완벽히 같은지 아닌지 알 수 없으니까. 이러한 파일들에서 차이를 보려면 파일이 굉장히 많은 정도로 압축되어야 하는데, 이렇게 될 경우 JPEG나 MPEG의 파일이 흐려보이고, MP3 파일의 경우 잡음이 들리게 된다.

제록스 복사기들은 흑백 이미지에서 사용되는 JBIG2라는 손실 압축을 사용했다. 공간 사용을 최소화하기 위해서 복사기는 비슷한 부분을 기억해뒀다가 계속해서 사용하는 방법으로 작동한다. 결국 문제는 복사기가 비슷한 영역을 동일하게 사용해도 좋다고 판단하여(14.13) 도면에 계속해서 표기했기 때문에 발생했던 것이다.

복사기가 손실 압축을 사용해서 문제를 발생시키는 것은 아무래도 괜찮다. 문제는 복사기가 출력물의 내용을 미묘하게 바꾼다는 것인데, 일단 한 번 복사되어 출력되었을 땐 즉시 알아차리기 어렵다는 점이다. 만약 복사기가 그저 화질구지의 출력물을 만들어낸다면 모든 사람이 해당 출력물이 원본과 다르다는 점을 알아차렸을 것이다. 문제는 해당 복사기가 읽을 수는 있지만 틀린 숫자를 출력한 것으로, 얼핏 보았을 땐 맞지만 사실은 틀린 정보를 표기하여 출력했다는 것이다.

내 생각엔 해당 제록스 복사기의 모습이 오늘날의 ChatGPT와 다른 비슷한 프로그램에서 보이는 모습과 비슷하다고 생각한다. 복사기와 LLM의 유사점은 뚜렷하게 보이지 않을지도 모르겠다. 하지만 예를 들어 다음과 같은 상황을 가정하자:

이제는 더 이상 인터넷을 쓸 수 없는 세상이 와버릴지도 모르겠다. 따라서 당신은 인터넷의 모든 내용을 압축해서 복사해놓으려고 한다. 하지만 당신에겐 전체 인터넷이 사용하고 있던 서버의 1퍼센트만 사용할 수 있을 뿐이다 - 따라서 무손실 압축은 불가능하다. 대신에 당신은 데이터 손실을 유발하는 알고리즘을 짜서 텍스트의 통계적인 규칙성을 찾아 특정한 파일 포맷으로 이를 저장하려고 한다. 당신에겐 무한정의 가상 컴퓨팅 능력이 있으므로 당신의 알고리즘은 이러한 규칙성을 찾을 수 있을 것이고, 결국 1/100의 크기로 이를 압축하는 방법을 발견해냈다.

이제는 인터넷 없는 세상이 그 정도로 끔찍하지는 않다. 당신에겐 인터넷에 있는 모든 정보가 있으니까. 유일한 문제는 압축이 대단히 큰 정도로 진행되었기 때문에 당신이 찾고자 하는 내용을 완벽하게 정확히 찾을 수는 없다는 점이다. 글자 그대로를 저장한 것이 아니니까. 이러한 문제를 해결하기 위해서 당신은 질문을 던졌을 때 서버가 이를 처리해서 응답해주는 방식으로 답변을 받아내는 시스템을 개발해냈다.

ChatGPT나 다른 LLM은 위와 같은 방식으로 동작할 것이다. ChatGPT를 화질구지 버전의 JPEG라고 생각해볼 때, ChatGPT는 인터넷의 많은 정보를 담고 있지만 JPEG 원본의 비트값 나열을 살펴보려고 하다면 이를 알아내는 것은 불가능하듯이 ChatGPT 또한 마찬가지이다. 한편 ChatGPT는 문법적으로 온전한 답변을 내놓기에(심지어 잘 한다) ChatGPT의 대답은 보통 그럴싸하다. 당신은 화질구지 JPEG를 보고 있는 것이지만 살짝의 화질 저하가 그림을 이해하는 데에는 문제를 일으키지는 않는다.

이러한 비유가 ChatGPT가 인터넷의 정보를 다른 단어로 뱉어내면서 작동하는 기능만을 설명하려는 것은 아니다. 이를 통해 이해할 수 있는 또다른 부분은 "헛소리(Hallucination)"로, ChatGPT에게서 종종 듣는 말도 안되거나 팩트가 부족한 답변 등이다. 이러한 헛소리는 압축하는 과정에서 발생한 결과물이지만(제록스 복사기가 출력한 잘못된 면적과 같이) 이러한 정보가 맞는지 틀린지 확인하기 위해선 원본(인터넷이나 우리가 살고 있는 세상)과 비교해야 할 만큼 충분히 그럴싸하게 들린다. 이러한 이해를 통해 헛소리는 굉장히 불편 요소라는 것을 볼 수 있는데, 99%의 정보가 없어진 상황에서 1%만 가지고 어떠한 정보를 작성해냈다면 우리는 이러한 정보가 완전히 조작된 것임을 알고는 있어야 한다.

손실 압축 알고리즘에서 주로 사용되는 방법이 '보간법'이라는 것을 생각해보았을 때 알고리즘에 대한 위의 비유는 더욱 정확해진다. 보간법은 비어있는 곳의 정보를 예상해서 채워넣는 것이다. 이미지를 띄워주는 프로그램이 압축 과정에서 없어진 픽셀값을 만들어서 띄워줘야 한다면 프로그램은 주변 픽셀을 본 다음에 평균값을 계산해서 이를 채워넣는다. ChatGPT 또한 이러한 방식으로 설명하도록 디자인되었으며, 독립선언문의 문체로 건조기에서 양말을 잃어버린 상황을 묘사하라는 명령을 줄 때 수행하는 작업이다. 즉 '문자 사이의 공간'에서 공간을 구성하는 두 점을 확인하고 이 위치에 채워 넣을 텍스트를 생성하는 일이다(세계 만방에 고하야 위생물을 각자의 위치에 놓을 것을 천명하며 차로써 민족의 청결함을 영유케 하노라...). ChatGPT는 이러한 보간 작업을 정말 잘 하고 사람들은 이러한 과정을 보는 것을 즐거워 한다: 사진 대신에 글 덩어리에 블러 처리를 하면서 이를 즐기는 것이다.

-------------------------------------

ChatGPT와 같은 LLM들이 AI기술의 정점이라고 극찬을 받으면서, 이것을 단순히 손실 문자 압축 알고리즘이라고 말하는 것은 조금 아니꼽게 들릴지 모르겠다. 내 생각엔 이러한 관점은 LLM에 인격을 부여하려는 과정에 필요한 교정 작업을 제공해줄 것이라고 생각하는데, 압축 비유와 관련하여 추가적으로 생각해볼만한 다른 관점이 있다. 2006년에 AI연구자 마커스 허터는 <인간 지식 압축 대회>라는 현금 보상을 주는 대회를 열어서 1기가바이트 위키피디아 페이지를 이전 우승자보다 더 작게 만들었을 경우 상장을 주는 방식으로 대회를 진행했다. 당신은 아마도 .zip 포맷 같은 것을 생각했을지도 모르겠으나 .zip 포맷은 1기가바이트 파일을 300메가바이트로 줄일 수 있을 뿐인 반면에 이 대회의 수상자는 150메가바이트 정도로 압축하여 상금을 받을 수 있었다. 이 대회는 단순히 크기를 줄이는 데에 의의를 두는 것이 아닌, 허터의 신념대로 강인공지능을 만드려는 데에 필요한 엄청난 양의 지식과 문서를 압축하여 이에 기여하는 데에도 의미가 있는 것이다.

압축과 이해에 대해 감을 잡자면, 다음과 같은 예시를 상상해보자: 당신에겐 100만 개 정도 되는 예시의 사칙연산 계산으로 이루어진 텍스트 파일이 있다. 물론 모든 압축 알고리즘을 통해 이 파일의 크기를 줄일 수 있겠지만, 이 파일의 크기를 줄이는 가장 좋은 방법은 이 텍스트 파일 내용에서 규칙을 찾고 계산기 프로그램을 돌리게 하는 과정일 것이다. 계산기를 사용해서 100만개에 달하는 연산을 계산하고 나중에 다른 내용을 추가해도 될 테니까. 이러한 과정은 위키피디아 페이지를 압축하는 데에도 필요하다. 만약에 압축 프로그램이 에너지의 총량이 '질량과 가속도의 곱'이라는 사실을 알고 있다면 위키피디아 상의 많은 내용에서 이러한 내용이 반복해서 나올 것이므로 동일한 내용을 버려도 괜찮을 것이다. 마찬가지로 프로그램이 수요공급곡선에 대해 알고 있다면 경제학의 많은 분량에서 관련 내용을 버려도 괜찮을 것이다.

LLM은 텍스트에서 규칙성을 찾고자 한다. 텍스트에서 어떤 분석을 했든 "공급이 적어요"라는 문구를 보았다면 "가격이 높아요"와 가까운 거리에 있다는 것을 볼 수 있을 것이다. 그래서 어떤 챗봇에게 "공급이 적다"라는 것과 관련된 질문을 던질 경우 "가격이 높아져요"와 같은 답변을 받을 수 있을 것이다. LLM이 이러한 수많은 경제학적 용어를 모았다면(그리고 이것들을 질문했을 때 답변을 그럴싸하게 얻을 수 있다면) 우리는 LLM이 경제학 이론을 이해했다고 보아도 무방할까? ChatGPT와 같은 모델이 허터의 압축 대회와 같은 곳에서 우승할 수 없는 데에는 다양한 이유가 있지만 가장 중요한 이유는 ChatGPT는 원래의 글 덩어리를 완벽하게 재현해낼 수 없기 때문이다(글자 그대로 옮기는 게 아니라면). 그렇다면 이러한 알고리즘의 손실 압축이 그럼에도 불구하고 많은 AI 연구자들이 눈독들이는 "진짜 이해"를 한다고 말할 수 있는 것일까?

계산 예시로 돌아가보자. 만약 GPT-3에게 몇 가지의 더하기 빼기를 물어본다면 아마 정확하게 대답할 것이다. 두 자리 숫자까지는. 하지만 점점 더 자릿수를 높여갈수록 정확도는 떨어지고, 다섯 자리만 가도 정확도는 10%로 떨어지게 된다. GPT-3가 내놓는 대답 중에 정확한 대답은 인터넷에 없을 것이기 때문에(245+821을 다룬 웹 페이지가 얼마나 되겠는가) GPT-3는 단순히 기억한 것을 뱉어내는 작동방식을 가지진 않을 것이다. 하지만 반대로 얘기해서 지금까지 사람들은 GPT-3에 그토록 많은 양의 정보를 주입했음에도 GPT-3는 수학의 기본 중에서 사칙 연산의 기본도 파악하지 못했다. 이와 비슷한 예시로 GPT-3는 "1" 올림을 이해하지 못하는 것인데(원문 - carrying the 1: 4 + 7이 "10" + 1과 같이 올림되는 경우) 수많은 인터넷 페이지에서 이것과 관련해 다루고 있음에도 GPT-3는 이 개념을 받아들이지 못한다. GPT-3가 통계적으로 알아낸 것은 진짜 세계의 것들을 추상적인 추정만 할 뿐이지, 이보다 앞서서 무엇인가를 하지는 않는다.

GPT-3가 초딩만도 못한 수학실력을 가진 것을 보면서, 어떻게 이 프로그램이 대학교 과제 수준 작문을 한다고 설명할 수 있는 것일까? LLM이 가끔 헛소리를 내뱉긴 하지만 경제학에 관해서 말하라고 하면 그럴싸한 무언가를 내놓는다. 아마도 사칙연산은 특별한 경우라 LLM이 못하는 것일 수도 있다. 혹은 나아가 사칙연산이 아닌 (말에서의)통계적인 규칙이 진짜 세상과 연관되어 있는 것 아닐까?

아마도 조금 더 쉽게 설명할 수 있을 것 같다. 만얀 ChatGPT가 무손실 알고리즘이었다고 가정하자. 그렇다면 GPT는 인터넷에 나와있는 그대로 대답할 것이다. 그렇다면 우리는 "검색엔진보단 좀 낫네요"라고 말할 뿐, 깊은 인상을 받을 순 없었을 것이다. ChatGPT가 인터넷에 있는 것을 보고 글을 쓰는 것은 학생이 앵무새처럼 어떤 표현을 기억했다가 뱉어내는 것이 아닌 공부해서 말을 표현하는 것과 비슷하기에 우리는 ChatGPT가 무언가를 이해했다고 잘못 이해한 것이다. 인간 학생에게는 단순 암기해서 기억하는 것이 진짜 배웠다고 말하기 어렵듯이 ChatGPT의 인터넷에 있는 내용을 그대로 말해내라고 하는 것이 불가능한 것도 어쩌면 ChatGPT가 무엇인가를 배웠다고 생각헤끔 한다. 어떤 단어들의 나열을 볼 때, 손실 압축은 무손실 압축보다 더 똑똑하게 보이는 것이다.

----------------------------------

LLM을 사용하기 위한 다양한 논의들이 제기되어 왔다. LLM이 화질구지 JPEG라는 것을 고려한다면 뭘 잘 하고 뭘 잘 못 할 지 평가는 해볼 수 있을 것 같은데, 몇 가지 예시를 한 번 살펴보자.

LLM이 기존의 검색 엔진을 대체할 수 있을까? 적어도 두 가지는 확실한데, LLM은 거짓 선동과 음모론에 잠식당하지는 않을 것이라는 사실이다(적어도 올바른 정보를 투입했다는 전제 하에). 그러나 LLM이 우리가 원하는 정보를 가지고 있다고 하더라도 이들이 가지고 있는 것은 흐릿한 정보다. 흐릿한 정보라고 할지라도 같은 말을 다른 단어를 통해 설명한 것이라면 받아들일 수는 있다. 한편 창조의 영역에 있는 흐릿한 정보들이 있는데, 사실을 찾아보아야 할 때에 받아들여져선 안 되는 정보일 것이다. 흐릿함의 영역 속에서 받아들여질 수 있는 것만을 유지한 채 받아들일 수 없는 것을 제거할 수 있는지는 불분명하지만, 아마도 가까운 미래에는 알 수 있을 것이다.

만약 LLM이 사실을 창조하는 것을 하지 않을 수 있다고 하더라도, 우리는 LLM을 인터넷 정보를 만드는 데에 사용해도 괜찮을까? 아마도 인터넷에 이미 있는 정보를 다시 만들어내는 것이 우리의 목표라면 괜찮을지도 모르겠다. 이미 일부 회사들은 이를 위해서 존재한다(Content mill). 아마 LLM의 흐릿함은 그런 웹 페이지에게 유용할 지도 모른다. 저작권 같은 문제도 있으니까. 그래도 일반적으로 이야기하자면 내 생각엔 그러한 회사가 사람들이 정보를 찾을 때 유용하다고 말하기엔 조금 그렇다고 본다. 이런 종류의 같은 정보를 다시 만들어내는 것은 우리가 인터넷에서 뭘 찾는 것인지 알기 모르게끔 만들면서, LLM이 인터넷에 있는 정보들을 사용할수록 인터넷은 점점 더 흐릿한 자신의 모습이 될 뿐이다.

ChatGPT, GPT-4의 후속작에 대한 많은 정보가 알려져있지는 않다. 그래도 하나 유추해보자면: 우리가 GPT-4를 만들기 위해 사용한 텍스트들이 늘어날수록 OpenAI의 직원들은 어떤 것이 자신들의 LLM이나 다른 LLM에 의해 만들어졌는지 확인하고 이를 제거하기 위해 고생해야 할 것이다. 이것이 만약 사실이면 LLM이 손실 압축과 비슷하다는 것을 스스로 인정하는 꼴이 된다. 계속해서 JPEG파일을 다시 저장하는 것은 더 많은 압축 요소를 의미하는데 한 번 실행할 때마다 정보들이 손실되기 때문이다. 예전에 복사물을 다시 복사하던 것과 비슷한 모습이라고 할 수 있다. 이미지는 점점 더 흐려질 뿐.

다시 말해, 생성된 텍스트를 새로운 모델의 교육 자료로 사용하려는 기업의 의지를 통해 LLM의 품질을 가늠해 볼 수도 있다. 출력한 결과물이 GPT-4에 투입하기에 부적절하다면 그 결과물은 우리가 보기에도 부적합한 것일 것이기 때문이다. 바꿔 말해, 어느 LLM이 생성한 텍스트가 너무 좋아서 새롭게 만드려는 LLM의 훈련에 사용한다면, 아마 우리에게도 충분히 괜찮아 보일만한 텍스트일 것이다. (내 생각엔 기술 발전이 엄청난 정도로 진행되어야 이러한 모습이 가능해질 것 같다) 만약 출력물이 입력물로 쓰일만큼 좋은 결과물을 만들어 낸다면, 앞서 이야기한 손실 압축과 같은 모습은 더 이상 적용하기 어려울 것이다.

LLM이 인간의 독창적인 글쓰기를 도와줄 수 있을까? 대답하기에 앞서 이 질문이 의미하는 바가 무엇인지 생각해 볼 필요가 있다. 예술 장르 중에 제록스 예술(Xerox art)라는 장르가 있는데, 복사기를 사용하는 예술로 복사기의 특징을 이용해 예술 작품 생산을 위한 도구로 사용하는 것이다. 만약 복사기를 ChatGPT에 대입한다면 앞선 질문의 대답은 "Yes"가 될 것이다. 하지만 나는 그 아무도 복사기가 예술품 생산에 있어 중요한 역할을 담당한다고 보진 않는다고 생각한다. 예술품 창작을 위한 생각의 과정에선 복사기가 사용하지 않고, 복사기를 사용하지 않는 것이 창의적인 생각의 과정을 방해하는 것 또한 아니기 때문이다.

제록스 예술은 아무래도 넣어두자. LLM이 생성한 텍스트는 독창적인 글의 시작을 함에 있어서 유용한 도구가 될 수 있을까(픽션이든 논픽션이든)? LLM이 업계 표준이 되어서 작가들에게 독창성을 담당하는 부분에 집중할 수 있도록 도와줄까?

물론, 어떤 사람도 작가들을 대변해 말 할 수는 없겠지만, 나는 독창성이 없는 텍스트의 흐릿한 버전이 창의성을 요구하는 독창성이 필요한 작업의 시작을 함에 있어서 좋지 않다고 말하고 싶다. 만약 당신이 작가라면, 처음에는 독창적이지 않은 다양한 글을 쓰면서 독창성을 요하는 글을 준비할 것이다. 하지만 그렇다고 독창성 없는 글을 쓰는 시간이 버려지는 것은 아니다, 오히려 독창성을 요구하는 작품을 만드는 데에 많은 도움을 준다고 생각한다. 몇 시간동안 올바른 단어의 선택을 고민하며 문장들을 교정해나가는 것은 당신의 글이 어떻게 의미를 전달할 지 결정하는 시간들이다. 학생들에게 에세이를 쓰라고 하는 것은 글감에 대해서 감을 잡으라는 것이 아니라, 학생들 스스로 자신의 생각을 설명해보라고 있는 시간이다. 학생들이 우리가 모두 읽어본 것을 바탕으로 에세이를 쓸 필요가 없었다면, 학생들은 우리가 읽어보지 못할 글을 쓸 능력을 가지지 못하게 될지도 모른다.

학생 신분에서 벗어나선 LLM을 통해서 글을 쓸 수는 있다. 졸업한다고 글 쓸 때 스스로 씨름했던 여러 생각들이 사라지는 것은 아니니까(글을 쓸 때마다 이전 번 생각들이 자리를 잡고 있을지도 모른다). 가끔은 당신이 알게 된 사실에 대한 당신만의 생각을 적을 때도 있다. 누군가는 LLM이 작성한 내용이 사람이 쓴 것과 크게 다르지 않다고 생각하지만, 다시 말하건데 이는 추상적인 닮음에 불과할 뿐이다. 당신의 첫 글은 독창성이 배제된 상태에서 정보 전달이 깔끔하게 되는 글이 아니다 - 독창성을 띄는 글이 전달력이 떨어질 뿐이다. 그리고 스스로 글이 말하고자 하는 것과 당신이 말하고자 하는 것의 거리감에 의해 도대체 뭐가 문제인지 감을 못 잡은 상태일 뿐이다. 따라서 글을 다시 쓰는 과정에서 이러한 문제를 해결하면서 글이 완성되는데, 텍스트를 만들어내는 AI에게 가장 부족한 부분이기도 하다.

글을 씀에 있어서 마법이나 신묘한 계책같은 것은 없지만, 이미 있는 문서를 복사기 위에 얹고 프린트 버튼을 누르는 것보다는 복잡하다. 미래에는 아마도 AI가 스스로 세상에 대해 느끼는 작문을 해낼 지도 모르겠다. 그 날은 정말로 기념비적일 것이다 - 우리가 생각하기엔 언제 올지 모르겠지만서도. 그동안 우리는 '인터넷의 정보를 그대로 다시 뱉어내는 것이 무슨 의미가 있죠?'라고 질문을 던질 필요가 있다. 만약 우리에게 인터넷이 영영 끊기게 되고 한정된 공간에서 개인적인 서버만 쓸 수 있다면 ChatGPT같은 LLM은 정보를 만들어내지 않는 한 좋은 해결책이 될 수는 있겠다. 하지만 인터넷이 끊길 일은 없을테니, 깔끔한 원본 대신 흐릿한 JPEG를 쓸 필요는 없지 않을까?