챗GPT는 답변을 만들기 위해 제작자가 미리 만들어 둔 일종의 매뉴얼이 있는데 그 과정을 최대한 쉽게 풀어내면 다음과 같다. 먼저 사용자가 프롬프트를 입력하면 챗GPT는 자기가 가진 단어장에서 프롬프트의 단어들과 자주 같이 사용되었던 단어들의 우선순위를 높인다. 이 단어장에 있는 단어들을 이용해서 답변을 생성하는데, 대개 우선순위가 높은 단어들을 이어 붙이는 방식이다. 이 매뉴얼은 모든 프롬프트에 예외 없이 동일하게 적용되는데, 사용자의 프롬프트에 따라 달라진 단어장을 이용하여 이어 붙이기를 하니 프롬프트에 맞는 답변이 그때그때 생성될 수 있는 것이다. 챗GPT도 이렇게 주어진 매뉴얼에 따라 그저 반복적으로 동작할 뿐이다.

이 설명은 챗GPT가 거짓 정보를 출력할 수 있는 두 가지 가능성을 직관적으로 알려주는데, 첫 번째는 단어장이 이상하게 만들어졌을 가능성이고, 두 번째는 이어 붙이기가 잘못 되었을 가능성이다. “세종대왕이 맥북을 던짐”의 경우만 살펴보면, 프롬프트 자체에 “세종대왕”과 “맥북을 던짐”이 같이 있다 보니 “세종대왕” 관련 단어들과 “맥북을 던짐” 단어가 혼재된 단어장이 만들어지고 정해진 매뉴얼에 따라 이들을 이어 붙였더니 이상한 답변이 되었을 가능성이 높다. 즉, 챗GPT의 매뉴얼에 결함이 있을 뿐, 선의건 악의건 어떤 의도가 있었다고 보기는 어렵다. 챗GPT는 그저 정해진 매뉴얼에 따라 자유의지 없이 기계적으로 답변을 만든 것이다.

챗GPT를 환각경험의 주체라고 간주하는 것에는 소프트웨어나 컴퓨터를 의인화하려는 사고방식이 다분히 깔려 있다고 볼 수 있다. ‘환각’이라는 개념이 인간 정신의 상태를 기술하는 심리학, 정신병리학 등에서 발원한 것 탓인지 ‘챗GPT 할루시네이션’이라는 합성 신조어는 챗GPT를 마치 인간처럼 간주하도록 우리를 은근히 유도한다.

용어 자체가 LLM에 대한 과장된 기대에 어느정도 영향을 미치긴 했을듯