https://www.youtube.com/watch?v=Z9SL2ygm2Sc

Change by Jim Keller, Stanford

Think about how you think. You can look at something fluidly, identify and modify it in your mind, move it, describe it.... What we mean by understanding is ...

www.youtube.com

짐 켈러가 1년 반전에 스탠포드에서 강연했던 영상임.

물론 1년 반이면 엄청 바뀐 것도 많고, 짐 켈러도 '아 지금 생각 해보니 아님ㅎㅎㅋㅋㅈㅅ;;' 했을 수도 있겠지만

당시 발언 중 인상 깊었던 말이 하나 있었음.

우리가 이해라고 부르는 것은

지식의 총합이 아니라

정보들의 관계의 총합이다.

---------------------------------------------

예를 들어서, 사과에 대한 지식. 즉 백과사전 같은 데이터만 잔뜩 있는 건 이해의 영역이라고 할 수 없음.

하지만, 사과라는 단어가 '먹는 것'에 가깝고, '식물' 혹은 '과일' 단어들과 가깝고, 건축, 스포츠 등의 단어나 문장들과는 멀다는 걸

컴퓨터 혹은 AI가 '알고' 있다면, 이건 이해에 한층 가까워진 거라고 생각함.

그런데 현재 AI 들은 어떤가.

요즘 이상하게 LLM 폄하가 다시 특갤의 지배적인 정서가 되는 것 같고

(르쿤형이 지지 받아서 그런 것 같다. 개인적으로 좋아하지만 이 형이 힘을 얻으면 갤 분위기 박살남)

AI 전혀 모르는 분들도 그냥 LLM이 통계모델이다. 확률 앵무새다. 라는 말에 혹하시는 것 같은데...

나도 전공자도 뭣도 아니지만, 가볍게 공부한 내용을 전달해보면.

언어모델. NLP 역사에서 최초로 등장했던 모델들은 진짜 확률 앵무새였음.

학습 데이터들에서 A 단어 뒤에 B 단어가 올 확률이 80%인지 50% 인지 전부 학습하고 실행시킴.

그럼 당연히 문장은 만들어지지만, 끔찍한 수준이 됨.

그 다음으로 등장한 건 word2vec이라는 애들이었음. 얘네도 단어를 학습하긴 하는데, 위 모델보다 훨씬 디테일하게 정보를 저장한다고 보면 됨.

물론, 바로 뒤 단어만이 아니라, 주변 단어를 학습하기도 하고.

word2vec이라는 단어에서도 알 수 있지만, 단어 정보를 vector에 저장함. 벡터는 그냥 수많은 숫자 덩어리라고 생각해도 되고.

즉, 단어 하나를 수많은 숫자로 그 특징들을 저장하는거지.

이랬더니 나름 재밌는 현상들이 나타났는데.

서울이라는 단어의 벡터에서, 한국 벡터를 빼고

(숫자들끼리니까 더하고 뺄 수 있음)

일본 벡터를 넣으면, 도쿄 벡터가 나온거임.

물론, 한국 빼고, 미국을 넣으면 워싱....턴이 나올 지 뉴욕이 나올지는 모름. 어떤 데이터를 학습 했냐에 따라 다르겠지. 어쨌든.

단순하게 확률을 내뱉는 게 아니라, 단어간의 관계를 어느정도 학습한 상태라고 보면 됨.

왕과 왕비의 관계가, 남편과 아내의 관계와 비슷하다는 것도 이해 했다고 할 수 있을 듯. 물론 인간의 이해와는 다르고, 그냥 알고 있다고 치자.

그리고, 현재 LLM을 주도하고 있는 트랜스포머 애들은 이 다음 단계임.

얘네는, 전공자 아니니까 무식하게 말하면, word2vec보다 병렬연산 되는 것도 컸고(그래야 학습 되니까) 무엇보다 문맥을 통째로 집어넣어서 문맥 학습이 됐음.

즉 단어의 정보만이 아니라, 문맥 정보도 학습하는거임.

많이 개선된거지.

그렇다고 얘가 이해를 하냐. AGI가 되냐. 지능이 있냐.

이건 나도 아니라고 봄. 그렇다고 하는 사람도 솔직히 없고.

하지만, 인류 역사에서 만들어낸 인공적인 지능 중에선 가장 그럴듯하다고 생각함.

얘가 AGI 혹은 스스로 사고하고 개선하는 수준까지 도달할 수 있는 진 모르겠지만, 실마리는 보여줬다고 생각한다.

-----------------------

물론 르쿤형 말처럼, 이걸로만 봐도 LLM은 학습 데이터가 너무 많이 필요하기도 하고, 가성비도 안 좋음.

인간의 방식을 이해하고 여기서 실마리를 찾아내서 구현한다면, 밥 한공기의 에너지만으로도 리만가설 증명하는 인공지능도 만들어낼 수 있겠지.

하지만, 지금 LLM이 단순하게 확률 앵무새냐. 이해를 하나도 못 하고 아무 말이나 내뱉는 애냐.

이건 아니라고 생각함.

우리가 이해라고 부르는 것은

지식의 총합이 아니라

정보들의 관계의 총합이다.

완벽하지 않고, 가성비가 낮아서 그렇지, 분명 정보들의 관계 총합에 다가서고 있다고 생각함.

원래, GPT가 쩔게 나오면 칭찬 일색이고, 구려지면 AI겨울 타령하는 게 특갤이고, 나도 그러고 놀긴 하는데.

요즘은 openAI가 잠잠하고, 르쿤형이 조금 힘 받으니까

진지하게 LLM 폄하하고, AI 폄하하는 글들이 보이는 것 같은데....뭐 각자 생각이니까. 근데 개인적으론 크게 동의하지 않는다는 말을 하고 싶었음.

결론은 뭐다?

GPT5 빨리 안 내놓은 알트만이 문제다.

ps. 비전공자가 아무 헛소리나 내뱉은 거니까 문제 제기시, 당연히 네가 옳습니다.