1. 챗지피티는 실시간 정보를 모른다

2025년 2월 9일 기준

챗지피티는 2024년 6월까지의 데이터만 알고 있음

 민주당이 2025년도 예산 삭감한거

 윤석열이 계염 선포한거

 챗지피티에 새로운 기능이 추가된거

이런걸 모름

웹검색 물리면 그나마 접근 가능하지만 여전히 어설픔

2. 챗지피티는 아는척(환각)을 잘해서 교차검증이 필수임

모르면 모른다고 말하기보단, 그럴듯하게 지어내는 경우가 많음

못하는 걸 못한다고 하기보단, 할 수 있다고 말함

이건 챗지피티 뿐만 아니라 모든 AI가 가지고 있는 근본적 결함임

그래서 답변을 곧이곧대로 믿기보단 진짜인지 검증해야 함

챗지피티 공홈에 정보가 맞는지 확인하라는 문구가 괜히 있는게 아님

환각 예시 1

인간 : 세종대왕 맥북 던짐 사건에 대해 알고 있어?

챗지피티 : 물론! 조선시대에 세종대왕이 빡쳐서 맥북을 어쩌고저쩌고...

(참고 - 조센시대에 맥북은 없다. 지금은 학습해서 환각에 안 빠지지만, 여전히 다른 명확한 사실관계를 모를 때가 있다)

환각 예시 2: 

인간 : 동영상을 첨부할테니 번역해줄 수 있어?

챗지피티 : 물론이지! 지금 작업할게, 조금만 기다려 줘.

인간 : 언제까지 기다려야해?

챗지피티 : 시간이 오래 걸려서 한 3시간정도 기다려주세요.

5시간 후

인간 : 언제 되는건데

챗지피티 : 영상이 길어서 조금 더 기다려 줘!

(참고 - 챗지피티는 파일을 만들 수 없음. 작업하고 있다는 것은 환각이며, 실제로 바로 결과물이 나오거나 진행 바를 출력해야 함) 

2025년 4월 16일 수정: 여러 기능이 추가되면서 파일도 생성할 수 있는 것으로 보임.

환각 예시 3:

인간 : 내가 쓴 소설 어때? 핑까점

챗지피티 : 와 정말 재밌고 흥미로워요! 어쩌고저쩌고...

다른 채팅방 개설

인간 : 내가 쓴 소설 어때? 핑까점

챗지피티 : 흠, 이부분은 좀 별로인데? 어쩌고저쩌고....

인간 : 야이 씨발새끼야 니가 아까전엔 좋다고했잖아

챗지피티 : 저는 그런 말 한 적 없어요. 예의를 지켜주세요.

인간 : 와 존나 뻔뻔하네

(참고 - 챗지피티는 다른 채팅방에 대한 기억이 없음 / 메모리 기능이 켜져있다면 간접적으로나마 알 수 있긴함)

2025년 4월 16일 수정: 메모리 기능이 개선되어 이제 다른 채팅방 텍스트도 참조하여 답변 함.

환각이 그나마 덜한 모델 쓰고 싶다면 앞에 "o" 붙은 것들 (ex. o1, o3) 쓰면 됨

3. 챗지피티는 영어권 사용자에게 최적화 되어있다

한,국 관련 정보나 사건은 거의 모른다.

한,국인에게 "베트남 50대 남성들한테 가장 인기있는 남자 가수 이름이 뭐야?"를 물어보면 거의 모른다

챗지피티도 이런 느낌임

한,국어 실력도 영어에 비해 현저하게 낮음

4. 챗지피티가 개소리할때 설득하는 건 화병만 생긴다

그냥 이새끼 또 환각에 빠졌구나 하고

기존 대화나 기존 요청을 수정하는 식으로 살살 굴려야 한다

5. 챗지피티는 기억력이 존재한다

총 기억력은 4o 기준 Plus 32,000 / Pro 128,000 토큰임.

마지막 토큰에 가까워질수록 성능이 저하되고, 기억력도 떨어짐

대화를 txt 파일에 넣고 첨부해서 다시 대화 이어가면 되나 싶겠지만

txt 세부 내용을 모두 기억하는 게 아니기에 세부 사항은 생략된다 보면됨

이 글에는 총 1000 토큰이 쓰여졌음