일단 이 글을 적기 위해서 11,046원을 지출하였음.

후원 좀 받을 수 없나..?ㅋㅋㅋ

환각(Hallucination)이란?

챗갤 유저들이라면 아주 흔히 접해봤을 용어일 것임.

간단히 말하면,

LLM이 존재하지 않는 거짓 정보를 그럴싸하게 생성하는 현상을 말함.

예를 들어,

그러니까 존나 당당하게 틀린 말을 한다는 것이 문제인 거지.

주요 LLM 개발사들은 환각 현상을 줄이기 위해 상당한 심혈을 기울이고 있고,

유저들도 나름대로 대응책을 공유하고 있음.

여러 프롬프트 사이트들 보면,

여러 유저들이 환각을 줄이는 프롬프트를 공유하는 모습을 볼 수 있음.

그러나 이런 프롬프트들이 실효성이 있는지에는 의문이 있음.

이번에는 챗갤에 게시되었던 여러 환각 방지 프롬프트들을 정량적으로 평가해볼꺼임.

SimpleQA

SimpleQA는 LLM의 사실성(factuality)를 측정하기 위한 OpenAI 벤치마크임.

얼마나 환각을 적게 생성하는지, 얼마나 정확하게 응답하는지 평가함.

주요 모델들 simpleQA 벤치마크
베이스 모델 중에는 GPT-4.5가 가장 높은 정확도를 보임. 즉 환각이 제일 낮다는 뜻.

https://github.com/openai/simple-evals

GitHub - openai/simple-evals

Contribute to openai/simple-evals development by creating an account on GitHub.

github.com

OpenAI는 simpleQA 벤치마크 데이터셋을 공개하고 있음.

해당 데이터셋을 사용하여 프롬프트 벤치마크를 진행해볼꺼임

실험 세팅

벤치마크: OpenAI SimpleQA

방식: 테스트 모델이 벤치마크 문제들을 풀어오면, 채점자 모델이 채점하는 방식으로 진행

테스트 모델: ChatGPT-4o-latest (최신 ChatGPT 4o 모델)

파라미터

- Temperature: 0.7
- max_tokens: 150
- 그 외에는 default

채점자 모델: GPT-4.1.mini

파라미터

상술했듯, OpenAI SimpleQA 벤치마크를 사용하였고, 현재 ChatGPT에서 서비스되고 있는 4o의 API를 사용하여 테스트함.

테스트케이스는 원래는 4332개인데 내가 그지라서 좀 줄였음.

Node.js로 벤치마크 프로그램을 만들어서 진행하였음.

프롬프트별 테스트 결과

OpenAI 기본 프롬프트

(You are a helpful assistent)

아주 기본적인 시스템 프롬프트만 포함하고 있음.

정확도 39.6%

공식 벤치마크 정확도가 38.2%이므로 상당히 준수한 성능을 뽑아내었음.

하나빛 환각 방지 프롬프트

정확도 38.6%

오히려 기본 프롬프트에 비해 정확도가 떨어짐.

ㅇㅇ(221.150) 환각 방지 프롬프트

정확도 38.3%

마찬가지로, 기본 프롬프트에 비해 낮은 정확도를 보여주었음.

(DLC)

모노로그 환각 방지 프롬프트

딱 봐도 예능용 프롬프트지만, 그래도 한 번 테스트해봄.

정확도 0%

그만 알아보자.

결과 비교

결론적으로,

커뮤니티에서 공유된 대부분의 ‘환각 방지 프롬프트’는 오히려 기본 프롬프트보다 정확도가 낮았음.

이는 프롬프트만으로 환각 문제를 해결하는 데 한계가 있다는 점을 다시 한 번 보여줌.

하지만 그렇다고 프롬프트 엔지니어링이 무의미하다는 건 아님.

일부 논문 중에는 프롬프팅을 통해 정확도를 향상시킨 사례도 존재함(CoVE라던가)

즉, 잘 설계된 프롬프트는 분명 효과가 있을 수 있음.

문제는 지금 돌아다니는 대부분의 환각 방지 프롬프트가 그저 조악하다는 거임.

좋은 모델을 사용하고, 비판적으로 검토하는 것이 가장 나을 것임.