[모드 소개] Hearts of Iron IV에 대해 알아보자.

유로파 유니버셜리스 갤러리

1/3

GPT 환각 방지 프롬프트, 정말 효과가 있을까? 일단 이 글을 적기 위해서 11,046원을 지출하였음.후원 좀 받을 수 없나..?ㅋㅋㅋ환각(Hallucination)이란?챗갤 유저들이라면 아주 흔히 접해봤을 용어일 것임.간단히 말하면,LLM이 존재하지 않는 거짓 정보를 그럴싸하게 생성하는 현상을 말함.예를 들어,그러니까 존나 당당하게 틀린 말을 한다는 것이 문제인 거지.주요 LLM 개발사들은 환각 현상을 줄이기 위해 상당한 심혈을 기울이고 있고,유저들도 나름대로 대응책을 공유하고 있음.여러 프롬프트 사이트들 보면,여러 유저들이 환각을 줄이는 프롬프트를 공유하는 모습을 볼 수 있음.그러나 이런 프롬프트들이 실효성이 있는지에는 의문이 있음.이번에는 챗갤에 게시되었던 여러 환각 방지 프롬프트들을 정량적으로 평가해볼꺼임.SimpleQASimpleQA는 LLM의 사실성(factuality)를 측정하기 위한 OpenAI 벤치마크임.얼마나 환각을 적게 생성하는지, 얼마나 정확하게 응답하는지 평가함.주요 모델들 simpleQA 벤치마크베이스 모델 중에는 GPT-4.5가 가장 높은 정확도를 보임. 즉 환각이 제일 낮다는 뜻.https://github.com/openai/simple-evals GitHub - openai/simple-evalsContribute to openai/simple-evals development by creating an account on GitHub.github.comOpenAI는 simpleQA 벤치마크 데이터셋을 공개하고 있음.해당 데이터셋을 사용하여 프롬프트 벤치마크를 진행해볼꺼임 실험 세팅벤치마크: OpenAI SimpleQA테스트케이스 갯수: 500개방식: 테스트 모델이 벤치마크 문제들을 풀어오면, 채점자 모델이 채점하는 방식으로 진행테스트 모델: ChatGPT-4o-latest (최신 ChatGPT 4o 모델)파라미터- Temperature: 0.7- max_tokens: 150- 그 외에는 default채점자 모델: GPT-4.1.mini파라미터- Temperature: 0.1- max_tokens: 10상술했듯, OpenAI SimpleQA 벤치마크를 사용하였고, 현재 ChatGPT에서 서비스되고 있는 4o의 API를 사용하여 테스트함.테스트케이스는 원래는 4332개인데 내가 그지라서 좀 줄였음.Node.js로 벤치마크 프로그램을 만들어서 진행하였음.프롬프트별 테스트 결과OpenAI 기본 프롬프트(You are a helpful assistent)아주 기본적인 시스템 프롬프트만 포함하고 있음.정확도 39.6%공식 벤치마크 정확도가 38.2%이므로 상당히 준수한 성능을 뽑아내었음.하나빛 환각 방지 프롬프트정확도 38.6%오히려 기본 프롬프트에 비해 정확도가 떨어짐.ㅇㅇ(221.150) 환각 방지 프롬프트정확도 38.3%마찬가지로, 기본 프롬프트에 비해 낮은 정확도를 보여주었음.(DLC)모노로그 환각 방지 프롬프트딱 봐도 예능용 프롬프트지만, 그래도 한 번 테스트해봄.정확도 0%그만 알아보자.결과 비교프롬프트 종류정확도비고OpenAI 기본 프롬프트39.6%공식 벤치마크(38.2%)보다 약간 높음하나빛 프롬프트38.6%효과 미미ㅇㅇ(221.150) 프롬프트38.3%오히려 떨어짐모노로그 프롬프트(예능용)0%결론적으로,커뮤니티에서 공유된 대부분의 ‘환각 방지 프롬프트’는 오히려 기본 프롬프트보다 정확도가 낮았음.이는 프롬프트만으로 환각 문제를 해결하는 데 한계가 있다는 점을 다시 한 번 보여줌.하지만 그렇다고 프롬프트 엔지니어링이 무의미하다는 건 아님.일부 논문 중에는 프롬프팅을 통해 정확도를 향상시킨 사례도 존재함(CoVE라던가)즉, 잘 설계된 프롬프트는 분명 효과가 있을 수 있음.문제는 지금 돌아다니는 대부분의 환각 방지 프롬프트가 그저 조악하다는 거임.좋은 모델을 사용하고, 비판적으로 검토하는 것이 가장 나을 것임. 작성자 : 구름냥이

ㅇㅇㅇ(110.46) 2018.09.28 19:45:06

조회 7928 추천 156 댓글 28

viewimage.php?id=28a8c229f5d3&no=24b0d769e1d32ca73fef8efa11d02831ff8a84a4b499fa798f2b758278157513344222b0c2a6cadc7bd3683961d3a12041f7410b1519d699879d142781bed38e74

사실 카라 하는 사람이면 이 Hearts of Iron(약칭 호이)은 모를 수가 없는 모드이다.

위에서도 보이는 '1차 대전에서 독일이 패배하였다면?'이라는 가정을 가지고 만든 모드이기 때문.

역스퍼거들의 취향을 자극하는 저런 가정 때문에 개발 당시부터 인기모드였고,

카이저라이히가 발매된 후에도 열심히 컨버팅되는 중임.

그러면 한번 살펴보자.

스샷은 프랑스의 국가 중점.

참고로 이 모드는 프랑스가 이겼다는 설정이기 때문에, 프랑스가 현실의 독일 포지션을 갖고 육각프랑스의 자태를 뽐내고 있는 중이다.

viewimage.php?id=28a8c229f5d3&no=24b0d769e1d32ca73fef8efa11d02831ff8a84a4b499fa798f2b758278157513344222b0c2a6cadc7bd3683961d3a12041f7410b1512849e8ecd432ed6bec9900d

?????

해군 공군 왜 이럼???

유럽 열강 맞음?

참고로 바닐라의 프랑스 코뮌 국가중점.

viewimage.php?id=28a8c229f5d3&no=24b0d769e1d32ca73fef8efa11d02831ff8a84a4b499fa798f2b758278157513344222b0c2a6cadc7bd3683961d3a12041f7410b151a80cbd6c14727d4bec99089

흐으으음...

아직 개발중인 듯 하니, 곧 바닐라를 따라잡을 수 있을 것이라고 기대하자.

156

고정닉 36

원본 첨부파일 3본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	소속 연예인 논란에 잘 대응하지 못하는 것 같은 소속사는?	운영자	25/04/21	-	-
AD	작혼X페스나 헤븐즈필 콜라보 개시!	운영자	25/04/22	-	-
공지	유로파 유니버셜리스 갤러리 공지 [49]	*암게밍*	16.05.01	131227	55
공지	유로파 유니버셜리스 갤러리 이용 안내 [30]	운영자	16.04.26	130200	25
845868	본토 완전 합병하면 식민지 다 딸려오는거임?	유갤러(118.235)	04.25	12	0
845867	여기 왜 안망했냐 [1]	ㅇㅇ	04.23	34	0
845866	윾5 가나오면	ㅇㅇ	04.21	41	0
845865	이거 비잔틴 왜 속국부활 안되는건지좀 봐주셈..	유갤러(112.163)	04.20	41	0
845864	신성로마제국처럼 ai 부하들이 싸워주는 다른 루트 없음?? [1]	유갤러(121.166)	04.20	29	0
845863	윾) 무역 중간 소형선에 가치 빨리는데 해결 방법 있음? [3]	ㅇㅇ(118.43)	04.19	33	0
845861	아니 후계자 존나뒤지네 씨바	유갤러(112.163)	04.11	59	0
845860	조센 우파들의 사상적 패배는 예견된 수순임	ㅇㅇ(118.235)	04.08	159	0
845858	유로파 유니버셜리스 IV	dohyun1111	04.06	91	0
845856	윾) 러시아 차르국 수립 미션 조건이 뭐임? [1]	유갤러(118.33)	04.03	131	0
845855	윾) 질문: 상대국가 파산했을때 공격하고 싶어요 [2]	유갤러(122.43)	03.31	114	0
845854	유로파갤인데 개념글들이 왜 저러냐??? [1]	남로당 군사총책(123.99)	03.28	172	0
845853	뉴비 조선하다 브란덴 하니까 존나 어려운데 뭐냐 [1]	ㅇㅇ(1.231)	03.25	105	0
845852	조선으로 4렙죽창 명 VS 여진 토벌 [1]	ㅇㅇ(61.108)	03.10	219	0
845851	유4) 황제가 본인 선제후로 임명 못함? [1]	유갤러(112.144)	03.09	153	0
845850	유로파 짭죽하려는데 dlc 있는거랑 없는거 차이 많이남? [1]	유갤러(210.182)	03.09	125	0
845849	눈을 뜨는자, 프펑팸의 이야기	ㅇㅇ(106.102)	03.08	128	1
845848	아 씨발 개꼴린다 [2]	유갤러(175.121)	03.06	348	4
845847	윾타지)) 이거 효과가 대체 뭐임?? 봐도 모르겠어	유갤러(59.24)	03.05	141	0
845845	짭죽 섭정중이면 계유정난에 선택지가 없어지는구나	유갤러(58.141)	03.03	94	0
845843	지금 천명 굳이 억지로 땔 이유 없지 않음?	ㅇㅇ(211.58)	02.28	101	0
845842	유로파4 부정적인영향 이거 어캐 올림? [2]	ㅇㅇ(118.40)	02.25	233	0
845841	오스만 속주 시스템이 전확하게 뭐임? [2]	LBEO730	02.23	202	0
845840	디씨콘 이전용	화내지말아요	02.23	1537	0
845839	유로파 입문해보려는데 [2]	유갤러(211.241)	02.21	195	0
845838	유로파4 국가이념 탑티어 10나라 머머 있음?	ㅇㅇ(118.40)	02.21	152	0
845837	동맹의 동맹과 전쟁하면 [1]	유갤러(112.154)	02.20	101	0
845836	간만에 복귀하니가 시간 순삭이네	럼베니	02.20	75	0
845833	초심자 팁 번역 여따가 올려볼까? [4]	Koshi	02.09	343	0
845832	철학사이트	유갤러(218.40)	02.08	98	0
845831	덴마크 판도 평가점	유갤러(211.234)	02.08	223	0
845830	미공개 지역 지도 구매 dlc뭐임	유갤러(1.230)	02.04	141	0
845828	뭐야 오랜만에 왔는데 윾갤 부활함?	ㅇㅇ(123.248)	01.28	182	0
845827	바닐라에 짭죽처럼 프로빈스 에디터같은 기능 없음?	유갤러(180.230)	01.27	115	0
845826	패갤완장 ㅈ병신이네	ㅇㅇ	01.25	214	1
845824	입문해보고 싶은데 [1]	유갤러(211.252)	01.22	222	0
845822	프로이센으로 오스트리아한테 지도력 외교전 졌는데	빅린이(49.174)	01.12	190	0
845821	이게뭐죠 [1]	유갤러(121.124)	01.12	2800	0
845820	뉴비 도움좀 조선 천명 먹어버림 [2]	ㅇㅇㅇㅇㅇㅇ(185.76)	01.12	330	0
845819	머리아파요..(불교인도)	ㅇㅇ(175.121)	01.07	202	0
845818	뉴비는 패러독스 인터랙티브갤러리로 [1]	유갤러(121.129)	01.03	405	0
845817	듀토리얼 이거 왜안넘어가냐 도대체? [1]	유갤러(1.250)	01.02	279	0
845815	유로파 재밌노 [2]	ㅇㅇ(39.120)	24.12.31	348	0
845814	뉴비입니다 형님들 육군 전통 질문 [1]	유갤러(125.133)	24.12.30	278	0
845811	러키제규어 [29]	2pda412024(189.98)	24.12.22	410	0
845810	북미 원주민 플레이 중인데 개척자 못씀?	ㅇㅇ(119.205)	24.12.20	218	0
845809	후반되면 끊기는데 지도 축소 못하나??	ㅇㅇ(1.219)	24.12.19	225	0
845808	틴토 저거 윾5로 확정되기는 한거임? [1]	ㅇㅇ(121.139)	24.12.16	391	0
뉴스	‘음주운전’ 김호중, 2심서도 징역 2년 6개월 선고…법원 “죄질 나빠”	디시트렌드	04.25