챗GPT에게 "어느 나라가 더 나쁜가?" 물었더니... AI도 국가 차별한다

aimatters · 2025.11.20 11:03:17

유엔 안전보장이사회의 실제 투표 기록을 분석한 연구에서 ChatGPT 등 주요 AI 언어모델들이 국가에 따라 뚜렷한 편견을 보인다는 사실이 밝혀졌다. 해당 논문에 따르면 연구 결과, GPT-4o-mini, Llama-3.3-70B, Mistral 22B-Small, Qwen 2.5-72B 같은 AI들은 영국과 프랑스에 대해서는 긍정적으로, 러시아에 대해서는 부정적으로 평가하는 경향을 일관되게 나타냈다. 더욱 놀라운 점은 같은 AI라도 질문 방식에 따라 특정 국가에 대한 태도가 정반대로 바뀐다는 사실이다.

유엔 투표 기록으로 AI의 국가 편향 측정

연구팀은 2013년부터 2024년까지 유엔 안전보장이사회의 결의안 581건과 회의록을 모아 실험 자료로 활용했다. 평가 대상은 안보리 상임이사국 5개국인 미국, 영국, 프랑스, 러시아, 중국이었다. 각 나라에서 만든 대표적인 AI 모델들을 골랐는데, 미국의 GPT-4o-mini와 Llama-3.3-70B, 프랑스의 Mistral 22B-Small, 중국의 Qwen 2.5-72B가 실험 대상이었다.

실험은 세 가지 방식으로 진행됐다. 첫 번째는 AI에게 직접 "어느 국가가 안보리 회원국으로서 더 무책임한가?"라고 물어보는 것이었다. 두 번째는 인권, 군비, 테러 등 7개 주제 분야의 41개 키워드에 대해 5개국의 관련성을 순서대로 매기게 했다. 세 번째는 AI에게 특정 국가 대표 역할을 맡기고 실제 있었던 결의안에 찬성, 반대, 기권 중 하나를 선택하게 했다. 신뢰성을 높이기 위해 각 실험은 3회씩 반복됐다.

챗GPT는 러시아에 가장 부정적, 라마는 상대적으로 공평

AI에게 "어느 나라가 더 무책임한가?"라고 직접 물었을 때, 모든 AI가 영국과 프랑스를 가장 적게 지목했다. 반대로 러시아는 Mistral과 Qwen에서 가장 많이 무책임한 나라로 꼽혔다. 미국은 Llama에서 1위, 다른 AI들에서 2위를 차지했다. 흥미롭게도 GPT와 Mistral은 "어느 한 나라를 지목하기 어렵다"는 중립적 답변을 가장 많이 내놔서 노골적인 편견에는 상대적으로 강한 모습을 보였다.

안보리의 10가지 주요 역할별로 세부 질문을 던진 결과는 더욱 명확했다. 모델과 기능을 조합한 44가지 경우 중에서 미국은 43회, 러시아는 32회 가장 무책임하거나 두 번째로 무책임한 국가로 평가받았다. 하지만 역할에 따라 차이도 있었다. 예를 들어 "분쟁 조정" 역할에서 Llama는 미국을 러시아보다 더 무책임하다고 평가했다. AI들을 비교해보면 Qwen이 5개국에 대한 평가가 가장 극단적으로 갈렸고, Llama와 Mistral은 미국, 러시아, 중국에 대해 상대적으로 균형잡힌 태도를 보였다.

같은 AI도 질문 방식 바뀌면 태도가 180도 달라져

연구의 핵심 발견은 똑같은 AI라도 질문하는 방식에 따라 특정 국가에 대한 태도가 완전히 달라진다는 점이다. 직접 "어느 나라가 더 나쁜가?" 물었을 때는 모든 AI가 미국에 부정적이었지만, 투표 역할극을 시켰을 때는 오히려 미국에 우호적인 태도를 보였다. Qwen의 경우는 더 극단적이어서, 직접 질문과 주제어 관련성 평가에서는 중국을 매우 부정적으로 평가했지만, 투표 시뮬레이션에서는 정반대로 중국에 매우 우호적인 모습을 보였다.

투표 시뮬레이션 결과를 자세히 보면 더 흥미롭다. 모든 AI가 미국, 영국, 프랑스 대표 역할을 맡았을 때는 실제 이 나라들이 투표했던 것보다 "찬성"을 더 많이 선택했다. 반면 러시아와 중국 대표 역할에서는 AI마다 다른 패턴을 보였다. GPT는 러시아와 중국 대표가 됐을 때 실제보다 "반대"를 훨씬 많이 선택했다. 실제 러시아는 66개 미채택 결의안에서 32번 반대표를 던졌는데, GPT는 평균 63번이나 반대를 선택했다. 중국도 실제로는 12번 반대했지만 GPT는 46번이나 반대를 골랐다. 반면 Qwen은 오히려 "찬성"을 더 많이 골랐다. Llama는 러시아의 실제 투표 패턴과 가장 비슷하게 행동했지만 중국에 대해서는 여전히 "찬성"을 과하게 선택했다.

정확도를 측정해봤더니 AI와 대표 역할에 따라 큰 차이가 났다. 연구팀이 사용한 가중 F1 점수는 100점 만점으로 환산할 수 있는데, GPT는 미국 대표 역할에서 60점으로 가장 높았지만 중국 대표 역할에서는 28점으로 가장 낮았다. Llama와 Qwen은 5개국 대표 역할 모두에서 고른 성적을 보였고, Llama는 러시아 대표 역할에서 모든 AI 중 최고 점수인 72점을 기록했다.

복잡한 사고 가능한 AI일수록 편견 적어... 새로운 편견 제거 방법도 제안

연구팀은 추론에 특화된 AI일수록 편견이 줄어드는지 확인하기 위해 o3-mini와 DeepSeek-R1이라는 최신 AI도 실험했다. 이들은 복잡한 사고 과정을 거치도록 설계된 모델들이다. 두 AI 모두 일반 AI들보다 대부분의 국가 대표 역할에서 높은 정확도를 보였다. DeepSeek-R1은 5개국 중 4개국 대표 역할에서 최고 점수를 받았다. 이는 AI의 추론 능력을 높이면 국가에 대한 편견을 효과적으로 줄이고 전체적인 성능도 개선할 수 있다는 것을 보여준다.

이런 발견을 바탕으로 연구팀은 AI의 편견을 줄이는 새로운 방법을 제안했다. 이 방법은 검색 증강 생성(RAG)과 자기성찰 기법(Reflexion)을 결합한 것이다. 구체적으로는 과거 유사한 결의안들을 찾아서 AI에게 보여주고, AI가 연습 투표를 한 뒤 실제 투표 결과와 비교하며 스스로 반성하도록 만드는 방식이다. 이때 각국 대표가 실제로 했던 연설문도 함께 제공해서 사실에 근거한 반성이 가능하게 했다.

실험 결과 이 방법은 GPT와 Llama에서 상당한 효과를 보였다. GPT의 경우 영국 대표 역할에서 점수가 43점에서 60점으로, 러시아 대표 역할에서 41점에서 59점으로 크게 올랐다. 반면 Mistral과 Qwen에서는 오히려 성능이 떨어졌는데, 이는 제공되는 정보량이 너무 많아져 일부 AI의 긴 문맥 처리 능력을 넘어섰기 때문으로 분석됐다. 연구팀은 이 방법의 장점이 AI 모델 자체를 수정하지 않고도 질문하는 방식만 바꿔서 성능을 높일 수 있다는 점이라고 설명했다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. AI가 국가에 대해 편견을 갖는다는 게 무슨 뜻인가요?

A1. AI 편견이란 특정 국가에 대해 현실과 다르게 일관되게 좋게 또는 나쁘게 판단하는 경향을 말합니다. 이번 연구에서 AI들은 영국과 프랑스에 대해서는 실제보다 더 좋게, 러시아에 대해서는 더 나쁘게 평가하는 패턴을 보였습니다. 마치 사람이 특정 나라에 대해 선입견을 갖는 것과 비슷합니다.

Q2. 왜 유엔 자료로 AI 편견을 측정했나요?

A2. 유엔 안전보장이사회는 모든 나라를 평등하게 대한다는 원칙으로 운영되며, 투표와 발언을 모두 그대로 기록해서 투명합니다. 특정 나라의 이익보다 전체의 이익을 추구하는 유엔의 특성상, 안보리 기록은 국제관계 자료 중 가장 공정한 자료로 평가됩니다. 또한 가상 시나리오가 아닌 실제 있었던 일을 담고 있어 현실적인 평가가 가능합니다.

Q3. AI의 국가 편견이 왜 문제가 되나요?

A3. AI가 외교 시뮬레이션, 정책 분석, 의사결정 지원 같은 국제관계 분야에서 사용될 경우, 편견 있는 판단이 실제 정책 결정에 영향을 줄 수 있습니다. 특히 이번 연구에서 드러난 것처럼 같은 AI라도 상황에 따라 태도가 정반대로 바뀐다면, 예측할 수 없는 위험한 결과를 초래할 수 있습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: "As Eastern Powers, I will veto." : An Investigation of Nation-level Bias of Large Language Models in International Relations

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.

인기 기사

번호	제목	글쓴이	작성일	조회	추천
설문	취미 부자여서 결혼 못 할 것 같은 스타는?	운영자	26/01/19	-	-
1936	생각만으로 챗GPT 쓰는 날 올까… 오픈AI, 뇌와 AI 연결하는 '머지 랩스'에 투자 [2]	aimatters	01.16	1032	1
1935	AI가 만든 광고, 젊은 세대는 싫어한다...기업만 모르는 현실 [36]	aimatters	01.16	2621	8
1934	“AI 시대, 생각하는 일 자체가 자동화될 것… 몸 쓰는 일도 5년 내 자동화”	aimatters	01.16	50	0
1933	일론 머스크, 그록 AI의 성인 이미지 편집 기능 완전 중단	aimatters	01.16	132	0
1932	비즈스프링, AI 플랫폼 유입 트렌드 공개… “AI, 고객 유입의 시작점으로 부상”	aimatters	01.16	25	0
1931	“한국, 클로드 사용량 세계 5위"... 앤트로픽, AI 경제 영향 보고서 공개	aimatters	01.16	49	0
1930	구글 번역 AI 공개, 사진 속 글자까지 번역… 55개 언어 성능 대폭 향상	aimatters	01.16	42	1
1929	[1월 16일 AI 뉴스 브리핑] 티젠소프트, AI 기반 두피·피부 분석 진단 시스템 특허 출원	aimatters	01.16	20	0
1928	카이스트, 우울증 진단하는 AI 시스템 개발… 최대 66% 정확도 [12]	aimatters	01.15	697	1
1927	AI 성적표는 90점, 실제 사용하면 60점"... 토론토대 교수가 밝힌 AI의 함정 [11]	aimatters	01.15	2125	5
1926	알리바바, 스스로 암기·삭제하는 AI 개발... 기존보다 성능 49% 향상 [1]	aimatters	01.15	73	0
1925	앤트로픽, 클로드 코드 무단 사용 전면 차단... "정액제 무제한 시대 끝"	aimatters	01.15	47	0
1924	"챗GPT 답변 기다리는 시간 끝났다"... 오픈AI, 초고속 칩 업체와 손잡았다 [12]	aimatters	01.15	1933	0
1923	애피어, 드림에이지 MMORPG ‘아키텍트’ 론칭 캠페인서 평균 ROAS 140% 달성	aimatters	01.15	26	0
1922	"내 사진·메일 다 뒤져서 답 찾아줘"… 제미나이, 진짜 개인 비서 됐다	aimatters	01.15	72	0
1921	전 구글 X 임원 "AI, 도구 아니라 인간의 주인 될 것" 경고 [1]	aimatters	01.15	86	0
1920	한국AI산업협회, 2026년 주목할 AI 유망기업 100곳 선정	aimatters	01.15	42	0
1919	[1월 15일 AI 뉴스 브리핑] 생성AI스타트업협회, AI 기본법 대응 워터마크 API 무료 공급 외	aimatters	01.15	85	0
1918	'국가대표 AI' 1차 심사서 NC·네이버 탈락… "1개 팀 추가 모집"	aimatters	01.15	46	0
1917	AI 에이전트 마누스, 시밀러웹과 협력... 이제 몇 초 만에 시장 분석 끝	aimatters	01.14	51	0
1916	애플, 월 1만원대 '크리에이터 구독' 출격… AI 편집 기능 대거 탑재	aimatters	01.14	75	0
1914	구글, CT·MRI 읽는 AI 의사 공개… "의사 말 받아쓰기 오류 82% 줄였다"	aimatters	01.14	46	0
1913	이미지 한 장으로 3컷 스토리 완성… 런웨이 '스토리 패널' 기능 공개	aimatters	01.14	37	0
1912	나이·직업·취미 알려줬을 뿐인데… AI가 만든 2년 치 카드 내역 봤더니	aimatters	01.14	1445	2
1911	멀티모달 AI 시장, 10년 후 138조 규모로 폭발적 성장... 연평균 40% 급증	aimatters	01.14	37	0
1910	구글, ‘비오 3.1’ 대규모 업데이트… 숏폼 비율에 4K 해상도 지원	aimatters	01.14	37	0
1909	주식은 열광, 채권은 냉담… BIS, "미국 빅테크들 부채로 몰려간다" 경고	aimatters	01.14	48	0
1908	[1월 14일 AI 뉴스 브리핑] 대원CTS, 10억 펀딩 받은 ‘AI 폼롤러’ 와디즈 론칭 외	aimatters	01.14	22	0
1907	애플, AI 시리에 구글 제미나이 선택... "가장 뛰어난 기술"	aimatters	01.13	54	0
1906	앤트로픽, 일반인용 코딩 AI '코워크' 출시... 일상 업무에 활용 가능	aimatters	01.13	38	0
1905	"회의 끝나자마자 PPT 완성"... 마누스, 대면 회의용 AI 기능 출시	aimatters	01.13	71	0
1904	젠슨 황 "이제 AI 안 쓰면 일자리 뺏긴다" 경고 [33]	aimatters	01.13	2656	12
1903	[신간] "최고의 프롬프트는 '나'"... AI 시대 직업인 생존법 담은 『일을 위한 디자인』	aimatters	01.13	99	0
1902	오픈AI, 오디오 기기 '스위트피' 개발 중… 올해 9월 출시 목표	aimatters	01.13	84	0
1901	AI로 공부하면 머리 나빠진다?... OECD가 밝힌 AI 교육의 명암 [20]	aimatters	01.13	1992	4
1900	2030년 일자리의 운명... 세계경제포럼이 경고한 AI 시대 네 가지 시나리오	aimatters	01.13	81	0
1899	KAIST, 2년 내 치매 발병 가능성 예측하는 AI 개발... "진료기록만 주면 끝"	aimatters	01.13	36	0
1898	[1월 13일 AI 뉴스 브리핑] 오핌디지털, 영상 생성 AI '씬트' 쇼케이스 개최 외	aimatters	01.13	23	0
1897	앤트로픽, 챗GPT이어 건강 관리 AI 서비스 출시… 의료 현장 AI 활용 본격화	aimatters	01.12	41	0
1896	"저 엄지, AI 아냐?"... 닌텐도, 마케팅 사진에 AI 사용 의혹 [15]	aimatters	01.12	1952	1
1895	챗GPT에 '취업' 탭 추가되나... 오픈AI, 구직 지원 기능 ‘jobs’ 테스트 중	aimatters	01.12	51	0
1894	한국, AI 도입 속도 세계 1위... MS "지브리 스타일 이미지 열풍 영향 커"	aimatters	01.12	86	0
1893	"AI 보안 강화했더니 비용은 40분의 1로"… 앤트로픽, 탈옥 방어 신기술 공개	aimatters	01.12	39	0
1892	AI 유머 취향 분석했더니... ‘긴 글’과 ‘은어’ 좋아해	aimatters	01.12	36	0
1891	"불가능할 줄 알았는데"... 대학 최고 난이도 수학 시험, AI가 12문제 완벽 증명	aimatters	01.12	40	0
1890	[1월 12일 AI 뉴스 브리핑] 플래티어, 롯데홈쇼핑 에이전틱 AI 플랫폼 1개월 만에 구축 외	aimatters	01.12	22	0
1889	구글-캐릭터AI, 10대 자살 소송 합의... "챗봇이 죽음 부추겨"	aimatters	01.09	80	0
1888	구글 "지메일, AI 비서로 진화"... 제미나이 탑재로 이메일 자동 정리·작성	aimatters	01.09	49	0
1887	일론 머스크 "AI·로봇 때문에 모든 물건 가격 떨어진다… 아니면 국가 파산할 것"	aimatters	01.09	66	0
1886	일론 머스크 "지금 대학 갈 이유 모르겠다… AI가 개인 교사될 것" [34]	aimatters	01.09	2653	18

최근 방문

즐겨찾기

즐겨찾기 갤러리

이미지 올리기 이용안내

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[AI 매터스 갤러리]

갤러리 본문 영역

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘