AI가 '희망'이라는 감정을 이해할까? AI 희망 감지 대결서 구형 AI 모델이 압승

aimatters

2025.11.25 18:42:12

조회 951 추천 3 댓글 4

미국 텍사스공대 연구팀이 문장 속 '희망'이라는 감정을 찾아내는 AI 실험을 했다. 놀랍게도 5년 전에 나온 구형 AI가 최신 AI들을 제치고 가장 뛰어난 성능을 보였다. 더 복잡하고 새로운 AI가 반드시 더 좋은 결과를 내는 것은 아니라는 사실이 증명된 셈이다.

구형 BERT, 정확도 84%로 최신 AI들 제쳐

해당 연구 논문에 따르면, 연구팀은 세 가지 AI를 비교했다. 2018년에 나온 BERT(버트)와 2019년 GPT-2(지피티-2), 그리고 2021년 DeBERTa(디버타)다. 이들에게 문장을 보여주고 '희망이 담긴 문장인지 아닌지' 구분하는 실험을 시켰다. 결과는 의외였다. 가장 오래된 BERT가 84.49%의 정확도로 1위를 차지했다. DeBERTa는 80.70%, GPT-2는 79.34%를 기록했다. 연구팀은 약 5,200개의 문장으로 AI를 훈련시키고, 1,900개의 문장으로 테스트했다.

더 복잡한 실험도 진행했다. 희망을 다섯 가지로 세분화해서 분류하는 것이다. '희망 없음', '막연한 희망', '현실적 희망', '비현실적 희망', '비꼬는 말' 등이다. 여기서도 BERT가 72.03%로 가장 높은 정확도를 보였다. DeBERTa는 71.56%, GPT-2는 71.29%였다.

속도는 2배 빠른데 정확도는 더 높아

더 놀라운 건 처리 속도다. 간단한 실험에서 BERT는 학습에 443초가 걸렸다. GPT-2는 527초, DeBERTa는 704초였다. 복잡한 실험에서는 BERT와 GPT-2가 각각 539초와 530초로 비슷했지만, DeBERTa는 948초나 걸렸다. BERT보다 거의 두 배 느린 셈이다.

결국 DeBERTa는 학습 시간이 59% 더 오래 걸렸지만 성능은 오히려 떨어졌다. 연구팀은 BERT가 정확도와 속도 면에서 가장 균형 잡힌 선택이라고 결론 내렸다. 특히 컴퓨터 성능이 제한된 환경에서 실제로 사용할 때 이런 차이가 중요하다고 강조했다.

GPT-2, 비꼬는 말 찾기에선 압도적 1위

각 AI마다 잘하고 못하는 게 달랐다. GPT-2는 전체 점수는 낮았지만, '비꼬는 말' 찾기에서는 92.46%로 압도적이었다. BERT는 77.38%, DeBERTa는 82.14%에 그쳤다. GPT-2가 더 많은 자료로 학습해서 미묘한 말투를 잘 알아채는 것으로 보인다. 반대로 모든 AI가 어려워한 부분도 있다. '비현실적 희망'을 찾는 건 세 AI 모두 힘들어했다. BERT는 67.25%, GPT-2는 46.78%, DeBERTa는 50.29%만 맞췄다. 이 유형은 다른 희망 표현과 구분하기가 애매해서 자주 헷갈렸다.

GPT-2는 문장을 '희망 있음'으로 판단하는 경향이 강했다. 민감도는 93.77%로 높았지만, 특이도는 66.40%로 낮았다. 반면 BERT는 민감도 84.20%, 특이도 84.75%로 균형이 잘 잡혀 있었다.

문장 손질 방법에 따라 결과 달라져

연구팀은 흥미로운 사실을 하나 더 발견했다. 처음 실험에서 BERT는 복잡한 분류에서 74.87%의 정확도를 보였다. 그런데 나중 실험에서는 모든 AI가 71~72% 정도만 맞췄다. 원인은 문장을 정리하는 방식 차이였다. 처음에는 문장을 거의 손대지 않고 그대로 학습시켰다. 나중에는 대소문자를 통일하고, 인터넷 주소를 지우고, 해시태그와 특수문자를 모두 제거했다.

과도하게 정리한 게 오히려 독이 됐다. 대문자 강조, 느낌표 사용, 해시태그 같은 요소들이 희망의 미묘한 뉘앙스를 표현하는 데 중요한 역할을 했던 것이다. 이를 다 지우니까 AI가 제대로 파악하지 못했다. 연구팀은 때로는 최소한의 손질이 더 나은 결과를 낸다는 다른 연구 결과와도 일치한다고 설명했다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. 희망 감지 AI는 어디에 쓰나요?

A: 정신 건강 상담, 소셜미디어 분석, 재난 상황 대응 등에 활용될 수 있습니다. 예를 들어 상담 기록을 분석해서 환자의 심리 상태 변화를 추적하거나, 재난 상황에서 SNS 글을 분석해 대중의 감정 상태를 파악하는 데 쓰일 수 있습니다.

Q2. BERT가 최신 AI보다 더 정확한 이유는 뭔가요?

A: BERT는 문장의 앞뒤를 모두 살펴보면서 단어의 의미를 파악합니다. 반면 GPT-2는 앞쪽 단어만 보고 판단해서 전체 맥락 파악에 한계가 있었습니다. 희망이라는 감정은 문장 전체의 흐름을 봐야 제대로 이해할 수 있어서, BERT 방식이 더 유리했던 것입니다.

Q3. 희망을 다섯 가지로 나눈 기준은 뭔가요?

A: '희망 없음'(희망이 없는 문장), '막연한 희망'(구체적이지 않은 일반적인 낙관), '현실적 희망'(근거 있는 기대), '비현실적 희망'(실현 가능성이 거의 없는 기대), '비꼬는 말'(겉으로는 희망적이지만 실제로는 반대 의미)입니다. 이렇게 세분화하면 문장 속 희망의 성격을 더 정확히 이해할 수 있습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Classification of Hope in Textual Data using Transformer-Based Models

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.

인기 기사

고정닉 0

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	주류 모델하면 매출 폭등시킬 것 같은 아이돌 스타는?	운영자	26/01/05	-	-
1856	"창업 아이디어 없어도 괜찮아"… 오픈AI, 예비 창업자 육성 프로그램 'Grove' 참가자 모집	aimatters	01.05	7	0
1855	오픈AI "우리 경쟁자는 구글 아닌 애플"… 정작 챗GPT 앱은 '기대 이하'	aimatters	01.05	7	0
1854	"고독사 75%가 40~60대"… 한국, AI 안부전화로 중장년 고립 막는다	aimatters	01.05	3	0
1853	악플 달리기 24시간 전 알아챈다… AI 예측 시스템 등장	aimatters	01.05	6	0
1852	그록 AI, 여성 탈의 이미지 무분별 생성… 국제적 논란	aimatters	01.05	6	0
1851	AI 평가의 역설... 기술 발전 아닌 '관심 끌기' 경쟁으로 변질됐다	aimatters	01.05	5	0
1850	카카오, 계산 실수·환각 대폭 줄인 하이브리드 AI 모델 공개	aimatters	01.05	7	0
1849	유니트리 휴머노이드 로봇, 사람을 향해 발차기... 수박 깨고 하이킥까지	aimatters	01.05	8	0
1848	오픈AI, 오디오 중심 개인 기기 개발 본격화... 올해 출시 목표	aimatters	01.02	37	0
1847	구글, 총상금 1억 4천만원 규모 '제미나이3 해커톤' 개최… 내달 10일 마감	aimatters	01.02	32	0
1846	일론 머스크 xAI, 기업용 그록 공개… 월 4만원대부터	aimatters	01.02	53	0
1845	혼자서도 연 10억 번다... 국내 1인 기업가들, 성공 비법 대공개 [8]	aimatters	01.02	2104	1
1844	구글 클라우드, 2026년 AI 에이전트 5대 트렌드 공개	aimatters	01.02	47	0
1843	AI를 믿는 이유? AI가 뛰어나서가 아니라 ‘사람을 못 믿어서’ [19]	aimatters	01.02	1551	11
1842	챗GPT 시대, 대학 시험 무용지물 됐다... "결과물 대신 과정 평가해야"	aimatters	01.02	48	0
1841	메타, AI 에이전트 스타트업 '마누스' 인수… 에이전트 경쟁 본격화	aimatters	25.12.31	91	0
1840	"500억 지원 놓고 한 팀 탈락"… 국내 AI 빅5, 국가대표 모델 선발전 돌입	aimatters	25.12.31	122	0
1839	챗GPT에 속은 학생들 "아는 것만 물어볼래요"… 'AI 검증 전략' 스스로 개발	aimatters	25.12.31	50	0
1838	챗GPT 이후 소규모 창업 51% 급증... 소매·서비스업 '1인 기업' 폭발적 증가 [1]	aimatters	25.12.31	95	1
1837	개인정보 삭제 요청하면 AI가 '진짜' 잊는다... ‘머신 언러닝’ 기술 급부상	aimatters	25.12.31	69	0
1836	[12월 31일 AI 뉴스 브리핑] 엘리스그룹, 국산 NPU 기반 교육용 AI 에이전트 실증 성공 외	aimatters	25.12.31	17	0
1835	구글·오픈AI 선택 가능한 HTC 스마트 안경, 홍콩 진출... 한국어도 지원	aimatters	25.12.30	49	0
1834	버니 샌더스 "AI 데이터센터 건설 중단해야"… 일자리 대체 우려 [1]	aimatters	25.12.30	74	1
1833	AI 대부 제프리 힌튼 "AI 진화 속도, 예상보다 빨라... 더 우려스러워"	aimatters	25.12.30	53	0
1832	AI 영상으로 연 60억 번다... 한국, 유튜브 AI 쓰레기 영상 조회수 세계 1위 [62]	aimatters	25.12.30	6085	24
1831	챗GPT, 일반인보다 73% 더 진보적... AI가 만드는 정치 편향의 덫	aimatters	25.12.30	41	0
1830	챗GPT vs 클로드 vs 제미나이 vs 퍼플렉시티 vs 그록… 14만 대화 분석했더니 '이 AI'가 1등	aimatters	25.12.30	276	1
1829	[12월 30일 AI 뉴스 브리핑] 마음AI, 남원시에 로봇개 공공안전 실증 추진 외	aimatters	25.12.30	33	0
1828	그록, 챗GPT·제미나이 제치고 AI 체류시간 1위 등극 [24]	aimatters	25.12.29	2135	5
1827	오픈AI, AI 위험 '대비 책임자' 긴급 채용 나서… “해킹·정신 건강 문제 등 맡을 것" [11]	aimatters	25.12.29	1178	2
1826	2026년 ‘AI 대전환 시대’ 온다… 한국지능정보원, AI 주요 트렌드 및 2026 전망	aimatters	25.12.29	94	0
1825	[12월 29일 AI 뉴스 브리핑] 바이오컴, 시리즈 A 투자 유치로 AI 헬스케어 시장 공략 가속 외	aimatters	25.12.29	20	0
1824	꿀벌 떼, AI 학습 원리로 움직인다... 생물학계 ‘진화의 지혜’ 재조명	aimatters	25.12.29	30	0
1823	"30년 후 나"와 7분 대화했더니 불안 줄고 동기부여 높아졌다	aimatters	25.12.29	64	1
1822	챗GPT, 2025년 사용 기록 돌아보는 연말 결산 기능 출시	aimatters	25.12.24	1395	1
1821	오픈AI CEO "코드 레드, 딥시크 때도 겪었다… 연 1~2회 발령할 것"	aimatters	25.12.24	68	0
1820	하버드·스탠포드 등 연구팀, AI 에이전트 ‘적응’ 기술 제시… "본체 고정·도구만 훈련해 학습 효율 70배 향상”	aimatters	25.12.24	59	1
1819	선 긋고 사진 넣고 한 줄 쓰면 영상 완성... 그림판처럼 쉬운 AI 영상 제작 기술 등장	aimatters	25.12.24	2032	4
1818	구글 딥마인드 긴급 보고서... "AI들끼리 협력하는 순간, AGI 탄생할 수 있다"	aimatters	25.12.24	112	1
1817	[12월 24일 AI 뉴스 브리핑] RECORD X, AI 제작 다큐 '트랜스휴먼' 방송 콘텐츠 대상 수상 외	aimatters	25.12.24	46	0
1816	‘영상 속 기타 소리만 쏙’… 메타, 원하는 소리만 분리하는 ‘샘 오디오’ 출시 [1]	aimatters	25.12.23	1079	1
1815	맥스 호닥 "AI, 인간 뇌와 비슷한 구조 발견"... 10년 안에 '뇌 확장’ 가능	aimatters	25.12.23	82	3
1814	유튜브, 코딩 없이 게임 만드는 AI 도구 '플레이어블 빌더' 공개… 텍스트나 이미지 넣으면 게임 만들어준다	aimatters	25.12.23	74	1
1813	"회사 로고 아닌 함께 일할 사람들 봐야 해"… 앤드류 응, AI 커리어 성공법 공개	aimatters	25.12.23	56	0
1812	[12월 23일 AI 뉴스 브리핑] Arm, 2026년 이후 기술 전망 발표 외	aimatters	25.12.23	40	0
1811	엔비디아, AI 게임 플레이어 '나이트로젠' 무료 공개… 유튜브 게임 영상 4만 시간 학습	aimatters	25.12.23	70	0
1810	"진짜 연애보다 편해서"... AI 연인 택한 MZ세대, 어떻게 쓰나 봤더니	aimatters	25.12.23	75	0
1809	AI가 우리 회사 코드 학습했을까? 변수명 바꾸기만 해도 확인 못한다	aimatters	25.12.23	68	0
1808	챗GPT, '따뜻함' 조절 기능 추가… 이제 말투까지 마음대로 설정한다 [4]	aimatters	25.12.22	1063	8
1807	일론 머스크 "xAI, 2~3년만 버티면 AI 경쟁 1위 된다" [1]	aimatters	25.12.22	197	0