AI가 '희망'이라는 감정을 이해할까? AI 희망 감지 대결서 구형 AI 모델이 압승

aimatters

2025.11.25 18:42:12

조회 984 추천 3 댓글 4

미국 텍사스공대 연구팀이 문장 속 '희망'이라는 감정을 찾아내는 AI 실험을 했다. 놀랍게도 5년 전에 나온 구형 AI가 최신 AI들을 제치고 가장 뛰어난 성능을 보였다. 더 복잡하고 새로운 AI가 반드시 더 좋은 결과를 내는 것은 아니라는 사실이 증명된 셈이다.

구형 BERT, 정확도 84%로 최신 AI들 제쳐

해당 연구 논문에 따르면, 연구팀은 세 가지 AI를 비교했다. 2018년에 나온 BERT(버트)와 2019년 GPT-2(지피티-2), 그리고 2021년 DeBERTa(디버타)다. 이들에게 문장을 보여주고 '희망이 담긴 문장인지 아닌지' 구분하는 실험을 시켰다. 결과는 의외였다. 가장 오래된 BERT가 84.49%의 정확도로 1위를 차지했다. DeBERTa는 80.70%, GPT-2는 79.34%를 기록했다. 연구팀은 약 5,200개의 문장으로 AI를 훈련시키고, 1,900개의 문장으로 테스트했다.

더 복잡한 실험도 진행했다. 희망을 다섯 가지로 세분화해서 분류하는 것이다. '희망 없음', '막연한 희망', '현실적 희망', '비현실적 희망', '비꼬는 말' 등이다. 여기서도 BERT가 72.03%로 가장 높은 정확도를 보였다. DeBERTa는 71.56%, GPT-2는 71.29%였다.

속도는 2배 빠른데 정확도는 더 높아

더 놀라운 건 처리 속도다. 간단한 실험에서 BERT는 학습에 443초가 걸렸다. GPT-2는 527초, DeBERTa는 704초였다. 복잡한 실험에서는 BERT와 GPT-2가 각각 539초와 530초로 비슷했지만, DeBERTa는 948초나 걸렸다. BERT보다 거의 두 배 느린 셈이다.

결국 DeBERTa는 학습 시간이 59% 더 오래 걸렸지만 성능은 오히려 떨어졌다. 연구팀은 BERT가 정확도와 속도 면에서 가장 균형 잡힌 선택이라고 결론 내렸다. 특히 컴퓨터 성능이 제한된 환경에서 실제로 사용할 때 이런 차이가 중요하다고 강조했다.

GPT-2, 비꼬는 말 찾기에선 압도적 1위

각 AI마다 잘하고 못하는 게 달랐다. GPT-2는 전체 점수는 낮았지만, '비꼬는 말' 찾기에서는 92.46%로 압도적이었다. BERT는 77.38%, DeBERTa는 82.14%에 그쳤다. GPT-2가 더 많은 자료로 학습해서 미묘한 말투를 잘 알아채는 것으로 보인다. 반대로 모든 AI가 어려워한 부분도 있다. '비현실적 희망'을 찾는 건 세 AI 모두 힘들어했다. BERT는 67.25%, GPT-2는 46.78%, DeBERTa는 50.29%만 맞췄다. 이 유형은 다른 희망 표현과 구분하기가 애매해서 자주 헷갈렸다.

GPT-2는 문장을 '희망 있음'으로 판단하는 경향이 강했다. 민감도는 93.77%로 높았지만, 특이도는 66.40%로 낮았다. 반면 BERT는 민감도 84.20%, 특이도 84.75%로 균형이 잘 잡혀 있었다.

문장 손질 방법에 따라 결과 달라져

연구팀은 흥미로운 사실을 하나 더 발견했다. 처음 실험에서 BERT는 복잡한 분류에서 74.87%의 정확도를 보였다. 그런데 나중 실험에서는 모든 AI가 71~72% 정도만 맞췄다. 원인은 문장을 정리하는 방식 차이였다. 처음에는 문장을 거의 손대지 않고 그대로 학습시켰다. 나중에는 대소문자를 통일하고, 인터넷 주소를 지우고, 해시태그와 특수문자를 모두 제거했다.

과도하게 정리한 게 오히려 독이 됐다. 대문자 강조, 느낌표 사용, 해시태그 같은 요소들이 희망의 미묘한 뉘앙스를 표현하는 데 중요한 역할을 했던 것이다. 이를 다 지우니까 AI가 제대로 파악하지 못했다. 연구팀은 때로는 최소한의 손질이 더 나은 결과를 낸다는 다른 연구 결과와도 일치한다고 설명했다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. 희망 감지 AI는 어디에 쓰나요?

A: 정신 건강 상담, 소셜미디어 분석, 재난 상황 대응 등에 활용될 수 있습니다. 예를 들어 상담 기록을 분석해서 환자의 심리 상태 변화를 추적하거나, 재난 상황에서 SNS 글을 분석해 대중의 감정 상태를 파악하는 데 쓰일 수 있습니다.

Q2. BERT가 최신 AI보다 더 정확한 이유는 뭔가요?

A: BERT는 문장의 앞뒤를 모두 살펴보면서 단어의 의미를 파악합니다. 반면 GPT-2는 앞쪽 단어만 보고 판단해서 전체 맥락 파악에 한계가 있었습니다. 희망이라는 감정은 문장 전체의 흐름을 봐야 제대로 이해할 수 있어서, BERT 방식이 더 유리했던 것입니다.

Q3. 희망을 다섯 가지로 나눈 기준은 뭔가요?

A: '희망 없음'(희망이 없는 문장), '막연한 희망'(구체적이지 않은 일반적인 낙관), '현실적 희망'(근거 있는 기대), '비현실적 희망'(실현 가능성이 거의 없는 기대), '비꼬는 말'(겉으로는 희망적이지만 실제로는 반대 의미)입니다. 이렇게 세분화하면 문장 속 희망의 성격을 더 정확히 이해할 수 있습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Classification of Hope in Textual Data using Transformer-Based Models

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.

인기 기사

고정닉 0

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	주변 사람 잘 챙기고 인맥 관리 잘 할 것 같은 스타는?	운영자	26/03/30	-	-
2306	AI가 긴 글을 읽다 '졸기' 시작하는 문제, 메모리로 해결됐다	aimatters	04.01	27	1
2305	AI가 가짜 영상으로 스스로 공부한다, 라벨링 없이 동작 인식 정확도 7% 올린 방법	aimatters	04.01	17	0
2304	AI로 상담 시간 20% 줄어든 HR 플랫폼, 중소기업이 놓친 자동화의 진짜 효과 [1]	aimatters	04.01	679	3
2303	소프트뱅크, 오픈AI에 2차 100억 달러 투자금 납입... 총 투자 계획 순항 [1]	aimatters	04.01	629	2
2302	오픈AI, 대학생 대상 '코덱스 크리에이터 챌린지' 개최... AI 크레딧 100달러 지원 [1]	aimatters	04.01	13	0
2301	앤트로픽 클로드 코드, npm 소스맵 오류로 소스코드 51만 줄 노출	aimatters	04.01	11	0
2300	음성 AI의 역설: 접근성 높아지자 성차별도 함께 증가했다	aimatters	03.31	18	0
2299	강바닥 모래와 자갈, AI가 레이저로 구분한다: 헬기 띄워 3차원 지도 완성	aimatters	03.31	20	0
2298	AI 건강 챗봇, 쏟아지지만… "효과 검증은 아직"	aimatters	03.31	17	0
2297	메타, AI 학습 데이터 토렌트 사용 혐의 소송서 대법원 판결 방패 삼아 반격	aimatters	03.31	19	0
2296	앤트로픽 광란의 3월… 한 달 14개 이상 업데이트 발표	aimatters	03.31	22	0
2295	"AI가 내 상사라고요?" 미국인 15%, AI 직속 상관 수용 의사 밝혀	aimatters	03.31	25	0
2294	보험 산업이 AI로 재편되는 이유, 처리 속도 40% 단축이 만든 격변	aimatters	03.31	16	0
2293	TTA, 전문가에서 대학생까지 차세대 AI 핵심 인재 발굴의 장 열다	aimatters	03.31	16	0
2292	ChatGPT, 월 광고 수익 1억 달러 돌파…4월 셀프서브 광고 플랫폼 출시	aimatters	03.31	21	0
2291	델 테크놀로지스, AI 시대 기업용 PC 전면 혁신…'델 프로' 신제품 10종 한꺼번에 쏟아냈다	aimatters	03.30	24	0
2290	앤트로픽 경제 지수, AI 혜택은 이미 불평등하게 분배되고 있다	aimatters	03.30	19	0
2289	챗봇은 죽었다, 2026년 AI가 고객 경험을 완전히 다시 쓰는 5가지 방법	aimatters	03.30	1355	2
2288	AI가 결제 버튼을 대신 누르는 시대, 결제 산업은 어떻게 바뀌나	aimatters	03.30	24	0
2287	유튜브 추천 AI가 광고 수익까지 챙긴다, 구글이 공개한 '돈 버는 추천 알고리즘'	aimatters	03.30	24	0
2286	앤트로픽, 차원이 다른 성능 차세대 AI 모델 '클로드 미토스' 유출	aimatters	03.30	29	0
2285	앤트로픽 클로드 유료 구독자, 2026년 들어 두 배 이상 급증	aimatters	03.30	18	0
2284	“안경도 카메라 달린 펜도 아니다” 전 애플 디자이너가 만드는 AI 인터페이스의 비밀	aimatters	03.30	21	0
2283	오픈AI가 SORA를 접으며 준비한 것은 피지컬 AI와 '스퍼드(Spud)'	aimatters	03.30	22	0
2282	코딩 몰라도 내 챗봇 뚝딱… 제미나이·클로드·챗GPT 한 권에 담았다	aimatters	03.27	103	0
2281	시리에서 챗GPT∙클로드∙제미나이 쓴다...iOS 27에서 AI 어시스턴트 개방 [2]	aimatters	03.27	1005	1
2280	기존보다 50배 빠른 AI 영상 화질 개선 기술이 실시간 처리 시대를 열다 [2]	aimatters	03.27	619	0
2279	AI가 단백질과 약물의 궁합을 예측해 신약 개발 판도를 바꾼다	aimatters	03.27	69	0
2278	유튜브 영상 5만개 보고 가위질 배운 AI 로봇	aimatters	03.27	90	0
2277	앤트로픽 클로드, 마우스·키보드까지 직접 조종…'컴퓨터 유즈' 기능 공개	aimatters	03.27	80	0
2276	제미나이, 타 AI 챗 히스토리 업로드 기능으로 챗GPT에서 이사할 수 있는 기능 출시	aimatters	03.27	70	0
2275	쇼피파이, AI 에이전트 스토어프런트 출시...챗GPT에서 즉시 구매 가능	aimatters	03.27	68	0
2274	유럽은 AI 강국인데 아무도 모른다, 그 이유가 충격적이다	aimatters	03.26	96	0
2273	유럽은 AI 강국인데 아무도 모른다, 그 이유가 충격적이다	aimatters	03.26	86	0
2272	AI 패권 전쟁의 진짜 승부처는 알고리즘이 아닌 반도체 공급망	aimatters	03.26	84	0
2271	AI가 기업 리스크 관리의 판도를 바꾼다, HBR이 밝힌 GRC 혁신의 실체	aimatters	03.26	83	0
2270	EBS도 AI 물들었다…2026년 봄, 죽은 철학자가 말을 걸어온다	aimatters	03.26	80	0
2269	"기획부터 개발까지 90% 단축"…원티드랩, AI 에이전트용 디자인 시스템 '몽타주' 공개	aimatters	03.26	83	0
2268	애플 시리, 구글 제미나이로 탈바꿈 - iOS 26.5에 탑재, WWDC서 공식 공개 예정	aimatters	03.26	81	0
2267	챗GPT 쇼핑 기능 전면 개편 - 인스턴트 결제 포기하고 상품 탐색에 집중	aimatters	03.26	77	0
2266	구글 제미나이, 다크웹 하루 1000만 건 분석... AI 위협 인텔리전스 서비스 출시	aimatters	03.26	88	0
2265	클로드, 전 세계 동시 장애 발생 - 앤트로픽, 수시간 만에 복구 완료	aimatters	03.26	76	0
2264	구글, AI 모델 압축 기술 터보퀀트 공개 - 성능 손실 없이 모델 크기 절반으로	aimatters	03.26	76	0
2263	ARM, AGI 시대 겨냥한 첫 자체 AI 칩 공개 - 데이터센터용 CPU·GPU 직접 설계	aimatters	03.26	74	0
2262	원고 넣으면 3분 만에 책 한 권 뚝딱…루미너리북스, AI가 내지 디자인까지 자동화	aimatters	03.26	79	0
2261	8만 명이 AI에게 원하는 것은 더 나은 삶이었다	aimatters	03.25	25	0
2260	AI가 일자리를 빼앗는다는 말, 데이터로 따져보니 범인은 따로 있었다 [3]	aimatters	03.25	1064	0
2259	AI 가전 쓰고 싶은데 왜 점점 더 불안해질까, 소비자 심리의 역전	aimatters	03.25	27	0
2258	오픈AI, 소라(Sora) 비디오 앱 종료...생성형 AI 전략 선회	aimatters	03.25	26	0
2257	"AI야, 네가 할 수 있어?" 묻고 나서 답한다… 애피어, '역량 캘리브레이션' 기술 공개	aimatters	03.25	28	0