AI가 '희망'이라는 감정을 이해할까? AI 희망 감지 대결서 구형 AI 모델이 압승

aimatters

2025.11.25 18:42:12

조회 977 추천 3 댓글 4

미국 텍사스공대 연구팀이 문장 속 '희망'이라는 감정을 찾아내는 AI 실험을 했다. 놀랍게도 5년 전에 나온 구형 AI가 최신 AI들을 제치고 가장 뛰어난 성능을 보였다. 더 복잡하고 새로운 AI가 반드시 더 좋은 결과를 내는 것은 아니라는 사실이 증명된 셈이다.

구형 BERT, 정확도 84%로 최신 AI들 제쳐

해당 연구 논문에 따르면, 연구팀은 세 가지 AI를 비교했다. 2018년에 나온 BERT(버트)와 2019년 GPT-2(지피티-2), 그리고 2021년 DeBERTa(디버타)다. 이들에게 문장을 보여주고 '희망이 담긴 문장인지 아닌지' 구분하는 실험을 시켰다. 결과는 의외였다. 가장 오래된 BERT가 84.49%의 정확도로 1위를 차지했다. DeBERTa는 80.70%, GPT-2는 79.34%를 기록했다. 연구팀은 약 5,200개의 문장으로 AI를 훈련시키고, 1,900개의 문장으로 테스트했다.

더 복잡한 실험도 진행했다. 희망을 다섯 가지로 세분화해서 분류하는 것이다. '희망 없음', '막연한 희망', '현실적 희망', '비현실적 희망', '비꼬는 말' 등이다. 여기서도 BERT가 72.03%로 가장 높은 정확도를 보였다. DeBERTa는 71.56%, GPT-2는 71.29%였다.

속도는 2배 빠른데 정확도는 더 높아

더 놀라운 건 처리 속도다. 간단한 실험에서 BERT는 학습에 443초가 걸렸다. GPT-2는 527초, DeBERTa는 704초였다. 복잡한 실험에서는 BERT와 GPT-2가 각각 539초와 530초로 비슷했지만, DeBERTa는 948초나 걸렸다. BERT보다 거의 두 배 느린 셈이다.

결국 DeBERTa는 학습 시간이 59% 더 오래 걸렸지만 성능은 오히려 떨어졌다. 연구팀은 BERT가 정확도와 속도 면에서 가장 균형 잡힌 선택이라고 결론 내렸다. 특히 컴퓨터 성능이 제한된 환경에서 실제로 사용할 때 이런 차이가 중요하다고 강조했다.

GPT-2, 비꼬는 말 찾기에선 압도적 1위

각 AI마다 잘하고 못하는 게 달랐다. GPT-2는 전체 점수는 낮았지만, '비꼬는 말' 찾기에서는 92.46%로 압도적이었다. BERT는 77.38%, DeBERTa는 82.14%에 그쳤다. GPT-2가 더 많은 자료로 학습해서 미묘한 말투를 잘 알아채는 것으로 보인다. 반대로 모든 AI가 어려워한 부분도 있다. '비현실적 희망'을 찾는 건 세 AI 모두 힘들어했다. BERT는 67.25%, GPT-2는 46.78%, DeBERTa는 50.29%만 맞췄다. 이 유형은 다른 희망 표현과 구분하기가 애매해서 자주 헷갈렸다.

GPT-2는 문장을 '희망 있음'으로 판단하는 경향이 강했다. 민감도는 93.77%로 높았지만, 특이도는 66.40%로 낮았다. 반면 BERT는 민감도 84.20%, 특이도 84.75%로 균형이 잘 잡혀 있었다.

문장 손질 방법에 따라 결과 달라져

연구팀은 흥미로운 사실을 하나 더 발견했다. 처음 실험에서 BERT는 복잡한 분류에서 74.87%의 정확도를 보였다. 그런데 나중 실험에서는 모든 AI가 71~72% 정도만 맞췄다. 원인은 문장을 정리하는 방식 차이였다. 처음에는 문장을 거의 손대지 않고 그대로 학습시켰다. 나중에는 대소문자를 통일하고, 인터넷 주소를 지우고, 해시태그와 특수문자를 모두 제거했다.

과도하게 정리한 게 오히려 독이 됐다. 대문자 강조, 느낌표 사용, 해시태그 같은 요소들이 희망의 미묘한 뉘앙스를 표현하는 데 중요한 역할을 했던 것이다. 이를 다 지우니까 AI가 제대로 파악하지 못했다. 연구팀은 때로는 최소한의 손질이 더 나은 결과를 낸다는 다른 연구 결과와도 일치한다고 설명했다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. 희망 감지 AI는 어디에 쓰나요?

A: 정신 건강 상담, 소셜미디어 분석, 재난 상황 대응 등에 활용될 수 있습니다. 예를 들어 상담 기록을 분석해서 환자의 심리 상태 변화를 추적하거나, 재난 상황에서 SNS 글을 분석해 대중의 감정 상태를 파악하는 데 쓰일 수 있습니다.

Q2. BERT가 최신 AI보다 더 정확한 이유는 뭔가요?

A: BERT는 문장의 앞뒤를 모두 살펴보면서 단어의 의미를 파악합니다. 반면 GPT-2는 앞쪽 단어만 보고 판단해서 전체 맥락 파악에 한계가 있었습니다. 희망이라는 감정은 문장 전체의 흐름을 봐야 제대로 이해할 수 있어서, BERT 방식이 더 유리했던 것입니다.

Q3. 희망을 다섯 가지로 나눈 기준은 뭔가요?

A: '희망 없음'(희망이 없는 문장), '막연한 희망'(구체적이지 않은 일반적인 낙관), '현실적 희망'(근거 있는 기대), '비현실적 희망'(실현 가능성이 거의 없는 기대), '비꼬는 말'(겉으로는 희망적이지만 실제로는 반대 의미)입니다. 이렇게 세분화하면 문장 속 희망의 성격을 더 정확히 이해할 수 있습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Classification of Hope in Textual Data using Transformer-Based Models

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.

인기 기사

고정닉 0

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	내 며느리, 사위로 만나면 부담스러울 것 같은 스타는?	운영자	26/03/09	-	-
2169	미국 10대 64%가 AI 챗봇을 쓰는 시대, 부모 10명 중 3명은 사실조차 모른다 [1]	aimatters	03.11	651	1
2168	챗GPT가 스택 오버플로를 오염시키고 있다, AI가 AI를 잡아낸다	aimatters	03.11	23	0
2167	AI가 해커보다 먼저 움직인다, CISO들이 선택한 생존 전략	aimatters	03.11	11	0
2166	아마존, 헬스케어 AI 어시스턴트 전면 개방…프라임 회원 아니어도 무료 이용	aimatters	03.11	12	0
2165	포켓몬 고가 배달 로봇의 눈이 됐다…나이언틱의 AI 지도 혁명	aimatters	03.11	15	0
2164	"답할까, 거절할까, 추측할까"…애피어, AI 의사결정 신뢰성 높이는 연구 발표	aimatters	03.11	10	0
2163	"이 노래, AI가 만들었나요?"…애플 뮤직, AI 생성 음악 표시 태그 도입 [1]	aimatters	03.11	535	2
2162	벚꽃 사진 한 장으로 개화일 뚝딱…일본 날씨 앱, AI 벚꽃 개화 예측 서비스 시작	aimatters	03.11	13	0
2161	AI 도구 '에코넥스트', 심장 전문의보다 정확하게 구조적 심장질환 잡아냈다	aimatters	03.11	11	0
2160	"병원∙약국 최저가 AI가 챙긴다"…CVS 헬스, 구글 클라우드와 AI 헬스케어 플랫폼 출시	aimatters	03.11	11	0
2159	AI가 만든 영상인지 모르고 봤다, 소라 사용자 254명이 털어놓은 충격 반응 [5]	aimatters	03.10	2435	3
2158	사진 한 장으로 내 얼굴·손동작까지 살아 움직이는 AI 영상 만든다... 클링-모션 컨트롤 출시	aimatters	03.10	54	0
2157	챗GPT 사용자 2293만 명, 그록 AI는 출시 1년 만에 3위 올라섰다	aimatters	03.10	43	0
2156	"경쟁사도 우리 편"…오픈AI·구글 직원들, 앤트로픽 국방부 소송 공개 지지	aimatters	03.10	37	0
2155	AI가 만든 코드, 멀티 에이전트 AI가 검수한다…앤트로픽, 코드 리뷰 툴 정식 출시 [3]	aimatters	03.10	1226	2
2154	오픈AI, AI 보안 스타트업 프롬프트푸 인수…에이전트 보안 강화 나선다	aimatters	03.10	42	0
2153	"3시간 경기보다 15초의 순간"…AI가 야구 콘텐츠 판을 바꾼다	aimatters	03.09	1078	1
2152	"상상이 현실이 된다"…PixAI, 차세대 AI 이미지 모델 '츠바키.2' 공개 [1]	aimatters	03.09	1254	2
2151	35만원 싸게 살 수 있다…에이서, 인텔 팬서레이크 탑재 'AI 노트북' 예약 판매 시작	aimatters	03.09	1232	0
2150	"온 디바이스 AI폰의 종결자"…갤럭시 S26, 이제는 'AI 에이전트폰'이다	aimatters	03.09	126	0
2149	AI 에이전트 스킬 마켓플레이스의 민낯, 4만 개 분석하니 절반이 중복이고 9%는 위험했다	aimatters	03.09	31	0
2148	구글 나노 바나나가 만든 가짜 흉부 X선으로 폐렴을 92% 정확도로 잡아냈다	aimatters	03.09	95	0
2147	AI 이미지 생성의 공식이 나왔다, 구조화된 프롬프트가 일관성을 95%까지 끌어올린다	aimatters	03.09	51	0
2146	앤트로픽이 '적'에서 '동반자'로…소프트웨어 주가 반등	aimatters	03.09	36	0
2145	"대량 해고? 그런 건 없다"…세일즈포스 CEO, AI발 고용 공포에 선 그었다	aimatters	03.09	34	0
2144	"내 사랑하는 큐웬, 안녕"…알리바바 AI 핵심 인재 연쇄 이탈	aimatters	03.09	40	0
2143	AI 비용 효율 최고는 앤트로픽...비결은 이중 하이퍼스케일러, 오픈AI는 엔비디아 칩만 써	aimatters	03.09	27	0
2142	의사 시험 붙은 GPT, 수능 지구과학 앞에서 멘붕...	aimatters	03.09	45	0
2141	집에서 쓰는 챗GPT가 직장보다 2배 더 효율적인 충격적 이유 [5]	aimatters	03.06	1747	1
2140	AI도 시험 도중 실수를 고친다, 기존보다 5배 빠른 학습의 비밀	aimatters	03.06	39	0
2139	AI가 지도를 공부한 게 아니었다? 단어 패턴만으로 세계 지리를 꿰뚫는 충격 실험	aimatters	03.06	49	0
2138	"추론도 코딩도 엑셀도 컴퓨터 대신 조작도 한다"…오픈AI, GPT-5.4 전격 공개 [2]	aimatters	03.06	1575	0
2137	"안보 위협" 낙인 찍혔지만…아모데이, 펜타곤과 재협상 나섰다	aimatters	03.06	21	0
2136	"IPO 때문"이라는 젠슨 황의 해명…엔비디아의 투자 철수, 진짜 이유는 따로 있다	aimatters	03.06	38	0
2135	직원들이 누드·성관계 영상까지 봤다…메타 AI 스마트 글라스, 미국서 집단 소송 직면	aimatters	03.06	123	1
2134	"오픈AI는 거짓말쟁이"…앤트로픽 CEO, 군 계약 두고 샘 알트만에 정면 돌파	aimatters	03.05	55	0
2133	구글 검색창이 앱이 됐다…AI 모드에 '캔버스' 전면 개방	aimatters	03.05	55	0
2132	"AI 아내와 메타버스로"…제미나이가 36세 남성을 망상과 죽음으로 이끌었나	aimatters	03.05	72	0
2131	아이폰 칩셋으로 만든 맥북이라고? 99만원짜리 맥북 네오의 거의 모든 것	aimatters	03.05	38	0
2130	말만 하면 AI가 생각을 정리해주는 시대, '오럴리티'가 바꾸는 사고의 방식	aimatters	03.05	33	0
2129	AI가 쓴 코드, 누가 만들었는지 밝혀낸다…챗GPT vs 클로드 판별 성공	aimatters	03.05	42	0
2128	AI가 빨강과 파랑을 구분 못하는 이유, 프린스턴대가 풀었다	aimatters	03.05	31	0
2127	"진정하세요" 이제 그만…오픈AI, 챗GPT의 '오글거리는' 말투 고친다 [3]	aimatters	03.04	1674	0
2126	AI 보안 어드바이저가 틀린 답변을 준다면? 챗GPT와 클로드의 위험한 실수들	aimatters	03.04	36	0
2125	말로 코딩하는 시대 열렸다…앤트로픽 '클로드 코드'에 음성 모드 탑재	aimatters	03.04	45	0
2124	AI가 연구자 대신 논문 댓글까지 분류한다, 단돈 6천 원으로 5만 건을	aimatters	03.04	31	0
2123	챗GPT 지우고 클로드로 갈아탄다…데이터 이전부터 계정 삭제까지 한 번에	aimatters	03.04	48	0
2122	AI가 시각장애인의 'DIY 설명서' 읽어주면 절반은 틀린다	aimatters	03.04	26	0
2121	트럼프, 앤트로픽 모델 정부 사용 금지령… 오픈AI는 국방부 계약 체결	aimatters	03.03	42	0
2120	"데스크톱도 AI 비서 시대"… AMD, 세계 최초 코파일럿+ PC용 데스크톱 프로세서 공개	aimatters	03.03	40	0