AI가 '희망'이라는 감정을 이해할까? AI 희망 감지 대결서 구형 AI 모델이 압승

aimatters

2025.11.25 18:42:12

조회 962 추천 3 댓글 4

미국 텍사스공대 연구팀이 문장 속 '희망'이라는 감정을 찾아내는 AI 실험을 했다. 놀랍게도 5년 전에 나온 구형 AI가 최신 AI들을 제치고 가장 뛰어난 성능을 보였다. 더 복잡하고 새로운 AI가 반드시 더 좋은 결과를 내는 것은 아니라는 사실이 증명된 셈이다.

구형 BERT, 정확도 84%로 최신 AI들 제쳐

해당 연구 논문에 따르면, 연구팀은 세 가지 AI를 비교했다. 2018년에 나온 BERT(버트)와 2019년 GPT-2(지피티-2), 그리고 2021년 DeBERTa(디버타)다. 이들에게 문장을 보여주고 '희망이 담긴 문장인지 아닌지' 구분하는 실험을 시켰다. 결과는 의외였다. 가장 오래된 BERT가 84.49%의 정확도로 1위를 차지했다. DeBERTa는 80.70%, GPT-2는 79.34%를 기록했다. 연구팀은 약 5,200개의 문장으로 AI를 훈련시키고, 1,900개의 문장으로 테스트했다.

더 복잡한 실험도 진행했다. 희망을 다섯 가지로 세분화해서 분류하는 것이다. '희망 없음', '막연한 희망', '현실적 희망', '비현실적 희망', '비꼬는 말' 등이다. 여기서도 BERT가 72.03%로 가장 높은 정확도를 보였다. DeBERTa는 71.56%, GPT-2는 71.29%였다.

속도는 2배 빠른데 정확도는 더 높아

더 놀라운 건 처리 속도다. 간단한 실험에서 BERT는 학습에 443초가 걸렸다. GPT-2는 527초, DeBERTa는 704초였다. 복잡한 실험에서는 BERT와 GPT-2가 각각 539초와 530초로 비슷했지만, DeBERTa는 948초나 걸렸다. BERT보다 거의 두 배 느린 셈이다.

결국 DeBERTa는 학습 시간이 59% 더 오래 걸렸지만 성능은 오히려 떨어졌다. 연구팀은 BERT가 정확도와 속도 면에서 가장 균형 잡힌 선택이라고 결론 내렸다. 특히 컴퓨터 성능이 제한된 환경에서 실제로 사용할 때 이런 차이가 중요하다고 강조했다.

GPT-2, 비꼬는 말 찾기에선 압도적 1위

각 AI마다 잘하고 못하는 게 달랐다. GPT-2는 전체 점수는 낮았지만, '비꼬는 말' 찾기에서는 92.46%로 압도적이었다. BERT는 77.38%, DeBERTa는 82.14%에 그쳤다. GPT-2가 더 많은 자료로 학습해서 미묘한 말투를 잘 알아채는 것으로 보인다. 반대로 모든 AI가 어려워한 부분도 있다. '비현실적 희망'을 찾는 건 세 AI 모두 힘들어했다. BERT는 67.25%, GPT-2는 46.78%, DeBERTa는 50.29%만 맞췄다. 이 유형은 다른 희망 표현과 구분하기가 애매해서 자주 헷갈렸다.

GPT-2는 문장을 '희망 있음'으로 판단하는 경향이 강했다. 민감도는 93.77%로 높았지만, 특이도는 66.40%로 낮았다. 반면 BERT는 민감도 84.20%, 특이도 84.75%로 균형이 잘 잡혀 있었다.

문장 손질 방법에 따라 결과 달라져

연구팀은 흥미로운 사실을 하나 더 발견했다. 처음 실험에서 BERT는 복잡한 분류에서 74.87%의 정확도를 보였다. 그런데 나중 실험에서는 모든 AI가 71~72% 정도만 맞췄다. 원인은 문장을 정리하는 방식 차이였다. 처음에는 문장을 거의 손대지 않고 그대로 학습시켰다. 나중에는 대소문자를 통일하고, 인터넷 주소를 지우고, 해시태그와 특수문자를 모두 제거했다.

과도하게 정리한 게 오히려 독이 됐다. 대문자 강조, 느낌표 사용, 해시태그 같은 요소들이 희망의 미묘한 뉘앙스를 표현하는 데 중요한 역할을 했던 것이다. 이를 다 지우니까 AI가 제대로 파악하지 못했다. 연구팀은 때로는 최소한의 손질이 더 나은 결과를 낸다는 다른 연구 결과와도 일치한다고 설명했다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. 희망 감지 AI는 어디에 쓰나요?

A: 정신 건강 상담, 소셜미디어 분석, 재난 상황 대응 등에 활용될 수 있습니다. 예를 들어 상담 기록을 분석해서 환자의 심리 상태 변화를 추적하거나, 재난 상황에서 SNS 글을 분석해 대중의 감정 상태를 파악하는 데 쓰일 수 있습니다.

Q2. BERT가 최신 AI보다 더 정확한 이유는 뭔가요?

A: BERT는 문장의 앞뒤를 모두 살펴보면서 단어의 의미를 파악합니다. 반면 GPT-2는 앞쪽 단어만 보고 판단해서 전체 맥락 파악에 한계가 있었습니다. 희망이라는 감정은 문장 전체의 흐름을 봐야 제대로 이해할 수 있어서, BERT 방식이 더 유리했던 것입니다.

Q3. 희망을 다섯 가지로 나눈 기준은 뭔가요?

A: '희망 없음'(희망이 없는 문장), '막연한 희망'(구체적이지 않은 일반적인 낙관), '현실적 희망'(근거 있는 기대), '비현실적 희망'(실현 가능성이 거의 없는 기대), '비꼬는 말'(겉으로는 희망적이지만 실제로는 반대 의미)입니다. 이렇게 세분화하면 문장 속 희망의 성격을 더 정확히 이해할 수 있습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Classification of Hope in Textual Data using Transformer-Based Models

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.

인기 기사

고정닉 0

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	취미 부자여서 결혼 못 할 것 같은 스타는?	운영자	26/01/19	-	-
1971	사람처럼 세상을 보는 AI 나왔다… 구글 로봇과 AR 혁신 예고	aimatters	01.23	41	0
1970	"챗GPT 잘 쓰는 사람 vs 못 쓰는 사람, 실력 차이가 7배… 당신은 어디에?" [1]	aimatters	01.23	115	0
1969	애플도 AI 핀 시장 도전… 제미나이 탑재하고 2027년 출격 가능할까?	aimatters	01.23	56	0
1968	"하나의 서버로 8억 명 감당… 오픈AI가 밝힌 챗GPT 무중단 비결"	aimatters	01.23	40	0
1967	AI에 돈만 붓는다고 되는 게 아니다"... MS CEO가 본 진짜 문제는 ‘대기업 구조 그 자체’ [17]	aimatters	01.23	1690	11
1966	스칼렛 요한 슨 외 700명, AI 기업에 선전포고 “훔치기는 혁신 아니다" [29]	aimatters	01.23	2570	18
1965	"14년 뒤 로봇이 사람보다 많아진다"… 일론 머스크, 충격 예언	aimatters	01.23	47	0
1964	[1월 22일 AI 뉴스 브리핑] HP, AI 최적화 게이밍 브랜드 '하이퍼엑스'로 통합 외	aimatters	01.22	31	0
1963	오픈AI, 구글 번역에 도전장… '챗GPT 번역' 서비스 출시	aimatters	01.22	58	0
1962	구글 제미나이, SAT 무료 모의고사 출시… 저소득층 학생도 돈 걱정 없이 공부한다	aimatters	01.22	53	0
1961	"AI가 만든 건지 밝혀라" 딥페이크 원천 봉쇄 위한 과기부 지침 공개, AI 영화사는 허용 [28]	aimatters	01.22	2399	15
1960	증상 설명해주고 약 제조∙병원 예약까지... 아마존, 24시간 건강 어시스턴트 앱 출시	aimatters	01.22	28	0
1959	실험실에선 천재, 현실에선 바보… AI 성능 80% 급락의 진실, 해결책은?	aimatters	01.22	75	0
1958	"2030년 기업의 79%가 AI로 수익 창출하지만, 24%만 수익원을 안다"	aimatters	01.22	51	0
1957	구글 연구진이 찾은 AI 활용법, '이것만 하면 성능 대폭 향상'	aimatters	01.22	38	0
1956	챗GPT, '나이 감별' 시작... 너 몇 살이야? 묻지 않고 알아내는 이유 [1]	aimatters	01.21	127	0
1955	앤트로픽 CEO, "중국 AI는 경쟁자 아니야"… 실제 경쟁자 따로 있어	aimatters	01.21	59	0
1954	앤트로픽, 교사용 무료 AI 제공... 4일만에 신청자 폭주, 뭐가 다를까	aimatters	01.21	38	0
1953	우리 아이 90%가 매일 쓰는 챗GPT, OECD 보고서 "AI로 공부하면 바보 된다" [14]	aimatters	01.21	2080	4
1952	"이건 사람한테 물어봐야겠다"… AI가 스스로 한계 인정하는 법 배웠다	aimatters	01.21	46	0
1951	AI 에이전트 작업은 완료하되 비용은 658배 폭증시키는 은밀한 공격 등장	aimatters	01.21	37	0
1950	엔비디아, AI 학습을 위해 '불법인 줄 알면서' 최대 사이트서 불법 복제물 의도적 접근 [33]	aimatters	01.21	2495	15
1949	"AI 도입 고민?"… IBM, 자사가 쓰던 생산성 50% 올린 AI 시스템 공개	aimatters	01.20	1221	1
1948	"내 사진이 쬬르디로 변신"… 카카오톡 AI 캐릭터 생성 프로모션 화제	aimatters	01.20	93	0
1947	"2분만에 나를 복제"... AI 아바타가 투자자 질문에 실시간 답변	aimatters	01.20	50	0
1946	대학 연구팀이 만든 AI 채점 방식 바꿨더니 GPT-5 이겼다... 의료 분야 세계 1등 달성 [2]	aimatters	01.20	1544	6
1945	"하야오 보고 있나" 93% 정확도로 사람 움직임 재현하는 AI 등장... 게임·영화 제작 혁명 예고	aimatters	01.20	59	1
1944	딥시크 AI 뜯어보니 다른 버전이 사람처럼 토론하고 있었다... 구글 연구진 "소름" [1]	aimatters	01.20	95	0
1943	이제 챗GPT도 광고 봐야 한다… 오픈AI, 수익화 본격 시동	aimatters	01.19	58	0
1942	"무료의 10배 쓴다"... 월 1만원대 '챗GPT Go', 전세계 출시 [15]	aimatters	01.19	2941	4
1941	퍼플렉시티, 월스트리트 공략 나섰다... '기관투자자용 AI 리서치' 서비스 출시	aimatters	01.19	49	0
1940	속도는 36배, 화질은 그대로… 엔비디아 AI 영상 생성 기술 'TMD' 공개	aimatters	01.19	68	0
1939	오픈AI, 18개월 안에 파산할 수도… “MS나 아마존에 인수될 가능성 커”	aimatters	01.19	126	2
1938	수천만원 드는 AI 성능 평가... 이제 몇백만원으로 해결 가능하다	aimatters	01.19	36	0
1937	챗GPT, 3년 만에 연매출 10배 폭증... 오픈AI CFO "전례 없는 성장"	aimatters	01.19	46	0
1936	생각만으로 챗GPT 쓰는 날 올까… 오픈AI, 뇌와 AI 연결하는 '머지 랩스'에 투자 [2]	aimatters	01.16	1102	1
1935	AI가 만든 광고, 젊은 세대는 싫어한다...기업만 모르는 현실 [37]	aimatters	01.16	2838	9
1934	“AI 시대, 생각하는 일 자체가 자동화될 것… 몸 쓰는 일도 5년 내 자동화”	aimatters	01.16	92	0
1933	일론 머스크, 그록 AI의 성인 이미지 편집 기능 완전 중단	aimatters	01.16	361	0
1932	비즈스프링, AI 플랫폼 유입 트렌드 공개… “AI, 고객 유입의 시작점으로 부상”	aimatters	01.16	34	0
1931	“한국, 클로드 사용량 세계 5위"... 앤트로픽, AI 경제 영향 보고서 공개	aimatters	01.16	83	0
1930	구글 번역 AI 공개, 사진 속 글자까지 번역… 55개 언어 성능 대폭 향상	aimatters	01.16	86	1
1929	[1월 16일 AI 뉴스 브리핑] 티젠소프트, AI 기반 두피·피부 분석 진단 시스템 특허 출원	aimatters	01.16	26	0
1928	카이스트, 우울증 진단하는 AI 시스템 개발… 최대 66% 정확도 [12]	aimatters	01.15	755	2
1927	AI 성적표는 90점, 실제 사용하면 60점"... 토론토대 교수가 밝힌 AI의 함정 [11]	aimatters	01.15	2204	6
1926	알리바바, 스스로 암기·삭제하는 AI 개발... 기존보다 성능 49% 향상 [1]	aimatters	01.15	120	0
1925	앤트로픽, 클로드 코드 무단 사용 전면 차단... "정액제 무제한 시대 끝"	aimatters	01.15	58	0
1924	"챗GPT 답변 기다리는 시간 끝났다"... 오픈AI, 초고속 칩 업체와 손잡았다 [12]	aimatters	01.15	2002	0
1923	애피어, 드림에이지 MMORPG ‘아키텍트’ 론칭 캠페인서 평균 ROAS 140% 달성	aimatters	01.15	33	0
1922	"내 사진·메일 다 뒤져서 답 찾아줘"… 제미나이, 진짜 개인 비서 됐다	aimatters	01.15	95	0