악플 달리기 24시간 전 알아챈다… AI 예측 시스템 등장

aimatters

2026.01.05 18:14:43

조회 1749 추천 2 댓글 19

오픈소스 소프트웨어 커뮤니티에서 악플이 달리기 전에 미리 알아채는 인공지능이 나왔다. 대화 분위기가 험악해지는 순간을 포착해서 90% 이상 정확도로 악플 발생을 예측한다. 미국 미주리 과학기술대학교 연구팀은 깃허브(GitHub) 대화 366개를 분석했다. 깃허브는 전 세계 개발자들이 코드를 공유하고 협업하는 플랫폼이다. 연구진은 악플이 달린 대화 159개와 정상 대화 207개를 샅샅이 뜯어봤다. 그 결과 악플이 나타나기 전에 명확한 징조가 있다는 걸 찾아냈다.

분위기 나빠지면 하루 안에 악플 쏟아진다

해당 연구 논문에 따르면, 분위기가 나빠지는 순간과 실제 악플이 달리는 순간 사이엔 평균 3개 댓글밖에 없었다. 더 놀라운 건 악플의 64%가 분위기가 험악해진 후 하루 안에 터졌다는 점이다. 한번 대화가 삐걱거리기 시작하면 순식간에 악플로 번진다는 얘기다.

분위기가 나빠지는 지점에선 특정 말투가 눈에 띄게 늘었다. '당신'이나 '너' 같은 표현이 평소보다 16.8% 많았고, '아니다', '안 된다' 같은 부정어는 14.9% 증가했다. '왜', '어떻게' 같은 질문도 13.2% 늘었다. 특히 '왜냐하면', '~이므로' 같은 논리적 설명이 70% 넘게 나타났다. 논리적으로 말하지만 상대방과 부딪히는 분위기가 악플의 전조증상이라는 뜻이다.

'짜증'과 '조급함'이 악플 예고 신호

분위기가 나빠지는 지점에서 가장 많이 드러난 감정은 '심한 짜증'으로 42.82%를 차지했다. 그다음이 '조급함' 22.65%, '비꼬기' 9.94%였다. 재밌는 건 직접적인 욕설이나 모욕은 실제 악플엔 많았지만, 그 전 단계에선 적었다는 점이다. 처음엔 미묘하게 무례하다가 점점 노골적으로 악화되는 셈이다.

대화를 삐걱거리게 만드는 원인도 밝혀졌다. 가장 흔한 이유는 '프로그램 오류나 버그 때문에 답답해하는 것'으로 23.27%였다. 예를 들어 "이게 다야. 더 무슨 증거가 필요해?"처럼 기술 문제에 대한 답답함이 터져 나오면서 대화가 틀어졌다. 두 번째는 '기술적 의견 차이' 20.12%, 세 번째는 '서로 말이 안 통하는 상황' 16.98%였다.

AI가 대화 요약해서 악플 예측

연구팀은 이런 패턴을 바탕으로 새로운 예측 시스템을 만들었다. 작동 방식은 간단하다. 먼저 깃허브 대화를 분석해서 기술 내용은 빼고 사람들이 어떻게 대화하는지, 감정이 어떻게 변하는지만 간추린다. 그다음 이 요약본을 보고 대화가 나쁜 쪽으로 갈 확률을 0에서 1 사이 숫자로 매긴다.

큐웬과 라마 AI 두 개로 테스트한 결과, 큐웬은 F1 점수 0.901을, 라마는 0.852를 찍었다. 기존에 쓰던 CRAFT라는 시스템(F1 점수 0.580)보다 훨씬 뛰어났다. F1 점수는 1에 가까울수록 예측이 정확하다는 뜻이다. 특히 큐웬은 정밀도 94.5%, 재현율 86.2%를 기록했다. 정밀도는 'AI가 문제라고 한 것 중 실제로 문제인 비율'이고, 재현율은 '실제 문제를 AI가 얼마나 잘 찾아내는지'다. 깃허브엔 정상 대화가 압도적으로 많기 때문에 괜히 오판하는 일을 줄이는 게 무척 중요하다.

감정 변화 추적이 예측의 핵심

어떤 요소가 예측에 가장 중요한지 확인하려고 연구팀은 추가 실험을 했다. AI 시스템엔 네 가지 핵심 요소가 들어 있었다. 각자 뭘 원하는지(개인 의도), 어떤 식으로 대화하는지(대화 전략), 감정과 말투가 어떻게 바뀌는지(감정 및 어조), 뭐가 긴장을 유발하는지(긴장 촉발 요인)다.

실험 결과 감정과 어조 분석 기능을 뺐더니 정확도가 7.8%나 떨어졌다. 긴장 촉발 요인을 빼도 6.5% 떨어졌다. 반면 다른 요소들은 영향이 적었다. 대화하면서 감정이 어떻게 바뀌는지 쫓고, 뭐가 갈등을 만드는지 파악하는 게 악플 예측의 핵심이라는 얘기다.

AI가 틀린 경우도 살펴봤다. 정상 대화를 문제로 본 8건에선 주로 긴장을 과장하거나 말투를 잘못 평가했다. 반대로 문제를 못 찾은 22건에선 짜증 같은 미묘한 신호를 놓치거나 비꼬는 말을 이해하지 못했다. 특히 분위기가 나빠진 후 한참 뒤에 악플이 터진 경우는 예측이 어려웠다.

다른 데이터로 검증해도 79.7% 정확도

다양한 상황에서도 잘 작동하는지 확인하려고 연구팀은 다른 연구진이 2020년에 공개한 데이터로도 테스트했다. 이 데이터는 2012년부터 2018년까지의 깃허브 대화였고, 수집 방법과 시기가 완전히 달랐다. 전체 308개 대화 중 악플이 있는 건 65개(21%)로 훨씬 불균형했다. 이런 까다로운 조건에서도 큐웬은 F1 점수 0.797을, 라마는 0.776을 찍었다. 기존 방식보다 좋은 성적이었고, 이 시스템을 여러 커뮤니티와 시기에 걸쳐 폭넓게 쓸 수 있다는 게 입증됐다.

예측 점수 따라 대응법 달리해야

연구진은 예측 점수별로 다르게 대응하는 전략도 내놨다. 악플 가능성이 높게 나오면(0.7 이상) 관리자가 직접 확인하도록 알린다. 중간 정도 나오면(0.3~0.7) 자동 봇이 "서로 예의 지켜주세요" 같은 메시지를 띄운다. 깃허브 태그 기능에 '대화 주의' 같은 표시를 추가하면 관리자가 훨씬 쉽게 대응할 수 있다는 제안도 나왔다.

악플의 64%가 분위기가 나빠진 후 하루 안에 터지는 걸 생각하면, 새로 시작되거나 빠르게 진행되는 대화는 자주 점검하는 게 좋다. 느리게 진행되는 대화는 새 댓글이 달릴 때마다 점검하면 충분하다. AI가 만든 요약본은 관리자가 어디서부터 대화가 틀어졌는지 파악하는 데 도움을 준다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. GitHub 악플 예측 시스템은 어떻게 돌아가나요?

A. 두 단계로 작동합니다. 먼저 인공지능이 대화를 읽고 기술 내용은 빼고 사람들이 어떻게 대화하는지, 감정이 어떻게 바뀌는지만 간추립니다. 그다음 이걸 보고 앞으로 악플이 나올 확률을 0에서 1 사이 숫자로 알려줍니다. 악플이 나타나기 전 댓글만 분석해서 예측합니다.

Q2. 얼마나 정확하게 맞추나요?

A. 가장 성능 좋은 AI 기준으로 F1 점수 0.901을 찍었습니다. 쉽게 말하면 100번 예측하면 90번 정도 맞춘다는 뜻입니다. 다른 연구진 데이터로 검증했을 때도 79.7점을 유지해서 여러 오픈소스 커뮤니티에서 쓸 수 있다는 게 확인됐습니다.

Q3. 오픈소스 프로젝트 관리자는 이걸 어떻게 활용하나요?

A. 예측 점수에 따라 다르게 대응하면 됩니다. 악플 가능성이 아주 높으면(70% 이상) 직접 대화를 확인하고, 중간 정도면(30~70%) 자동으로 "서로 예의 지켜주세요" 같은 안내를 보냅니다. AI가 만든 요약본을 보면 어디서부터 대화가 틀어졌는지 금방 알 수 있습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Toxicity Ahead: Forecasting Conversational Derailment on GitHub

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.

인기 기사

고정닉 0

원본 첨부파일 1

AI-매터스-기사-썸네일-Toxicity-Ahead.jpg

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	주류 모델하면 매출 폭등시킬 것 같은 아이돌 스타는?	운영자	26/01/05	-	-
1889	구글-캐릭터AI, 10대 자살 소송 합의... "챗봇이 죽음 부추겨"	aimatters	01.09	43	0
1888	구글 "지메일, AI 비서로 진화"... 제미나이 탑재로 이메일 자동 정리·작성	aimatters	01.09	27	0
1887	일론 머스크 "AI·로봇 때문에 모든 물건 가격 떨어진다… 아니면 국가 파산할 것"	aimatters	01.09	39	0
1886	일론 머스크 "지금 대학 갈 이유 모르겠다… AI가 개인 교사될 것" [34]	aimatters	01.09	2281	16
1885	지원자는 AI로 자소서 쓰고, 기업은 AI로 평가… 2026년 AI 채용 트렌드 분석	aimatters	01.09	43	0
1884	남성은 쓰고 여성은 망설인다... AI 격차가 만들 새로운 '성별 격차'	aimatters	01.09	57	0
1883	저소득 국가, AI 시대에 낙오 위기... OECD "생산성 격차 2배로 벌어질 것"	aimatters	01.09	28	0
1882	[1월 9일 AI 뉴스 브리핑] 레노버, 2026 FIFA 월드컵 AI 솔루션 공개 외	aimatters	01.09	17	0
1881	오픈AI, 건강 관리 AI '챗GPT 헬스' 출시... 개인 맞춤형 의료 상담해준다 [1]	aimatters	01.08	529	2
1880	미국 유타주, AI 처방전 발급 허용… 의사 없어도 약 받는다	aimatters	01.08	39	0
1879	AI로 음식에 파리 합성해 환불..? 배달앱 대상 사기 급증 [29]	aimatters	01.08	2950	15
1878	일론 머스크 "의대 갈 필요 없어… 3년 안에 로봇이 최고 외과의 능가"	aimatters	01.08	79	0
1877	이제 잠만 자도 질병 예측 가능? 스탠퍼드 AI, 하룻밤 수면으로 130가지 병 찾아낸다 [5]	aimatters	01.08	1050	5
1876	일론 머스크 "올해 AGI 도달할 것… 현재 AI로 화이트칼라 절반 이상 대체 가능" [1]	aimatters	01.08	93	0
1875	AI, 처음으로 일본 변호사 시험 합격... 96점으로 합격선 93점 돌파	aimatters	01.08	58	0
1874	[1월 8일 AI 뉴스 브리핑] 레노버, PC·스마트폰 연동하는 AI 에이전트 공개 외	aimatters	01.08	102	0
1873	AI 시대, 두뇌에 투자하면 6.2조 달러 번다... WEF·맥킨지 보고서	aimatters	01.08	34	0
1872	메타, AI 안경에 텔레프롬프터 기능 추가… 손가락 필기로 메시지 전송까지 [1]	aimatters	01.07	1054	3
1871	국내 첫 정부공인 AI 자격증 나왔다… SK AX ‘생성형AI 활용 자격증’ 정부 공인 획득 [20]	aimatters	01.07	2453	5
1870	아마존, AI 챗봇 '알렉사+' 웹 버전 공개… 챗GPT처럼 사용 가능	aimatters	01.07	26	0
1869	챗GPT 전체 대화 5%가 건강 상담... 오픈AI, 챗GPT 의료 활용 보고서 공개	aimatters	01.07	67	0
1868	“답변 40% 작성 시점에 오답 예측”… AI 스스로 오류 검증하는 기술 등장	aimatters	01.07	49	0
1867	챗GPT 독주 끝났나… 제미나이에 밀려 트래픽 22% 급락 [38]	aimatters	01.07	3239	25
1866	[1월 7일 AI 뉴스 브리핑] 레노버, CES서 하이브리드 AI 포트폴리오 대거 공개 외	aimatters	01.07	26	0
1865	'하나로 다 되는' AI 등장... 이미지-영상 생성·편집 동시에 처리한다	aimatters	01.07	45	0
1864	[1월 5일 AI 뉴스 브리핑] 엘솔루, 국내 최초 GS 인증 AI 번역기 출시 외	aimatters	01.06	24	0
1863	[CES 2026] 현대차, 아틀라스에 제미나이 로보틱스 탑재… 2028년 공장 투입한다	aimatters	01.06	32	0
1862	[CES 2026] 엔비디아, '생각'하며 운전하는 자율주행 AI '알파마요' 공개	aimatters	01.06	87	0
1861	삼성전자, 제미나이 탑재 기기 1년 만에 2배 확대… 올해 8억대 목표	aimatters	01.06	199	0
1860	AI가 정부 업무 생산성 52% 높인다... 액센츄어 "5대 핵심 영역부터 시작하라"	aimatters	01.06	31	0
1859	스위스 시계 장인 손동작까지 3D 기록... 명품 브랜드, AI로 '사라지는 기술' 보존 나섰다	aimatters	01.06	33	0
1858	제약회사들, AI로 신약개발 기간 절반으로 줄이고 비용 30% 아꼈다	aimatters	01.06	39	0
1857	[1월 6일 AI 뉴스 브리핑] AMD, CES서 AI PC용 라이젠 신제품 대거 공개 외	aimatters	01.06	23	0
1856	"창업 아이디어 없어도 괜찮아"… 오픈AI, 예비 창업자 육성 프로그램 'Grove' 참가자 모집	aimatters	01.05	49	0
1855	오픈AI "우리 경쟁자는 구글 아닌 애플"… 정작 챗GPT 앱은 '기대 이하'	aimatters	01.05	46	0
1854	"고독사 75%가 40~60대"… 한국, AI 안부전화로 중장년 고립 막는다	aimatters	01.05	45	0
	악플 달리기 24시간 전 알아챈다… AI 예측 시스템 등장 [19]	aimatters	01.05	1749	2
1852	그록 AI, 여성 탈의 이미지 무분별 생성… 국제적 논란	aimatters	01.05	73	0
1851	AI 평가의 역설... 기술 발전 아닌 '관심 끌기' 경쟁으로 변질됐다	aimatters	01.05	27	0
1850	카카오, 계산 실수·환각 대폭 줄인 하이브리드 AI 모델 공개	aimatters	01.05	24	0
1849	유니트리 휴머노이드 로봇, 사람을 향해 발차기... 수박 깨고 하이킥까지	aimatters	01.05	30	0
1848	오픈AI, 오디오 중심 개인 기기 개발 본격화... 올해 출시 목표	aimatters	01.02	45	0
1847	구글, 총상금 1억 4천만원 규모 '제미나이3 해커톤' 개최… 내달 10일 마감	aimatters	01.02	50	0
1846	일론 머스크 xAI, 기업용 그록 공개… 월 4만원대부터	aimatters	01.02	81	1
1845	혼자서도 연 10억 번다... 국내 1인 기업가들, 성공 비법 대공개 [8]	aimatters	01.02	2167	1
1844	구글 클라우드, 2026년 AI 에이전트 5대 트렌드 공개	aimatters	01.02	74	0
1843	AI를 믿는 이유? AI가 뛰어나서가 아니라 ‘사람을 못 믿어서’ [19]	aimatters	01.02	1651	14
1842	챗GPT 시대, 대학 시험 무용지물 됐다... "결과물 대신 과정 평가해야"	aimatters	01.02	71	0
1841	메타, AI 에이전트 스타트업 '마누스' 인수… 에이전트 경쟁 본격화	aimatters	25.12.31	115	0
1840	"500억 지원 놓고 한 팀 탈락"… 국내 AI 빅5, 국가대표 모델 선발전 돌입	aimatters	25.12.31	151	0