악플 달리기 24시간 전 알아챈다… AI 예측 시스템 등장

aimatters · 2026.01.05 18:14:43

오픈소스 소프트웨어 커뮤니티에서 악플이 달리기 전에 미리 알아채는 인공지능이 나왔다. 대화 분위기가 험악해지는 순간을 포착해서 90% 이상 정확도로 악플 발생을 예측한다. 미국 미주리 과학기술대학교 연구팀은 깃허브(GitHub) 대화 366개를 분석했다. 깃허브는 전 세계 개발자들이 코드를 공유하고 협업하는 플랫폼이다. 연구진은 악플이 달린 대화 159개와 정상 대화 207개를 샅샅이 뜯어봤다. 그 결과 악플이 나타나기 전에 명확한 징조가 있다는 걸 찾아냈다.

분위기 나빠지면 하루 안에 악플 쏟아진다

해당 연구 논문에 따르면, 분위기가 나빠지는 순간과 실제 악플이 달리는 순간 사이엔 평균 3개 댓글밖에 없었다. 더 놀라운 건 악플의 64%가 분위기가 험악해진 후 하루 안에 터졌다는 점이다. 한번 대화가 삐걱거리기 시작하면 순식간에 악플로 번진다는 얘기다.

분위기가 나빠지는 지점에선 특정 말투가 눈에 띄게 늘었다. '당신'이나 '너' 같은 표현이 평소보다 16.8% 많았고, '아니다', '안 된다' 같은 부정어는 14.9% 증가했다. '왜', '어떻게' 같은 질문도 13.2% 늘었다. 특히 '왜냐하면', '~이므로' 같은 논리적 설명이 70% 넘게 나타났다. 논리적으로 말하지만 상대방과 부딪히는 분위기가 악플의 전조증상이라는 뜻이다.

'짜증'과 '조급함'이 악플 예고 신호

분위기가 나빠지는 지점에서 가장 많이 드러난 감정은 '심한 짜증'으로 42.82%를 차지했다. 그다음이 '조급함' 22.65%, '비꼬기' 9.94%였다. 재밌는 건 직접적인 욕설이나 모욕은 실제 악플엔 많았지만, 그 전 단계에선 적었다는 점이다. 처음엔 미묘하게 무례하다가 점점 노골적으로 악화되는 셈이다.

대화를 삐걱거리게 만드는 원인도 밝혀졌다. 가장 흔한 이유는 '프로그램 오류나 버그 때문에 답답해하는 것'으로 23.27%였다. 예를 들어 "이게 다야. 더 무슨 증거가 필요해?"처럼 기술 문제에 대한 답답함이 터져 나오면서 대화가 틀어졌다. 두 번째는 '기술적 의견 차이' 20.12%, 세 번째는 '서로 말이 안 통하는 상황' 16.98%였다.

AI가 대화 요약해서 악플 예측

연구팀은 이런 패턴을 바탕으로 새로운 예측 시스템을 만들었다. 작동 방식은 간단하다. 먼저 깃허브 대화를 분석해서 기술 내용은 빼고 사람들이 어떻게 대화하는지, 감정이 어떻게 변하는지만 간추린다. 그다음 이 요약본을 보고 대화가 나쁜 쪽으로 갈 확률을 0에서 1 사이 숫자로 매긴다.

큐웬과 라마 AI 두 개로 테스트한 결과, 큐웬은 F1 점수 0.901을, 라마는 0.852를 찍었다. 기존에 쓰던 CRAFT라는 시스템(F1 점수 0.580)보다 훨씬 뛰어났다. F1 점수는 1에 가까울수록 예측이 정확하다는 뜻이다. 특히 큐웬은 정밀도 94.5%, 재현율 86.2%를 기록했다. 정밀도는 'AI가 문제라고 한 것 중 실제로 문제인 비율'이고, 재현율은 '실제 문제를 AI가 얼마나 잘 찾아내는지'다. 깃허브엔 정상 대화가 압도적으로 많기 때문에 괜히 오판하는 일을 줄이는 게 무척 중요하다.

감정 변화 추적이 예측의 핵심

어떤 요소가 예측에 가장 중요한지 확인하려고 연구팀은 추가 실험을 했다. AI 시스템엔 네 가지 핵심 요소가 들어 있었다. 각자 뭘 원하는지(개인 의도), 어떤 식으로 대화하는지(대화 전략), 감정과 말투가 어떻게 바뀌는지(감정 및 어조), 뭐가 긴장을 유발하는지(긴장 촉발 요인)다.

실험 결과 감정과 어조 분석 기능을 뺐더니 정확도가 7.8%나 떨어졌다. 긴장 촉발 요인을 빼도 6.5% 떨어졌다. 반면 다른 요소들은 영향이 적었다. 대화하면서 감정이 어떻게 바뀌는지 쫓고, 뭐가 갈등을 만드는지 파악하는 게 악플 예측의 핵심이라는 얘기다.

AI가 틀린 경우도 살펴봤다. 정상 대화를 문제로 본 8건에선 주로 긴장을 과장하거나 말투를 잘못 평가했다. 반대로 문제를 못 찾은 22건에선 짜증 같은 미묘한 신호를 놓치거나 비꼬는 말을 이해하지 못했다. 특히 분위기가 나빠진 후 한참 뒤에 악플이 터진 경우는 예측이 어려웠다.

다른 데이터로 검증해도 79.7% 정확도

다양한 상황에서도 잘 작동하는지 확인하려고 연구팀은 다른 연구진이 2020년에 공개한 데이터로도 테스트했다. 이 데이터는 2012년부터 2018년까지의 깃허브 대화였고, 수집 방법과 시기가 완전히 달랐다. 전체 308개 대화 중 악플이 있는 건 65개(21%)로 훨씬 불균형했다. 이런 까다로운 조건에서도 큐웬은 F1 점수 0.797을, 라마는 0.776을 찍었다. 기존 방식보다 좋은 성적이었고, 이 시스템을 여러 커뮤니티와 시기에 걸쳐 폭넓게 쓸 수 있다는 게 입증됐다.

예측 점수 따라 대응법 달리해야

연구진은 예측 점수별로 다르게 대응하는 전략도 내놨다. 악플 가능성이 높게 나오면(0.7 이상) 관리자가 직접 확인하도록 알린다. 중간 정도 나오면(0.3~0.7) 자동 봇이 "서로 예의 지켜주세요" 같은 메시지를 띄운다. 깃허브 태그 기능에 '대화 주의' 같은 표시를 추가하면 관리자가 훨씬 쉽게 대응할 수 있다는 제안도 나왔다.

악플의 64%가 분위기가 나빠진 후 하루 안에 터지는 걸 생각하면, 새로 시작되거나 빠르게 진행되는 대화는 자주 점검하는 게 좋다. 느리게 진행되는 대화는 새 댓글이 달릴 때마다 점검하면 충분하다. AI가 만든 요약본은 관리자가 어디서부터 대화가 틀어졌는지 파악하는 데 도움을 준다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. GitHub 악플 예측 시스템은 어떻게 돌아가나요?

A. 두 단계로 작동합니다. 먼저 인공지능이 대화를 읽고 기술 내용은 빼고 사람들이 어떻게 대화하는지, 감정이 어떻게 바뀌는지만 간추립니다. 그다음 이걸 보고 앞으로 악플이 나올 확률을 0에서 1 사이 숫자로 알려줍니다. 악플이 나타나기 전 댓글만 분석해서 예측합니다.

Q2. 얼마나 정확하게 맞추나요?

A. 가장 성능 좋은 AI 기준으로 F1 점수 0.901을 찍었습니다. 쉽게 말하면 100번 예측하면 90번 정도 맞춘다는 뜻입니다. 다른 연구진 데이터로 검증했을 때도 79.7점을 유지해서 여러 오픈소스 커뮤니티에서 쓸 수 있다는 게 확인됐습니다.

Q3. 오픈소스 프로젝트 관리자는 이걸 어떻게 활용하나요?

A. 예측 점수에 따라 다르게 대응하면 됩니다. 악플 가능성이 아주 높으면(70% 이상) 직접 대화를 확인하고, 중간 정도면(30~70%) 자동으로 "서로 예의 지켜주세요" 같은 안내를 보냅니다. AI가 만든 요약본을 보면 어디서부터 대화가 틀어졌는지 금방 알 수 있습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Toxicity Ahead: Forecasting Conversational Derailment on GitHub

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.

인기 기사

번호	제목	글쓴이	작성일	조회	추천
설문	해외 유명인들과 있어도 기가 전혀 죽지 않을 것 같은 스타는?	운영자	26/02/09	-	-
이슈	[디시人터뷰] '따로 또 같이' 피어난 걸그룹 tripleS	운영자	26/02/10	-	-
2060	앤트로픽이 경고하는 클로드 오퍼스 4.6의 8가지 위험 경로 시나리오	aimatters	02.12	20	0
2059	"개인 컴퓨터로 초거대 AI 학습 가능해진다"... 12배 빠른 신기술 등장	aimatters	02.12	23	0
2058	AI가 제안서부터 재무보고서까지 '완성 파일'로 뚝딱… 중국 GLM-5 충격 [3]	aimatters	02.12	553	3
2057	한국 교육부, 2028년부터 AI로 수능 영어 지문 만든다	aimatters	02.12	16	0
2056	앤트로픽, 파워포인트용 클로드 베타 출시…템플릿 인식해 슬라이드 자동 생성	aimatters	02.12	21	0
2055	요기요, 챗GPT에 국내 배달앱 최초로 앱 개설… "대화로 맛집 찾고 주문까지"	aimatters	02.12	22	0
2054	AI가 의식을 가졌다고? 몰트북 실험이 폭로한 충격적 진실 [7]	aimatters	02.11	2479	9
2053	아이소모픽랩스, 15년 걸린 발견 몇 초 만에… 알파폴드3 뛰어넘는 AI 신약 엔진 공개	aimatters	02.11	45	0
2052	"한자도 완벽 재현"… 알리바바 Qwen-Image-2.0, 이미지 속 텍스트 문제 해결	aimatters	02.11	49	0
2051	앤트로픽 '코워크', 윈도우 지원 시작… 맥OS와 동일 기능 제공	aimatters	02.11	24	0
2050	오픈AI, 챗GPT에 광고 도입… 무료·저가 사용자 대상 테스트 시작	aimatters	02.11	43	0
2049	커서, 강화학습 20배 확대한 'Composer 1.5' 공개… "속도와 성능 균형 맞췄다"	aimatters	02.11	31	0
2048	"우주 방사선 속에서도 오류 96% 차단"…위성 AI 칩의 비밀	aimatters	02.11	36	0
2047	BMW·벤츠 AI 비서, 해커 손에 차량 제어권 넘긴다	aimatters	02.11	471	1
2046	2025년 학술 논문, 전년 대비 가짜 인용 81% 급증... AI 에이전트가 원인	aimatters	02.11	463	3
2045	챗GPT 앱 사용 시간 1년 만에 8배 폭증…한국인 AI 활용 급증	aimatters	02.11	35	0
2044	메타 AI, 신모델 '아보카도'와 브라우저 에이전트 출시 준비 포착	aimatters	02.10	35	0
2043	오픈클로 창시자, "앱의 80%가 사라질 것"	aimatters	02.10	58	0
2042	샘 알트만 "챗GPT 월간 성장률 10% 돌파"... 오픈AI, 1000억 달러 투자 유치 막바지 [14]	aimatters	02.10	970	0
2041	2만 달러 주고 AI한테 맡겼더니… 2주 만에 10만 줄 프로그램 완성	aimatters	02.09	113	0
2040	카카오·네이버·당근마켓, 오픈클로 사용 금지령… AI 에이전트 보안 공포 확산 [14]	aimatters	02.09	2772	6
2039	인스타그램 창업자, 개발자는 이제 코드 안 짠다..."앤트로픽 코드 100% AI가 작성"	aimatters	02.09	103	0
2038	메타 레이밴 글라스가 진짜 AI 비서로… 보고 듣고 심부름까지 척척	aimatters	02.09	56	1
2037	AI 수백 개가 밤낮없이 코딩… 일주일간 혼자 웹브라우저 만든 인공지능 팀의 비밀	aimatters	02.06	211	0
2036	GPT-5, 2개월 만에 단백질 생산비 40% 낮춰... 약값 인하 기대	aimatters	02.06	84	0
2035	20대·저학력층이 가장 위험하다… AI 그럴듯한 거짓말에 무방비	aimatters	02.06	127	0
2034	"AI가 AI를 만드는 시대 열렸다"… 오픈AI, 자기 학습 모델 'GPT-5.3-Codex' 공개	aimatters	02.06	68	0
2033	"챗GPT 5.2 제쳤다"… 앤트로픽, 클로드 Opus 4.6 신모델 공개	aimatters	02.06	112	0
2032	"AI 직원을 여러분 회사에 파견합니다 기존 AI 같이 쓰세요"… 오픈AI, 기업용 AI 공개 [3]	aimatters	02.06	1772	1
2031	"클로드·GPT·제미나이 한 번에 물어본다"… 퍼플렉시티, AI 동시 활용 기능 출시	aimatters	02.06	154	0
2030	AI가 빅맥보다 맛있는 버거를 만든다?... "맛·환경·영양 모두 잡았다" [12]	aimatters	02.05	772	4
2029	"클로드 너마저" AI 코딩 에이전트, 실전 투입했더니 10개 중 8개 낙제… "파이썬만 한다"	aimatters	02.05	111	0
2028	"유튜브 영상 한 번만 보면 농구 척척"… 단 1개 영상으로 10가지 기술 배우는 로봇	aimatters	02.05	62	0
2027	"AI가 인간 과학자의 90%를 대체한다"...세계 물리학자들의 충격 고백	aimatters	02.05	76	0
2026	연속 질문 및 최저가 구매 요청...아마존 프라임 회원 AI 알렉사 공짜로 쓴다	aimatters	02.05	33	0
2025	AI가 만든 가짜 판례 제출한 미국변호사들… 1,700만원 벌금 폭탄	aimatters	02.05	68	0
2024	튜링테스트는 통과했지만, AI가 사람처럼 생각할 필요가 있을까?	aimatters	02.04	67	0
2023	AI '상상'만으로 웹서핑 마스터... 실수로 물건 사버릴 걱정 끝났다 [3]	aimatters	02.04	1644	3
2022	챗GPT∙제미나이, 일반 AI에게도 보드게임 졌다?	aimatters	02.04	84	0
2021	AI 발전시킨다던 오라클, 정작 데이터센터 설립 자금 마련하려 3만 명 해고 추진	aimatters	02.04	155	0
2020	"AI가 코드 짜고 오류 고친다"… 애플, 개발 도구에 클로드·코덱스 탑재	aimatters	02.04	50	0
2019	AI 코딩 에이전트의 치명적 DB 실수 막는다... 슈퍼베이스 가이드 공개	aimatters	02.04	36	0
2018	NASA "AI가 화성 길 찾아줬다"… 클로드, 3억km 떨어진 탐사선 경로 설계	aimatters	02.03	86	1
2017	오픈AI, "AI가 AI를 관리한다"… 여러 AI 비서 동시에 부리는 코덱스 앱 출시 [1]	aimatters	02.03	124	0
2016	일론 머스크 "AI 미래는 우주에"... 스페이스X와 xAI 공식 합병 발표 [14]	aimatters	02.03	1316	6
2015	"학생들 AI로 과제 다 한다고?"... 교수-학생, 서로를 크게 착각하고 있었다 [15]	aimatters	02.03	3010	3
2014	"유명인 AI 딥페이크 성범죄 제작법 알려준다"… 30만 커뮤니티의 충격적 실체 [1]	aimatters	02.03	436	0
2013	AI에게 복잡한 질문? 전기 25배 더 쓴다... 그 이유는 뭘까?	aimatters	02.03	79	0
2012	AI가 AI 보안 무력화… 챗GPT·클로드 등 41개 모델 '숨겨진 지침서' 100% 유출	aimatters	02.02	77	0
2011	기업들 AI에 200조 원 쏟아붓지만 '신뢰·데이터·직원 교육' 문제 여전 [2]	aimatters	02.02	1063	2

최근 방문

즐겨찾기

즐겨찾기 갤러리

이미지 올리기 이용안내

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[AI 매터스 갤러리]

갤러리 본문 영역

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

파워링크 광고

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘