https://www.aitimes.com/news/articleView.html?idxno=159751

아마존

텍스트 프롬프트 방식의 대형언어모델(LLM)보다 음성으로 작동하는 LLM이 탈옥 시도에 더 취약하다는 연구 결과가 나왔다. 오픈AI와 구글이 각각 음성 인공지능(AI) 비서 'GPT-4o'와 '아스트라'를 공개한 지 고작 며칠 만이다.벤처비트는 16일(현지시간) 아마존 웹 서비스(AWS) 연구진이 음성을 이헤ㅐ하고 응답할 수 있는 LLM에 대한 심각한 보안 결점을 지적하는 논문을 발표했다고 보도했다.연구진은 스마트 스피커부터 AI 비서까지 음성 엔터페이스가 보편화됨에 따라 안전성을 보장하는 것이 중요해지고 있지만, LLM에 내장된

www.aitimes.com

텍스트 프롬프트 방식의 대형언어모델(LLM)보다 음성으로 작동하는 LLM이 탈옥 시도에 더 취약하다는 연구 결과가 나왔다. 오픈AI와 구글이 각각 음성 인공지능(AI) 비서 'GPT-4o'와 '아스트라'를 공개한 지 고작 며칠 만이다.

벤처비트는 16일(현지시간) 아마존 웹 서비스(AWS) 연구진이 음성을 이헤ㅐ하고 응답할 수 있는 LLM에 대한 심각한 보안 결점을 지적하는 논문을 발표했다고 보도했다.

연구진은 스마트 스피커부터 AI 비서까지 음성 엔터페이스가 보편화됨에 따라 안전성을 보장하는 것이 중요해지고 있지만, LLM에 내장된 가드레일에도 불구하고 음성언어모델(Speech Language Model)이 적대적 공격에 매우 취약하다는 사실을 발견했다고 지적했다.

즉, 오디오 입력 시 약간의 교란을 통해 모델의 탈옥을 쉽게 유도할 수 있다는 설명이다.

연구진은 '투영 경사하강법(Projected Gradient Descent)'이라는 기술을 사용, 모델이 노골적인 폭력부터 증오심 표현까지 12가지 범주에 걸쳐 유해한 결과를 생성하는 데 성공했다고 전했다. 특히 성공률은 90%에 달했다고 강조했다.

또 교차 모델 및 교차 프롬프트 공격과 같은 기술을 사용하는 '전송 공격(Transfer attacks)' 방법을 통해서는 10%의 평균 성공률을 기록했다고 밝혔다. 이는 한 모델에서 만들어진 오디오 공격이 직접적인 액세스 없이도 다른 모델로 전송되는 경우를 말한다.

수석 저자인 라그후비어 페리는 “다양한 모델 아키텍처에 걸쳐 이런 공격이 전달될 수 있다는 점은 현재 이런 시스템을 정렬하고 훈련하는 방법에 문제가 있음을 시사한다"라고 말했다.

AWS 연구진은 오디오 입력에 무작위 노이즈를 추가하는 '무작위 평활화(Randomized Smoothing)'라고 알려진 기술 등을 대책으로 제안했다. 실험에서는 이를 통해 공격 성공률이 크게 감소했다. 그러나 연구진은 완전한 해결책은 아니라고 경고했다.

페리 연구원은 "적의 공격에 방어하는 것은 일종의 군비 경쟁"이라며 “모델의 기능이 향상되며, 오용 가능성도 커졌다. 지속적인 안전 투자가 중요하다”라고 밝혔다.

실제로 연구에 활용된 음성 모델은 첨단 성능을 달성하기 위해 대화 데이터 학습을 거쳤으며, 실험 전 안전 및 유용성 벤치마크에서 모두 80% 이상을 달성했다.

이번 연구는 음성 AI 비서 도입 본격화를 앞두고 보안에 대한 문제를 미리 검토해야 한다는 경고로 등장했다.

연구의 공동 저자인 카트린 키르초프는 “우리는 음성 AI 기술의 변곡점에 와 있다"라며 "이는 사회에 이익을 줄 수 있는 엄청난 잠재력을 가지고 있지만, 책임감 있게 개발하지 않으면 해를 끼칠 수도 있다”라고 말했다.