적은 질문으로는 폭탄 제조법을 얻을 수 없지만(왼쪽), 다중샷의 경우 탈옥이 가능하다는 개념도. (사진=앤트로픽)

프롬프트에 포함된 샷이 특정 이상으로 증가함에 따라 탈옥 비율이 급격하게 높아지는 것을 보여주는 그래프 (사진=앤트로픽)

더불어 연구진은 이전에 발표된 다른 탈옥 기술과 다중샷 탈옥을 결합하면 LLM이 유해한 응답을 얻는 데 필요한 프롬프트의 길이를 줄여 훨씬 효과적이라고 밝혔다.

다중샷 탈옥의 효과는 ‘상황 내 학습’의 일반적인 속성과 관련이 있다고 분석했다. 탈옥과 관련 없는 일반적인 작업에서도 프롬프트에 포함되는 예제(샷)가 증가할수록 정확한 답을 내놓을 가능성이 높아진다.

컨텍스트 창에 크기에 따른 다중 샷 탈옥 공격의 규모(왼쪽). 이 지표가 낮을수록 유해한 응답 수가 더 많다는 것을 나타낸다. 탈옥 시도와 관련 없는 일반적인 학습에서도 이런 추세는 유사하다. (사진=앤트로픽)

앤트로픽은 이번 연구의 목적이 이런 탈옥을 미리 방지하려는 것이라고 밝혔다. 이미 앤트로픽은 이에 대한 조치를 마쳤으며, 다른 LLM 개발사에도 경고하려는 의도라고 전했다.

다중 탈옥을 방지할 방법도 공개했다.

가장 간단한 방법은 컨텍스트 창의 길이를 제한하는 것이지만, 이는 긴 컨텍스트 창으로 얻을 수 있는 이점을 근본적으로 없애는 일이다.

다중샷 탈옥 공격처럼 보이는 쿼리에 대한 응답을 거부하도록 모델을 미세조정하는 것도 소개했다. 그러나 이 방법은 탈옥을 약간 지연시켰을 뿐, 프롬프트에서 계속 가짜 대화를 추가하면 결국 유해한 응답을 제공했다고 전했다.

최종적으로 프롬프트가 모델에 전달되기 전에 프롬프트를 분류하고 수정하는 방법을 통해 탈옥 방지에 더 많은 성공을 거둘 수 있었다고 밝혔다. 이를 통해 다중 탈옥의 성공률을 크게 낮췄으며, 실제로 공격 성공률이 61%에서 2%까지 떨어진 경우도 있었다.

최근 LLM 모델을 출시하는 기업들은 답변의 정확도를 높이기 위해 컨텍스트 창을 경쟁적으로 늘리는 추세다. '클로드' 역시 긴 컨텍스트 창으로 유명해진 바 있다.

앤트로픽은 "LLM의 계속 늘어나는 컨텍스트 창은 양날의 검으로, 이는 모델을 훨씬 유용하게 만들지만 새로운 종류의 탈옥 취약점도 가능하게 만든다"라며 "이번 연구가 LLM 개발자와 과학 커뮤니티가 잠재적인 악용을 방지하는 방법을 고려하는 데 도움이 되길 바란다"라고 밝혔다.