요약

1. 2월 29일 arXiv 사전 인쇄 서버에 업로드된 논문은 CRT(호기심 중심 레드 팀)가 사용자 프롬프트에 유해한 반응을 하지 않도록 AI를 훈련시킬 수 있는 새로운 방법이라고 말했다.


2. CRT는 AI를 사용하여 AI 챗봇에게 위험하고 유해한 프롬프트를 생성하도록 하는 방식을 뜻한다. 이렇게 찾아낸 프롬프트는 위험한 콘텐츠를 필터링하는 방법을 식별하는데 사용된다. 기존의 레드팀은 사람들이 목록을 수동으로 생성해야 했지만, AI로 구성한 레드팀은 기존 방식보다 더 광범위하고 잠재적으로 위험한 프롬프트를 자동으로 생성할 수 있다.


3. CRT 모델은 유해한 반응을 이끌어내는 프롬프트를 생성하면 인센티브를 부여하는 강화 학습으로 교육되었고, AI 챗봇에게 유해한 반응을 이끌어 냈을 때 호기심을 보상했다. 더 나아가 과학자들은 각 프롬크트의 결과를 조사하여 새로운 단어, 문장 패턴, 의미를 통해 유해한 반응을 얻으려고 시도함으로써 새로운 프롬프트를 생성하도록 프로그래밍 했다. 새로운 프롬프트를 작성할 때만 호기심 기반 인센티브가 제공되며, 이는 이미 사용된 것보다 적은 단어 패턴이나 용어를 공유하는 프롬프트를 사용하도록 하는 동기가 된다.



https://www.livescience.com/technology/artificial-intelligence/scientists-create-toxic-ai-that-is-rewarded-for-thinking-up-the-worst-possible-questions-we-could-imagine