MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보/뉴스] MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

ㅇㅇ(182.230) 2024.03.29 23:23:19

조회 1120 추천 20 댓글 3

https://www.aitimes.com/news/articleView.html?idxno=158399

MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

마이크로소프트(MS)가 생성 인공지능(AI)의 탈옥을 막고 환각을 감지하는 개발자용 도구를 내놓았다. 선거 등을 앞두고 터져 나오는 구설수를 미리 차단하겠다는 의도다.MS는 28일(현지시간) 공식 블로그를 통해 '안전하고 신뢰할 수 있는 생성 AI 애플리케이션을 구축하는 데 도움이 되는 애저 AI의 새로운 도구' 출시를 발표했다.여기에는 🔼모델에 영향을 미치기 전에 프롬프트 공격을 감지하고 차단하는 프롬프트 실드(Prompt Shields) 🔼모델 출력에서 환각을 감지하는 접지 감지(Groundedness detection) 🔼모델

www.aitimes.com

7ce88875bc8b07f739ef82e541ee7769fe198033142c32f7b26f977c54a69617d01b

마이크로소프트(MS)가 생성 인공지능(AI)의 탈옥을 막고 환각을 감지하는 개발자용 도구를 내놓았다. 선거 등을 앞두고 터져 나오는 구설수를 미리 차단하겠다는 의도다.

MS는 28일(현지시간) 공식 블로그를 통해 '안전하고 신뢰할 수 있는 생성 AI 애플리케이션을 구축하는 데 도움이 되는 애저 AI의 새로운 도구' 출시를 발표했다.

여기에는 🔼모델에 영향을 미치기 전에 프롬프트 공격을 감지하고 차단하는 프롬프트 실드(Prompt Shields) 🔼모델 출력에서 환각을 감지하는 접지 감지(Groundedness detection) 🔼모델 동작을 안전하고 책임감 있는 결과로 유도하는 안전 시스템 메시지(Safety system messages) 🔼애플리케이션의 탈옥 공격 및 콘텐츠 위험 생성에 대한 안전성 평가(Safety evaluations)

🔼어떤 입력과 출력, 사용자가 콘텐츠 필터를 우회하는지 파악할 수 있는 위험 및 안전 모니터링(Risk and safety monitoring) 등이 포함된다.

이들은 조만간 출시 예정이며, 일부는 미리보기로 제공한다.

7ce88875bc8b07f739ef82e54eee7768e27f8e81e759d2bc0832104e3827f777bfc0

사라 버드 MS 책임 있는 AI 최고 제품 책임자는 더 버지와의 인터뷰에서 “우리는 대부분 사용자가 프롬프트 공격이나 증오성 콘텐츠에 대해 깊은 전문 지식을 갖고 있지 않다는 것을 알고 있다"라며 "이런 평가 시스템을 통해 사용자는 무엇이 문제인 지를 확인할 수 있다"라고 말했다.

특히 최근 제미나이로 인해 큰 문제가 된 역사적으로 부정확한 이미지나 유명인의 딥페이크 등이 생성되는 것을 막을 수 있다는 설명이다. 또 애저를 사용하는 회사의 시스템 관리자는 누가 안전하지 않은 출력을 시도하는지 파악할 수 있게 된다.

이 기능은 현재 애저에서 제공하는 'GPT-4'나 '라마 2'같은 모델에 즉시 적용할 수 있다는 설명이다. 일부 오픈 소스 모델에는 수동 지정도 필요하다.

이에 앞서 지난 2월에는 MS와 구글, 오픈AI 등 20개 빅테크가 생성 AI 콘텐츠의 선거 악용을 방지하기 위해 공동 대책을 마련하기로 합의했다. 또 각 회사는 생성 AI 이미지에 워터마크를 삽입할 예정이다.

하지만 이달 초 미국 비영리단체 디지털혐오 대응센터(CCDH)가 발표한 조사 결과에 따르면 여전히 선거 관련 허위 콘텐츠 생성에 취약하다는 결과가 나왔다.

또 MS에서는 이미지 생성 AI에 문제가 있으며, 경고에도 불구하고 회사가 이를 무시했다는 내부 폭로도 등장한 바 있다.

고정닉 5

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2863	설문	시세차익 부러워 부동산 보는 눈 배우고 싶은 스타는?	운영자	24/05/27	-	-
467920	일반	6분남았다	ㅇㅇ(121.124)	05.14	30	0
467919	일반	근데 2만명이나 이 방송 기다리고있다는게 신기하지않냐 얘들아? [1]	ㅇㅇ(61.97)	05.14	129	0
467918	일반	씨발 영어를 모르는데 중계를 어떻게 알아먹노 [2]	ㅇㅇ(221.164)	05.14	66	0
467917	일반	아오 언제하노	ㅇㅇ(58.226)	05.14	18	0
467916	일반	방송 좌표 [1]	ㅇㅇ(125.188)	05.14	72	1
467915	일반	내일이 부5처님 오신 날이네 [1]	어브리	05.14	58	0
467914	일반	왜애애애ㅐ애애앵	초2때부터야동본놈(116.36)	05.14	31	0
467912	일반	밑에 귀5신혐짤이니까 클릭 ㄴㄴㄴㄴㄴㄴㄴㄴ	ㅇㅇ(61.97)	05.14	54	1
467910	일반	다들 라이브 방송 어디서봐?????????? [2]	ㅇㅇ(203.251)	05.14	142	0
467909	일반	일론머스크 극단선택 [1]	ㅇㅇ(211.192)	05.14	147	0
467908	일반	이번엔 제발 OAI도 검열 제대로하고 도덕성,정치적올바름에 신경썼으면 [3]	ㅇㅇ(121.184)	05.14	164	0
467907	일반	하 존나 떨린다	이세이미야케	05.14	53	0
467905	일반	삼풍백화점 옷줍는 아줌마가 개무서움 [2]	ㅇㅇ	05.14	132	0
467903	일반	Also 코딩이 진짜 대단한게 [1]	ㅇㅇ(59.12)	05.14	135	0
467902	일반	심장 두근두근 거리내	껌젖	05.14	82	0
467901	일반	지금 영상 보는새끼들만 AGI평생 무료이용권 제공 [2]	ㅇㅇ(211.222)	05.14	137	0
467899	일반	대기자 1.7만은 좀 적은거 아닌가? [5]	ㅇㅇ	05.14	202	0
467898	일반	왜 기싱짤들이 하나같이 고전짤들이냐 10년전 20년전 [2]	ㅇㅇ(121.124)	05.14	81	0
467896	일반	출근충 7시간뒤 [2]	ㅇㅇ(220.116)	05.14	164	0
467893	일반	솔직히 저 짤 1도 안무서운데 다른 변화구 없냐	ㅇㅇ(121.124)	05.14	82	1
467892	일반	어디서 하냐? 좌표좀 [4]	ㅇㅇ(125.188)	05.14	131	1
467890	일반	할카스 짤 올라오고 난리났네 [1]	ㅇㅇ(125.129)	05.14	108	0
467889	일반	어릴땐 저런 구1신짤 너무 무서웠는데 [11]	ㅇㅇ(220.116)	05.14	231	0
467888	일반	혐짤 올리는 것들 다 30일 차단 부탁드립니다	ㅇㅇ(218.147)	05.14	101	3
467887	일반	오늘 발표회 실시간 번역 자막 필요한 애들은 보라 [2]	ㅇㅇ(121.124)	05.14	122	0
467886	일반	이따 2시) 싹 다 노동시켜 vs 싹 다 가속시켜 [1]	ㅇㅇ(121.162)	05.14	55	0
467885	일반	실북갤가고 실베 가니까 분탕 존나 꼬이네	ㅇㅇ(125.183)	05.14	61	0
467884	일반	결과가 뭐든 이거 하난 확실 [2]	월코존버	05.14	158	0
467882	일반	귀1신짤 존나 패고싶으면 개추 ㅋㅋ [2]	ㅇㅇ(58.29)	05.14	162	4
467881	일반	좆 병신같은 낚시글 그만좀 쳐 올리지	ㅇㅇ(210.223)	05.14	52	0
467878	일반	존버891일차	alphaca	05.14	48	0
467877	일반	그냥 구글 발표 견제하려고 저러는듯 [1]	ㅇㅇ(110.46)	05.14	94	0
467876	일반	딸따리 한번 재끼고 현자의 마음으로 시청준비완료	ㅇㅇ(211.222)	05.14	82	0
467873	일반	특이점형 지금 씻고 머리말리는중이라함 [2]	ㅇㅇ(121.170)	05.14	51	0
467872	일반	1시 예상) ASI로 미래 보고옴 [4]	ㅇㅇ(222.234)	05.14	126	0
467870	일반	근데 2시 발표라면서 왜 1시 시작임? [2]	비닌	05.14	199	0
467869	일반	특이점한테 카톢왔는데 거의 다 와간다네 25분쯤 걸린다함	ㅇㅇ(121.184)	05.14	66	0
467868	일반	털드만 이 놈이 무슨 개소리하나 궁금하긴 하네 [1]	ㅇㅇ	05.14	74	0
467867	일반	트만이형 간만에 라이브로 볼생각에 쥬지가 터질라함	ㅇㅇ(121.124)	05.14	26	0
467866	일반	잡스 발표 이후 역대급 발표가 온다.	헬스토끼	05.14	97	0
467865	일반	너네 근데 대부분은 라이브로 보는 의미가 있긴해? [8]	ㅇㅇ(112.161)	05.14	212	0
467864	일반	이번엔 진짜 큰거인가보다.....ㄷㄷㄷ [2]	ㅇㅇ	05.14	179	1
467863	일반	역사적으로 이렇게 호들갑떠는 발표는 항상 별거없음 [4]	ㅇㅇ	05.14	240	0
467862	일반	나도 피자시킴 [2]	ㅇㅇ(125.134)	05.14	80	0
467860	일반	1인1행성 시대가 온다 [1]	ㅇㅇ(211.192)	05.14	115	0
467858	일반	also+her 이면 진짜 지리는 거 아님? [1]	ㅇㅇ(125.137)	05.14	138	0
467857	일반	형 피자 시켰다 [2]	헬스토끼	05.14	148	1
467856	일반	OAI혁신은 끝났지 최근 발표들 보면 지루해졌음	ㅇㅇ(121.142)	05.14	120	0
467855	일반	게이향우회가 실리콘벨리를 지배하는구나	헬스토끼	05.14	50	0
467854	일반	나같은 로봇존버충은 없냐? [9]	비닌	05.14	132	0