MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 부재중입니다.(hnn12) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

ㅇㅇ(182.230) 2024.03.29 23:23:19

조회 1109 추천 20 댓글 3

https://www.aitimes.com/news/articleView.html?idxno=158399

MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

마이크로소프트(MS)가 생성 인공지능(AI)의 탈옥을 막고 환각을 감지하는 개발자용 도구를 내놓았다. 선거 등을 앞두고 터져 나오는 구설수를 미리 차단하겠다는 의도다.MS는 28일(현지시간) 공식 블로그를 통해 '안전하고 신뢰할 수 있는 생성 AI 애플리케이션을 구축하는 데 도움이 되는 애저 AI의 새로운 도구' 출시를 발표했다.여기에는 🔼모델에 영향을 미치기 전에 프롬프트 공격을 감지하고 차단하는 프롬프트 실드(Prompt Shields) 🔼모델 출력에서 환각을 감지하는 접지 감지(Groundedness detection) 🔼모델

www.aitimes.com

7ce88875bc8b07f739ef82e541ee7769fe198033142c32f7b26f977c54a69617d01b

마이크로소프트(MS)가 생성 인공지능(AI)의 탈옥을 막고 환각을 감지하는 개발자용 도구를 내놓았다. 선거 등을 앞두고 터져 나오는 구설수를 미리 차단하겠다는 의도다.

MS는 28일(현지시간) 공식 블로그를 통해 '안전하고 신뢰할 수 있는 생성 AI 애플리케이션을 구축하는 데 도움이 되는 애저 AI의 새로운 도구' 출시를 발표했다.

여기에는 🔼모델에 영향을 미치기 전에 프롬프트 공격을 감지하고 차단하는 프롬프트 실드(Prompt Shields) 🔼모델 출력에서 환각을 감지하는 접지 감지(Groundedness detection) 🔼모델 동작을 안전하고 책임감 있는 결과로 유도하는 안전 시스템 메시지(Safety system messages) 🔼애플리케이션의 탈옥 공격 및 콘텐츠 위험 생성에 대한 안전성 평가(Safety evaluations)

🔼어떤 입력과 출력, 사용자가 콘텐츠 필터를 우회하는지 파악할 수 있는 위험 및 안전 모니터링(Risk and safety monitoring) 등이 포함된다.

이들은 조만간 출시 예정이며, 일부는 미리보기로 제공한다.

7ce88875bc8b07f739ef82e54eee7768e27f8e81e759d2bc0832104e3827f777bfc0

사라 버드 MS 책임 있는 AI 최고 제품 책임자는 더 버지와의 인터뷰에서 “우리는 대부분 사용자가 프롬프트 공격이나 증오성 콘텐츠에 대해 깊은 전문 지식을 갖고 있지 않다는 것을 알고 있다"라며 "이런 평가 시스템을 통해 사용자는 무엇이 문제인 지를 확인할 수 있다"라고 말했다.

특히 최근 제미나이로 인해 큰 문제가 된 역사적으로 부정확한 이미지나 유명인의 딥페이크 등이 생성되는 것을 막을 수 있다는 설명이다. 또 애저를 사용하는 회사의 시스템 관리자는 누가 안전하지 않은 출력을 시도하는지 파악할 수 있게 된다.

이 기능은 현재 애저에서 제공하는 'GPT-4'나 '라마 2'같은 모델에 즉시 적용할 수 있다는 설명이다. 일부 오픈 소스 모델에는 수동 지정도 필요하다.

이에 앞서 지난 2월에는 MS와 구글, 오픈AI 등 20개 빅테크가 생성 AI 콘텐츠의 선거 악용을 방지하기 위해 공동 대책을 마련하기로 합의했다. 또 각 회사는 생성 AI 이미지에 워터마크를 삽입할 예정이다.

하지만 이달 초 미국 비영리단체 디지털혐오 대응센터(CCDH)가 발표한 조사 결과에 따르면 여전히 선거 관련 허위 콘텐츠 생성에 취약하다는 결과가 나왔다.

또 MS에서는 이미지 생성 AI에 문제가 있으며, 경고에도 불구하고 회사가 이를 무시했다는 내부 폭로도 등장한 바 있다.

고정닉 5

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2860	설문	경제관념 부족해서 돈 막 쓸 것 같은 스타는?	운영자	24/05/13	-	-
412470	공지	레이 커즈와일 신간 6월 25일 발매 [27]	모브	24.01.24	5813	32
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [2855]	*특갤용*	23.08.06	37152	41
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [1]	*부패하는유전자!!!*	24.03.06	1891	2
363220	공지	선형글 삭제 기준 [6]	*특갤용*	23.10.14	6492	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	12250	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [50]	*특갤용*	23.11.07	8230	79
385147	공지	구글의 AGI 분류 체계 [16]	ㅇㅇ	23.11.22	7399	30
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	8402	29
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	21699	33
466883	일반	아무리 생각해도 일상대화 안될거같은데	ㅇㅇ	10:12	12	0
466882	일반	내일 이후 인문학자, 철학자들이 인간의 본성에 대해 이야기	ㅇㅇ(218.147)	10:12	10	0
466881	일반	딱 봐도 이거 확정이네 [2]	ㅇㅇ(220.71)	10:11	52	2
466880	일반	내일 나올소피아 멀티모달인거지?	ㅇㅇ(125.188)	10:07	25	0
466879	일반	오늘 볼 영화 추천	떠깅	10:06	36	0
466878	일반	터보를 잊지말라	ㅇㅇ(121.140)	10:06	37	0
466876	일반	궁금한게 이정도 설레발은 역대급임? [2]	ㅇㅇ(182.226)	10:03	87	0
466875	일반	내일 자비스 나오는거 맞다니까	ㅇㅇ	10:01	57	1
466874	일반	50:50 [3]	ㅇㅇ(116.34)	09:56	112	0
466873	일반	Gpt2연결 됐는데 뭐해야할지 모르겠음 [1]	ㅇㅇ	09:56	62	0
466872	일반	지금 이게 문제가 심각할수 있는게 [11]	ㅇㅇ(117.20)	09:55	161	0
466871	일반	메모리 기능 이게 ㄹㅇ 물건인데 대한민국은 왜 못하냔 ㅋㅋㅋㅋㅋ [8]	ㅇㅇ	09:53	136	0
466870	일반	뭐나오길래 이렇게 호들갑일까	lIlIllIlIIlIlIllIlIl	09:47	47	0
466869	일반	자율 에이전트 진짜 나오냐? [1]	언어모델	09:46	105	0
466868	일반	한국인들이랑 외국인들이랑 기대수준이 다름 [6]	ㅇㅇ(118.39)	09:46	194	1
466867	일반	챗봇 아레나 사용 ㅈㄴ 불편해졌네 [4]	ㅇㅇ	09:45	90	0
466866	일반	라이브 근데 중계해?? [1]	ㅇㅇ	09:45	52	0
466865	일반	진짜 애플이랑 뭐 해서 시리2 나오는 거 아니냐	ㅇㅇ(220.71)	09:40	39	0
466864	일반	업무때문에 하나 결제하려고 하는데 Claud랑 GPT 어떤거 해야됨? [5]	ㅇㅇ(121.67)	09:39	84	0
466863	정보	OpenAI의 새 제품은 풍자를 이해할수있는 기능이 포함된다. [3]	ㅇㅇ(175.118)	09:38	184	2
466862	일반	그런데 자율 에이전트가 앱을 쓸 때에 라이센스 문제는 어떻게 되는거야?	ㅇㅇ(175.192)	09:37	24	0
466861	일반	대량 대체 기대한다	ㅇㅇ(124.56)	09:37	25	1
466860	일반	2024년 2027년 [2]	ㅇㅇ(125.191)	09:33	111	0
466859	일반	궁금하긴 하다	ㅇㅇ(218.154)	09:33	30	0
466858	일반	드디어 내일 새벽에 AGI가 결국 나오네 [1]	ㅇㅇ(121.163)	09:26	133	0
466857	일반	oai 연구원 "영원한 가속" [4]	ㅇㅇ(125.191)	09:25	315	6
466856	일반	이정도 설레발은 역대 처음이다 [6]	ㅇㅇ(117.20)	09:21	261	0
466855	일반	그러니까 자비스 나온다는거지?	ㅇㅇ(121.186)	09:20	41	0
466854	일반	특갤은 ㅈㅅ 시장과 같다	222(221.152)	09:20	52	0
466853	일반	만약 also 출시할시 더 좆같을것같은 네이밍 투표 [1]	ㅇㅇ(175.118)	09:18	60	0
466852	일반	또 근거없는 특들갑 시작이나 [1]	ㅇㅇ(125.129)	09:17	68	0
466851	일반	알고보니 레딧에 쓴거 전부 새로만든ai가 쓴거임 ㅋㅋㅋ	ㅇㅇ	09:16	68	0
466850	일반	???: 내부 agi는 없다 [3]	비닌	09:13	168	0
466848	일반	인류 역사상 가장 흥미로운 한 주가 시작 [2]	ㅇㅇ(125.191)	09:08	203	2
466847	일반	(발표) 애플에 gpt also 업데이트 ios18부터. [1]	자애	09:07	162	0
466846	일반	난 기대안함 [2]	초존도초	09:06	55	0
466845	일반	빨리 날 놀라게 해줘!!!!	비닌	09:03	54	0
466843	일반	샘알트만 영화 her 봤다는 글에 좋아요 눌러 [1]	ㅇㅇ(112.168)	08:50	200	0
466842	일반	일단 치킨 시킴 ㅇㅇ 18시간동안 밀린 영화 드라마 [3]	ㅇㅇ(118.219)	08:50	113	1
466841	일반	정시 꿀잠충들 연전연승ㅋㅋㅋㅋㅋㅋ [2]	ㅇㅇ(118.33)	08:45	189	0
466839	일반	특들~ 특들~ <= 특들갑 떠는 소리 [3]	호감고닉유동	08:38	94	0