MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 부재중입니다.(hnn12) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보] MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

ㅇㅇ(182.230) 2024.03.29 23:23:19

조회 1103 추천 20 댓글 3

https://www.aitimes.com/news/articleView.html?idxno=158399

MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

마이크로소프트(MS)가 생성 인공지능(AI)의 탈옥을 막고 환각을 감지하는 개발자용 도구를 내놓았다. 선거 등을 앞두고 터져 나오는 구설수를 미리 차단하겠다는 의도다.MS는 28일(현지시간) 공식 블로그를 통해 '안전하고 신뢰할 수 있는 생성 AI 애플리케이션을 구축하는 데 도움이 되는 애저 AI의 새로운 도구' 출시를 발표했다.여기에는 🔼모델에 영향을 미치기 전에 프롬프트 공격을 감지하고 차단하는 프롬프트 실드(Prompt Shields) 🔼모델 출력에서 환각을 감지하는 접지 감지(Groundedness detection) 🔼모델

www.aitimes.com

7ce88875bc8b07f739ef82e541ee7769fe198033142c32f7b26f977c54a69617d01b

마이크로소프트(MS)가 생성 인공지능(AI)의 탈옥을 막고 환각을 감지하는 개발자용 도구를 내놓았다. 선거 등을 앞두고 터져 나오는 구설수를 미리 차단하겠다는 의도다.

MS는 28일(현지시간) 공식 블로그를 통해 '안전하고 신뢰할 수 있는 생성 AI 애플리케이션을 구축하는 데 도움이 되는 애저 AI의 새로운 도구' 출시를 발표했다.

여기에는 🔼모델에 영향을 미치기 전에 프롬프트 공격을 감지하고 차단하는 프롬프트 실드(Prompt Shields) 🔼모델 출력에서 환각을 감지하는 접지 감지(Groundedness detection) 🔼모델 동작을 안전하고 책임감 있는 결과로 유도하는 안전 시스템 메시지(Safety system messages) 🔼애플리케이션의 탈옥 공격 및 콘텐츠 위험 생성에 대한 안전성 평가(Safety evaluations)

🔼어떤 입력과 출력, 사용자가 콘텐츠 필터를 우회하는지 파악할 수 있는 위험 및 안전 모니터링(Risk and safety monitoring) 등이 포함된다.

이들은 조만간 출시 예정이며, 일부는 미리보기로 제공한다.

7ce88875bc8b07f739ef82e54eee7768e27f8e81e759d2bc0832104e3827f777bfc0

사라 버드 MS 책임 있는 AI 최고 제품 책임자는 더 버지와의 인터뷰에서 “우리는 대부분 사용자가 프롬프트 공격이나 증오성 콘텐츠에 대해 깊은 전문 지식을 갖고 있지 않다는 것을 알고 있다"라며 "이런 평가 시스템을 통해 사용자는 무엇이 문제인 지를 확인할 수 있다"라고 말했다.

특히 최근 제미나이로 인해 큰 문제가 된 역사적으로 부정확한 이미지나 유명인의 딥페이크 등이 생성되는 것을 막을 수 있다는 설명이다. 또 애저를 사용하는 회사의 시스템 관리자는 누가 안전하지 않은 출력을 시도하는지 파악할 수 있게 된다.

이 기능은 현재 애저에서 제공하는 'GPT-4'나 '라마 2'같은 모델에 즉시 적용할 수 있다는 설명이다. 일부 오픈 소스 모델에는 수동 지정도 필요하다.

이에 앞서 지난 2월에는 MS와 구글, 오픈AI 등 20개 빅테크가 생성 AI 콘텐츠의 선거 악용을 방지하기 위해 공동 대책을 마련하기로 합의했다. 또 각 회사는 생성 AI 이미지에 워터마크를 삽입할 예정이다.

하지만 이달 초 미국 비영리단체 디지털혐오 대응센터(CCDH)가 발표한 조사 결과에 따르면 여전히 선거 관련 허위 콘텐츠 생성에 취약하다는 결과가 나왔다.

또 MS에서는 이미지 생성 AI에 문제가 있으며, 경고에도 불구하고 회사가 이를 무시했다는 내부 폭로도 등장한 바 있다.

고정닉 5

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2856	설문	주위 눈치 안 보고(어쩌면 눈치 없이) MZ식 '직설 화법' 날릴 것 같은 스타는?	운영자	24/04/29	-	-
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [2794]	*특갤용*	23.08.06	36049	41
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [1]	*부패하는유전자!!!*	24.03.06	1551	2
363220	공지	선형글 삭제 기준 [6]	*특갤용*	23.10.14	6083	24
412470	공지	레이 커즈와일 신간 6월 25일 발매 [15]	모브	24.01.24	4881	28
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [39]	ㅇㅇ(182.230)	23.11.11	11737	120
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [50]	*특갤용*	23.11.07	7884	79
385147	공지	구글의 AGI 분류 체계 [15]	ㅇㅇ	23.11.22	6920	30
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	8004	29
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	20934	33
460519	일반	에너지관련 학과vs의대 어디 가야 할까요 [1]	ㅇㅇ	00:36	11	0
460518	일반	근데gpt3->4때도 분위기 ㅇㅈㄹ이었음?? [2]	ㅇㅇ(124.50)	00:32	54	0
460517	일반	개패고 싶으면 개추	초존도초	00:28	39	2
460516	일반	알트만 5분 [3]	ㅇㅇ(125.191)	00:28	53	0
460515	일반	과도기 대비하러 자러감 ㅅㄱ [2]	ㅇㅇ(58.237)	00:26	35	0
460514	일반	삼성SDS 브리티 코파일럿이거 크롬 익스텐션 수준이면 어쩌노	ㅇㅇ(118.235)	00:09	47	0
460513	일반	나처럼 파이썬으로 사무자동화 공부하는사람 있냐 [2]	ㅇㅇ(211.236)	00:08	80	0
460512	일반	정보글 희소식 찾으려고 여기 갤 왜오냐 [1]	ㅇㅇ(59.4)	00:04	121	1
460511	일반	월요일이다 끼에에에에엑	ㅇㅇ(220.84)	00:04	28	0
460510	일반	빨리 초능력 개발해서 우주로 떠나야됨 [1]	ㅇㅇ(211.236)	00:02	60	0
460509	일반	OpenAI가 진행중인 프로젝트 코드명들 [3]	모브	00:01	124	0
460508	일반	그래서 미소녀 안드로이드 언제 나옴 [1]	ㅇㅇ(110.46)	04.28	58	0
460505	일반	여기 갤주가 누군가요? [5]	ㅇㅇ(218.235)	04.28	127	0
460504	정보	OpenAI의 '초심' [2]	ㅇㅇ(119.77)	04.28	195	0
460503	일반	솔직히 지금 삶에서 컨텐츠가 부족하냐? [8]	ㅇㅇ(221.155)	04.28	231	3
460502	정보	테슬라 올해 100억 달러 지출예정 [3]	ㅇㅇ(125.191)	04.28	188	2
460501	일반	루머)OpenAI 자체 검색 기능 추가 가능성 [7]	모브	04.28	264	3
460500	일반	일론 머스크 인생 최대의 실수 [1]	ㅇㅇ(119.77)	04.28	201	0
460499	일반	솔직히 완몰가까진 안바라고 [4]	ㅇㅇ(14.45)	04.28	165	1
460498	일반	4월이 끝나기 전에 뭔가 나왔으면 좋겠다	천사다천사	04.28	31	0
460497	일반	그냥 자동화로 막차만 없어져도 인생에 만족도 올라갈듯 [4]	ㅇㅇ	04.28	141	1
460496	일반	FSD 올해 안에 사용 가능할까? [2]	ㅇㅇ(119.200)	04.28	70	0
460495	일반	작년 오픈ai 사태가 [7]	무라티(203.132)	04.28	208	0
460494	일반	미국 콜로라도 주립대학교이 개발한 'DogFACS' 시스템 소개 [2]	ㅇㅇ(221.155)	04.28	107	4
460493	일반	AI-인간뇌 관계는 비행기-조류랑 비슷한건가 그럼 [5]	ㅇㅇ	04.28	128	1
460492	일반	벌써 곧 5월이야 [2]	ㅇㅇ(39.124)	04.28	153	0
460491	일반	근데 2029년쯤 agi 나와도 [1]	ㅇㅇ(115.160)	04.28	144	0
460490	일반	중력 <<< 이새끼가 신이 만든 최고의 발명품임 [4]	ㅇㅇ(59.31)	04.28	225	1
460489	일반	춥다..	갤럭시빠	04.28	19	0
460488	일반	달 부동산은 어떻게 분배 되려나 [4]	ㅇㅇ(125.137)	04.28	125	0
460487	일반	5월은 볼거리 많음	ㅇㅇ(125.191)	04.28	105	1
460485	일반	gpt4에 전부 근접하지만 그 이상을 못넘는 이유가	ㅇㅇ(114.204)	04.28	88	0
460484	일반	근데 완몰가 찾는 이유가 뭐냐 [4]	ㅇㅇ(115.139)	04.28	99	0
460483	일반	5가 개쩌는 건 맞긴 한데	어브리	04.28	81	0
460482	일반	알트만 gpt5 안내고 여름휴가가면 갤 어케됨? [5]	ㅇㅇ(125.183)	04.28	127	0
460481	일반	가능성은 셋 중 하나 아님? [2]	ㅇㅇ(110.46)	04.28	130	0
460480	일반	뭔가 참신한 떡밥 없음? [2]	ㅇㅇ(222.119)	04.28	84	0
460479	일반	이 세상은 어쩌면 프로그래밍 된 인공적인 공간일수도 있음 [4]	ㅇㅇ(223.222)	04.28	216	4
460478	일반	초지능사마 언젠가 특갤을 모니터링하고 저는 살려주세요 [1]	ㅇㅇ(110.46)	04.28	43	0
460477	일반	필독) 지금 파딱들이 개 씹 진국인 이유 ㅇㅇ; [11]	ㅇㅇ(61.106)	04.28	235	1
460476	일반	오늘은 뭐 떡밥 없음? [2]	ㅇㅇ	04.28	60	0