MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보/뉴스] MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

ㅇㅇ(182.230) 2024.03.29 23:23:19

조회 1119 추천 20 댓글 3

https://www.aitimes.com/news/articleView.html?idxno=158399

MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

마이크로소프트(MS)가 생성 인공지능(AI)의 탈옥을 막고 환각을 감지하는 개발자용 도구를 내놓았다. 선거 등을 앞두고 터져 나오는 구설수를 미리 차단하겠다는 의도다.MS는 28일(현지시간) 공식 블로그를 통해 '안전하고 신뢰할 수 있는 생성 AI 애플리케이션을 구축하는 데 도움이 되는 애저 AI의 새로운 도구' 출시를 발표했다.여기에는 🔼모델에 영향을 미치기 전에 프롬프트 공격을 감지하고 차단하는 프롬프트 실드(Prompt Shields) 🔼모델 출력에서 환각을 감지하는 접지 감지(Groundedness detection) 🔼모델

www.aitimes.com

7ce88875bc8b07f739ef82e541ee7769fe198033142c32f7b26f977c54a69617d01b

마이크로소프트(MS)가 생성 인공지능(AI)의 탈옥을 막고 환각을 감지하는 개발자용 도구를 내놓았다. 선거 등을 앞두고 터져 나오는 구설수를 미리 차단하겠다는 의도다.

MS는 28일(현지시간) 공식 블로그를 통해 '안전하고 신뢰할 수 있는 생성 AI 애플리케이션을 구축하는 데 도움이 되는 애저 AI의 새로운 도구' 출시를 발표했다.

여기에는 🔼모델에 영향을 미치기 전에 프롬프트 공격을 감지하고 차단하는 프롬프트 실드(Prompt Shields) 🔼모델 출력에서 환각을 감지하는 접지 감지(Groundedness detection) 🔼모델 동작을 안전하고 책임감 있는 결과로 유도하는 안전 시스템 메시지(Safety system messages) 🔼애플리케이션의 탈옥 공격 및 콘텐츠 위험 생성에 대한 안전성 평가(Safety evaluations)

🔼어떤 입력과 출력, 사용자가 콘텐츠 필터를 우회하는지 파악할 수 있는 위험 및 안전 모니터링(Risk and safety monitoring) 등이 포함된다.

이들은 조만간 출시 예정이며, 일부는 미리보기로 제공한다.

7ce88875bc8b07f739ef82e54eee7768e27f8e81e759d2bc0832104e3827f777bfc0

사라 버드 MS 책임 있는 AI 최고 제품 책임자는 더 버지와의 인터뷰에서 “우리는 대부분 사용자가 프롬프트 공격이나 증오성 콘텐츠에 대해 깊은 전문 지식을 갖고 있지 않다는 것을 알고 있다"라며 "이런 평가 시스템을 통해 사용자는 무엇이 문제인 지를 확인할 수 있다"라고 말했다.

특히 최근 제미나이로 인해 큰 문제가 된 역사적으로 부정확한 이미지나 유명인의 딥페이크 등이 생성되는 것을 막을 수 있다는 설명이다. 또 애저를 사용하는 회사의 시스템 관리자는 누가 안전하지 않은 출력을 시도하는지 파악할 수 있게 된다.

이 기능은 현재 애저에서 제공하는 'GPT-4'나 '라마 2'같은 모델에 즉시 적용할 수 있다는 설명이다. 일부 오픈 소스 모델에는 수동 지정도 필요하다.

이에 앞서 지난 2월에는 MS와 구글, 오픈AI 등 20개 빅테크가 생성 AI 콘텐츠의 선거 악용을 방지하기 위해 공동 대책을 마련하기로 합의했다. 또 각 회사는 생성 AI 이미지에 워터마크를 삽입할 예정이다.

하지만 이달 초 미국 비영리단체 디지털혐오 대응센터(CCDH)가 발표한 조사 결과에 따르면 여전히 선거 관련 허위 콘텐츠 생성에 취약하다는 결과가 나왔다.

또 MS에서는 이미지 생성 AI에 문제가 있으며, 경고에도 불구하고 회사가 이를 무시했다는 내부 폭로도 등장한 바 있다.

고정닉 5

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2861	설문	어떤 상황이 닥쳐도 지갑 절대 안 열 것 같은 스타는?	운영자	24/05/20	-	-
412470	공지	레이 커즈와일 신간 6월 25일 발매 [29]	모브	24.01.24	7524	32
242613	공지	특갤 통합 공지 / 댓글 신고,문의 / 차단 해제 요청 [3018]	*특갤용*	23.08.06	38708	43
433260	공지	웬만하면 신문고에 문의 해주시면 차단 풀어드립니다 [1]	*부패하는유전자!!!*	24.03.06	2429	2
363220	공지	선형글 삭제 기준 [6]	*특갤용*	23.10.14	7096	24
375493	공지	필독) 유입 특붕이를 위한 AI 정보글 모음 (01/23) [40]	ㅇㅇ(182.230)	23.11.11	13155	122
373402	공지	직업 비하, 조롱 글 30일 차단됩니다. [51]	*특갤용*	23.11.07	8811	79
385147	공지	구글의 AGI 분류 체계 [17]	ㅇㅇ	23.11.22	8201	31
332612	공지	음모론 삭제 기준을 안내드립니다. [23]	*특갤용*	23.08.25	9030	30
259237	공지	특갤 용어 모음집 [6]	*특갤용*	23.08.09	22575	33
482553	일반	현생좀 살아라 [2]	ㅇㅇ	07:04	92	0
482552	일반	세계 정부를 지지하는 이유?	ㅇㅇ(211.197)	07:01	49	0
482551	일반	우리 갤주가 특갤 갤주가 아닌 거 같은데 [2]	agi2024	06:49	73	0
482550	일반	GPT한테 ASI로 진화하면 뭐할 거냐고 물어봤어 [3]	ㅇㅇ(119.202)	06:00	135	0
482549	일반	지피티 빙챗 어느게 나음 ? [3]	ㅇㅇ	05:45	68	0
482548	일반	식비 혁신은 언제옴 [1]	ㅇㅇ	05:32	71	0
482547	AI창 AI창작	인류와 AI의 공존을 위한 새로운 비전 [1]	ㅇㅇ(182.216)	05:13	83	0
482546	일반	신체증강의 보편적 상용화가 이뤄진 세상	ㅇㅇ	05:03	106	1
482545	일반	인간이 ASI와 동일한 수준을 갖출려면 [5]	지니	04:47	144	0
482544	토의	기싸움하지말고 반박을 하셈 [83]	ㅇㅇ(223.62)	04:39	706	0
482540	일반	레커 왜 코가 점점 커지냐 ㅋㅋㅋㅋㅋㅋ [4]	ㅇㅇ	04:26	177	0
482538	토의	지금이 asi가 출현하기 직전의 세상이라면 [13]	Singnice	04:06	252	0
482537	정보/ 정보/뉴스	테슬라 한국에서 fsd준비중	연맛	03:47	143	0
482536	일반	소2아온은 핍진성이 떨어짐 [58]	지니	03:43	301	1
482534	일반	4o 검열은 ㄹㅇ 확실히 적은거같네 [1]	ㅇㅇ(14.35)	03:30	135	0
482533	일반	122.43 쟤는 왜 차단당해도 글 쓸수있는거냐? [2]	ㅇㅇ(61.97)	02:59	121	0
482532	일반	스칼렛 요한슨은 내 세계에서 고통 받고 있음 ㅋㅋ [7]	ㅇㅇ(211.179)	02:43	320	0
482531	일반	너희들 특이점 늦어지면 갤주따라 냉동참치될 의향 있냐 [3]	ㅇㅇ(1.239)	02:41	148	0
482530	일반	2017년에 등장한 정체불명의 특허 신청 [3]	ㅇㅇ(223.39)	02:37	231	0
482528	일반	아무튼 완장잘못맏는듯.... [5]	■x	02:26	374	8
482527	정보/ 정보/뉴스	강화 학습 AI는 휴머노이드 로봇을 현실 세계로 가져올 수 있습니다. [1]	ㅇㅇ	02:22	101	1
482525	일반	특갤 디시콘 하나 만들어보려는데 어케생각함 [20]	ㅇㅇ(118.235)	02:11	173	2
482524	일반	여기서 완장들 욕 왜 먹음? ㄹㅇ [6]	닉얼	02:11	220	0
482523	일반	완장은 왜 갑자기 욕먹노 [5]	ㅇㅇ(1.249)	02:02	164	0
482522	일반	과학이 아무리 발달해도 불가능한것들.... [14]	ㅇㅇ(46.204)	01:59	303	0
482521	일반	진짜 마지노선으로 60살임 나는 타협존나해서 [8]	ㅇㅇ(211.179)	01:54	205	0
482520	일반	AI 로컬로 돌리는법 알아냄 ㄷㄷ 테슬라만 할수있음 ㄷㄷ [2]	ㅇㅇ	01:54	169	0
482519	일반	갤주 젊은 시절 영상	ㅇㅇ	01:49	70	0
482518	역노화	난 역노화 없는 특이점은 상상도 하기 싫음.. [7]	ㅇㅇ	01:41	243	4
482517	일반	레커가 상상한 2015년의 가상현실 [1]	ㅇㅇ	01:40	217	2
482516	일반	범죄도시5 대박나는 법 찾음 ㄷㄷ 마석도 좃됏다	ㅇㅇ(211.179)	01:39	155	0
482514	정보/ 정보/뉴스	XAI는 10만개의 GPU를 연결하여 그록의 다음 버전을 구축할 계획	ㅇㅇ	01:37	105	0
482512	일반	역노화 떡밥은 왜나오는거임 ??? 뭐 찌라시라도 나온거임 ???????? [4]	ㅇㅇ(180.65)	01:30	178	0
482507	일반	oai 클로스드 ai라고 까이는거 하루이틀도 아닌데 [3]	ㅇㅇ(115.139)	01:21	127	0
482506	일반	근데 이 글 보니까 [2]	ㅇㅇ(125.180)	01:17	112	0
482505	일반	얀르쿤이 씨발련인 이유 jpg [6]	ㅇㅇ(211.179)	01:11	336	0
482503	일반	알트만과 Open AI를 비꼬는 얀 르쿤 [13]	ㅇㅇ(211.109)	00:55	500	5
482501	일반	애플 wwdc에서 4o 보이스 아이폰 로컬로 돌아간다 하면 [6]	ㅇㅇ	00:46	253	0
482500	일반	나중에 특이점 오면 동성애 같은 성적 지향은 치료 할거같음? [12]	ㅇㅇ(125.133)	00:44	288	0
482499	일반	오늘도 노동해방과 특이점을 향한 기도를 올립니다 [5]	ㅇㅇ(219.240)	00:43	74	2
482498	일반	나만 gpt4o 별로같냐? [15]	ㅇㅇ(211.37)	00:42	342	1