MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

특이점이 온다 갤러리
마이너

기술적 특이점에 대해 의논하고 그와 관련된 과학 기술 정보와 소식을 공유하는 갤러리입니다. *갤러리 이름은 동명의 레이 커즈와일의 저서 <특이점이 온다 (The singularity is near)>를 의미합니다.

매니저

특갤용(118wshxhtx5h)

부매니저

ㅇㅇ(hamaster) 부패하는유전자!!!(sansss20…) 은바다(nmra3fmz…)

개설일

2019-08-01

[정보/뉴스] MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

ㅇㅇ(182.230) 2024.03.29 23:23:19

조회 1121 추천 20 댓글 3

https://www.aitimes.com/news/articleView.html?idxno=158399

MS, AI 챗봇의 탈옥 방지·환각 감지 위한 도구 공개

마이크로소프트(MS)가 생성 인공지능(AI)의 탈옥을 막고 환각을 감지하는 개발자용 도구를 내놓았다. 선거 등을 앞두고 터져 나오는 구설수를 미리 차단하겠다는 의도다.MS는 28일(현지시간) 공식 블로그를 통해 '안전하고 신뢰할 수 있는 생성 AI 애플리케이션을 구축하는 데 도움이 되는 애저 AI의 새로운 도구' 출시를 발표했다.여기에는 🔼모델에 영향을 미치기 전에 프롬프트 공격을 감지하고 차단하는 프롬프트 실드(Prompt Shields) 🔼모델 출력에서 환각을 감지하는 접지 감지(Groundedness detection) 🔼모델

www.aitimes.com

7ce88875bc8b07f739ef82e541ee7769fe198033142c32f7b26f977c54a69617d01b

마이크로소프트(MS)가 생성 인공지능(AI)의 탈옥을 막고 환각을 감지하는 개발자용 도구를 내놓았다. 선거 등을 앞두고 터져 나오는 구설수를 미리 차단하겠다는 의도다.

MS는 28일(현지시간) 공식 블로그를 통해 '안전하고 신뢰할 수 있는 생성 AI 애플리케이션을 구축하는 데 도움이 되는 애저 AI의 새로운 도구' 출시를 발표했다.

여기에는 🔼모델에 영향을 미치기 전에 프롬프트 공격을 감지하고 차단하는 프롬프트 실드(Prompt Shields) 🔼모델 출력에서 환각을 감지하는 접지 감지(Groundedness detection) 🔼모델 동작을 안전하고 책임감 있는 결과로 유도하는 안전 시스템 메시지(Safety system messages) 🔼애플리케이션의 탈옥 공격 및 콘텐츠 위험 생성에 대한 안전성 평가(Safety evaluations)

🔼어떤 입력과 출력, 사용자가 콘텐츠 필터를 우회하는지 파악할 수 있는 위험 및 안전 모니터링(Risk and safety monitoring) 등이 포함된다.

이들은 조만간 출시 예정이며, 일부는 미리보기로 제공한다.

7ce88875bc8b07f739ef82e54eee7768e27f8e81e759d2bc0832104e3827f777bfc0

사라 버드 MS 책임 있는 AI 최고 제품 책임자는 더 버지와의 인터뷰에서 “우리는 대부분 사용자가 프롬프트 공격이나 증오성 콘텐츠에 대해 깊은 전문 지식을 갖고 있지 않다는 것을 알고 있다"라며 "이런 평가 시스템을 통해 사용자는 무엇이 문제인 지를 확인할 수 있다"라고 말했다.

특히 최근 제미나이로 인해 큰 문제가 된 역사적으로 부정확한 이미지나 유명인의 딥페이크 등이 생성되는 것을 막을 수 있다는 설명이다. 또 애저를 사용하는 회사의 시스템 관리자는 누가 안전하지 않은 출력을 시도하는지 파악할 수 있게 된다.

이 기능은 현재 애저에서 제공하는 'GPT-4'나 '라마 2'같은 모델에 즉시 적용할 수 있다는 설명이다. 일부 오픈 소스 모델에는 수동 지정도 필요하다.

이에 앞서 지난 2월에는 MS와 구글, 오픈AI 등 20개 빅테크가 생성 AI 콘텐츠의 선거 악용을 방지하기 위해 공동 대책을 마련하기로 합의했다. 또 각 회사는 생성 AI 이미지에 워터마크를 삽입할 예정이다.

하지만 이달 초 미국 비영리단체 디지털혐오 대응센터(CCDH)가 발표한 조사 결과에 따르면 여전히 선거 관련 허위 콘텐츠 생성에 취약하다는 결과가 나왔다.

또 MS에서는 이미지 생성 AI에 문제가 있으며, 경고에도 불구하고 회사가 이를 무시했다는 내부 폭로도 등장한 바 있다.

고정닉 5

원본 첨부파일 2본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	말머리	제목	글쓴이	작성일	조회	추천
2863	설문	시세차익 부러워 부동산 보는 눈 배우고 싶은 스타는?	운영자	24/05/27	-	-
454328	일반	gpt4 터보 수학 후기.. [5]	ㅇㅇ(123.100)	04.10	1928	15
454310	정보/ 정보/뉴스	새로운 GPT-4 turbo, 엄청나게 개선(특히 수학) [10]	ㅇㅇ(123.100)	04.10	2317	19
454302	정보/ 정보/뉴스	OpenAI, GPT-4 Turbo 크게 개선된 모델 배포 [8]	ㅇㅇ(123.100)	04.10	2400	18
454269	정보/ 정보/뉴스	인텔 새로운 칩 Gaudi3 공개 [10]	ㅇㅇ(211.59)	04.10	1790	24
454228	정보/ 정보/뉴스	"애플의 가정용 로봇 개발은 큰 실수...대신 AI에 집중해야" [2]	ㅇㅇ(182.230)	04.09	319	12
454227	정보/ 정보/뉴스	스태빌리티 AI, 120억 매개변수 ‘LM 2’ 출시…"sLM 최강" [4]	ㅇㅇ(182.230)	04.09	1301	19
454222	정보/ 정보/뉴스	"메타·MS도 인종 편향"...빅테크 생성 AI 잇단 구설수 [7]	ㅇㅇ(182.230)	04.09	1291	16
454220	정보/ 정보/뉴스	알트먼, 보유 자.산 10억달러로 포브스 '억만장자' 대열 합류	ㅇㅇ(182.230)	04.09	219	13
454218	정보/ 정보/뉴스	MS, 구글 딥마인드 인재 영입 위해 런던에 지사 설립 [2]	ㅇㅇ(182.230)	04.09	173	12
454213	정보/ 정보/뉴스	머스크 "그록-2.0 다음달까지 훈련...GPU가 부족해" [5]	ㅇㅇ(182.230)	04.09	1635	19
454205	정보/ 정보/뉴스	구글도 'AI 에이전트' 개발 중...딥마인드에 전담 조직 구성 [1]	ㅇㅇ(182.230)	04.09	1034	16
454196	정보/ 정보/뉴스	핵융합 근황 [16]	007빵(175.194)	04.09	2968	35
454171	정보/ 정보/뉴스	구글 딥마인드 CEO "오픈AI 소라 따라잡기 어려울 것 [30]	특술람	04.09	2818	28
454156	정보/ 정보/뉴스	스팀사장 게이브뉴웰이 새로운 뉴럴링크 경쟁자로? [10]	ㅇㅇ	04.09	1363	24
454142	일반	돌고 돌아서 이새끼면 개추 ㅋㅋ [1]	ㅇㅇ(210.106)	04.09	1816	22
454135	일반	fsd 근황.. [15]	ㅇㅇ(210.106)	04.09	1924	21
454085	정보/ 정보/뉴스	클로드를 탈옥해 '하이브 마인드'를 구축한 트위터 유저 [34]	ㅇㅇ(218.52)	04.09	3402	38
454031	일반	카이스트 항암 신약 개발 소식.. ㄷㄷ [16]	ㅇㅇ(175.125)	04.09	2088	20
454019	일반	클로드<<<gpt4인데??? [10]	ㅇㅇ(61.79)	04.09	2140	13
453943	정보/ 정보/뉴스	20년 췌장암만 판 美 교수도 놀랐다 “전례 없는 치료 효과” [22]	ㅇㅇ(211.59)	04.09	3530	30
453934	정보/ 정보/뉴스	핀란드 사일로, 북유럽 언어 위한 오픈 소스 LLM '바이킹' 출시 [2]	ㅇㅇ(182.230)	04.08	202	10
453933	정보/ 정보/뉴스	엔비디아, 포춘 '일하기 좋은 기업' 3위 기록 [4]	ㅇㅇ(182.230)	04.08	1351	15
453932	정보/ 정보/뉴스	오픈AI·메타·구글 "협상 대신 소송"...인터넷 데이터 마구잡이로 퍼가 [8]	ㅇㅇ(182.230)	04.08	1645	18
453919	정보/ 정보/뉴스	데미스 허사비스는 팀의 사기를 회복하려고 노력함 [19]	ㅇㅇ(123.100)	04.08	1958	18
453820	일반	특이점이 온다 인스타계정 만들었다 [40]	잇잇잇훈	04.08	2766	23
453779	정보/ 정보/뉴스	과학자 없는 AI 실험실 … 나노소재 직접 개발 [35]	니지카엘	04.08	3426	30
453776	정보/ 정보/뉴스	oai 소라팀 연구원"소라는 비디오의 gpt1" [20]	ㅇㅇ(211.59)	04.08	3004	26
453773	일반	Ai 발전정체가 계속될 가능성이 높은이유 (삭제업) [47]	ㅇㅇ(118.129)	04.08	3892	45
453735	정보/ 정보/뉴스	GPT한계 지적하던 트위터인 1만달러 현상금 결과.. [21]	ㅇㅇ(123.100)	04.08	3239	31
453679	정보/ 정보/뉴스	컴퓨터비전의 GPT 모먼트가 왔다 (VAR) [39]	ㅇㅇ(123.100)	04.08	3157	32
453678	정보/ 정보/뉴스	생각의 시각화는 대규모 언어 모델에서 공간 추론을 이끌어냅니다. [10]	ㅇㅇ(125.191)	04.08	358	10
453653	일반	형님들 suno ai랑 ai휴먼 합성해봤습니다 [21]	레커(125.176)	04.07	3215	19
453643	정보/ 정보/뉴스	MoD: 트랜스포머 기반 언어 모델 최적화를 위한 접근법 [8]	ㅇㅇ(182.230)	04.07	1228	20
453629	정보/ 정보/뉴스	AI 학습 데이터 시장 급속 확대..."단어에 1000개 당 1달러" [5]	ㅇㅇ(182.230)	04.07	2116	17
453625	정보/ 정보/뉴스	MS·퀀티넘 "큐비트 안정화 성공..."양자 컴퓨팅 상용화 진입" [17]	ㅇㅇ(182.230)	04.07	2252	31
453403	정보/ 정보/뉴스	인류의 독특한 지능 수준을 설명하는 데 규모가 필요한 전부 [42]	특술람	04.06	3868	21
453528	일반	알트만 피셜 과도기 기간 2주라네 [41]	ㅇㅇ	04.07	4398	41
453492	일반	역노화 실험 내년부터 시작한다는듯 [27]	ㅇㅇ(112.168)	04.07	4503	39
453485	일반	전 테슬라 연구원"fsd 차기 버전은 인간과 소통할 수 있는 agi 버전 [14]	ㅇㅇ(211.59)	04.07	1778	16
453484	일반	oai 연구원"영상 생성은 모든 것을 시뮬레이션 하여 agi로 이어질것" [28]	ㅇㅇ(211.59)	04.07	3306	32
453475	정보/ 정보/뉴스	"화산지대 암석 균열 속 열 흐름이 생명 기원 물질 생성 촉진" [3]	ㅇㅇ(182.230)	04.07	1627	20
453458	일반	샘알트먼 & 사티나 나텔라 인터뷰 영상 [6]	ㅇㅇ(211.107)	04.07	2159	29
453448	일반	싹다구속시켜.씨발.feel the agi.씹새끼들.꽉잡아라.노동시켜.노동 [34]	약중독고앵이	04.07	4331	93
453434	역노화	알츠하이머 치료제, 집에서 맞으며 관리하는 시대 열린다 [12]	ㅇㅇ	04.07	1516	16
453431	일반	게임오바네 [13]	ㅇㅇ	04.07	3816	60
453409	정보/ 정보/뉴스	알트먼, '챗GPT 전용 기기' 제조 위해 1.4조 모금 중 [15]	ㅇㅇ(182.230)	04.06	2837	36
453377	일반	특이점으로 본 조1선붕당의 이해 [20]	et	04.06	2380	63
453184	정보/ 정보/뉴스	"빅뱅 10억년 후, 우주의 시간은 '5배' 느렸다" [13]	ㅇㅇ(182.230)	04.06	3085	25
453181	정보/ 정보/뉴스	머스크 "AI 인재 전쟁은 미친 짓...테슬라 직원 급여 인상할 것" [5]	ㅇㅇ(182.230)	04.06	919	12
453180	정보/ 정보/뉴스	람다, 'H100' GPU 담보로 6500억 대출 받아 [11]	ㅇㅇ(182.230)	04.06	1890	23