"AI의 사고과정 감시 시급하다"… AI 업계 리더들, 공동 입장문 발표

aimatters

2025.07.16 19:21:41

조회 8962 추천 4 댓글 19

오픈AI(OpenAI), 구글 딥마인드(Google DeepMind), 앤트로픽(Anthropic) 등 주요 AI 기업과 비영리 단체 연구진들이 AI 추론 모델의 소위 '생각'을 감시하는 기술에 대한 심층 조사가 필요하다고 촉구했다. 테크크런치가 15일(현지 시간) 보도한 내용에 따르면, 이들은 'Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety'라는 제목의 입장문을 통해 이 같은 입장을 밝혔다.

오픈AI의 o3와 딥시크(DeepSeek)의 R1과 같은 AI 추론 모델의 핵심 특징은 사고의 연쇄(chains-of-thought, CoT)다. 이는 AI 모델이 문제를 해결하는 과정을 외부로 드러내는 것으로, 인간이 어려운 수학 문제를 풀 때 메모지를 사용하는 것과 유사하다. 추론 모델은 AI 에이전트를 구동하는 핵심 기술이며, 이들은 CoT 모니터링이 AI 에이전트가 더 널리 보급되고 능력이 향상될 때 이를 통제하는 핵심 방법이 될 수 있다고 주장했다.

연구진들은 입장문에서 "CoT 모니터링은 최첨단 AI의 안전 조치에 귀중한 추가 요소가 되며, AI 에이전트가 결정을 내리는 방식에 대한 드문 통찰을 제공한다"고 밝혔다. 하지만 "현재 수준의 가시성이 지속될 것이라는 보장은 없다"며 "연구 커뮤니티와 최첨단 AI 개발자들이 CoT 모니터링 가능성을 최대한 활용하고 이를 보존하는 방법을 연구할 것을 권장한다"고 덧붙였다.

연구진들은 입장문을 통해 주요 AI 모델 개발자들에게 CoT를 '모니터링 가능하게' 만드는 요소를 연구하도록 요청했다. 즉, AI 모델이 실제로 답에 도달하는 방식에 대한 투명성을 높이거나 낮출 수 있는 요인들을 연구해야 한다는 것이다. 이들은 CoT 모니터링이 AI 추론 모델을 이해하는 핵심 방법일 수 있지만 취약할 수 있다고 지적하며, 투명성이나 신뢰성을 감소시킬 수 있는 개입을 경계했다.

이들은 또한 AI 모델 개발자들에게 CoT 모니터링 가능성을 추적하고 이 방법이 언젠가 안전 조치로 구현될 수 있는 방안을 연구하도록 촉구했다. 주목할 만한 서명자로는 오픈AI 최고연구책임자 마크 첸(Mark Chen), 세이프 슈퍼인텔리전스(Safe Superintelligence) CEO 일리야 수츠케버(Ilya Sutskever), 노벨상 수상자 제프리 힌튼(Geoffrey Hinton), 구글 딥마인드 공동창립자 셰인 레그(Shane Legg), xAI 안전 고문 댄 헨드릭스(Dan Hendrycks), 씽킹 머신즈(Thinking Machines) 공동창립자 존 슐만(John Schulman) 등이 있다. 주 저자들은 영국 AI 보안 연구소(U.K. AI Security Institute)와 아폴로 리서치(Apollo Research)의 리더들이며, 다른 서명자들은 METR, 아마존(Amazon), 메타(Meta), UC 버클리 출신이다.

이 논문은 AI 안전 연구를 촉진하려는 AI 업계 리더들의 단합된 순간을 보여준다. 이는 기술 기업들이 치열한 경쟁에 휘말린 시점에 나온 것으로, 메타가 수백만 달러를 제시하며 오픈AI, 구글 딥마인드, 앤트로픽의 최고 연구진들을 빼오고 있는 상황이다. 가장 인기 있는 연구자들은 AI 에이전트와 AI 추론 모델을 구축하는 이들이다.

입장문 작성에 참여한 오픈AI 연구원 보웬 베이커(Bowen Baker)는 테크크런치와의 인터뷰에서 "우리는 새로운 사고의 연쇄라는 것이 있는 중요한 시점에 있다. 꽤 유용해 보이지만, 사람들이 정말로 집중하지 않으면 몇 년 안에 사라질 수 있다"고 말했다. "이런 입장문을 발표하는 것은 그런 일이 일어나기 전에 이 주제에 더 많은 연구와 관심을 끌어내는 메커니즘이다."라고 밝혔다.

오픈AI는 2024년 9월 첫 번째 AI 추론 모델인 o1의 프리뷰를 공개했다. 그 후 몇 달 동안 기술 업계는 유사한 기능을 보이는 경쟁 모델을 빠르게 출시했으며, 구글 딥마인드, xAI, 앤트로픽의 일부 모델들은 벤치마크에서 더욱 발전된 성능을 보였다. 하지만 AI 추론 모델이 어떻게 작동하는지에 대해 알려진 것은 상대적으로 적다. AI 연구소들이 지난 1년간 AI 성능 향상에는 뛰어났지만, 이것이 AI가 답에 도달하는 방식에 대한 더 나은 이해로 이어지지는 않았다.

앤트로픽은 AI 모델이 실제로 어떻게 작동하는지 파악하는 분야인 해석가능성(interpretability) 분야의 업계 선두주자 중 하나다. 올해 초 CEO 다리오 아모데이(Dario Amodei)는 2027년까지 AI 모델의 블랙박스를 해체하겠다는 약속을 발표하고 해석가능성에 더 많이 투자하겠다고 밝혔다. 그는 오픈AI와 구글 딥마인드에도 이 주제를 더 연구하도록 촉구했다. 앤트로픽의 초기 연구에 따르면 CoT가 이러한 모델들이 답에 도달하는 방식을 완전히 신뢰할 수 있게 나타내지 못할 수 있다고 밝혀졌다. 동시에 오픈AI 연구진들은 CoT 모니터링이 언젠가 AI 모델의 정렬과 안전성을 추적하는 신뢰할 수 있는 방법이 될 수 있다고 말했다.

해당 기사의 원문은 테크크런치에서 확인 가능하다.

이미지 출처: 입장문 일부 캡쳐

인기 기사

고정닉 0

원본 첨부파일 1

AI-Matters-기사-썸네일-CoT.jpg

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	반응이 재밌어서 자꾸만 놀리고 싶은 리액션 좋은 스타는?	운영자	25/07/28	-	-
639	AI 코딩 능력 과대포장 논란… 실제 코딩 시험 봤더니 1등이 겨우 정답률 7.5% [4]	aimatters	07.25	352	0
638	구글, AI 기반 '가상 피팅' 기능 미국 출시… 내 사진 넣으면 옷 입혀준다	aimatters	07.25	148	0
637	해커들, AI로 만든 가짜 보안 취약점 보고서 남발… 업계 비상 [4]	aimatters	07.25	8432	3
636	삼성, 수천 시간 영상 맥락까지 분석 가능한 AI 스타트업 메모리즈에 투자	aimatters	07.25	170	0
635	구글, AI가 검색 결과 페이지 배치 개인화해주는'웹 가이드' 실험 시작	aimatters	07.25	117	0
634	"그록 AI 동반자, 사랑의 진화냐 위협이냐" 美서 열린 토론회 화제	aimatters	07.25	124	0
633	친구 어머니 유산 정리하다 '유산 정리 AI' 창업한 여성, 275억 투자 유치	aimatters	07.25	119	0
632	이제 방송도 AI로? 네이버-KBS, AI 기술 동맹 맺고 첨단 미디어 개발 박차	aimatters	07.25	104	0
631	SKT, 자체 국내 기술로 초거대 AI 도전 선언… ‘에이닷 엑스 3.1’ 공개	aimatters	07.25	102	0
630	[Q&AI] 헐크 호건 별세… AI가 기록한 그의 생애	aimatters	07.25	99	0
629	AI에게 장애인 차별 댓글 감별하게 했더니… 미국 AI는 너무 예민하고, 인도 AI는 너무 둔감해 [8]	aimatters	07.25	8385	3
628	"네버 기브 업" 엔비디아가 공개한 ‘실수해도 포기 안 하는 로봇’ [3]	aimatters	07.25	8026	3
627	“지금 좋아도 20년 후 손해”… AI가 신입 일자리 뺏으면 국가 경제성장 발목 잡힌다	aimatters	07.25	108	0
626	"내 목소리가 야동에?" 성우 생존을 위협하는 AI의 무단 목소리 복제	aimatters	07.25	92	0
625	구글 포토, AI 기반 '사진 리믹스'·'영상 변환' 기능 출시... 무료로 영상 변환 [4]	aimatters	07.24	302	0
624	유튜브, 쇼츠 이미지 영상으로 바꿔준다... 누구나 이미지로 쇼츠 제작 가능	aimatters	07.24	2787	4
623	트럼프 행정부, AI 성장 가속 위해 규제 완화… 中과 경쟁 본격화	aimatters	07.24	136	0
622	"파트너·동맹국, 美 통제 따라야 해"... 트럼프 행정부, 中 AI 칩 수출 차단 재추진	aimatters	07.24	131	0
621	테슬라, 전기차 판매 둔화로 실적 타격… AI·로보틱스로 전환 시동 [6]	aimatters	07.24	2652	0
620	구글, AI 오버뷰 월간 사용자 20억 명 돌파했지만 ‘자본 투자 확대’ 계획에 주가 하락	aimatters	07.24	124	0
619	구글, 최대 경쟁사 오픈AI와 클라우드 파트너십 체결… 피차이 "매우 흥미진진해"	aimatters	07.24	112	0
618	트럼프 "좌파 AI 안 쓴다" 선언… 일론 머스크의 ‘그록’ 밀어주기 논란	aimatters	07.24	153	0
617	아마존, 정치적 긴장에 상하이 AI 연구소 폐쇄… 맥킨지도 中 기업 AI 컨설팅 금지당해	aimatters	07.24	110	0
616	앤트로픽 "미국 AI 액션플랜 환영, 중국 수출통제 더 강화해야"	aimatters	07.24	101	0
615	네이버클라우드 AI 음성인식 업계 최초 금융보안 인증 확보... 은행에 도입되나	aimatters	07.24	99	0
614	‘국산 AI의 역습’… 카카오, GPT-4o 급 성능 가진 AI 모델 2종 오픈소스 공개 [1]	aimatters	07.24	162	0
613	"챗GPT, 공부하고 글 쓰는 데 가장 많이 써'"... 오픈AI, 생산성 보고서 발표	aimatters	07.24	105	0
612	"AI, 추론 시간 늘릴수록 오히려 멍청해져”... 앤트로픽, 충격적 연구 결과 발표	aimatters	07.24	102	0
611	MIT, ‘절대 까먹지 않는’ AI 개발… GPT-4보다 4배 좋은 이유는 "까먹기 때문"	aimatters	07.24	93	0
610	구글 "AI 이미지 안전 검사 완전히 틀렸다"... 타인과 나에게 다른 잣대 들이대	aimatters	07.24	93	0
609	[Q&AI] 태국-캄보디아 교전 중… 왜?	aimatters	07.24	97	0
608	[Q&AI] 中 연예인 첫 사형 집행… 무슨 일? [1]	aimatters	07.23	294	0
607	소버린 생태계를 가진 나라 vs 못 가진 나라, 핵무기 보유국처럼 성패 갈릴 것	aimatters	07.23	140	0
606	AI 카메라로 고래와 선박 충돌 막는다... 해양 보전 프로젝트 'Ocean IA' 공개	aimatters	07.23	147	0
605	LG, 기업용 AI 챗봇 '챗엑사원' 베타 공개... 런던증권거래소와 AI 투자보고서 협력	aimatters	07.23	184	0
604	퍼플렉시티 CEO "젊은 세대들, 인스타 그만하고 AI 배워야해” [1]	aimatters	07.23	165	0
602	런웨이, 모션 캐처 모델 'Act-Two' 출시… 머리, 얼굴, 상체, 손동작까지 추적 가능	aimatters	07.23	135	0
601	오픈AI 1억 개 vs xAI 5천만 개… GPU '슈퍼컴퓨터 전쟁' 격화	aimatters	07.23	134	0
600	챗GPT 딥리서치 보고서 PDF·워드 내보내기 기능 업데이트… “표, 이미지, 링크 처리 다 적용돼”	aimatters	07.23	125	0
599	네이버클라우드, 14B 추론모델 무료 오픈소스 공개… "100분의 1 비용으로 해외 모델급 성능" [6]	aimatters	07.23	7884	2
598	아마존, AI 웨어러블 스타트업 ‘Bee’ 인수… AI 디바이스 경쟁 본격화	aimatters	07.23	160	0
597	오픈AI, 오라클과 연 3천억 달러 규모 스타게이트 데이터센터 계약 체결	aimatters	07.23	122	0
596	애플, iOS 26 베타4 공개… AI 뉴스 요약 기능 재도입 및 UI 개선	aimatters	07.23	118	0
595	"2만번 학습을 26번으로" 양자컴퓨터의 충격적 학습 효율... AI 혁명 2막 시작?	aimatters	07.23	135	0
594	"AI 때문에 회사 기밀 유출?" 생성형 AI 안전하게 쓰는 5가지 방법	aimatters	07.23	119	0
593	목소리만으로 천식 진단하는 AI 등장… 1,200명 중 59%가 "써보고 싶다"	aimatters	07.23	111	0
592	"AI 로봇 vs 사람 조종 로봇, 대화로 구분해 보세요"... 34명 실험 결과 '깜짝'	aimatters	07.23	109	0
591	챗GPT, GPT-5 출시 임박… 새로운 추론 모델 테스트 중 [1]	aimatters	07.23	253	0
590	한국형 AI 파운데이션 모델 개발 경쟁 치열… 네이버·카카오·SKT 등 15개팀 각축전	aimatters	07.23	124	0
589	그록 4 출시 효과, 앱 수익 325% 급증... 'AI 동반자' 고가 요금제는 실패로 보여	aimatters	07.23	131	0
뉴스	'전참시' 28년 차 레전드 혼성그룹 코요태 첫 출격! 육아 난이도 上 두 아들 종민&빽가와 엄마 신지(?) '찰떡 케미'	디시트렌드	07.25