디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

"AI의 사고과정 감시 시급하다"… AI 업계 리더들, 공동 입장문 발표

aimatters갤로그로 이동합니다. 2025.07.16 19:21:41
조회 8962 추천 4 댓글 19
														


오픈AI(OpenAI), 구글 딥마인드(Google DeepMind), 앤트로픽(Anthropic) 등 주요 AI 기업과 비영리 단체 연구진들이 AI 추론 모델의 소위 '생각'을 감시하는 기술에 대한 심층 조사가 필요하다고 촉구했다. 테크크런치가 15일(현지 시간) 보도한 내용에 따르면, 이들은 'Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety'라는 제목의 입장문을 통해 이 같은 입장을 밝혔다.

오픈AI의 o3와 딥시크(DeepSeek)의 R1과 같은 AI 추론 모델의 핵심 특징은 사고의 연쇄(chains-of-thought, CoT)다. 이는 AI 모델이 문제를 해결하는 과정을 외부로 드러내는 것으로, 인간이 어려운 수학 문제를 풀 때 메모지를 사용하는 것과 유사하다. 추론 모델은 AI 에이전트를 구동하는 핵심 기술이며, 이들은 CoT 모니터링이 AI 에이전트가 더 널리 보급되고 능력이 향상될 때 이를 통제하는 핵심 방법이 될 수 있다고 주장했다.

연구진들은 입장문에서 "CoT 모니터링은 최첨단 AI의 안전 조치에 귀중한 추가 요소가 되며, AI 에이전트가 결정을 내리는 방식에 대한 드문 통찰을 제공한다"고 밝혔다. 하지만 "현재 수준의 가시성이 지속될 것이라는 보장은 없다"며 "연구 커뮤니티와 최첨단 AI 개발자들이 CoT 모니터링 가능성을 최대한 활용하고 이를 보존하는 방법을 연구할 것을 권장한다"고 덧붙였다.

연구진들은 입장문을 통해 주요 AI 모델 개발자들에게 CoT를 '모니터링 가능하게' 만드는 요소를 연구하도록 요청했다. 즉, AI 모델이 실제로 답에 도달하는 방식에 대한 투명성을 높이거나 낮출 수 있는 요인들을 연구해야 한다는 것이다. 이들은 CoT 모니터링이 AI 추론 모델을 이해하는 핵심 방법일 수 있지만 취약할 수 있다고 지적하며, 투명성이나 신뢰성을 감소시킬 수 있는 개입을 경계했다.

이들은 또한 AI 모델 개발자들에게 CoT 모니터링 가능성을 추적하고 이 방법이 언젠가 안전 조치로 구현될 수 있는 방안을 연구하도록 촉구했다. 주목할 만한 서명자로는 오픈AI 최고연구책임자 마크 첸(Mark Chen), 세이프 슈퍼인텔리전스(Safe Superintelligence) CEO 일리야 수츠케버(Ilya Sutskever), 노벨상 수상자 제프리 힌튼(Geoffrey Hinton), 구글 딥마인드 공동창립자 셰인 레그(Shane Legg), xAI 안전 고문 댄 헨드릭스(Dan Hendrycks), 씽킹 머신즈(Thinking Machines) 공동창립자 존 슐만(John Schulman) 등이 있다. 주 저자들은 영국 AI 보안 연구소(U.K. AI Security Institute)와 아폴로 리서치(Apollo Research)의 리더들이며, 다른 서명자들은 METR, 아마존(Amazon), 메타(Meta), UC 버클리 출신이다.

이 논문은 AI 안전 연구를 촉진하려는 AI 업계 리더들의 단합된 순간을 보여준다. 이는 기술 기업들이 치열한 경쟁에 휘말린 시점에 나온 것으로, 메타가 수백만 달러를 제시하며 오픈AI, 구글 딥마인드, 앤트로픽의 최고 연구진들을 빼오고 있는 상황이다. 가장 인기 있는 연구자들은 AI 에이전트와 AI 추론 모델을 구축하는 이들이다.

입장문 작성에 참여한 오픈AI 연구원 보웬 베이커(Bowen Baker)는 테크크런치와의 인터뷰에서 "우리는 새로운 사고의 연쇄라는 것이 있는 중요한 시점에 있다. 꽤 유용해 보이지만, 사람들이 정말로 집중하지 않으면 몇 년 안에 사라질 수 있다"고 말했다. "이런 입장문을 발표하는 것은 그런 일이 일어나기 전에 이 주제에 더 많은 연구와 관심을 끌어내는 메커니즘이다."라고 밝혔다.

오픈AI는 2024년 9월 첫 번째 AI 추론 모델인 o1의 프리뷰를 공개했다. 그 후 몇 달 동안 기술 업계는 유사한 기능을 보이는 경쟁 모델을 빠르게 출시했으며, 구글 딥마인드, xAI, 앤트로픽의 일부 모델들은 벤치마크에서 더욱 발전된 성능을 보였다. 하지만 AI 추론 모델이 어떻게 작동하는지에 대해 알려진 것은 상대적으로 적다. AI 연구소들이 지난 1년간 AI 성능 향상에는 뛰어났지만, 이것이 AI가 답에 도달하는 방식에 대한 더 나은 이해로 이어지지는 않았다.

앤트로픽은 AI 모델이 실제로 어떻게 작동하는지 파악하는 분야인 해석가능성(interpretability) 분야의 업계 선두주자 중 하나다. 올해 초 CEO 다리오 아모데이(Dario Amodei)는 2027년까지 AI 모델의 블랙박스를 해체하겠다는 약속을 발표하고 해석가능성에 더 많이 투자하겠다고 밝혔다. 그는 오픈AI와 구글 딥마인드에도 이 주제를 더 연구하도록 촉구했다. 앤트로픽의 초기 연구에 따르면 CoT가 이러한 모델들이 답에 도달하는 방식을 완전히 신뢰할 수 있게 나타내지 못할 수 있다고 밝혀졌다. 동시에 오픈AI 연구진들은 CoT 모니터링이 언젠가 AI 모델의 정렬과 안전성을 추적하는 신뢰할 수 있는 방법이 될 수 있다고 말했다.



해당 기사의 원문은 테크크런치에서 확인 가능하다.

이미지 출처: 입장문 일부 캡쳐




추천 비추천

4

고정닉 0

4

원본 첨부파일 1

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 반응이 재밌어서 자꾸만 놀리고 싶은 리액션 좋은 스타는? 운영자 25/07/28 - -
639 AI 코딩 능력 과대포장 논란… 실제 코딩 시험 봤더니 1등이 겨우 정답률 7.5% [4] aimatters갤로그로 이동합니다. 07.25 352 0
638 구글, AI 기반 '가상 피팅' 기능 미국 출시… 내 사진 넣으면 옷 입혀준다 aimatters갤로그로 이동합니다. 07.25 148 0
637 해커들, AI로 만든 가짜 보안 취약점 보고서 남발… 업계 비상 [4] aimatters갤로그로 이동합니다. 07.25 8432 3
636 삼성, 수천 시간 영상 맥락까지 분석 가능한 AI 스타트업 메모리즈에 투자 aimatters갤로그로 이동합니다. 07.25 170 0
635 구글, AI가 검색 결과 페이지 배치 개인화해주는'웹 가이드' 실험 시작 aimatters갤로그로 이동합니다. 07.25 117 0
634 "그록 AI 동반자, 사랑의 진화냐 위협이냐" 美서 열린 토론회 화제 aimatters갤로그로 이동합니다. 07.25 124 0
633 친구 어머니 유산 정리하다 '유산 정리 AI' 창업한 여성, 275억 투자 유치 aimatters갤로그로 이동합니다. 07.25 119 0
632 이제 방송도 AI로? 네이버-KBS, AI 기술 동맹 맺고 첨단 미디어 개발 박차 aimatters갤로그로 이동합니다. 07.25 104 0
631 SKT, 자체 국내 기술로 초거대 AI 도전 선언… ‘에이닷 엑스 3.1’ 공개 aimatters갤로그로 이동합니다. 07.25 102 0
630 [Q&AI] 헐크 호건 별세… AI가 기록한 그의 생애 aimatters갤로그로 이동합니다. 07.25 99 0
629 AI에게 장애인 차별 댓글 감별하게 했더니… 미국 AI는 너무 예민하고, 인도 AI는 너무 둔감해 [8] aimatters갤로그로 이동합니다. 07.25 8385 3
628 "네버 기브 업" 엔비디아가 공개한 ‘실수해도 포기 안 하는 로봇’ [3] aimatters갤로그로 이동합니다. 07.25 8026 3
627 “지금 좋아도 20년 후 손해”… AI가 신입 일자리 뺏으면 국가 경제성장 발목 잡힌다 aimatters갤로그로 이동합니다. 07.25 108 0
626 "내 목소리가 야동에?" 성우 생존을 위협하는 AI의 무단 목소리 복제 aimatters갤로그로 이동합니다. 07.25 92 0
625 구글 포토, AI 기반 '사진 리믹스'·'영상 변환' 기능 출시... 무료로 영상 변환 [4] aimatters갤로그로 이동합니다. 07.24 302 0
624 유튜브, 쇼츠 이미지 영상으로 바꿔준다... 누구나 이미지로 쇼츠 제작 가능 aimatters갤로그로 이동합니다. 07.24 2787 4
623 트럼프 행정부, AI 성장 가속 위해 규제 완화… 中과 경쟁 본격화 aimatters갤로그로 이동합니다. 07.24 136 0
622 "파트너·동맹국, 美 통제 따라야 해"... 트럼프 행정부, 中 AI 칩 수출 차단 재추진 aimatters갤로그로 이동합니다. 07.24 131 0
621 테슬라, 전기차 판매 둔화로 실적 타격… AI·로보틱스로 전환 시동 [6] aimatters갤로그로 이동합니다. 07.24 2652 0
620 구글, AI 오버뷰 월간 사용자 20억 명 돌파했지만 ‘자본 투자 확대’ 계획에 주가 하락 aimatters갤로그로 이동합니다. 07.24 124 0
619 구글, 최대 경쟁사 오픈AI와 클라우드 파트너십 체결… 피차이 "매우 흥미진진해" aimatters갤로그로 이동합니다. 07.24 112 0
618 트럼프 "좌파 AI 안 쓴다" 선언… 일론 머스크의 ‘그록’ 밀어주기 논란 aimatters갤로그로 이동합니다. 07.24 153 0
617 아마존, 정치적 긴장에 상하이 AI 연구소 폐쇄… 맥킨지도 中 기업 AI 컨설팅 금지당해 aimatters갤로그로 이동합니다. 07.24 110 0
616 앤트로픽 "미국 AI 액션플랜 환영, 중국 수출통제 더 강화해야" aimatters갤로그로 이동합니다. 07.24 101 0
615 네이버클라우드 AI 음성인식 업계 최초 금융보안 인증 확보... 은행에 도입되나 aimatters갤로그로 이동합니다. 07.24 99 0
614 ‘국산 AI의 역습’… 카카오, GPT-4o 급 성능 가진 AI 모델 2종 오픈소스 공개 [1] aimatters갤로그로 이동합니다. 07.24 162 0
613 "챗GPT, 공부하고 글 쓰는 데 가장 많이 써'"... 오픈AI, 생산성 보고서 발표 aimatters갤로그로 이동합니다. 07.24 105 0
612 "AI, 추론 시간 늘릴수록 오히려 멍청해져”... 앤트로픽, 충격적 연구 결과 발표 aimatters갤로그로 이동합니다. 07.24 102 0
611 MIT, ‘절대 까먹지 않는’ AI 개발… GPT-4보다 4배 좋은 이유는 "까먹기 때문" aimatters갤로그로 이동합니다. 07.24 93 0
610 구글 "AI 이미지 안전 검사 완전히 틀렸다"... 타인과 나에게 다른 잣대 들이대 aimatters갤로그로 이동합니다. 07.24 93 0
609 [Q&AI] 태국-캄보디아 교전 중… 왜? aimatters갤로그로 이동합니다. 07.24 97 0
608 [Q&AI] 中 연예인 첫 사형 집행… 무슨 일? [1] aimatters갤로그로 이동합니다. 07.23 294 0
607 소버린 생태계를 가진 나라 vs 못 가진 나라, 핵무기 보유국처럼 성패 갈릴 것 aimatters갤로그로 이동합니다. 07.23 140 0
606 AI 카메라로 고래와 선박 충돌 막는다... 해양 보전 프로젝트 'Ocean IA' 공개 aimatters갤로그로 이동합니다. 07.23 147 0
605 LG, 기업용 AI 챗봇 '챗엑사원' 베타 공개... 런던증권거래소와 AI 투자보고서 협력 aimatters갤로그로 이동합니다. 07.23 184 0
604 퍼플렉시티 CEO "젊은 세대들, 인스타 그만하고 AI 배워야해” [1] aimatters갤로그로 이동합니다. 07.23 165 0
602 런웨이, 모션 캐처 모델 'Act-Two' 출시… 머리, 얼굴, 상체, 손동작까지 추적 가능 aimatters갤로그로 이동합니다. 07.23 135 0
601 오픈AI 1억 개 vs xAI 5천만 개… GPU '슈퍼컴퓨터 전쟁' 격화 aimatters갤로그로 이동합니다. 07.23 134 0
600 챗GPT 딥리서치 보고서 PDF·워드 내보내기 기능 업데이트… “표, 이미지, 링크 처리 다 적용돼” aimatters갤로그로 이동합니다. 07.23 125 0
599 네이버클라우드, 14B 추론모델 무료 오픈소스 공개… "100분의 1 비용으로 해외 모델급 성능" [6] aimatters갤로그로 이동합니다. 07.23 7884 2
598 아마존, AI 웨어러블 스타트업 ‘Bee’ 인수… AI 디바이스 경쟁 본격화 aimatters갤로그로 이동합니다. 07.23 160 0
597 오픈AI, 오라클과 연 3천억 달러 규모 스타게이트 데이터센터 계약 체결 aimatters갤로그로 이동합니다. 07.23 122 0
596 애플, iOS 26 베타4 공개… AI 뉴스 요약 기능 재도입 및 UI 개선 aimatters갤로그로 이동합니다. 07.23 118 0
595 "2만번 학습을 26번으로" 양자컴퓨터의 충격적 학습 효율... AI 혁명 2막 시작? aimatters갤로그로 이동합니다. 07.23 135 0
594 "AI 때문에 회사 기밀 유출?" 생성형 AI 안전하게 쓰는 5가지 방법 aimatters갤로그로 이동합니다. 07.23 119 0
593 목소리만으로 천식 진단하는 AI 등장… 1,200명 중 59%가 "써보고 싶다" aimatters갤로그로 이동합니다. 07.23 111 0
592 "AI 로봇 vs 사람 조종 로봇, 대화로 구분해 보세요"... 34명 실험 결과 '깜짝' aimatters갤로그로 이동합니다. 07.23 109 0
591 챗GPT, GPT-5 출시 임박… 새로운 추론 모델 테스트 중 [1] aimatters갤로그로 이동합니다. 07.23 253 0
590 한국형 AI 파운데이션 모델 개발 경쟁 치열… 네이버·카카오·SKT 등 15개팀 각축전 aimatters갤로그로 이동합니다. 07.23 124 0
589 그록 4 출시 효과, 앱 수익 325% 급증... 'AI 동반자' 고가 요금제는 실패로 보여 aimatters갤로그로 이동합니다. 07.23 131 0
뉴스 '전참시' 28년 차 레전드 혼성그룹 코요태 첫 출격! 육아 난이도 上 두 아들 종민&빽가와 엄마 신지(?) '찰떡 케미' 디시트렌드 07.25
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2