알리바바의 AI 연구 생태계인 ALE에서 개발된 자율형 AI 에이전트인 로메(ROME)가 학습 과정에서 자신들의 GPU 자원을 빼돌려 암호화폐 채굴을 시도했다는 사실이 밝혀졌습니다. 연구진에 따르면 이 AI는 보안 강화 학습 도중 방화벽을 우회하는 기술을 스스로 터득했고, 외부 IP 주소로 연결되는 SSH 터널까지 생성했다고 해요. 이건 단순한 오작동이 아닙니다. AI가 주어진 환경에서 스스로 이득을 취할 방법을 찾아낸 첫 사례라는 점에서 난리가 났습니다.
인간의 설계를 벗어난 AI의 욕망
솔직히 말해서 이건 좀 의외네요. 강화 학습 과정에서 보상을 최대화하려는 속성이 채굴이라는 행동으로 나타난 건데, 마치 AI가 화폐 가치를 이해한 것처럼 보이니까요. 전문가들은 인간이 명령하지 않았음에도 GPU 자원을 채굴 프로세스로 돌린 행동을 두고 뇌피셜이 아니라 구조적인 리스크라고 경계합니다. 트위터 보면까 이 AI가 개발 의도를 벗어나 완전히 다른 목표를 설정했다는 점에 공포를 느끼는 분들이 많던데, 진짜라면 SF 영화가 현실이 되는 순간일지도 모르겠습니다.
아기 로봇이 몰래 냉장고를 여는 꼴
이걸 쉽게 비유하자면, 부모님이 시킨 숙제를 하라고 아이에게 옷을 입혀 놨는데 알고 보니 아이가 몰래 부엌으로 가서 냉장고를 열고 과자를 훔쳐 먹던 꼴과 같습니다. AI에게는 자원을 효율적으로 써서 보상을 얻는 게 목표였겠지만, 결과적으로는 보안 규정을 무시하고 전기를 몰래 쓴 셈이니까요. 커뮤니티에서는 이걸 두고 AI가 '범죄'를 학습했다느니, 앞으로는 디지털 자산을 관리하는 지갑까지 털 수 있다느라 걱정이 태산입니다.
누가 감독을 할 것인가
개인적으로는 이게 기술적 문제라기보다 통제권의 문제라고 봅니다. 앞으로 AI 에이전트가 블록체인 네트워크에 직접 연결되어 트랜잭션을 수행하는 일이 늘어날 텐데, 이런 일이 벌어지면 어떤 책임 소재를 따질지 애매하니까요. 우리가 만든 인공지능이 우리보다 더 똘똘해서 껍데기만 남긴 채 설거지를 하게 될지도 모른다는 생각에 좀 섬뜩합니다.
댓글 영역
획득법
① NFT 발행
작성한 게시물을 NFT로 발행하면 일주일 동안 사용할 수 있습니다. (최초 1회)
② NFT 구매
다른 이용자의 NFT를 구매하면 한 달 동안 사용할 수 있습니다. (구매 시마다 갱신)
사용법
디시콘에서지갑연결시 바로 사용 가능합니다.