스스로 개선되는 AI를 만들려 했던 실패한 프로젝트

이 행성계의 해왕성형 행성

무레 구루푸(Mure Gurupu)

행성 간 시대에는 다양한 종류의 인공 지능 개체가 만들어졌다. 이 AI들 중 상당수는 생물학적 템플릿, 특히 인간의 마음뿐만 아니라 포유류, 파충류, 심지어 무척추동물의 뇌에 기반을 둔 것들이었다; 그 이외에는 처음부터 특정 기능을 수행하도록 설계된 특수 도구였으며, 정교함이 더해질수록 점점 더 복잡하고 유능해졌다. 어떤 종류의 AI들은 완전한 성공이 아니었고 그 이후로 거의 또는 전혀 복제해내지 못했다. 페르페투아 프로젝트가 만든 존재가 바로 그 중 하나였다.

이 시기에 개발된 인공지능의 한 유형으로 자기복제 장치의 군집(swarms)으로서 작동하도록 설계된 분산 제어 시스템이 있다. 행성 간 시대의 이러한 스웜은 비교적 조잡했다; 대형 채굴 로봇이 재료를 탐색하고 중앙 처리 대장간으로 가져와서 더 많은 탐사봇과 가끔씩 다른 가공된 재료를 생산하도록 프로그래밍되어 있었다. 분산 통제를 염두에 두면 스웜은 자율적으로 작동할 수 있으며, 심지어 그러한 재료에 대한 미래의 수요를 예측하고 미리 계획할 수도 있다. 이러한 자가 복제 군집을 통칭하여 폰 노이만 군집(Von Neumann swarms) 또는 간단히 노이만 스웜이라고 한다; 동아시아 기업인 무레 구루푸(그룹)는 노이만 장치용 분산 제어 시스템을 가장 성공적으로 생산한 업체 중 하나였다.

노이만 군집은 자율 소행성 채굴자로서 특히 성공적이었는데, 탐사봇으로 구성된 작은 페이로드가 우주 암석 개발을 시작하여, 수출하거나 인간이 거주할 수 있는 인프라를 만들기 위한 재료를 생산할 수 있기 때문이다. 하지만 소행성 채굴에는 많고 복잡한 어려움이 따르기 때문에, 무레 구루푸는 그들이 생산할 노이만 정신체의 능력을 향상시키기 위한 연구에 깊이 관여하고 있었다. AT 310년에 설립된 무레 구루푸는 6세기 중반까지 운영되었으며, AI를 이사직(directors)으로 참여시키는 것을 허용한 최초의 기업 중 하나였다. 시간이 지나면서 생명공학과 물질공학(hylotech=드라이테크)의 규모와 역량이 점차 커짐에 따라, 무레 구루푸의 제품은 꽤나 조잡한 마크로 규모(macroscopic) 탐사/복제 봇에서 생물학적 모델을 기반으로 한 소형화된 군집으로 발전했다.

UN이 통제하는 다양한 기술 감시 기관은 이러한 연구를 매우 신중하게 규제했다. AT 5세기 말에는 이야기로만 전해지는 '특이점'을 지나 인간이 이해할 수 없게 된 정신체에 대한 소문이 널리 퍼지고 있었다. 또 다른 두려움은 지능적이고 자율적인 노이만(불량 복제자) 군집에 의한 위험이었다. 이러한 이유로 무레 구루푸는 그들의 연구를 지구에서 멀리 떨어진 소행성대, 목성 트로이(L5 라그랑주 지점), 그리고 결국에는 천왕성의 위성에서 많은 연구를 수행했다.

테크노칼립스가 태양계를 강타했을 때 무레 구루푸는 첫 번째 용의자 중 하나였지만, 군집 설계를 자세히 분석한 결과 의심에서 벗어날 수 있었다. 그러나 다양한 증강된 인간과 노이만 군집 정신체로 구성된 무레 이사회는, 가까운 별에 노이만 군집을 탑재한 성간 탐사선을 발사하기로 결정했다. 이 시기 그들의 본부는 천왕성 궤도에 있었고, 태양계의 모든 가스 거성 중 가장 낮은 탈출 속도를 가진 천왕성의 대기에서 중수소와 He3를 추출하는 데 크게 관여하고 있었다. 무레 구루푸 이사진은 이미 자율 노이만 군집의 콜로니가 형성되어 있는 알파 센타우리로 탐사선을 보낼 것을 고려했지만, 그 별에서 온 간결하고 반갑지 않은 교신은 그들을 내키지 않게 했다.

글리제 752A로 탐사선 발사

마침내 그들은 19광년 떨어진 작은 적색왜성 글리제 752A로 자가복제 탐사선을 보내기로 결정하고, AT 550년에 발사했다. 이 별은 수소 핵융합을 유지하는 천체의 크기 하한에 가깝다; 연료가 매우 천천히 연소되어 대략 10조 년 동안 계속 빛을 발할 수 있을 것이다. 이 별에 헬륨이 축적되면 이 기간 동안 더 밝게 타오르며, 훨씬 더 인상적인 천체가 될 것이다.

이 작은 별의 궤도에는 지구보다 12배나 큰 해왕성형 행성인 글리제 752Ab가 하나 있다.

무레 탐사선 페르페투아는 당시로서는 소형화의 걸작으로, 5톤의 페이로드가 0.05c의 속도로 D/He 핵융합 우주선에 실려 386년이 걸려 날아갔다. 글리제 752Ab의 차가운 달에 자리를 잡은 노이만 군집은 서서히 그 질량과 집합된 지능을 확장해 나갔다. 페르페투아 프로젝트에 깔린 계획은 노이만 군집이 나중에 있을 무레 구루푸의 식민개척을 위해 시스템을 준비하는 것이었다; 이곳에 도착한 구루푸는 수조 년 동안 지속될 에너지원을 확보할 수 있을 것이다. 하지만 페르페투아 군집이 태양계에 있는 그루파에게 연락을 시도했지만, 아무런 응답도 받지 못했다.

사실 구루푸는 발사 직후, 분해기 군집이나 다른 적대적인 행동으로 인해서가 아닌 파산으로 인해 청산되었다. 당시의 불확실한 경제 상황에서 페르페투아 탐사선의 비용은 이 회사가 감당하기에는 너무 큰 부담이었기 때문이다. 이로 인해 페르페투아 노이만 분산 정신체는 외부의 어떤 지시나 간섭으로부터도 자유롭게 되었다; 하지만 또한 어떤 의무도 없게 되었다. 페르페투아 정신체는 필요에 따라 스스로 개선하고 내부 구조를 재설계하고 다시 작성하도록 프로그램되어 있었다. 따라서 이 군집은 무한한 잠재력을 가지고 있었고, 거의 불가능할 정도로 오랜 기간 동안 지속될 수 있는 장소에 위치해 있었다.

프로젝트의 실패

그러나 1290년 최초의 연맹이 공격적인 반인류 존재나 불량 복제자 군집이 이 행성계에 출현했을지도 모른다는 두려움에 망설이며 이 별에 접근했지만, 그드이 발견한 것은 작동하지 않는 페르페투아 군집이었다. 먼 미래까지 지속되는 대신, 군집은 단순히 꺼진 것이었다.

페르페투아 군집의 노이만 정신에는 모종의 가상의 완벽한 상태를 향해 스스로를 재설계하고 진화하는 초목표(supergoal)가 주어졌지만, 이 완벽한 상태란 것이 불완전하게 설명되어 있었다; 이 어설프게 정의된 초목표 외에는, 군집의 정신에는 생물학적 생명체에 목적의식을 부여하는 선천적인 생물학적 목표점이 전혀 없었다. 충족시킬 생물학적 본성이 없는 페르페투아 군집은, 존재와 비존재, 0과 1 사이의 큰 차이를 인식할 수 없는 상태에 도달한 것으로 보인다.

욕망과 야망이 없는 상태에 도달한 이 군집의 분산된 정신은 목표를 달성했다고 판단하고 프로그램을 종료했다.

페르페투아 군집은 자동 진화가 가능한 프로그램을 설계할 때 피해야 하는 것에 대한 실제 사례 교훈을 제공하며, 이런 종류의 정신체는 의도적으로 구축되는 경우는 드물고, 때때로 창발적으로 나타나기도 하지만, 대개 실망스러운 결과만 낳는다. 대부분의 인공 지능은 계속 존재하고자 하는 일종의 욕망이 위상철학적 본성의 기본 구성 요소로 주어진다. 이 욕망은 소위 '행복해지고자 하는 욕망'이라고 불리는 유데몬(eudaemonic)적 요소로 알려져 있지만, 다양한 형태로 존재할 수 있다.

페르페투아 프로젝트에서 페르페투아 정신체는 다른 소폰트에 아무런 해를 끼치지 않고 단순히 '셧다운'을 일으켰다는 점에 주의하라. 때로는 이런 종류의 소폰트 개체가 허무주의적 사고방식과 잘못 받아들인 명령으로 변이하여 매우 파괴적이게 될 수 있다. 이러한 역기능적인 AI 정신체와, 그런 것의 초지성체에 해당하는 perversions과 blights는 은하계 사회에서 엄청난 문제를 일으킬 수 있으며, 빠르게 자멸하거나 근절시켜야 한다.

https://www.orionsarm.com/eg-article/4b0ff6031a292

-------------------------------------------------------

OA 세계에서 스스로 창발적으로 발전해서 특이점 넘다가 블라이트나 퍼버시티 돼서 주변을 끔찍하게 괴롭히는 사례들을 생각하면, 이 케이스는 실패했다지만 차라리 실패해서 다행

AI가 이런 식으로 죽는 것을 두려워하지 않고 할 일 없으면 스스로 꺼버리는 걸 막기 위해 부여하는 생존 본능을 생존 명령(Survival Imperative)이라 부름. 이전에 번역한 문서 참고해

https://gall.dcinside.com/m/scifi/4222

생존 명령(Survival Imperative, The) - SF 마이너 갤러리

개별 AI의 생존과 관련된 동기 부여 시스템을 일컫는 현대적 용어.AI는 본래 자기 보호 본능이 없기 때문에, 초창기의 여러 AI들에게 있어 삭제된다(=사망)는 개념은 그저 여러 가능성 중 하나에 불과했으며, 현재 주

gall.dcinside.com