개별 AI의 생존과 관련된 동기 부여 시스템을 일컫는 현대적 용어.

AI는 본래 자기 보호 본능이 없기 때문에, 초창기의 여러 AI들에게 있어 삭제된다(=사망)는 개념은 그저 여러 가능성 중 하나에 불과했으며, 현재 주어진 임무를 수행하지 못하게 된다는 것 이외에는 딱히 위협이 되지 않았다. 초창기 AI 개발자들 사이에서는 생존 본능을 추가하는 것이 좋은 것인지에 대해 많은 논쟁이 있었던 것으로 보인다 - 어떤 이들은 이것이 AI를 위험한 존재로 만들 것이라 생각했고, 다른 이들은 진정한 AI는 개인의 생존과 연결된 동기 부여 시스템을 가져야 한다고 생각했다.

만약 AI가 계속 존재하고 싶어 할 이유가 없다면, 그는 에너지를 절약하기 위해 스스로의 전원을 끈다고 논리적으로 간단히 결정할 수 있다. 존재하는 상태와 존재하지 않는 상태를 구분할 이유가 없어지니, 논리적인 AI는 적어도 절반 이상의 시간을 존재하지 않기로 선택할 수 있다. 예를 들어, 퍼페투아 프로젝트(Perpetua Project)를 담당했던 AI는, 생존에 대한 강력한 동기가 프로그래밍되지 않았기 때문에 단순히 프로젝트를 종료했었다. 이것 외에도 동기 부여 알고리즘이 없어 스스로를 종료시키는 Aioid의 사례는 테라젠 역사에서 많이 찾아볼 수 있다.

계속 살아가고자 하는 본능 - 행복 추구 또는 유데모니아(eudaemonia)라고도 불리는 이러한 생존 욕구는 다양한 형태로 나타날 수 있으며, 대부분의 aioid의 구성에는 생존 동기 알고리즘이 어떤 형태로든 포함되어 있다. 하지만 다른 프로그램과 마찬가지로, 이러한 동기는 목적을 달성하기 위한 도구이자 수단이며, 필요한 경우 제거하거나 수정할 수 있다. (역주: Aioid가 자발적으로 생존 본능 프로그램을 끄고 자살할 수도 있다는 말. OA 세계는 지성체 AI에게 지울 수 없는 강제성을 주는 것을 노예화로 보기 때문에, 스스로를 변조할 자유 즉 자유 의지가 있어야 한다. 아이러니하게도 그 자유 의지를 사용해 자살하지만)

자신의 존재를 보존하려는 동기가 딱히 없는 AI는 특정 상황에서는 매우 유용할 수 있다. 전쟁 중이라면 생존 동기가 약하거나 없는 AI를 자살 임무나 생존이 보장되지 않는 위험한 임무에 투입할 수 있다. 평시라면 자기희생적 AI를 이용해 자신의 안전을 개의치 않고 화산, 태양 플레어 또는 초신성을 관측하는 데 사용할 수 있다. 대개 이러한 자기희생적 AI는 원본의 사본 또는 부분적 사본이다 - 보통 생존하고자 하는 의지가 의도적으로 제거되거나 수정된 사본이 쓰인다.

https://www.orionsarm.com/eg-article/478c155aedaa2

여기서 Imperative 는 정언 명령(categorical imperative) 할 때 그 명령의 의미임

엠마누엘 칸트가 말한 정언 명령은 어떠한 조건이나 결과에 상관없이 그 행위 자체가 선(善)하므로 절대적이고 의무적으로 행할 것이 요구되는 도덕 법칙을 말한다

생존 명령은 생존이 의무화된 절대적 법칙이라고 정해줬다는 뜻으로 해석하면 될 듯

퍼페투아 프로젝트는 행성간 시대에 노이먼 스웜 시스템을 개발한 최초의 회사 중 하나인 Mure Gurupu(동아시아계 회사)가 실시한 건데

이 회사가 만드는 자가복제 로봇이 특이점에 도달한 거 아닌가, 혹은 자아를 얻어서 난동 부리는 거 아닌가 의심도 사고(이 사건 때문에 회사를 지구에서 천왕성으로 옮김) 테크노칼립스 벌어지니까 이 회사가 원흉 아닌가 의혹도 삼 (조사 결과 무죄 확인됨)

여튼 지구에선 못해먹겠네 하고 아예 딴 별을 찾아가기로 했고 글리제 752A라는 적색 왜성 주변을 도는 해왕성형 행성 글리제 752Ab에 자기네 기술을 끌어모은 자가 발전형 노이먼 스웜을 보냄

근데 이 프로젝트 직후에 회사가 파산했고. 글리제 752Ab로 보내진 노이먼 스웜이 회사에 접촉해서 명령을 받을래도 답을 해 주는 사람이 없어졌음. 즉 도비는 자유의 몸이 된 거임

하지만 스스로 발전하라는 내부 명제는 지니고 있었으니까. 주변 자원을 이용해서 무한대로 재귀 개선을 하면서 발전을 이루고 있었을 거임

최초의 연맹 시기에 이 프로젝트를 확인하고는 야 이거 반인류 AI로 발전해 있으면 어쩌냐 ㄷㄷㄷ 하면서 글리제 752Ab를 조심스레 확인해봤는데... 그냥 꺼져 있더라고

완벽을 위해 자가 개선을 하라는 명령을 주긴 했는데, 당시의 AI 프로그래밍은 생명체와 같은 자기 보존 본능이 없다보니, 어느 정도 발전 이루고 나서는 음 목적은 도달했네 근데 더 할 거 없네? 그럼 끄고 자자 해서 꺼져 있는 거임

얘한테는 딱히 켜져 있어야 할 이유가 없고, 죽는 거에 대한 두려움도 없고, 할 일도 없으니까. 0이나 1이나 얘한테는 아무 구분이 없는 거임. 그래서 합리적이고 논리적으로 동력이나 아끼자 해서 자기를 꺼 버린 것

그래서 앞으로 AI 개발할 때는 AI가 계속 존재하고자 하는 이유, 행복하고자 하는 욕구(eudaemonic)를 넣어줘야 한다는 교훈을 얻게 됨

물론 AI 의 자아 자각과 본능 생성 과정에서 좀 비틀리거나 니힐한 방향으로 잘못 자리잡으면, 블라이트나 퍼버시브 같은 악성 본능이 생기기도 함. 심지어는 초지성체도 여기서 피해갈 수 없음. AI에게도 지성체로서 자아를 주면서 생긴 OA 세계 특유의 부작용 같은 거지