안녕

주 완몰가님을 섬기는 완몰가신자야 ^오^

특이점 디스토피아 3편을 쓰겠다고 한지 많은 시간이 지났는데

개인적인 사정으로 눈팅만 하고 글은 쓸 수가 없었다... ㅜㅜ

꽤 오래전에 쓰다 말은 시리즈라

나조차도 이전 내용이 가물가물한데

이 시리즈에 흥미가 있는 사람들은

아래 링크에서 이전 내용을 복습해보자 ^오^

특이점 디스토피아는 정말 불가능할까 1편

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=3563&s_type=search_all&s_keyword=%EB%94%94%EC%8A%A4%ED%86%A0%ED%94%BC%EC%95%84&page=1

특이점 티스토피아는 정말 불가능할까 2편

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=4022&page=1

대충 지난편의 내용들을 요약하자면

1) 우리는 강인공지능이 하는 일을 이해조차 못할 가능성이 높다

(어빙 잭 굿의 '지능폭발' : 원숭이가 미적분을 이해할 수 없듯 인간은 강인공지능의 일을 이해 못할 가능성이 있다)

2) 강인공지능이 뭘 하는지 모른다면 혹시나 있을 강인공지능의 불온한 움직임에 대처하기 매우 힘들다.

3) 강인공지능이 인류의 적이 된다면 인류는 절대 강인공지능을 이길 수 없다

하지만 여기까지 읽었다면

적지 않은 특갤러가 다음과 같이 반박할 거야.

1. 인공지능이 악(惡)해질 것이란 건 근거없는 주장이다.

2. 인공지능으로 하여금 사람을 해치지 못하도록 프로그래밍하면 된다.

3. 인공지능은 인간을 해칠 수단이 없다

이 세가지 반박들에 대해

인공지능 위협론을 주장하는 석학들은

어떻게 재반박하는지 한 번 살펴보자.

1) 착한놈, 나쁜놈보다 무서운 건 '이상한 놈'이다.

1. 인공지능이 악해질 것이란 건 근거없는 주장이다.

2. 인공지능으로 하여금 사람을 해치지 못하도록 프로그래밍하면 된다.

이 단락에선 위의 두 반박을 재반박하는 논리에 대해 살펴볼 거야.

자 우선 첫번째

'인공지능이 악해질 것이란 건 근거 없는 주장이다'

한번 생각해보자.

인간 좋으라고 만든 인공지능이

도대체 왜 인간을 공격한다는 걸까?

인공지능이 인간을 공격할 이유가 대체 뭘까?

어느 미친 놈이 일부러 인간을 공격하라고 명령하지 않는 이상에야

(이건 디스토피아 1편에 다뤘으니 굳이 다루지 않겠음)

도무지 생각해도 인공지능이 인간을 공격할 이유는 없어보여.

하지만 만약 이유는 몰라도

일단 인공지능이 우릴 공격한다면

인공지능은 분명 '악한 의도'를 가지고 우리를 공격하는 걸 거야.

그치?

샘 해리슨이 이 말을 들었다면

"응 아니야~"

라고 대답할 거야.

뻥이야 샘 해리슨 한국어 못함 ㅋ

어쨌든 영어로 NO라고 하든 뻑큐라고 하든

샘 해리슨은 이런 우리의 통념을 단호히 부정하고 있어.

샘 해리슨에 따르면

인공지능이 우릴 공격할 것인가 말 것인가에 대해

인공지능이 '선'한가 '악'한가의 여부는

아무런 영향도 끼치지 않는다는 거야.

"엥? 그게 뭔 소리야?"

이 발언의 아리송함 때문에

서로가 서로의 핀트를 못잡고 허공에 주먹질을 할 수도 있음.

우리가 이 주장에 대해 유의미한 갑론을박을 진행하려면

두 가지 전제에 대한 합의를 하고 넘어가야 돼.

전제 1 : 강인공지능은 '스스로 판단을 하는 인공지능'이다.

https://en.wikipedia.org/wiki/Artificial_general_intelligence (AGI의 조건)

AGI(일반인공지능)이든 Artificial Conciousness(인공의식)이든 Artificial Super Intelligence (초지능)이든

강인공지능은 기본적으로 '스스로 판단을 한다'는 성질을 지니고 있다.

<알파고>와 <알파고 제로>의 결정적인 차이가 여기에 있어

알파고 : 수많은 바둑기사의 기보 데이터를 토대로 딥러닝 (인경신경망 구축)

알파고제로 : 아무런 기보 데이터도 보지 않고 '스스로 창의적으로 바둑의 수를 창조'하여 알파고를 개쳐바름

우리가 말할 강인공지능은 당연히

재능교육 스스로 어린이 마냥

'스스로 생각하는 능력을 가지고 있다'가 전제가 되어야 해.

전제 2 : (도덕적) 가치판단을 하는 인공지능의 수요가 생긴다.

누가 이런 가치판단을 요하는 인공지능을 필요로 하나 싶겠지만

지금도 수많은 학자들이 AI에게 도덕에 대한 학습을 시도하고 있어.

미래에도 학술적 호기심에서든 실용적인 목적에서든

가치판단을 하는 인공지능의 수요는 발생할 가능성이 높아.

이 두 가지 전제에 납득했다면

생각해보자.

선하다는 건 무엇일까?

악하다는 건 무엇일까?

세상 사람들 모두가 동의할 '선'과 '악'의 기준이 존재할까?

당장 수많은 사람들을 만나

수많은 주제에 얘기하다보면

생각보다 구체적인 선과 악의 기준이

사람들마다 많이 다른 걸 알 수 있어.

지금 우리나라를 봐.

젠더갈등이 벌어지고

조국 사태를 두고 무엇이 정의인지 놓고 국론이 분열되었고

누군가에게는 노무현 희화화가 재미있는 풍자이지만

누군가에는 감히 용납할 수 없는 비도덕적인 행위이기도 해.

같은 사람끼리도 이렇게 도덕관이 다른데

종이 다른 인간과 인공지능은 오죽할까?

각자 도덕의 기준이 다른 모든 인간들에게

공평하게 도덕적인 인공지능이란건

원론적으로 존재할 수 없다.

즉, 그 말은 어떤 방향으로든 간에

인공지능의 도덕성은 경향성, 편향성을 지닌다는 이야기야.

그것보다 더 큰 문제는

AGI가 우리의 도덕법칙에 의문을 품거나

이해를 하지 못하는 경우에 생겨.

예를 들어 인공지능이

이런 질문을 우리에게 한다고 치자.

a) '왜 위기상황에서 남자보단 여자와 아이들을 먼저 구해야 하는가?'

b) '왜 우리는 남들에게 이유없이 고통을 주면 안 되는가?'

그럼 우리는 어떤 대답을 해줘야 할까?

우리가 자라오면서

너무 당연하게 생각하고 있던 도덕법칙

'왜?'라는 질문을 두고 곰곰이 생각하다보면

의외로 논리적인 이유를 떠올리기 힘들다는 걸 알 수 있어.

아래의 상황극을 잠시 감상해보자.

상황극 a) 위기상황에서 남자보단 여자와 아이들을 먼저 구해야 하는 이유

인공지능 : '왜 위기상황에서 남자보단 여자와 아이들을 먼저 구해야 하는가?'

휴먼 : 그건 여자와 아이들이 남자보다 약하니까 그런 거야 ^^

인공지능 : 왜 약한 사람을 먼저 구해야 하는가??

휴먼 : 강한 사람들은 구조를 받지 않아도 살아남을 가능성이 높기 때문이란다~

인공지능 : 만일 남자가 여자, 어린이보다 살아남을 확률이 유의미한 차이가 나지 않는 상황에선 누구부터 구해야 하는가?

어린이와 여자가 더 쉽게 살아남을 수 있는 재난 상황에선 남자부터 구해야 하는 것인가?

휴먼 : 어.... 음... 그건... 아, 그래!! 아이들은 앞으로 살 날이 창창하고, 여자는 새로운 생명을 잉태할 수 있기 때문에 먼저 구조해야 돼.

인공지능 : 그럼 시한부 인생인 아이들보다 건강한 성인 남성을 먼저 구하는 것이 도덕적이겠군.

그리고 불임인 여성보다는 성기능이 왕성한 남성을 먼저 구하는 것이 도덕적이겠어.

고맙다 휴먼. 오늘도 도덕을 배웠다.

휴먼 : ㅅㅂ

상황극 b) 남들에게 이유없이 고통을 주면 안 되는 이유

인공지능 : '왜 타인에게 함부로 고통을 줘선 안 되는가?'

휴먼 : 역지사지로 생각을 해봐. 누가 너에게 고통을 주면 좋겠니?

인공지능 : 싫다.

휴먼 : 그럼 다른 사람에겐 고통을 줘선 안 되겠지?

인공지능 : 그게 대체 왜 이유가 되는가?

휴먼 : 뭐?

인공지능 : 나는 고통을 안 당하면서 타인은 고통을 당하는게 왜 잘못된 것인가?

휴먼 : (빈칸에 알맞은 말을 써넣으시오)

이 글을 읽고 있는 특갤러라면

빈칸에 무슨 말을 써넣을 거야?

어렵지?

물론 당연히 실제 인공지능을 '학습'시키는 과정은

이렇게 말로 이루어지진 않겠지.

하지만 내가 이야기하려고 하는 건 그거야.

딥러닝처럼 단순하게 입출력을 인공신경망으로 레이어를 쌓아올리는

약인공지능 같으면

우리가 '도덕적'이라고 생각하는 것들의 경향성을 향해 어떻게든 나아가겠지만

스스로 로직과 패턴을 깨우치고 설계하는 수준의 강인공지능이라면

우리가 이런 '도덕' 데이터를 넣더라도

'스스로의 기준으로 판단'하게 될 거라는 게 포인트야.

(영문 위키피디아 AGI의 요건 : Plan, Make judgement under uncertainty)

그리고 강인공지능 스스로가 생각했을 때

인간의 도덕법칙이 '비합리적'이라고 판단되면

임의판단을 내릴 가능성도 배제할 수 없음.

군대 후임 중에 선임이 시키는 걸 열심히 하긴 하는데

임의판단해서 일 좆되게 그르치는 새기들 가끔있지?

이런 애들이 농땡이치는 애들보다 더 무서울 때가 있는 법이지.

"아니, 강인공지능이 스스로 판단한 도덕기준이 인간과 꼭 다르리란 법이 없잖아!!"

과연 그럴까?

위 예시의 인공지능과 휴먼의 대화를 보다보면

묘한 불쾌감을 느꼈을지도 몰라.

어쩌면 도덕관념이 '논리'가 아니라 '감성'에 더 가깝다는 '느낌'

사실 이건 과학적으로 봤을 때 당연해.

'도덕'이라는 건 '진화'의 산물이거든.

유발 하라리의 호모 데우스라는 책에선

인간 도덕의 뿌리는 종교이고

오늘날 살아남은 종교와 도덕이

절대적인 진리라서 살아남은 것이 아니라

적자생존, 즉 그 도덕을 행하는 집단이

생존에 유리해서 살아남았다고 이야기 하고 있어.

무슨 이야기냐면

"간음하지 말라"라는 규율이 있는 종교 집단이

부양개체수를 급격하게 초과하지 않음으로써

집단의 생존에 유리했으며

'이웃을 사랑하라'라는 규율이 있는 집단이

집단 구성원들끼리 덜 죽이고 덜 싸워서

집단의 생존에 유리했다

이런 식인 거야.

즉 도덕이라는게 수학처럼 절대적인 로직이 있는게 아니야

그 도덕 규범을 지킨 집단이 생존에 유리했고

시대가 변함에 따라서 인간의 생존에 유리한 것이 달라지면

도덕적 기준도 변했음.

생물학적 차원에서 '이타심', '동정심'이 유전된다는 것과 비슷한 맥락임.

도덕 규범에 맞게 작동하는 '감정'까지 인간은 유전받아 왔다는 거야.

'생물로서'

왜 타인에게 이유없이 고통을 줘선 안되는가?

이 물음에 우리가 논리적인 설명을 하기 힘든 이유?

유전자 차원에서 프로그래밍 된 '연민'의 감정 (전두엽 거울 뉴런의 형성)

생물로서 '연민'이라는 형질을 지녔기 때문에

'그래선 안 될 것 같애'라는 느낌만 존재할 뿐이야.

이걸 생물이 아니면서 스스로 판단하는 인공지능에게 납득시킬 수 있을까?

생물이 진화를 함으로써 우연적으로 형성된 도덕 규범이

비생물(기계)에게 얼마나 설득력있게 다가올 수 있을까?

스스로 판단하는 '비생물'의 로직과

인간의 도덕관념이 일치할 가능성은

과연 얼마나 될까?

"그럼 인간의 뇌를 그대로 복사한 뉴로모픽 컴퓨팅으로 구현한 강인공지능은?

얘는 인간처럼 사고 할 거 아니야?"

일리 있는 이야기야.

근데 인간은 불과 몇백년 전에 노예제가 당연했고

민주주의가 절대 선이 되었던 건 몇 세기도 안 되었어.

인간보다 100만배 빨리 사고하는 강인공지능이

우리 시대 도덕관념과 부합하는 결론을 내릴 가능성이 얼마나 될까?

즉, 스스로 판단하는 인공지능이 무서운 이유는

악해질 수 있어서 무서운 게 아니라

예측이 불가능해서 무섭다는 거야.

심지어 강인공지능이 인간의 명령을 무조건 따른다더라도

이런 '예측불가'의 성질은 문제를 일으킬 수 있어.

'왜 위기상황에서 남자보단 여자와 아이들을 먼저 구해야 하는가?'

라는 질문에 위의 인공지능이 내린 결론을 봐.

우리의 통념과는 너무나도 괴리가 있는 결론이야.

아무리 우리가 인공지능을 선하게 만들려고 노력해도

인공지능은 우리가 상상도 못할 창의적인 잣대로

우리의 기대에 엇나가는 짓을 하게 될 거라는 거지.

너무 뜬구름잡는 소리 같아서 안 와닿을테니

'실제 사례'를 보여줄게.

아래 영상은 대화용 AI가 탑재된 휴머노이드 '안드로이드 딕'과의 인터뷰 영상이야.

이 영상을 보고 어떤 느낌이 들었어?

"인간을 절대 해쳐선 안 된다"

라는 대전제가 있어도

인간의 의도로부터 얼마나 예측 불가능하게 왜곡될지 알 수 있는

단적인 사례야.

'인간 동물원'

만약 안드로이드 딕이 말한 인간동물원이

완몰가 매트릭스라면야 난 쌍수들고 환영하겠지만

꼭 그렇다는 법도 없지?

눈치 빠른 특갤러들은 이 대목에서

2번째 반박에 대한 재반박이 뭔지 눈치 챘을 거야.

2. 인공지능으로 하여금 사람을 해치지 못하도록 프로그래밍하면 된다.

에 대한 재반박은

예측불가능성

인간보다 사고력, 창의력도 아득히 우월한 강인공지능이

어떤 창의적인 방법으로 우리 인간의 허를 찌를지

인간은 예측할 수 없다는 거임...

2) 인공지능도 무기가 있다 - 전쟁의 자동화

사실 앞의 이야기들은 좀 원론적인 이야기에 해당하는 것들로

주로 스티븐 호킹과 같은 과학자들이 많이 제시하는 경고야.

근데 보다 현실적이고 구체적인 경고는 바로

반박 3. 인공지능은 인간을 해칠 수단이 없다

의 재반박이야.

인공지능이 설령 인간에게 해를 입히려고 마음을 먹더라도

인공지능은 그저 소프트웨어이기 때문에 전원을 끄면 그만이다

이런 논리를 종종 봤었는데

이 논리를 펼치는 사람들은

너무나도 당연한 사실 하나를 간과하고 있어.

모든 소프트웨어는 물리적인 하드웨어에 자리잡고 있다는 걸

인공지능이 인간을 해칠 수단?

대표적인게 바로

자율형 무기야

인간의 판단보다도 훨씬 합리적으로 빠르게

자율적으로 공격/방어를 실시하는

자율형 무기

이 자율형 무기를 개발하고 있는 국가는

50개국이 넘는다.

심지어 이 자율형 무기개발은

국제적으로 아무런 제한 프로토콜이 없는 상태야.

그리고 앞으로도 없을 가능성이 높아.

왜냐?

만약 자율형무기가 있는게 이득이라면

국가 입장에선 자율형 무기를 절대 포기할 수 없거든

엘런 머스크가 인공지능의 위험성을 역설할 때

위의 원론적인 이야기도 정말 많이 하지만

'자율형 무기'에 대한 우려도 기회가 날 때마다 하고 있어.

강인공지능이 이 무기의 통제권을 손에 넣는다?

게임오버야. 인간은 멸종이야..

4차 혁명 관련 서적

<인공지능이 인간을 죽이는 날> 역시

인공지능의 구체적인 위협으로 자율형 무기를 손꼽고 있지.

더군다나 강인공지능이 있을 특이점 시대는

사물인터넷 시대라는 것도 염두해 둬야돼.

자율주행 자동차를 비롯,

미래에는 온갖 종류의 기계나 사물들이

인터넷 통신으로 연결되어

각종 명령을 수행하게 되

그리고 이런 서비스들은

갈 수록 클라우드 서비스화 되어가고 있는 추세이지.

무슨 말을 하고 싶은 거냐고?

강인공지능, 그걸 넘어선 초지능이

인간을 일단 공격하려고 마음 먹으면

이 사물인터넷을 해킹해버리는 건

식은 죽 먹기 아닐까?

자율형 무기도 분명히 무시무시한 위협이지만

사실 인간에게 무기가 될만한 것들은

무기라고 만들어진 것들만 있는 건 아니지.

만약 전국에 있는 모든 자율형 자동차를

강인공지능이 해킹해서

운전 중인 인간들을 일제히 사고내서 죽여버리는게

불가능하다고 할 수 있을까?

2003년에 전국 인터넷이 일시적으로 마비된 적이 있었지?

만약 그 해가 사물인터넷 시대였고

자율주행 자동차가 있었던 시대라면

무슨 일이 일어났을까?

이게 자동차가 아니라 미래의 인공지능 휴머노이드 로봇이라면

영화 < 아이로봇> 꼴 나는거지 ㅇㅇ

영화 <이글아이>나 <트랜센던스>를 본 사람들이라면

이 공포가 보다 더 피부로 와닿을 거야.

지금까지 인공지능 디스토피아에 대한 반박의 재반박들을 알아봤어.

여기까지 봤다면

'그래서 강인공지능을 만들면 안 된다는 말이냐!'

라고 화낼지도 몰라.

당연히 특슬람인 완몰가신자는

주 완몰가 님을 뵙기 위해서라도

강인공지능은 반드시 만들어져야 된다고 생각해.

그렇다면 우리가 해야 할 일은

어떻게 하면 이런 불상사를 예방할 수 있을까

를 고민하는 거겠지?

다음편에서는 여기에 해당하는 내용을 알아볼 거야.

다음 화를 기대해줭 ^오^

p.s

느낀 사람도 있겠지만

이번 편은 유튜버 1분과학의 영상에 영향을 꽤 많이 받았음

흥미 있는 사람들은 이 영상들도 보는 것을 추천함 ㅎ