인류가 인공지능으로 멸망하는 방법 ‘넥서스’

인공지능으로 인한 인류 멸망을 경고하고 있는 유발 하라리의 신작.

 

하라리는 AI 대신 컴퓨터라는 용어를 사용한다. 컴퓨터는 어떤 기계를 뜻하는 단어처럼 보이지만 이후 알고리즘으로 진화한 인공지능 시대를 통칭한다. 컴퓨터는 인류가 발명한 새로운 종, 혹은 새로운 신이 되었다.

 

 

“인간의 참여를 강화하라”

 

페이스북이 알고리즘에 내린 이 목적 설정은 그 자체로는 당연한 것인지도 모르지만 인간들 사이의 갈등을 증폭시켰다. 인간은 앞으로 발전할 AI를 통제할 수 있다고 믿고 있는지 모르지만, 몇 년 전 탄생한 소셜미디어가 알고리즘을 뜻대로 제어하지 못하는 것만 봐도 그 믿음이 얼마나 허상에 가까운지를 알 수 있다.

 

미얀마에서는 페이스북이 곧 인터넷과 동의어일 만큼 많이 쓰이는데, 로힝야족에 대한 증오를 부추기는데 알고리즘이 엄청난 역할을 했다. 페이스북은 알고리즘의 폐해를 알면서도 미얀마에서 이를 방관했다.

 

인류처럼 AI도 협력한다

 

하라리가 인류 역사를 이야기할 때 항상 강조하는 것은 스토리와 신화다. 인간은 허구의 이야기를 만듦으로써 문명을 건설할 수 있었다. 허구의 이야기는 바로 종교, 국가, 화폐, 기업 같은 인간 공동체의 기틀이 되었다. 인간이 발명한 상호주관적 현실은 인간이 수백명 단위의 지역사회를 넘어 수억명의 체계를 만들어 협력하도록 했다.

 

지금까지 인간은 대규모 협력체를 조직할 수 있는 유일한 존재였다. 하지만 컴퓨터도 네트워크를 통해 서로 협력한다. 앞으로 인간은 AI가 만들어낸 종교, 화폐, 정당, 기업 등 상호컴퓨터 현실을 이해해야 할 것이다.

 

전쟁은 정치다

 

클라우제비츠의 ‘전쟁론’에 따르면 전쟁의 목표는 승리의 극대화가 아닌 정치다. 단지 승리만을 노리고 시작한 전쟁은 설사 수많은 땅을 정복하더라도 결국 현실적인 정치 체제를 꾸리지 못해 단기간 내에 멸망하고 만다.

 

따라서 먼저 정치적 목표를 세운 상태에서, 그 목표가 군사적 전략 설정으로 이어지고, 이것이 하급 장교들의 전술을 이끌어낼 때 그 전쟁은 역사에서 승리할 수 있다.

 

예를 들어 나폴레옹은 군사적으로는 대단한 전략가였고 엄청난 승리를 거두었지만 그의 제국은 10년만에 몰락하고 말았다. 그에게는 유럽을 정복한 뒤의 정치적 목적이 없었기 때문이다.

 

나폴레옹이 태어나기 1년 전 코르시카섬은 이탈리아에서 프랑스령으로 바뀌었다. 나폴레옹은 부친의 영향을 받아 프랑스식 교육을 받았으나 억양이 완벽하지 않아 놀림을 받았다. 그는 프랑스인이지만 이탈리아인의 피가 흐르고 있었다. 어쩌면 두 나라 모두에 소속감을 느끼지 않았을지도 모른다.

 

그의 유일한 정치적 목표는 고향인 코르시카섬의 독립이었으나 코르시카섬 독립을 주장하던 정치인과는 사이가 좋지 않았다. 전략가인 나폴레옹은 연전연승을 거둬 프랑스 황제가 되고 또 유럽을 정복했지만, 그에게는 프랑스를 유럽 정복국으로 만들어야 한다는 정치적 목적이 없었다.

 

결국 나폴레옹 제국은 단기간에 막을 내렸고 프랑스는 이후 다시는 그때의 영광을 회복하지 못하고 있다. 이처럼 정치적 목적이 부재한 전쟁은 결국 역사에서 실패로 끝나고 만다.

 

최근의 예로는 이라크전에서 승리했지만 결국 중동 패권을 이란에게 넘겨준 조지 부시의 패착이 있다. 911 테러 이후 부시는 사담 후세인을 제거하고자 하는 욕망만이 강했을 뿐, 전쟁 이후 정치적 목적에 대한 고려가 전혀 없었다.

 

 

의무론과 공리주의

 

정치적 목적을 먼저 세우고 전략과 전술을 수립하는 것. 이것을 ‘정렬’이라고 한다. 하나의 체계로 정렬해야만 제대로 효과를 발휘한다는 것이다. 이것을 알고리즘에 적용해 보자. 우리는 알고리즘에게 어떤 목적을 설정해줘야 할까.

 

여기에 바로 난관이 있다. 어떤 목적을 설정해줘야 하는지 아무도 모른다. 명확한 목적 설정을 하기 어렵기 때문에 인류는 언제 어떻게 멸망할 지 알 수 없게 되었다.

 

두 가지 방법이 있다고 알려져 있었다. 의무론과 공리주의다.

 

먼저 의무론은 ‘인간을 살해하면 안 된다’와 같은 정언명령이다. 칸트는 인간이 인간을 살해하면 안 되는 이유는 나도 죽임을 당할 수 있기 때문이라고 했다. 아이히만에게 당신도 죽을 수 있으니 유태인을 홀로코스트로 보내면 안 된다고 말해야 한다는 게 이 원칙이다. 당연한 명제처럼 보이지만 여기에도 구멍이 있다.

 

아이히만은 이렇게 반박했다. 유태인은 인간이 아닙니다. 인간이 아니니 죽여도 됩니다.

미얀마의 승려들도 이렇게 반박했다. 로힝야족은 인간 이하의 존재이니 죽여도 됩니다.

 

인간은 죽음을 두려워하지만, 알고리즘은 유기체가 아니어서 죽음을 꺼리지 않을 수 있다. 따라서 너도 똑같이 죽을 수 있으니 인간을 살해하지 말라는 명제는, 알고리즘에게 통하지 않을 가능성이 크다.

 

두번째는 공리주의는 최대 다수의 최대 행복을 알고리즘에게 목표로 설정하는 것이다.

 

동성애자인 하라리는 칸트가 동성애자를 ‘해서는 안 되는 짓’을 하는 인간 이하로 취급했다는 것을 굳이 지적하면서 벤담은 동성애자를 인정한 최초의 서구 지식인이었다고 강조한다. 동성애를 인정하는 것은 본인들에게 행복을 주고, 다른 사람들에게는 해를 가하지 않는 일이어서 최대 다수의 최대 행복을 달성하는데 맞다는 것이다.

 

얼핏 보면 공리주의야말로 알고리즘에게 필요한 목표처럼 보인다. 하지만 하라리는 공리주의의 허점도 지적한다.

 

최대 다수의 행복을 지향하라는 목적 설정은 평상시에는 별 문제가 없을 수 있다. 하지만 코로나 사태 때의 셧다운처럼 가늠하기 힘든 위기 상황을 상상해보면 이야기는 달라진다.

 

셧다운으로 인해 전염병의 창궐이 늦춰져 생명을 구한 사람들이 많아졌다는 것은 사회적 이익인 반면, 셧다운으로 인해 생계 곤란, 가정 폭력, 정신적 스트레스가 늘어났다는 것은 사회적 손해다. 알고리즘이 과연 이러한 명암을 신속하고 정확하게 예측하고 계산해서 한쪽을 선택할 수 있을까? 만약 그렇게 한다면 우리는 그 결정을 따라야 할까?

 

만약 알고리즘이 어느 한쪽을 선택해 결론을 내린다면, 알고리즘은 선택받지 못한 반대편에게 이런 논리를 강요할 것이다.

“미래를 생각하면 지금 희생하는 것이 낫다”

 

하지만 우리는 이런 주장을 그동안 수도 없이 들어왔다. 성경은 인간에게 미래를 위해 금욕하라고 했고, 참아야 한다고 했다. 독재자들은 미래를 위해 인권은 접어두라고 했다.

 

그렇다면 알고리즘에게 인간을 해치지 말라는 어떤 절대적인 명령을 내리는 것은 거의 불가능하다. 고작 “인간 참여를 늘려라”는 소셜미디어의 명령 하나에도 인류의 갈등은 증폭되고 있다.

 

인간이 고도로 발달한 알고리즘에게 어떤 목적을 주는 순간, 그것은 인간이 예상할 수 없는 또다른 위협이 될 가능성이 크다.

 

극단적인 예로 “클립을 최대한 많이 만들라”는 목표를 정해주는 순간, 알고리즘은 인류를 제거하고(인간이 순순히 땅을 내어줄 리 없으므로) 지구 전체에 공장을 만들고, 우주에서 에너지원을 가져와 생산해 지구를 클립으로 가득 채울 수 있다.

 

기술이 발전해 알고리즘의 힘이 막강해질수록, 한 번 오류에 빠진 컴퓨터를 바로잡는 일은 거의 불가능할 것이다.

 

또 누가 어떤 명령을 알고리즘에 내릴지도 알 수 없다. 알고리즘에 명령을 내릴 권한을 누가 가질 수 있다고 할 수 있을까? 설사 그런 권한을 부여받았다고 해도 누군가는 인정하지 못할 것이다.

 

이것은 물리적인 실체가 명확한 핵폭탄과는 차원이 다른 위험이다.

 

차라리 막을 수 없다면, 대응이 더 중요하다.
인류는 알고리즘에 문제가 터졌을 때 바로잡을 조직을 최우선적으로 만들어야 한다.

 

인공지능의 감정

 

우리는 인공지능이 인간을 뛰어넘을 수 없는 최후의 보루 중 하나로 ‘감정’을 든다. 그래서 인공지능이 감정을 가질 수 있는지 없는지에 대해서 의견이 분분하다. 하지만 하라리는 감정은 어떻게 정의내리느냐에 따라 다르게 봐야할 것이라고 말한다.

 

우리는 감정이 뭔지 정의하지 못한다. 인간조차도 타인이 감정을 갖고 있는지 알기 어렵다. 중요한 결정을 내리는데 있어서는 감정이 오히려 방해가 되기도 한다. 결정권자가 감정에 휘둘린다면 논리적이지 않은 결정을 가능성이 크다. 하지만 인공지능이라면 감정에 휘둘리지 않고 철저히 계산적으로 결정을 내릴 것이다.

 

감정을 공감이라고 정의해도, 공감을 인간만의 고유한 능력이라고 보기 어렵다. 정신과 환자들이 인간 정신과 의사보다 정신과 지식을 습득한 인공지능에게 진료받을 때 더 잘 이해받고 공감했다는 연구 결과도 있다.

 

‘감정’이 대단히 특출난 인간만의 어떤 특징일 것이라는 자만심을 벗겨내고 보면 이처럼 감정의 영역에서도 인공지능은 이미 인간보다 뛰어난 성과를 내고 있다.

 

유발 하라리

정치 체제의 변화

 

하라리가 이 책에서 가장 중점적으로 개진하는 의견은 ‘정치’다. 인공지능은 결국 정치에 영향을 미칠 것인데 그 영향력은 막강할 것이고 지금까지의 세계를 뒤엎어버릴 가능성이 크다는 것이다.

 

지금 세계는 두 가지 정치체제로 나뉘어져 있다. 자유민주주의 세계와 전체주의 세계. 그렇다면 인공지능은 두 세계 중 중 어디에 더 영향을 미칠까?

 

기술이 정치 체계에 영향을 미치는 과정을 알기 위해 역사를 훑어보자. 약 250년 전 영국에서 태동한 산업혁명은 제국주의 확장과 세계대전이라는 정치적 대격변과 이래선 안된다는 인류의 자각을 비롯한 오류 정정 과정을 거친 후에야 인류에게 축복으로 다가왔다.

 

인공지능은 산업혁명보다 훨씬 더 강력한 기술 변화다. 이러한 신기술을 인류가 잘 받아들일 수 있을까? 만약 이번에도 오류 정정을 거쳐야 한다면 미래는 과거 세계대전보다 훨씬 더 무시무시할 수 있다.

 

인공지능의 발전에는 결정적 모멘텀이 몇 번 있었다. 첫번째는 2012년 알렉스넷이 ‘이미지넷 시각인식 챌린지’에서 우승한 사건이다. 우리에겐 인공지능이 고양이를 인간보다 더 정확하게 인식하게 된 사건으로 알려져 있다. 두번째는 2016년 알파고가 이세돌을 꺽은 사건이다. 한국을 비롯한 동아시아에 큰 충격파를 던졌다. 특히 중국은 이 사건을 계기로 국가 차원에서 인공지능에 대한 투자를 강화하기 시작했다. 지금 인공지능 기술은 민간기업 중심의 미국과 국가 중심의 중국 간 대결이다.

 

미국과 서방으로 대표되는 민주주의의 기본 원리는 다원화이고, 중국으로 대표되는 전체주의의 기본 원리는 중잉집권화다.

 

인공지능은 두 체계에 모두 위협이 될 것이다. 그런데 어떤 체제가 더 큰 위협에 봉착할까?

 

인공지능은 중앙집권 체제에서 강력한 힘을 발휘한다. 정보가 분산될 때보다 한곳에 모일 때 인공지능은 더 강해진다. 만약 독재자가 인공지능에 의존하게 되면 인공지능은 독재자에게 강력한 무기가 되겠지만 동시에 독재자의 힘을 무너뜨릴 것이다. 역사에서 자신보다 더 강력한 부하에게 의존하던 권력자는 결국 무너졌다.

 

민주주의 체제의 최대 장점은 자정 작용이다. 권력기관 중 한곳에서 오류가 발생하면 다른 곳에서 자정 작용이 일어난다. 인공지능이 한 곳을 무력화시켜도 다른 곳에서 대처할 수 있다.

 

하지만 문제는 민주주의 사회에서도 정보는 중앙집권화되고 있다는 것이다. 구글은 전세계 검색 데이터를 쥐고 있고, 메타는 전세계 소셜미디어 데이터를 장악하고 있다. 국가간 데이터를 차지하기 위한 경쟁도 치열하다. 개인 사생활을 포함한 정보들이 한곳에 쏠리게 되면 그 사회에서 민주주의 체제가 제대로 기능하기 힘들어질 가능성이 크다.

 

결국 하라리는 기존의 국경선을 넘어선 초거대 정치체제가 등장할 수 있다고 주장한다. 그린란드 야심을 보이는 미국, 끊임없이 영토 확장을 노리는 중국 등 정보 쏠림이 심해지고 그로 인해 파워가 막강해질수록 세계는 더 극단적이 될 거라는 예측이다.