AI, 신의 탄생 인간의 종말 If Anyone Builds It, Everyone Die

 초지능의 탄생, 그 이후 벌어질 일들

원서: If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All (2025)

20년 넘게 초지능 AI의 위험을 연구해온 두 사람이 있다. ⟨타임⟩에서 선정한 ‘인공지능 분야에서 가장 영향력 있는 인물’ 중 한 명인 엘리에저 유드코스키와 전 구글 소속 AI 개발자인 네이트 소아레스. 두 사람은 AI 안전 연구라는 분야가 존재하기 전부터 이 문제를 연구했다. 두 저자는 진행 중이던 연구 대부분을 축소하고 이 한 권의 책에 모든 것을 걸었다. 더는 시간을 지체할 수 없기 때문이다.

이 책은 초지능 AI가 탄생하면 어떤 과정을 통해 인간을 멸종시킬지 과학적으로 설명하고, 멸종 시나리오를 직접 보여주며, 왜 현재의 안전장치로는 초지능을 막을 수 없는지 증명한다. 책의 모든 내용을 한 문장으로 요약하면 이렇다. "누군가 초지능을 만든다면, 모두가 죽는다." 이 문장이 과장처럼 느껴지는가. 저자들은 한 가지 질문을 던진다. 얼음을 뜨거운 물에 넣으면 어떻게 될까. 10분 뒤 각 분자가 어디로 이동할지는 아무도 모르지만, 얼음이 녹는다는 것은 안다. 이처럼 미래의 모든 경로를 예측할 수는 없어도, 거대한 흐름의 결과는 예측할 수 있다.

저자 엘리에저 유드코스키 Eliezer Yudkowsky
2023년 타임에서 선정한 ‘AI 분야에서 가장 영향력 있는 인물’ 중 한 명으로, 인공지능 정렬 연구 분야를 창립한 AI 분야의 선구자 중 한 사람이다. 인공지능 정렬은 인간보다 더 뛰어난 지능을 지닌 인공지능이 어떻게 사고하고 행동하며 목표를 추구하는지를 규명하는 학문이다. 그는 비영리 연구기관인 머신 인텔리전스 리서치 인스티튜트(MIRI)의 공동 설립자로서 인공지능 정렬 문제에 대한 과학적 연구를 촉발시켰고, 인간을 능가하는 인공지능의 위험성과 가능성을 둘러싼 공공 담론 형성에 중요한 역할을 해왔다. ⟨뉴욕타임스⟩의 “현대 인공지능 운동의 여명을 이끈 12인의 인물” 특집에 포함되었고, ⟨워싱턴포스트⟩의 “AI를 둘러싼 사상의 두 진영” 논의에서 주요 사상가 7인 중 한 명으로 조명되었다. 2023년 TED 콘퍼런스 메인 무대에서 연설했으며, 그의 견해는 ⟨뉴요커⟩, ⟨뉴스위크⟩, ⟨포브스⟩, ⟨와이어드⟩, ⟨블룸버그⟩, ⟨애틀랜틱⟩, ⟨이코노미스트⟩ 등 다양한 매체에서 다루었다.

저자 네이트 소아레스Nate Soares
머신 인텔리전스 리서치 인스티튜트(MIRI)의 대표이다. 마이크로소프트와 구글에서 AI 엔지니어로 일하며 10년 이상 인공지능 정렬 연구에 몰두해 왔다. 그는 가치 학습, 의사결정 이론, 그리고 인간 수준을 넘어서는 인공지능의 ‘권력 추구 유인’에 관한 기초 연구를 포함해 인공지능 정렬과 관련된 기술적 저작물을 다수 집필했다.

목차
들어가며: 어려운 예측과 쉬운 예측

1부 비인간적 지성
1 인류의 특별한 능력
2 만들어진 것이 아니라 자라난 존재
3 욕망의 학습
4 훈련이 목적이 될 때
5 초지능이 사랑하는 것들
6 우리는 패배한다

2부 하나의 멸종 시나리오
7 자각
8 팽창
9 초월
시나리오를 마치며

3부 맞서야 할 도전
10 저주받은 문제
11 연금술, 과학이 아닌 것
12 나는 위기론자가 되고 싶지 않다
13 인류가 멈춰야 할 마지막 실험
14 생명이 있는 곳에 희망이 있다

맺는말

부록 ①. 온라인 보충 자료에 대해
부록 ②. 인공 초지능의 방지에 관한 조약 초안과
각 조별 해설, 선례, 해석 모음집

감사의 글
주석