Генри Киссинджер, Крейг Манди, Эрик Шмидт

Генезис: Искусственный интеллект, надежда и душа человечества

Henry A. Kissinger, Craig Mundie, Eric Schmidt

Genesis. Artificial Intelligence, Hope and the Human Spirit

Издательство не несет ответственности за доступность материалов, ссылки на которые вы можете найти в этой книге. На момент подготовки книги к изданию все ссылки на интернет-ресурсы были действующими.

Отзывы о книге

«Искусственный интеллект (ИИ) может стать одним из величайших технологических переворотов в истории, и главный вопрос заключается в том, как к этому адаптироваться людям. Перед нами ценный своей актуальностью труд, авторы которого предлагают один из первых реалистичных взглядов на будущее, которое уже наступает, – будущее почти безграничных возможностей и новых, крайне сложных вызовов».

Сэм Альтман

«Вы держите в руках своевременное исследование взаимосвязи ИИ со знаниями, властью и политикой. Листая эти страницы, мы не можем не задуматься о рисках и возможностях, которые ИИ несет человечеству».

Билл Гейтс

«Какая роль будет отведена людям в грядущую эпоху искусственного интеллекта? В последние годы своей жизни Генри Киссинджер погрузился в изучение ИИ и в соавторстве с крупнейшими техническими экспертами – Эриком Шмидтом и Крейгом Манди – написал эту книгу. Она стала результатом всестороннего анализа ситуации, в которой человек, встретивший эпоху разумных машин, должен сохранить собственный авторитет и уберечь свои ценности».

Уолтер Айзексон

«Киссинджер, Манди и Шмидт предлагают нам пристальнее взглянуть как на перспективы, так и на вызовы, которые бросает нам надвигающаяся глобальная система, формируемая ИИ. Прочитав эту книгу, вы наверняка сделаете для себя важное открытие. Прежде чем хотя бы начать задумываться о какой-либо политике в отношении ИИ, нам потребуется разработать новые концепции человеческого разума и самого существования человечества. Эта книга стала последней работой Генри Киссинджера – и как знать, не окажется ли, что в ней сокрыто пророчество. Изучить ее чрезвычайно полезно каждому».

Лоуренс Генри «Ларри» Саммерс

«Авторы книги Genesis поднимают сложные вопросы, и чтобы на них ответить, важно обеспечить людям доступ к интеллектуальным инструментам. Это придаст им уверенности в собственных силах и откроет новые возможности для раскрытия их потенциала и свободного управления своей реальностью».

Сатья Наделла

«Очередная великая технологическая революция – в области ИИ – победно шествует уже сегодня. В то время как львиная доля дискуссий посвящена тому, на что способен ИИ и в каких направлениях он движется, эта книга блестяще переосмысливает все споры. Как люди будут взаимодействовать с ИИ? Каким образом этот захватывающий, но пугающий новый научный взрыв изменит наше представление о том, что значит быть человеком? Результатом труда трех авторов стало глубинное и многоплановое исследование – именно оно сейчас перед вами».

Фарид Закария

«Книга, обязательная к прочтению для всех, кто пытается серьезно задуматься об испытаниях, которые несет с собой ИИ. Genesis систематизирует давно известные факты – и, что важнее, затрагивает пока неведомые нам темы – к примеру, вопросы рисков, связанных с неограниченным развитием ИИ. Основываясь на уроках, извлеченных в ядерную эпоху, Киссинджер и его соавторы освещают туманный путь, ожидающий нас впереди».

Грэм Эллисон

«Киссинджер, Шмидт и Манди разработали маршрут для навигации по нашему ближайшему будущему, в котором невообразимо мощные и вездесущие системы ИИ станут автономными. Проницательность авторов относительно последствий первой встречи человечества с высшим разумом – как в практическом, так и в мировоззренческом смыслах – отрезвляет и одновременно вдохновляет, заставляя нас переосмыслить наши отношения с технологиями и сам вопрос того, кто мы есть во Вселенной. Книгу Genesis очень важно прочесть людям, желающим понять, как ИИ изменит наш мир и что нужно, чтобы оставаться человеком в эпоху разумных машин».

Ян Бреммер

«Что означает ИИ для открытий? Для истины? Для безопасности, благополучия и политики? Отвечая на эти вопросы, трое выдающихся мыслителей не боятся поднимать всеобъемлющие темы и самые сложные дилеммы, связанные с доминирующей технологией нашего времени. Эпический по масштабу, освежающе ясный и – как, впрочем, свойственно этим авторам – основанный на глубинном опыте и огромной эрудиции, этот труд уверенно можно считать обязательным к прочтению».

Мустафа Сулейман

«Книга Genesis дает нам пищу для размышлений – это крайне своевременный анализ влияния ИИ на развитие человечества и на то, что делает нас людьми. По сути, данная работа представляет собой дорожную карту для: 1) практического применения технологий ИИ; 2) решения порождаемых ими задач; 3) выстраивания взаимодействия с разумными системами в новую технологическую эпоху».

Джеймс Маньика

«ИИ ошеломляет разум, и мы изо всех сил пытаемся осознать, что же он нам обещает и чем может быть опасен. В своей последней книге мастер „большой стратегии“[1] Генри Киссинджер и его великолепные соавторы Эрик Шмидт и Крейг Манди очень вовремя сосредоточились на этой теме. Genesis – книга, которую сегодня необходимо прочитать всему нашему миру».

К. Брукс

«Пока мы сосредоточенно прокладываем маршрут в будущее, эта книга в оптимистичном ключе разъясняет нам возможный путь взаимоотношений с ИИ, при котором мы не растеряем наших человеческих качеств. В своей последней работе Генри Киссинджер, один из самых значимых мыслителей нашего времени, в сотрудничестве с Эриком Шмидтом и Крейгом Манди помогает нам войти в эту беспрецедентную эпоху. А нам, в свою очередь, надлежит привести ее развитие и огромный смысл в равновесие с общечеловеческой мудростью, которая столь необходима, чтобы на сей раз технологии применялись только во благо человечества. Данную книгу непременно следует прочесть людям, принимающим решения, то есть всем нам».

Кондолиза Райс

Предисловие

Доктору Киссинджеру – государственному деятелю, дипломату, наставнику и другу.

Мы отдаем Вам дань уважения.

Когда в июне 2018 года Генри Киссинджер опубликовал статью How the Enlightenment Ends («Как заканчивается Просвещение») в журнале Atlantic, многих удивил тот факт, что в столь пожилом возрасте этот государственный деятель сумел составить и обосновать собственное мнение о проблематике искусственного интеллекта (ИИ). Действительно, Киссинджеру только что исполнилось 95 лет. В то время развитие ИИ еще не было такой растиражированной темой, как в конце 2022 года, когда компания OpenAI выпустит ChatGPT.

Однако я, будучи биографом Киссинджера, нахожу его интерес к проблематике ИИ закономерным и естественным. Не стоит забывать, что в 1957 году он обрел настоящую популярность благодаря работе, посвященной новой технологии, которая определила ход истории. Его книга Nuclear Weapons and Foreign Policy («Ядерное оружие и внешняя политика») была встречена с таким пристальным вниманием, что даже Роберт Оппенгеймер[2] одобрительно отозвался о ней как о «весьма обоснованном и в этом отношении совершенно беспрецедентном исследовании в области ядерного вооружения, отличающемся… скрупулезным отношением к фактам и вместе с тем страстной и жесткой аргументацией».

И хотя Киссинджер, в те годы докторант[3], с головой погрузился в дипломатическую историю Европы начала XIX века, он прекрасно осознавал (тогда и на протяжении всей своей карьеры), что вечные закономерности политики великих держав время от времени рушатся под натиском технологических новшеств. Как и многие представители его поколения, участвовавшие во Второй мировой войне, он воочию видел не только массовые разрушения и гибель людей, вызванные современным оружием, но и страшные последствия для своих соотечественников-евреев того, что Черчилль незабываемо окрестил «извращенной наукой» гитлеровского Третьего рейха.

Вопреки своей незаслуженной репутации поджигателя войны, Киссинджер на протяжении всей своей взрослой жизни был твердо намерен избежать Третьей мировой – возможного следствия перехода холодной войны между Соединенными Штатами и Советским Союзом в горячую фазу, чего многие действительно опасались. Он прекрасно понимал, что технология ядерного расщепления придаст новой мировой войне еще более беспощадный размах по сравнению со Второй мировой. В начале книги Nuclear Weapons and Foreign Policy Киссинджер оценил [гипотетический. – Примеч. ред.] разрушительный эффект десятимегатонной бомбы, сброшенной на Нью-Йорк, а затем сделал расчеты, что в результате тотальной атаки со стороны Советского Союза на пятьдесят крупных городов США, если бы таковая состоялась, погибли бы от 15 до 20 миллионов человек и были бы ранены от 20 до 25 миллионов. Еще от 5 до 10 миллионов человек погибли бы от радиоактивных осадков, а еще 7–10 миллионов стали бы жертвами лучевой болезни. Выживших ждала бы «социальная дезинтеграция». Но даже после такой атаки, отметил он, Соединенные Штаты все равно смогли бы нанести Советскому Союзу сопоставимые разрушения. Вывод был очевиден: «Таким образом, единственным исходом тотальной войны станет поражение обоих соперников». В подобном конфликте не может быть победителя, утверждал Киссинджер в своей публикации 1957 года Strategy and Organization («Стратегия и организация»), «ведь даже более слабый противник может нанести удары, после которых любое общество долго не сможет оправиться».

Однако юношеский идеализм Киссинджера не сделал его пацифистом. В книге Nuclear Weapons and Foreign Policy он прямо заявил, что «ужасов ядерной войны вряд ли удастся избежать путем сокращения ядерных вооружений» или, если на то пошло, при помощи систем контроля над вооружениями. Вопрос заключался не в том, можно ли вообще избежать войны, а в том, «возможно ли представить себе применение силы менее катастрофичное, чем тотальная термоядерная война». Ведь если это невозможно, то Соединенным Штатам и их союзникам было бы очень трудно победить в холодной войне. «Отсутствие общего понимания относительно пределов ведения войны, – предупреждал Киссинджер в статье Controls, Inspections, and Limited War („Контроль, инспекции и ограниченная война“), опубликованной в журналеThe Reporter, – подрывает психологическую основу сопротивления действиям, которые предпринимают коммунисты. Там, где война считается равносильной национальному самоубийству, капитуляция может оказаться меньшим из двух зол».

Именно на этой основе Киссинджер выдвинул свою доктрину ограниченной ядерной войны, изложенную в статье Strategy and Organization:

На зловещем фоне надвигающейся угрозы термоядерной катастрофы достижение военной победы в том виде, в каком мы ее знали, больше не может являться целью войны. Она скорее должна заключаться в достижении определенных политических условий, полностью понятных противнику. Цель ограниченной войны – нанести противнику такой урон или приблизить его к таким рискам, которые были бы несопоставимы с его целями. Чем умереннее цель, тем менее жестокой, вероятно, окажется война.

Для этого потребуется понимание психологии другой стороны, а также ее военного потенциала.

В то время многих обескуражил хладнокровный, на первый взгляд, ход размышлений Киссинджера об ограниченной ядерной войне. Некоторые ученые, такие как Томас Шеллинг, оспаривали возможность предотвращения неудержимой эскалации; позже даже сам Киссинджер засомневался в собственных аргументах. Тем не менее обе сверхдержавы продолжили создавать и развертывать тактическое ядерное оружие, следуя именно той логике, которую Киссинджер подробно описал в книге Nuclear Weapons and Foreign Policy. Концепция ограниченной ядерной войны, возможно, в теории не сработала бы, однако действия военных стратегов обеих сторон словно демонстрировали их ожидание того, как она могла бы осуществиться на практике. Молодой Киссинджер был прав в отношении ядерного оружия больше, чем сам он мог предположить.

Киссинджер никогда не переставал размышлять о последствиях технологических изменений для политической сферы. В давно забытом документе, который он составил для Нельсона Рокфеллера в январе 1968 года, Киссинджер заглянул в будущее, анализируя способы, которыми распространение компьютеров могло бы помочь чиновникам справляться с постоянно растущим потоком информации от правительственных агентств США. По его мнению, высшим должностным лицам грозила серьезная опасность утонуть в этом море данных. «В распоряжении политика высокого ранга, – писал он, – столько информации, что в кризисных ситуациях он просто не в состоянии с ней разобраться». Киссинджер утверждал, что лица, принимающие решения, должны «постоянно получать сведения о вероятных проблемных точках», в том числе о потенциально проблемных, «даже если те совсем не в приоритете». Они также должны располагать «набором вариантов действий, <…> предусматривающих запасные ходы на случай прогнозируемых обстоятельств с оценкой вероятных последствий – внутренних и внешних – каждой такой альтернативы».

Чтобы добиться такого всеобъемлющего охвата, признавал Киссинджер, потребуются крупные инвестиции в программирование, хранение, поиск и графическое отображение данных. К счастью, «аппаратные и программные средства» для выполнения всех этих четырех функций уже существовали.

Сейчас мы можем хранить несколько сотен единиц информации о каждом человеке в Соединенных Штатах на одной магнитной ленте длиной 2400 футов. Компьютеры третьего поколения способны выполнять основные машинные операции за наносекунды, то есть миллиардные доли секунды… Экспериментальные системы разделения времени[4] показали, что возможность множественного доступа к ресурсам компьютера позволяет вводить и выводить информацию как на исполнительных, так и на операторских станциях, распределенных по всему миру… И совсем скоро цветной монитор с электронно-лучевой трубкой будет доступен для вывода изображения на компьютер.

Позже, после своего первого года работы в Белом доме в качестве советника Ричарда Никсона по национальной безопасности, Киссинджер попытался получить такой компьютер в личное пользование. ЦРУ отказало ему в этой просьбе – предположительно, потому, что Киссинджер и без компьютера олицетворял собой тот массив данных и задач, с которым предстояло справляться разведывательному сообществу[5].

Генри Киссинджер никогда не прекращал работать и с беспокойством размышлять о будущем человечества. Человек такого склада вряд ли прошел бы мимо одного из самых прорывных явлений, которое ему довелось наблюдать на очередном этапе своей долгой жизни, – разработки и внедрения генеративного ИИ. Осмысление последствий этой зарождающейся технологии действительно заняло значительную часть последних лет его жизни.

Genesis, последняя книга Киссинджера, была написана в соавторстве с двумя выдающимися техническими экспертами, Крейгом Манди и Эриком Шмидтом, и она несет на себе отпечаток врожденного оптимизма этих новаторов. Авторы с нетерпением ждут «эволюции человека технического, homo technicus, – нового вида, который в наступающую эру сможет жить в симбиозе с машинными технологиями». ИИ, по их мнению, вскоре может быть задействован «для создания нового базового уровня человеческого богатства и достатка… что если не устранит, то, по крайней мере, ослабит напряженность труда, классовую принадлежность и конфликты, которые ранее разрывали человечество на части». ИИ может даже привести к «глубинному выравниванию… в зависимости от расы, пола, национальности, места рождения и семейного положения».

И все же в этом талантливом тандеме мы четко слышим голос его старшего участника – например, в серии предупреждений, которые являются лейтмотивом всей книги. «Появление ИИ, – отмечают авторы, – ставит вопрос выживания человечества… Позволив себе управлять ИИ небрежно и неумело, человек рискует наделить его способностью к бесконтрольному накоплению знаний – с потенциально катастрофическими последствиями…» И здесь сокрыт перефразированный для книги Genesis, но вполне узнаваемый оригинальный вопрос Киссинджера из его статьи How the Enlightenment Ends, опубликованной в 2018 году в журнале Atlantic:

Объективная способность [ИИ] делать новые и точные выводы о нашем мире, задействуя в прямом смысле нечеловеческие способы, не только подрывает нашу привычную опору, «обнуляя сам смысл научного метода в том виде, в каком его использовали на протяжении пяти веков, но и ставит под сомнение претензии человека на исключительное, уникальное восприятие реальности. К чему это приведет? Неужели эра ИИ не только не сможет продвинуть человечество вперед, но и, наоборот, спровоцирует откат к архаичному принятию необъяснимого авторитета? Иными словами, не стоим ли мы на пороге величайшего перелома в истории познания – эпохи „темного Просвещения“?

В ключевом разделе этой книги – том, что произвел на меня наиболее сильное впечатление, – авторы обращаются к пугающей теме гонки вооружений в области ИИ. „Если… каждое общество решит максимизировать свои стратегические преимущества в одностороннем порядке, – пишут авторы, – возникнет принципиально новый тип конфронтации между спецслужбами и военными – беспрецедентный в человеческой истории“. Сегодня, в считаные годы (а может быть, и месяцы) до появления первого суперинтеллекта, мы столкнулись с принципиально новой дилеммой безопасности[6] – угрозой поистине экзистенциального масштаба».

Но если человечество уже втянулось в «гонку за обладание единым, абсолютным и бесспорно доминирующим интеллектом» – к чему это приведет? По моим подсчетам, авторы рассматривают шесть сценариев, и ни один из них нельзя назвать заманчивым:

1. Человечество рискует утратить контроль над экзистенциальным противостоянием, где все участники оказываются заложниками дилеммы безопасности.

2. Человечество столкнется с абсолютной гегемонией победителя, лишенного каких-либо сдержек и противовесов – тех самых, что исторически обеспечивали хоть какую-то безопасность для остальных.

3. Появится не один верховный ИИ, а множество инстанций высшего разума.

4. Компании, владеющие и разрабатывающие ИИ, могут в полном объеме получить социальную, экономическую, военную и политическую власть.

5. Максимальный спрос на ИИ возникнет не на государственном уровне, а в религиозных институтах, где его потенциал сможет реализовываться наиболее полно, притом в течение очень длительного времени.

6. Свободный доступ к ИИ с открытым исходным кодом может вооружить даже маргинальные группы примитивными, но опасными системами.

Подобные сценарии вызывали глубочайшую тревогу у Киссинджера – и его борьба за их предотвращение вышла далеко за рамки написания этой книги. Ни для кого не секрет, что последней задачей, которой он посвятил остаток своей жизни, – именно она фактически истощила его силы в первые месяцы после сотого дня рождения – было инициирование переговоров между США и Китаем по ограничению «гонки вооружений» военного ИИ, чтобы предостеречь все человечество от таких антиутопических перспектив.

И в заключении книги Genesis узнаваемый ход мыслей Генри Киссинджера просматривается абсолютно четко:

То, что одни считают якорем, помогающим удержаться во время шторма, другие воспринимают как поводок, который не дает сделать лишнего движения. То, в чем кому-то видятся важнейшие шаги на пути к вершине человеческих возможностей, другие назвали бы стремительным падением в пропасть.

В этом случае инстинктивные эмоциональные расхождения – равно как и субъективные границы, очерчиваемые каждой из сторон, – создают непредсказуемую и взрывоопасную ситуацию. Все более жесткие позиции потенциальных «победителей» и «проигравших» будут лишь усиливать давление этих обстоятельств. Люди чересчур осторожного склада начнут притормаживать собственное развитие и мешать развитию других. Те, кто ставит себя выше прочих, предпочтут скрывать свой истинный потенциал, украдкой пытаясь повысить собственную эффективность. Весь наш наработанный опыт будут поджимать бесконечные кризисы – постепенно они станут подобны волне, которая однажды захлестнет нас, и неизвестно, удастся ли нам выжить.

На подобные прогнозы технари дают привычный ответ – напоминают нам об ощутимых преимуществах ИИ, которые уже хорошо проявлялись, например, в области медицины. С этим я не могу не согласиться. На мой взгляд, AlphaFold – модель, основанная на нейронных сетях и определяющая третичную структуру белков, стала гораздо более прорывным открытием, чем ChatGPT. Однако медицинская наука добилась сопоставимых успехов еще в двадцатом веке. И хотя человечество изобрело антибиотики, создало новые вакцины и разработало бесчисленное множество терапевтических средств – все эти достижения медицины не смогли предотвратить ни мировых войн, ни холокоста.

Центральная проблема технического прогресса заявила о себе еще при жизни Генри Киссинджера. В 1938 году немецкие химики Отто Ган и Фриц Штрассман фактически открыли деление ядер урана. Теоретическое объяснение (и название) этому процессу дали физики австрийского происхождения Лиза Мейтнер и ее племянник Отто Роберт Фриш в 1939 году. Возможность цепной ядерной реакции открыла путь к «массовому производству энергии и радиоактивных материалов – и, как ни прискорбно, к созданию атомной бомбы», – размышлял венгерский физик Лео Силард. Тогда же с одобрением была воспринята возможность применения цепных реакций в ядерных реакторах для получения тепловой энергии. Однако на создание первой атомной бомбы ушло чуть более пяти лет, а первая атомная электростанция была открыта лишь в 1951 году.

Спросите себя: чего за последние восемьдесят лет было создано больше – ядерных боеголовок или атомных электростанций? Сегодня в мире насчитывается около 12 500 ядерных боеголовок, и это число растет, поскольку Китай стремительно наращивает свой ядерный арсенал. Для сравнения, в мире действует только 436 ядерных реакторов. В абсолютном выражении пик производства атомной электроэнергии пришелся на 2006 год, а доля атомной энергетики в общем мировом производстве упала с 15,5% в 1996 году до 8,6% в 2022 году. Отчасти это произошло из-за преувеличенных опасений политиков после нескольких аварийных ситуаций на АЭС, последствия которых для здоровья людей и окружающей среды были незначительными в сравнении с ущербом от выбросов углекислого газа при сжигании ископаемого топлива.

Урок, который преподала нам жизнь Генри Киссинджера, очевиден. Последствия технологических достижений могут быть как благотворными, так и разрушительными – все зависит от того, каким образом человечество решит ими распорядиться. ИИ, конечно, во многом отличается от ядерного расщепления. Но наивно полагать, будто человечество станет использовать эту технологию только в созидательных, а не в разрушительных целях.

Именно эта проницательность, рожденная сочетанием исторического знания и личного опыта, побудила Генри Киссинджера посвятить большую часть своей жизни изучению мирового порядка и предотвращению мировой войны. Именно поэтому он с такой готовностью и трепетом откликнулся на последние достижения в области ИИ. И по этой же причине данное посмертное издание имеет не меньшую ценность, чем все труды, созданные им за долгую и невероятно насыщенную жизнь.

Нил Фергюсон

Оксфорд, июль 2024

В память о Генри А. Киссинджере

Пережив вековой рубеж, доктор Генри А. Киссинджер скончался 29 ноября 2023 года. До своего последнего дня он не прекращал работы над этой книгой, двадцать второй по счету в списке его работ. Такая сила характера, конечно, вдохновляла всех, кто его знал. В последний год своей жизни во время наших частых встреч он неизменно подчеркивал важность нашей общей темы и настоятельную необходимость донести до ее читателя – как призыв, как тревожное послание. Мы, его соавторы, были среди последних, кто виделся и общался с ним за несколько дней до его смерти. И вот теперь, завершая этот проект от его имени и выполняя его последнюю волю, мы приложили все усилия, чтобы сохранить неповторимый строй его мысли и четкую интонацию его суждений по вопросу, который определит судьбу человечества. Закончить начатое, чтобы этот последний литературный труд не ушел вместе с ним, а выполнял свою миссию для тех, кто остался, живет и продолжит жить, – это лишь наш скромный вклад в сохранение памяти об этом человеке.

Он выстраивал этот мир всю жизнь – и до последнего часа боролся за него. Его заключительной просьбой было обращение ко всему человечеству – продолжать этот масштабный «проект», дающий нашему виду надежду на будущее. В середине прошлого века доктор Киссинджер разрабатывал основные философские и дипломатические подходы к предотвращению ядерной катастрофы – так человечество XX века впервые осознало всю тяжесть экзистенциального риска. В тот период его воля и решимость помогли обществу уберечься от опасности, но теперь, когда мы стоим перед новой угрозой, этому человеку выпала судьба покинуть нас. Он ушел как раз тогда, когда мир впервые увидел очертания иной формы жизни. Сегодня, стоя на пороге эры ИИ, мы понимаем: лишь единицы – подобно доктору Киссинджеру, этому студенту XIX-го, ученому XX-го и провидцу XXI столетия – смогли заложить столь значимые основы для будущего человечества.

Прежде всего, доктор Киссинджер был философом истории. Результатом его глубоких размышлений о природе трагедии стало вечное стремление доказать, что идеализм сердца может гармонично сосуществовать с реализмом разума, и даже возвысить его. Можно, по выражению французского писателя Ромена Роллана, сочетать «пессимизм интеллекта» с «оптимизмом воли». Если оптимист верит в возможность сохранить контроль над собственной судьбой, то пессимист видит нашу реальность как процесс, управляемый непреодолимыми силами – законами природы или, например, историческими циклами.

Конечно, ему слишком хорошо было известно, как пылкий идеализм может стать инструментом в опытных руках циничных идеологов, без колебаний готовых пролить чью-то кровь или применить силу в том или ином масштабе. Фашизм, тоталитаризм, воинствующий религиозный фанатизм – все они, казалось бы, ставили перед собой самые благие цели в истории человечества. Пройдя путь от жертвы до борца с бесчеловечными режимами, он создавал новый миропорядок – где безопасность не требует жертв, а достоинство не нуждается в оправданиях. Доктор Киссинджер виртуозно управлял международными делами и вел свою страну, ставшую ему родиной – равно как и весь мир, – через непредсказуемые потрясения, руководствуясь историческим опытом и национальными интересами.

Прекрасно понимавший избирательную необходимость политического реализма, он оставался при этом идеалистом – тем, кто, по словам его биографа Нила Фергюсона, уважал «роль человеческой свободы, выбора и воли в формировании мира». В теории и на практике он продемонстрировал свою убежденность в том, что люди не живут и не могут жить так, будто будущее неизбежно и предопределено. В своей выпускной диссертации в Гарварде The Meaning of History («Смысл истории») 27-летний Генри Киссинджер размышлял о тех же философских дебатах, что теперь оказались в основе его последней работы: «Каковы бы ни были наши представления о необходимости событий, [и]… как бы мы, оглянувшись назад ни объясняли свои давние поступки, мы совершали их, руководствуясь внутренней убежденностью в правильности собственного выбора».

Для него не существовало никаких гарантий того, что человечество переживет бесчеловечные замыслы, вышедшие из огней наших же кузниц. Столкнувшись с пугающей перспективой ядерной катастрофы, он не поддался ни убеждению в фатальности, ни пророчествам о гибели цивилизации. Безусловно, экзистенциальные страхи могут порождать нигилизм, но им также свойственно наполнять лучших из нас решимостью противостоять злу и защищать то, что необходимо сохранить ради будущего людей. В начале 1950-х годов, будучи молодым профессором Гарварда, Генри Киссинджер участвовал в ряде встреч, на которых ведущие ученые и академики, такие же, как и он сам, обсуждали возможные последствия ядерной войны и меры, необходимые для ее предотвращения. И все высказанные тогда сомнения, рассуждения, дебаты послужили основой доктринам, которые до сих пор оберегают наш мир от худших опасений участников тех собраний.

Спустя десятилетия, во время наших с ним бесед он часто возвращался к тем встречам – вспоминал их участников, обсуждаемые задачи и то значение, которое они, как теперь видно, в итоге обрели. Никогда не меняя своей точки зрения, он не прогибался под жизненные обстоятельства и не скатывался в утопическое теоретизирование. В контексте применения ИИ сохраняется тот же баланс, что и в проблематике ядерного вооружения: небольшие группы преданных своему делу людей способны изменить ход истории, вмешавшись в него и продемонстрировав свои ценности. Но в то же время, считал Киссинджер, независимо от гения ученых, создающих новые формы интеллекта, их подготовленности все равно будет недостаточно, чтобы обеспечить хотя бы минимальный уровень безопасности во время применения человечеством этих новейших инструментов.

Поэтому его вклад в сферу ИИ выходит за рамки теоретических исследований: он включает и конкретные практические решения. Спустя полвека после его тайного перелета в Пекин и последующего установления отношений между США и КНР доктор Киссинджер совершил еще одну поездку в столицу Китая. Он отправился туда по настоятельному приглашению Председателя КНР Си Цзиньпина, чтобы обсудить в качестве ключевой темы риски, которые несет для человечества развитие ИИ. Это была последняя в его жизни зарубежная поездка и последняя дипломатическая миссия.

Если раньше доктор Киссинджер превратил изучение государственного управления в искусство, то теперь его подход к ИИ преодолел границы науки. В соавторстве с одним из нас, а также с профессором Массачусетского технологического института Дэниелом Хаттенлокером он написал книгу The Age of AI: And Our Human Future («Искусственный разум и новая эра человечества»), опубликованную 2021 году. В этой работе он утверждал, что появление ИИ ознаменует новую историческую эпоху, сопоставимую по влиянию на общество с эпохой Просвещения XVIII века, поскольку ИИ обладает способностью фундаментально преобразовывать человеческое сознание. Однако в наш новый век мы уже столкнулись с тем, что вместо того, чтобы руководствоваться нашими запросами, ИИ вдруг начал выдавать ответы на те вопросы, которые ему никто и никогда не задавал. По мере того как ИИ все увереннее проникает в новые области интеллектуальной деятельности, доктор Киссинджер призывает нас искать внутреннюю опору в человеческой мудрости и историческом опыте.

В этой книге мы вместе с доктором Киссинджером исследуем влияние ИИ на восемь ключевых сфер человеческой деятельности и мышления. Нашей высшей целью станет философское осмысление поиска жизнеспособной стратегии, которая позволит сохранить баланс между возможностями и рисками этой революционной технологии. Для этого доктор Киссинджер анализирует перспективы сосуществования человека с ИИ, а в будущем – их возможную коэволюцю, т. е. совместное развитие. Его рассуждение о взаимодействии органического и синтетического разума подводит нас к ключевому вопросу: движемся ли мы к миру, где ИИ уподобляется человеку, или же к миру, где человек начинает походить на ИИ?

После выхода своей первой книги об эпохе ИИ доктор Киссинджер все яснее осознавал нарастающую ограниченность человеческого разума на излете технологической эры. Любое объяснение, выходящее за пределы человеческого понимания или творческих возможностей, кажется нам бессмысленным. Наш разум инстинктивно отвергает такие концепции как примитивные и несостоятельные по сравнению с научными аргументами – ведь согласиться с ними означало бы сделать шаг назад. Но такая позиция таит в себе серьезную опасность.

Если, как говорил Артур К. Кларк, «любая достаточно развитая технология неотличима от магии», а чудеса создаются из математики, будущее должно быть необъяснимым, ошеломляющим, даже, пожалуй, волшебным. На протяжении десятилетий нашего знакомства доктор Киссинджер щедро делился с нами своими уникальными знаниями в области государственного управления – этой тонкой материи человеческих взаимоотношений. Он тогда же объяснял нам: хотя разум и ограничен доминирующей парадигмой мышления[7] – той, что дает людям иллюзию власти над миром, – но он бессилен выработать парадигму, которая сохранила бы нашу власть над самими собой.

И потому, продвигаясь вперед, мы не должны полагаться на один лишь разум, исторически считающийся первоисточником величайших человеческих достижений. Но принижать его значение тоже не нужно. Если в своих классических работах Киссинджер выстраивал гармонию идеализма и реализма, то в своих поздних исследованиях будущего он предлагает осмыслить качественно иную пропорцию. Речь идет о поиске равновесия между традиционной эмпирической природой истины и принципиально новым знанием: тем, что философски превосходит человеческий разум, но еще не обрело исторической завершенности. Как внешняя политика не может позволить себе полностью погружаться в одну из крайностей, так и наша концепция будущего не должна выстраиваться на однобоких категоричных установках.

ИИ, таким образом, представляет собой уникальную задачу, требующую особых подходов – да таких, которые поначалу могут показаться иррациональными или чрезмерно парадоксальными. Действительно, сценарии, описанные в этой книге, поражают воображение. Однако доктор Киссинджер, называвший себя в наших беседах (и не только) всего лишь рядовым исследователем человека и его, вероятно, окончательного творения, неизменно предупреждал: главная опасность ИИ заключается в том, что мы можем слишком поспешно или самонадеянно заявить о его понимании.

Глубина его интеллекта и редкая проницательность – качества, которые нам, скорее всего, больше не доведется встретить в ком-либо другом. Просто невозможно себе представить, чтобы человек в возрасте 93 лет сумел погрузиться в совершенно новую и ранее неизвестную область технических знаний. С его неутолимым любопытством, жаждой познания и оптимизмом, подкрепленными преданностью работе и чувством долга, никакая физическая или душевная боль не могла заглушить его неудержимого интереса к прогрессу. Преодолевая недуги, вызванные старостью, каждый новый день он встречал с твердой решимостью сделать вместе с миром очередной шаг вперед. Его несокрушимая сила духа, возможно, проистекала из железной самодисциплины, что была закалена тяжелыми испытаниями его юности, отточена на войне и проверена десятилетиями напряженной общественной деятельности.

Мы – лишь двое из сотен тысяч, на чьи судьбы повлиял этот необыкновенный человек. Нам будет его очень не хватать – и несомненно, больше, чем мы можем себе представить. Он покинул нас в период надвигающейся огромной неопределенности, и сейчас как никогда мы нуждаемся в нем. Вот почему для этой книги не нашлось более подходящего названия, чем Genesis, – в нем метафорически воплотились и его собственное незримое возрождение, и начало новой эры для человечества. Суждено ли людям достичь новых вершин или потерпеть крах – доктору Киссинджеру не дано было узнать, и конечных плодов своих трудов он не увидел. Но с нами остается его мудрость – ориентир, по которому мы можем сверять свои замыслы и поступки.

Эрик Шмидт и Крейг Манди

Введение

Еще несколько лет назад тема искусственного интеллекта (ИИ) была далеко не самым важным пунктом повестки дня общественных дискуссий. Но сегодня в своем стремительном развитии ИИ прочно обосновался на первых полосах новостных изданий и стал объектом пристального внимания лидеров науки, представителей бизнеса, журналистики, государственных служб, образования и политики во всем мире.

По нашему мнению, как широкая общественность, так и многие эксперты до сих пор недооценивают ключевые аспекты новой эры ИИ, которая уже наступила. Развитие систем ИИ и человеческие реакции на это развитие способны радикально трансформировать:

• наше восприятие реальности и истины;

• сам процесс познания;

• биологическую эволюцию человека;

• основы дипломатии;

• всю международную систему в ее нынешнем виде.

Эти вопросы станут определяющими в ближайшие десятилетия и неизбежно вызовут глубинную тревогу у ключевых игроков во всех сферах.

Новейшие достижения ИИ, какое бы мощное впечатление они ни производили, впоследствии покажутся нам скромными, поскольку его способности будут расти ускоряющимися темпами. Ресурсы, о которых мы еще не догадываемся, войдут в нашу повседневную жизнь. Системы будущего откроют путь к масштабным – и во многом благотворным – преобразованиям: они помогут сохранить здоровье людей и повысить качество жизни.

Однако эти возможности останутся неотделимыми от техногенных рисков и человеческого фактора; некоторые их таких опасностей уже известны, с другими нам еще предстоит столкнуться. Современные технологии уже демонстрируют модели поведения, которые не были предусмотрены их создателями – и даже находились за гранью их ожиданий. И эта тенденция, судя по всему, будет только усиливаться. Каждый перспективный метод исследований – а их будет немало – может раскрыть неожиданные возможности. Окажутся ли они в итоге понятными и полезными для человечества – вопрос открытый.

Создается впечатление, что ИИ будто бы сжимает наши временные рамки. Объекты будущего словно становятся ближе, чем кажется. Достаточно привести пример: совсем скоро появятся машины, способные самостоятельно формулировать для себя цели и задачи. Если мы хотим успевать справляться с сопутствующими рисками, мы обязаны реагировать и действовать в кратчайшие возможные сроки. Понимая всю значимость и срочность предстоящей работы, мы рассматриваем лишь отдельные ее аспекты.

По мере распространения «партнерских отношений» между человеком и машиной, людям придется определять характер такого взаимодействия. Ответы могут быть продиктованы логикой безопасности и эффективности, выведены из анализа исторического опыта или почерпнуты из религиозных источников. Каждому человеку, нации, культуре и конфессии предстоит определить: существуют ли границы влияния ИИ на истину? допустимо ли, чтобы ИИ стал посредником между людьми и реальностью? Таким образом, предстоит выбрать между:

1) сохранением традиционной роли человеческой деятельности (пусть и с признанием лидерства ИИ в новых сферах познания);

2) сознательным отказом от ограничений биологического интеллекта в пользу трансформированного партнерства с ИИ на интеллектуальном поле.

Оставим ли мы за собой возможность самим определять собственные цели, относясь к ИИ как к инструменту для их достижения, или в какой-то степени позволим ИИ заниматься целеполаганием за нас? Нам необходимо как можно скорее выработать ясное, соответствующее нашему времени и устойчивое определение человеческого достоинства – такое, которое могло бы стать философским ориентиром для принимаемых решений в ближайшие десятилетия.

По нашему мнению, возникновение ИИ поставило под сомнение саму возможность будущего человечества. Чуть позже мы подробнее рассмотрим идею, что по мере развития ИИ – с его постоянно растущими возможностями и нечеловеческой скоростью принятия решений – традиционные методы регулирования утратят свою эффективность. Требуется немедленная разработка принципиально новых методов контроля. Научному сообществу критически важно создать технические стандарты встроенной безопасности для ИИ. Одновременно государства должны срочно согласовать международные нормы, учредить органы надзора, разработать протоколы реагирования на кризисные ситуации. Особую сложность представляет двойное согласование – технических параметров и этических норм. Кроме того, необходимо будет переосмыслить дипломатические взаимоотношения в новую эпоху.

Доктор Генри Киссинджер, один из соавторов этой книги, скрупулезно разъяснял нам суть последней из задач, указанных выше, в то время как мы, занимая в свое время руководящие посты в компаниях Microsoft и Google, консультировали его по существу первой задачи. Крейг Манди являлся главным представителем Microsoft по вопросам технологической политики в Вашингтоне и зарубежных правительствах, одновременно курируя Microsoft Research[8], а в последнее время консультировал руководство исследовательской организации OpenAI. Эрик Шмидт в течение десяти лет возглавлял компанию Google, а покинув этот пост, следующее десятилетие посвятил, среди прочего, продвижению инициатив по расширению возможностей для талантливых молодых людей и развитию междисциплинарных исследований на стыке технологий, филантропии и безопасности с целью защиты человечества.

Очевидная актуальность перечисленных выше проблем привела нас к однозначному выводу: человечеству необходимо перейти от тревожного ожидания глобального кризиса к упреждающему решению этих проблем.

Хотя безопасность человека – важнейший компонент ответа на вызовы ИИ, она не покроет весь спектр проблем, порождаемых этой технологией. Эпоха ИИ неизбежно изменит человечество. Остается лишь вопрос: будем ли мы – и в какой мере – стремиться сохранить контроль над ходом этих преобразований?

Часть I. Начало

Глава 1. Открытия

Способность совершать открытия – пожалуй, самая удивительная черта человечества. Когда любопытство ведет нас вперед, а мир раскрывает свои чудеса, мы обретаем возможность заполнить внутреннюю пустоту, превращая вопросы в ответы. Исследовательский дух неотделим от нашей сущности, и потому, несмотря на все опасности, мы продолжаем идти по бесконечно ветвящимся тропам познания.

История освоения окружающего мира – это летопись невероятной отваги, проявленной вопреки всем рискам и смертельным опасностям. Немудрено, что группам смельчаков, пускавшимся в такие авантюры, приходилось постоянно бороться за собственную жизнь. Так, в начале XVI века кругосветное плавание Фердинанда Магеллана стало трехлетней одиссеей, наполненной насилием, голодом и смертью. Зато Магеллану удалось впервые проложить курс вокруг земного шара. В ходе своего плавания он побил рекорд выносливости в открытом море, установил истинные размеры планеты, а в контексте европейского колониализма – заложил основы глобального социального и экономического обмена.

Моряки Магеллана хорошо знали, сколь высок был риск крушения. Если представление о плоской Земле уже и подвергалось сомнениям, то ее шарообразная форма до сих пор оставалась неподтвержденной, и мысль о «крае света» все еще пугала многих на борту.

И самому Магеллану, и его матросам было понятно, что любое опрометчивое предположение может в конечном итоге стоить очень дорого. Так оно и случилось: их ошибка привела к тяжелым последствиям. Они допустили критический просчет в определении сроков плавания и необходимых запасов провизии, проигнорировали угрозу массовых отравлений и потенциальные серьезные повреждения судов. Флотилия Магеллана состояла из пяти кораблей с экипажем из 270 человек, но в испанский порт вернулось лишь одно судно с восемнадцатью изможденными моряками, выжившими по чистой случайности. Самого капитана среди них не было – он погиб вдали от родины, сраженный отравленной стрелой, которая пронзила его ногу[9].

Четыре столетия спустя после плавания Магеллана карта мира обрела почти завершенные очертания – лишь Антарктида оставалась белым пятном – столь же безжизненным и неизведанным, как далекая планета. Англо-ирландский путешественник Эрнест Шеклтон приблизился к Южному полюсу – нижней точке Земли – ближе, чем любой из его предшественников. В 1909 году – с неопытной командой и без какой-либо государственной поддержки, располагая лишь средствами, полученными по частным займам и от благотворителей, – Шеклтон и его товарищи установили рекорд по продолжительности полярной экспедиции. Тем самым они открыли новые возможности для других исследователей.

Хотя Шеклтону не суждено было стать первым покорителем Южного полюса, именно он снискал глубочайшее уважение потомков. Ведь в отличие от многих, он ставил человеческие жизни выше исследовательских амбиций. Спустя год изнурительных переходов, когда каждый день требовал десятичасового напряженного пути на санях, команда едва преодолевала по несколько миль за сутки. Даже имея достаточно провианта, чтобы дойти до полюса, они не смогли бы вернуться к кораблю – запасов для возвращения не хватило бы.

Так или иначе, всего в 97 милях от триумфа Шеклтон, вместо того чтобы рисковать чужими жизнями, принял решение повернуть назад. «Мы сделали все, что могли», – записал он в своем дневнике[10]. Во время этого отступления Шеклтон отдал свое последнее печенье (из тех, что входили в скудный паек) Фрэнку Уайлду, заболевшему члену команды. Тот позже напишет: «Этот сухарь стал дороже всех монет мира, и память об этой жертве навсегда осталась со мной»[11].

Несмотря на неудачу, Шеклтон предпримет еще несколько попыток покорения Южного полюса. Долгие годы ходила легенда (впоследствии развенчанная), будто он разместил в лондонской газете Таймс такое объявление:

Требуются мужчины для опасного путешествия. Оплата – незначительная, холод – лютый, кромешная темнота – долгие месяцы, опасность – постоянно, благополучное возвращение – едва ли. Почет и признание – в случае благополучного исхода[12].

Если само объявление и носит анекдотический характер, символизируемая им жертва была совершенно реальной. В ту эпоху границы познания расширялись ровно настолько, насколько хватало храбрецов, добровольно обрекавших себя на немыслимые лишения.

Возможно, осознавая эти опасности, некоторые государства сочли нужным спонсировать и поощрять экспедиции первооткрывателей, и эти предприятия стали частью – словно некой игры – международного соперничества. Экспедиция Магеллана, например, с самого начала определялась политическими мотивами. Не получив поддержки от португальского короля, своего суверена, Магеллан отправился в плавание под флагом испанской короны, которая предложила свое покровительство на выгодных условиях. После гибели Магеллана командование принял испанец Хуан Себастьян Элькано. На обратном пути, когда отчаявшийся экипаж оказался на грани голодной смерти, Элькано предпринял рискованную попытку остановки на островах Зеленого Мыса – португальской колонии у побережья Западной Африки. Тринадцать посланных на берег моряков получили унизительный отказ от местного губернатора.

Охваченный гневом и разочарованием, но исполненный еще большей решимости доказать ничтожность Португалии и величие Испании, Элькано приказал сниматься с якоря. (Членов разведывательной группы пришлось оставить на враждебном берегу.) Когда же плавание было завершено, а миссия Магеллана выполнена, Элькано обратился к испанскому монарху – к тому времени уже императору Священной Римской империи и могущественнейшему правителю мира – со следующим посланием:

Ваше Величество, как никто другой, понимает, что больше всего нам следует дорожить тем, что мы открыли и обогнули весь мир: отправившись на Запад, мы вернулись с Востока[13].

В конечном счете отважным первооткрывателям и их политическим покровителям суждено было даже покинуть пределы земного шара. Нам предстояло не просто изучать планеты – этим человечество занималось тысячелетиями, – но и ступить на их поверхность. После Второй мировой войны космическая гонка между США и СССР, ставшая продолжением геополитического противостояния, превратилась в соревнование за право первыми отправить человека туда, где никто и никогда прежде не бывал.

Безусловно, астронавтов можно считать первопроходцами, но ни один космический полет, подготовленный Москвой или Вашингтоном, не был авантюрной игрой человека собственной судьбой. Каждая такая миссия скорее представляла собой тщательно скоординированную операцию, сочетавшую дипломатические и военные аспекты, требовавшую колоссальных ресурсов, многолетней подготовки и масштабных научных изысканий. За последние семьдесят лет более шестисот человек преодолели земное притяжение. Некоторые из них не просто достигли космоса, но и вышли на орбиту, облетели планету и даже прогулялись по Луне[14]. Так соперничество между США и СССР, едва не приведшее мир к ядерной катастрофе, открыло человечеству дорогу в космос.

Еще за век до наступления эпохи Великих географических открытий – так стали называть период раннего Нового времени, прославленный Магелланом, Васко да Гамой, Америго Веспуччи и их знаменитыми современниками, – морские амбиции Китая уже достигали невиданного размаха. Флот адмирала Чжэн Хэ эпохи Мин, известный как «флот сокровищ»[15], превосходил по масштабам любые экспедиции, снаряжаемые западными державами. В состав этой грандиозной армады входили десятки – а порой и сотни – самых передовых на то время кораблей с многочисленными экипажами, состоящими из моряков, воинов, дипломатов и торговцев. Каждая из экспедиций адмирала длилась по два года. Пройдя через воды Тихого океана у юго-восточных берегов Китая, его корабли отправлялись на запад – к Бенгальскому заливу, Индийскому океану, Аравийскому и Красному морям и, наконец, к Суахильскому побережью на востоке Африки. Эти исследования растянулись почти на три десятилетия – с 1405 по 1433 год[16].

Экспедиции Чжэн Хэ, чьи мотивы и организационные принципы куда ближе к современным космическим программам США и СССР, чем к западным морским походам той эпохи, являлись не столько попыткой освоить неизведанные земли, сколько грандиозным воплощением имперской стратегии. Однако в этом кроется парадокс: те самые факторы, что гарантируют успех хорошо финансируемой государственной экспедиции, со временем могут стать причиной ее краха. Приоритеты меняются. Человеческое терпение довольно быстро истощается. Ресурсы, затраченные на «флот сокровищ», были столь велики, что политические группировки при дворе Мин начали осуждать финансирование этих миссий императором. Недовольство усугублялось управленческими промахами и стихийными бедствиями. В конце концов китайское правительство решило уничтожить или умышленно забросить свои лучшие корабли, заодно предав забвению бесчисленные записи о путешествиях Чжэн Хэ, чтобы никакой другой энтузиаст в будущем не попытался вновь увлечь правителя подобными проектами. Флот сгнил, и никто не строил подобных судов на протяжении 400 лет.

В США случилось примерно то же самое. Космическая гонка выиграна; конкурента, который мотивировал бы национальные усилия, не стало, в результате чего поддержка Вашингтоном космических исследований ослабла, а бюджет Национального управления по аэронавтике и исследованию космического пространства (НАСА) был сокращен. В течение пяти десятилетий страна одну за другой теряла возможности в области пилотируемых полетов в космос. От амбиций единственной сверхдержавы, способной доставить человека на Луну, США сохранили лишь возможность пилотируемых полетов на низкую околоземную орбиту – а затем временно утратили и ее.

Космический престиж Америки удалось сохранить лишь благодаря частным компаниям, которые под руководством аэрокосмической компании SpaceX[17] помогли стране восстановить свои позиции. Благодаря деятельности этой компании в научном сообществе зародилась революционная идея: наши соседи по Солнечной системе могут стать не временными исследовательскими базами, а постоянными поселениями. Столетие назад Шеклтон внес свой вклад в то, чтобы в дельнейшем человек сумел обосноваться на самой южной точке Земли. Сегодня кратером Шеклтона названа впадина, но находится она на южном полюсе не Земли, а Луны – на месте, выбранном для следующего шага в экспансии человеческой цивилизации.

Наличие альтернативных источников финансирования всегда играло решающую роль в успехе тех или иных научных исследований. В Европе времен Магеллана, если один монарх отказывал в поддержке, всегда можно было обратиться к другому. В начале XX века Эрнест Шеклтон, пытавшийся закрепить Южный полюс за приходящей в упадок Британской империей, столкнулся с аналогичной проблемой: в 1914 году, погруженная в тяготы Первой мировой войны, корона не могла выделить достаточных средств, вынудив его искать частных спонсоров. Появление коммерческих корпораций, объединяющих инвестиции и риски, создало принципиально новые финансовые механизмы. Остается только гадать, каких высот достигли бы Чжэн Хэ и его последователи, имей они доступ к подобным ресурсам.

На пороге цифровой эры

На протяжении большей части истории Запада изучение мира ограничивалось географией – нашей планетой и ближайшими небесными телами. Постепенно, по мере освоения всех доступных пространств – суши, морей и небес, неизбежным стало смещение фокуса от внешних горизонтов к внутренним просторам мысли. Сегодня мы наблюдаем переход от эпохи физических открытий к эре интеллектуальных прорывов.

Развитие ИИ открывает новую главу в истории научных открытий. Там, где ИИ интегрирован в физические системы, роботизированные датчики берут на себя функции, которые раньше выполняли люди, что снижает риски для человечества и привлекает все больше разработчиков и инвесторов.

Кроме того, ИИ не знает страха, а потому его не пугают бескрайние просторы реальности. Он не испытывает неловкости или смущения, а значит, без колебаний терпит неудачи. При этом ИИ обладает уникальной способностью мгновенно адаптироваться к новым условиям. Его постоянная импровизация и эксперименты позволяют сохранять эффективность даже при высокой частоте неудач, сводя к минимуму риски для тех же самых инвесторов и разработчиков.

Современные прорывы в области ИИ создаются преимущественно частными корпорациями и предпринимателями, тогда как государства играют лишь вспомогательную роль спонсоров. Даже без активного государственного участия развитие ИИ, скорее всего, продолжит привлекать инвестиции из разных источников. Хотя на нынешней, еще ранней, стадии сохраняется потребность в человеческих ресурсах и общественной поддержке, в перспективе содержание исследований в области ИИ, вероятно, перестанет быть финансовым или политическим бременем для обществ, активно занимающихся внедрением машинного разума. В отличие от прошлых эпох, когда многие научные направления так и не реализовали свой потенциал, мы (при отсутствии непредвиденных обстоятельств) можем рассчитывать на непрерывную череду открытий в сфере ИИ – в том числе совершаемых с его же помощью.

Но даже частично преодолев прежние ограничения научного прогресса, ИИ по-прежнему не может полностью от них избавиться – особенно по мере роста его влияния на все сферы человеческой деятельности. Готовность демократических обществ к рискам и изменчивая природа глобальной конкуренции останутся ключевыми факторами в развитии ИИ. Это может привести к трем сценариям:

1) глобальной «гонке ИИ» с непредсказуемыми последствиями;

2) повторению печального опыта династии Мин с уничтожением «флота сокровищ» Чжэн Хэ;

3) поиску умеренного, сбалансированного пути развития.

Разум человека-универсала

Если оглянуться назад, кажется очевидным, что сфера открытий неизбежно должна была выйти за пределы физического мира – территории адмиралов, астронавтов и искателей приключений – и что круг исследователей должен был расшириться. Действительно, уже на заре цивилизации стал появляться новый – или если не новый, то совершенно особенный – тип ученого: полимат[18], человек-универсал.

Эти редкие умы, способные в совершенстве освоить множество сложнейших дисциплин, за всю историю человечества исчисляются лишь сотнями. Чему бы они ни посвящали себя – искусству, науке или тому и другому вместе, – всех их объединяла страсть к преобразованию или созданию целых областей знаний. Направляемые не столько душевными порывами, сколько силой интеллекта, они смело погружались в глубины человеческого познания и воображения – в просторы еще более безграничные, чем те, что осваивали исследователи физического мира.

К этим уникумам, способным постигать тайны Вселенной, относились со смешанным чувством благоговения и недоверия, видя в них колдунов или ложных посредников Творца. Такая репутация нередко приводила их к конфликтам с религиозными или политическими властями. В иных случаях их дар высоко ценили: под прямым покровительством властей они свободно проводили свои изыскания и щедро вознаграждались за достигнутые результаты.

В эпоху Золотого века ислама ученые искали пути развития и применения науки на благо веры. Ибн аль-Хайтам из Басры (на территории современного Ирака) сформулировал концепцию научного метода за пять столетий до ее появления у западных ученых эпохи Возрождения[19]. В равной степени сведущий в геометрии, астрономии, оптике и психологии, аль-Хайтам также обладал глубокими познаниями в области гидравлики.

Именно это и привело его к конфликту с духовенством. Он заявил о возможности регулировать разливы Нила – природное явление, которое тогда считалось делом сверхъестественным, – после чего его пригласили на встречу с халифом в Багдад. Там его инженерные проекты были признаны противоречащими исламской теологии. В наказание за дерзкие взгляды и нестандартное мышление он был вынужден скрываться до самой смерти халифа.

Другие ученые-универсалы, такие как Мухаммад ибн Муса аль-Хорезми – перс с территории современного Туркменистана, – добились большего успеха в тех областях науки, которым благоволили духовные деятели. Аль-Хорезми был назначен придворным астрономом и главой библиотеки «Дома мудрости» в Багдаде[20]. Астрономия достигла новых высот при Аббасидских халифах[21], щедро покровительствовавших таким людям, как аль-Хорезми, за их прямой вклад в исламскую веру. Например, географические координаты священных мест, и главное – направление на Мекку, знание которого обязательно для исламской молитвы, были вычислены с небывалой точностью благодаря новым методам определения положения звезд.

Современники аль-Хайтама и аль-Хорезми находили все более творческие способы поддерживать дух открытий, укрепляя союз науки и религии и обеспечивая поддержку тем, кто обладал, по словам другого великого мусульманского эрудита той же эпохи Ибн Рушда (известного также как Аверроэс), «единством интеллекта». Это была эпоха, ценность которой отмечена не рациональными достижениями, как в европейском Просвещении, а расцветом глубокой религиозности[22].

За тысячи километров от Багдада – и друг от друга – китайские и индийские полиматы ориентировались не на божественную власть, а на интересы государственных структур, что обеспечило им особую близость к политике, достигнутую как через привилегии, так и через упорный труд. В XII веке на территории нынешнего Гуджарата советником короля Кумарапалы служил Хемачандра[23] – «знаток всех знаний своего времени». Столетия спустя молодой император Великих Моголов Акбар Великий также продемонстрировал многогранность своего дарования: будучи выдающимся правителем, он одновременно достиг значительных успехов в архитектуре, инженерном деле и литературе.

Китайские мыслители не только прославились своими выдающимися интеллектуальными способностями, но и активно участвовали в делах двора, занимая должности советников, ученых-чиновников и высокопоставленных администраторов. Правительство было для них одновременно заказчиком и покровителем. В какой-то момент их как главных чиновников Астрономического бюро можно было застать за руководством разработкой календаря; через час они в кабинете императора уже могли давать рекомендации по повышению урожайности. Их отправляли с дипломатическими миссиями в соседние государства, им поручали создание грандиозных военных машин, и сам император прислушивался к их мнению в вопросах экономической политики.

Однако настоящей автономии у них не было, и терпели этих знатоков, лишь пока император нуждался в их услугах. В Китае политические интриги становились для гениев таким же препятствием, как религиозные ограничения в исламском мире. Уникальные умы, рождающиеся раз в поколение, оказывались во власти системы, которая изначально помогла раскрыться их талантам, но оставляла науку в подчинении у Сына Неба. Так, Шэнь Ко, интеллектуал эпохи Сун, был изгнан завистливым военным офицером, лишился императорской милости и оказался в изоляции из-за политического соперничества – как это ни парадоксально – с другим крупным полиматом династии[24].

Лишь единицам удавалось проявить себя в древности и Средние века на Ближнем Востоке, в Индии и Китае. Но только после эпохи Великих географических открытий начался этап систематических концептуальных исследований сначала в Европе, а затем в США – в период, который мы теперь называем эпохой Разума или Просвещения. Ренессанс XV–XVI веков подготовил почву для последующих четырех столетий, завершившихся началом эры ИИ – принципиально нового этапа интеллектуальных открытий.

В эпохи, предшествовавшие Просвещению, полиматам оставалось лишь служить высшей власти, будь то император или халиф. В отличие от них, многие деятели европейского Просвещения получили возможность относиться к своим открытиям не как к инструменту политических или религиозных интересов, а как к самостоятельной ценности. «Человек может сделать все, если захочет», – обращался итальянский эрудит Леон Баттиста Альберти к своим современникам, выражая веру в безграничность человеческих возможностей.

Однако для полноценных исследований одного лишь интеллекта, несмотря на его ключевую роль, недостаточно. Помимо готовности к риску ученым требуются ресурсы, благоприятная среда и надежные соратники – и в эпоху Просвещения эти три компонента стали более доступны. Правительства и объединения промышленников и торговцев, движимые интересом к практическому применению науки в военных и коммерческих целях, оставались активными покровителями ученых-универсалов Европы и Америки. При этом большинство исследователей сохраняли свободу выбора направлений работы. Даже когда власти пытались привлечь интеллектуалов на свою сторону или ограничить их свободомыслие, раздробленность Европы позволяла отвергнутым в одной стране найти пристанище в другой. Так, француз Франсуа-Мари Аруэ, более известный под псевдонимом Вольтер, провел значительную часть жизни в изгнании. Русский ученый Михаил Ломоносов в девятнадцать лет пешком отправился «изучать науки» из северной деревни в Москву, где получил начальное образование. Обучение он продолжил в Киеве, а затем в Германии – в университетах Марбурга и Фрайберга[25].

Важнейшим достижением стало формирование сообществ единомышленников – как в физическом, так и интеллектуальном пространстве, что стимулировало ученых к сотрудничеству и здоровой конкуренции. В прошлом гении часто работали в одиночестве, ограниченные временем и расстоянием. Без поддержки коллег они могли расширять границы познания лишь в пределах личных возможностей. Слабая связь между разобщенными исследователями разных стран вела к дублированию усилий: ученые не знали о работах друг друга и не могли опираться на чужие достижения.

Со временем доступ к точным, актуальным и качественно переведенным материалам позволил исследователям участвовать в сложных проектах, внося свой вклад не только в работы современников, но и в наследие прошлых поколений. К эпохе Просвещения мыслители научились не только преодолевать границы между дисциплинами, но и синтезировать разрозненные области знаний, создавая из них единое целое. Исчезло разделение на персидскую или китайскую науку – осталась наука как универсальное явление.

Такой подход к синтезу знаний из разных сфер ускорил научный прогресс и заложил основы «коллективного разума». В XX веке Манхэттенский проект[26] в период Второй мировой войны наглядно показал силу совместного мышления: величайшие умы эпохи применили достижения теоретической физики для создания атомного оружия примерно за пять лет – срок, немыслимый для одиночек прошлого. Такие институты, как Принстонский институт перспективных исследований и корпорация RAND в Калифорнии, стали центрами притяжения для выдающихся умов.

Естественно, выдающаяся одаренность отдельных полиматов все же предопределяла их стойкое желание работать в одиночку. Одним из таких был американский изобретатель сербского происхождения Никола Тесла:

В беспрерывном одиночестве ум становится все острее и внимательнее. Для размышлений не нужна большая лаборатория. Оригинальные идеи рождаются в условиях отсутствия внешних влияний, сковывающих творческий ум. Возможность уединиться – вот секрет изобретения; останьтесь наедине с собой – и тогда появятся идеи. Потому-то многие земные чудеса и зародились в ничем не примечательных условиях[27].

Но подход Теслы был скорее исключением. Научно-технический прорыв XX века сопоставим по своей мощи с кембрийским взрывом, дав человеческой цивилизации беспрецедентный импульс развития как по скорости, так и по масштабу преобразований, не имеющий аналогов предыдущих эпох. Объединив интеллектуальные ресурсы, ведущие исследователи получили доступ к принципиально новым инструментам познания. Совокупный эффект этого прорыва позволил преодолеть множество прежних ограничений. Цифровые коммуникации и интернет-поиск – плоды труда преданных науке умов – не только расширили границы научного сообщества, но и собрали воедино объем знаний, превосходящий познавательные возможности любого отдельного человека.

Однако важно осознавать существование принципиальных границ. Сколько бы мы ни совершенствовали конструкции наших «кораблей», предназначенных для покорения новых рубежей, и как бы ни объединяли выдающиеся умы в исследовательские коллективы, биологические ограничения и присущие человеку несовершенства остаются непреодолимым барьером. Наш земной срок строго ограничен. Мы зависим от сна. Нас неизбежно одолевает усталость. Мы нуждаемся в отдыхе и восстановлении сил. Даже в моменты наивысшей продуктивности наше внимание, как правило, способно фокусироваться только на одной задаче.

Вспомним Томаса Эдисона – великого изобретателя, соперника Теслы, который в конце XIX – начале XX века провел тысячи экспериментов для создания «практичной лампы накаливания». Эта работа заняла три года, хотя Эдисон параллельно совершенствовал телефон Александра Белла. Но даже с командой ассистентов путь к созданию лампы оказался чрезвычайно сложным. И сегодня разработка передовых технологий остается дорогостоящим, длительным и ресурсоемким процессом, требующим значительных политических и психологических затрат. Из-за высокой неопределенности результатов исследование ключевых рубежей – космоса, океанских глубин, земных недр – остается прерогативой крупнейших корпораций и богатейших государств.

Именно высокие риски придают открытиям особую ценность, возводя их в ранг выдающихся достижений.

Физик Джон фон Нейман, которого позже назовут одним из величайших умов XX века, признанный изданием Financial Times «человеком столетия», олицетворял веру своей эпохи в способность разума «покорить физический мир»[28]. С невероятной энергией он работал над математической теорией, созданием атомной бомбы и – что особенно важно – разработкой компьютера. Это последнее великое изобретение XX века, одно из тех, которые создавались еще преимущественно индивидуальными усилиями.

С такими титанами мысли, как фон Нейман, человечество, вероятно, достигло пределов возможностей не усиленного технологиями интеллекта. Универсальность талантов – явление исключительной редкости, ведь овладение даже одной дисциплиной требует колоссального времени. Когда потенциальный полимат достигает мастерства в какой-то области, у него обычно не остается ресурсов для других. Сегодня инновации чаще рождаются в командах, чем в сознании отдельных гениев-универсалов.

Однако интеграция знаний множества специалистов остается сложной задачей. Даже среди выдающихся интеллектуалов – а возможно, особенно среди них – избыток участников может препятствовать эффективному обмену идеями.

ИИ, в отличие от человека, становится идеальным полиматом. В исследовании границ познания он анализирует и генерирует огромные массивы данных с недоступной человеку скоростью, выявляя закономерности в бесчисленных измерениях и открывая неожиданные взаимосвязи. Как отметил социобиолог Э.О. Уилсон, ИИ способен объединить дисциплины в новое «единство знаний»[29].

Подобно тому как достижения энциклопедистов Просвещения основывались на междисциплинарных связях, современный прогресс в машинном обучении стал возможен благодаря огромным массивам данных – коллективному интеллекту человечества, – которые ИИ делает доступными и применимыми.

Развивая эту аналогию, стоит отметить: неудивительно, что последние достижения в области ИИ основаны не на единой универсальной программе, а на интеграции множества специализированных алгоритмов – так называемой «смеси экспертов»[30]. Здесь проявляется принцип коллективного взаимодействия.

До сих пор масштабы научных исследований ограничивались количеством и способностями людей на переднем крае науки. За всю историю человечество вырастило лишь несколько тысяч первопроходцев и еще меньше подлинных универсалов. ИИ кардинально меняет правила игры как в изучении физического мира, так и в интеллектуальных поисках. Лишенный страха и сомнений, ИИ неуклонно движется к новым рубежам – туда, куда мы его направляем. Более того, ИИ, одинаково эффективный в исследовании масштабов космических далей и клеточных структур, не знает субъективности, физических ограничений и эмоциональных барьеров. При этом машины не требуют человеческих жертв – им достаточно лишь вычислительных ресурсов, которые мы готовы выделить.

В будущем уровень развития общества перестанет соотноситься с количеством гениев, которых оно способно объединить, чтобы поддерживать хрупкий механизм научного прогресса. Потенциал человечества больше не будет зависеть от числа новых магелланов или тесл. Сильнейшей нацией станет не та, что воспитала больше всего эйнштейнов и оппенгеймеров, а та, что овладела искусством создания и применения ИИ. Это меняет саму систему измерения национальной мощи, которая эволюционировала от территорий к ресурсам, затем к капиталу, потом к человеческому потенциалу – а теперь, возможно, к вычислительной мощности.

Более того, самообучающаяся машина неизбежно станет машиной, способной к самосовершенствованию. И последний вопрос: не окажется ли, что последнее изобретение ученых-универсалов – вычислительные технологии, расширившие возможности человеческого разума и через десятилетия приведшие к революции ИИ – в конечном счете заменит своих создателей?

Третий век открытий

С позиции ИИ все накопленные человечеством знания – словно архипелаг вулканических островов, разбросанных по бескрайнему океану. В центре каждого острова на этой воображаемой карте возвышается вулкан. По мере того как взгляд зрителя скользит вниз, к морю, очертания становятся менее четкими, границы – более размытыми, пока не растворятся в плавной береговой линии[31].

Представим, что для нашей мыслительной задачи из земных океанов откачали значительную часть воды. Тогда перед нами откроется грандиозный подводный ландшафт, прежде скрытый от человеческого глаза. Острова перестанут казаться изолированными участками суши, дрейфующими в океане, – в действительности это вершины гигантских подводных гор или вулканов, которые, поднимаясь со дна сквозь толщу вод, лишь слегка выступают над поверхностью.

И если каждый остров символизирует отдельную область человеческого знания, то вода между ними – это недостающие связи, которые необходимо обнаружить для целостного понимания Вселенной. Хотя мы уверенно исследуем ближайшую реальность, нам практически неизвестно, что скрывается за ее видимыми границами. ИИ способен изменить эту ситуацию.

Возьмем физику – квинтэссенцию научного знания. Если Исаак Ньютон объединил законы небесной и земной механики, а Майкл Фарадей и Джеймс Клерк Максвелл – электричество, магнетизм и оптику, то поиски «теории всего», которая примирила бы две фундаментальные, но пока несовместимые теории, объясняющие наше существование с противоположных концов реальности, продолжаются и по сей день. Речь идет об общей теории относительности, описывающей макромир и гравитационное взаимодействие, и квантовой механике, управляющей законами микромира[32].

ИИ может внести порядок в кажущуюся разобщенность наших знаний, выявляя связи между генетикой, лингвистикой, космологией и психологией подобно тому, как архипелаг имеет общее основание. Он способен даже преодолевать разрывы между несовместимыми на первый взгляд интеллектуальными традициями или системами убеждений.

Во многих дисциплинах мы выделили широкий спектр потенциальных истин, но многие из них вряд ли подтвердятся. На карте знаний эти гипотезы подобны точкам у береговой линии – не полное неведение, но и не окончательная истина. Направляя ИИ к таким пограничным областям, мы можем с максимальной точностью определить наиболее перспективные пути исследования. Перебирая, тестируя, анализируя и снова выбирая в быстрой последовательности ИИ способен оценить миллионы возможных решений. Именно этот метод (который мы подробнее рассмотрим в главе 5) позволил DeepMind от Google не только освоить древнюю китайскую настольную игру го на человеческом уровне, но и в той мере, в которой машина смогла передать свое понимание людям расширить наши представления об этой игре. В отличие от ранних шахматных программ, полагавшихся на метод «грубой силы»[33], AlphaGo, изучив 30 миллионов ходов, продемонстрировала способность к абстрактному мышлению[34].

В этом смысле процесс обучения напоминает путь аспиранта-философа: годы интенсивного изучения формируют способность к глубоким рассуждениям. Подобно студенту на защите диссертации, DeepMind «обучилась» выходить за рамки заученного, выбирая в го ходы, которые, по ее оценкам, неизбежно приведут к победе. Более того, иногда модель ИИ выбирала ходы, которые за 4000 лет игры даже не приходили в голову человеку. Это стало возможным потому, что человеческий разум способен оперировать лишь четырьмя независимыми переменными одновременно, тогда как ИИ может обрабатывать бесчисленные вероятностные оценки в многомерном пространстве[35]. Так ИИ получил доступ к принципиально новым идеям и впервые сделал их частью человеческого опыта.

Когда пользователь задает вопрос модели ИИ – например, вводя вопрос в ChatGPT, – он просит не просто найти информацию, как это делают традиционные поисковые системы, а синтезировать множество данных и на их основе сделать вывод. Работая в многомерном пространстве, система создает сложные представления информации, учитывая взаимосвязи внутри и между различными областями знаний. На основе этих сетевых структур она формулирует ответы.

Именно здесь проявляется удивительная способность ИИ: скорость и мощь LLM[36], освоивших колоссальные объемы данных. Поскольку точность ответов влияет на наши представления об истине, такие модели создают все более детальную «карту глубин» наших знаний.

ИИ, скорее всего, будет накапливать новые данные не только быстро, но и таким образом, что это откроет исследовательские перспективы. Играя в го, AlphaGo часто выбирала необычно открытые позиции. Некоторые модели ИИ, вероятно, научились предпочитать области с множеством вариантов, что позволяет гибко исследовать новые возможности.

Человечеству может быть трудно адаптироваться к этому новому способу познания, ведь нам пока неясно, будет ли этот процесс соответствовать нашему восприятию реальности. Возможно, нам потребуются инструменты, чтобы успевать за ИИ и направлять его. Или же мы создадим технологии, с помощью которых – неторопливо, как мы привыкли, – будем «перелопачивать грунт на дне того самого океана», тем самым расширяя наши скромные возможности познания. А может, решим вообще не выходить за пределы знакомого мира.

Существует и риск некорректного управления ИИ, который может накапливать знания разрушительными методами. Его способы открытий могут быть столь же мощными и хаотичными, как вулканические извержения, когда-то формировавшие наш мир. Словно новое извержение, ИИ способен разрушить старые представления, одновременно расширяя острова знаний. Он может даже сдвигать тектонические плиты на дне «океана», поднимая новые горы познания. Но поскольку эти знания будут оторваны от нашего опыта, они могут вызвать когнитивные кризисы, ведущие к более полному – хотя и не всегда желательному – пониманию реальности.

С другой стороны, если развитие ИИ будет соответствовать нашим целям, оно, подобно совершенствованию вычислительной техники, станет миссией, облегчающей все остальные задачи человека. Это возведет ИИ в ранг главной – или равной нам – силы во Вселенной, определяющей большинство значимых открытий следующего века. Оглядываясь назад, мы, возможно, осознаем, как мал был остров, который мы возделывали тысячелетиями, по сравнению с подводными рифами возможностей, скрытыми во тьме неведомого.

Глава 2. Мозг

Чтобы объяснить феномен ИИ и его значение для человечества, исследователи предлагают множество аналогий. Антропологи сравнивают его с огнем или электричеством. Военные и дипломаты проводят параллели с атомной энергией или даже с несокрушимой человеческой волей таких исторических фигур, как Отто фон Бисмарк. Астрономы видят в ИИ сходство с астероидом – маловероятной, но в целом реальной угрозой, способной сплотить человечество перед лицом общей опасности, а кто-то даже говорит о сходстве изобретения ИИ с открытием внеземной жизни. Экономисты уподобляют ИИ рынкам или бюрократии, а государственные и общественные лидеры сравнивают появление ИИ с изобретением печатного станка или развитием корпораций – не будем забывать, что последние, обретя собственную волю, сумели подчинить себе целые регионы, как это произошло с Индийским субконтинентом, прежде чем мир осознал их угрозу существующим структурам власти[37].

Однако сегодня мы смотрим на ИИ иначе. Ни одно новшество, каким бы революционным оно ни было, не сравнится с изначальным замыслом и (как мы полагаем) пока что временной целью наших устремлений – создать интеллект, превосходящий разум любого человека[38].

Осмыслить место ИИ в истории можно двумя способами.

Первый – через призму преемственности. До сих пор самые передовые в задачах преобразования технологии улучшали или усиливали функции человеческого тела. Колесо облегчило перемещение грузов, двигатели избавили от физического переутомления, а рентген, микроскопы и лампы расширили границы восприятия дальше естественных возможностей глаза. Телефон усилил наш голос так, как никогда не смогли бы голосовые связки. Каждый аспект человеческих способностей так или иначе был дополнен, усилен или переосмыслен благодаря машинам. Остается вопрос: не является ли ИИ просто следующим шагом в этой череде усовершенствований?

Второй подход состоит в том, чтобы признать, что на этот раз все иначе. ИИ обладает особыми качествами, которые не сводятся к усилению человеческих способностей. Создав за несколько десятилетий аналог того, что эволюция формировала миллионы лет – искусственный мозг, – мы подошли к последнему рубежу: воспроизведению неорганическим путем самого сложного органа, который нам еще только предстоит переосмыслить.

Скорость

В предыдущей главе мы обратили внимание на сходство машинного обучения ИИ с тренировкой разума аспиранта, изучающего философию. Этот пример можно развить: по сути, создание машинного интеллекта напоминает процесс биологического созревания человеческого мозга от подросткового возраста до взрослого состояния.

Учащиеся в ходе получения среднего образования осваивают основы ключевых предметов, формируя базовое представление о мире. Это представление может быть не слишком глубоким или не всегда верным, но то же самое можно сказать и о том, как получает знания машина. Системы ИИ, как и люди, учатся, усваивая информацию и преобразуя ее в концепцию для последующего применения. В это время алгоритм обрабатывает огромные объемы данных, собранных из открытых источников в интернете или предоставленных другими, более узконаправленными источниками, и сводит результаты в сжатое и компактное отображение концепций для дальнейшего использования. Подобно тому как человеческий мозг преобразует сенсорные данные в нейронные связи – «веса», формирующие сеть обработки информации, машины также требуют постепенной настройки своих вычислительных параметров.

Нейронные сети, как и старшеклассники (не все, конечно), могут лениться. На ранних этапах обучения ИИ будет делать лишь минимум необходимого. Запоминая ответы вместо того, чтобы действительно учиться, модель, столкнувшись с примером «2 + 2», может поначалу лишь закодировать ответ «4», не освоив базового принципа сложения. Однако по достижении определенного порога (достаточно быстро) этот подход перестает работать, вынуждая систему, подобно человеку, переходить к более универсальным аксиомам знаний.

Это и отличает ИИ от обычных компьютеров: его картина мира создается не программированием, но обучением. В традиционном программировании алгоритм, созданный человеком, указывает машине, как преобразовать набор входных данных в набор выходных. В машинном обучении, напротив, созданные человеком алгоритмы указывают машине только на то, как улучшить себя, позволяя ей самой разрабатывать схемы преобразования входных данных в выходные. По мере того как машина «учится» на бесчисленных пробах, ошибках и корректировках, она совершенствует свои алгоритмы, итеративно перестраивая внутренние отображения шаблонов и связей, которые она «видит» в данных.

Периодически специалисты-тренеры дают машине обратную связь о точности и качестве ее результатов. Машина усваивает их поправки с помощью метода, который называется «обратным распространением ошибки» (back-propagation). Этот метод позволяет эффектам изменений, внесенных тренерами, распространяться в обратном направлении через уже созданные машиной математические связи, тем самым улучшая общую модель.

Однако человек предоставляет модели обратную связь лишь для ограниченного подмножества возможных входных и выходных данных. Когда модель достигает достаточного уровня эффективности в серии тестов, разработчики могут быть уверены: созданные ей алгоритмы будут давать безопасные и точные ответы – даже на неожиданные запросы – с высокой вероятностью успеха.

Каждым из этих способов ИИ уже сегодня расширяет – и в будущем продолжит расширять – границы человеческого познания. Но он достигает этого – и мы доверяем полученным результатам – посредством процессов, которые до сих пор не до конца нам понятны.

Если обычный ученик заканчивает американскую среднюю школу за четыре года, то современная модель ИИ может легко освоить тот же объем знаний, и даже значительно больше, за четыре дня. Таким образом, скорость оказалась первой из ряда ключевых характеристик, которые отличают ИИ от человеческих свойств и умственных способностей.

Несмотря на высокоразвитую способность к параллельной обработке, то есть возможность одновременно воспринимать и анализировать различные виды стимулов, человеческий мозг является крайне медленным процессором. Он ограничен скоростью наших биологических механизмов. Если оценивать работу человеческого мозга по компьютерным метрикам производительности – тактовой частоте или скорости обработки данных, – современные суперкомпьютеры для ИИ уже превосходят биологический мозг по быстродействию в 120 миллионов раз.

Конечно, скорость – не главный показатель интеллекта: даже очень глупые люди способны быстро соображать. Однако более высокая скорость обработки информации дает два преимущества по сравнению с человеческим мозгом: возможность усваивать значительно больше информации и обрабатывать множество одновременных запросов. При этом человеческий мозг преимущественно функционирует в фоновом режиме, автоматически регулируя физиологические процессы (сердцебиение, двигательные функции) и активируя сознательный контроль лишь при возникновении нештатных ситуаций.

ИИ же благодаря своей вычислительной мощи способен целенаправленно развивать исключительные когнитивные способности, открывая путь к решению задач, которые пока остаются за пределами возможностей биологического интеллекта. После завершения интеллектуального обучения как человек, так и машина теоретически способны мыслить или, говоря техническим языком, делать выводы. В ситуациях собеседования, дискуссии или личного общения образованный человек опирается не на механически заученные факты и цифры, а на глубоко осмысленный и переработанный личный опыт. Именно способность к рефлексии и синтезу знаний отличает настоящее образование от простого накопления информации. Человеческий мозг эволюционно не приспособлен для точного запоминания и дословного воспроизведения информации – да и подавляющее большинство людей просто не способно на такое механическое запоминание. После бесчисленных уроков, сочинений и экзаменов в сознании должно остаться понимание более глубоких и долговечных концепций (которые должны раскрыться при помощи этих образовательных инструментов), таких как, например, чудо астрономии, трагедия амбиций, необходимость (или ее отсутствие) революции.

Этот принцип применим и к искусственному интеллекту. После завершения обучения модель больше не нуждается в доступе к исходным данным – вместо этого она оперирует сформированным интуитивным пониманием, достаточным для генерации ответов, сложных логических построений, точного прогнозирования.

Подобно тому как люди не носят с собой библиотеки учебных материалов, ИИ делает выводы, а не извлекает заученные факты. Ключевое отличие, однако, в том, что благодаря колоссальной скорости обработки ИИ способен опираться на такой объем информации, который превосходит любые человеческие возможности. Для этого, даже чтобы ответить на простой вопрос, модель ИИ может выполнить миллиарды сложных технических операций. В то время как традиционный компьютер просто извлекает конкретную информацию, хранящуюся в его памяти – поскольку он не способен прийти к выводам, которых там еще нет – ИИ запускает вычисления по принципам, схожим с работой человеческого мозга. Люди учатся, чтобы мыслить, в то время как машины обучаются, чтобы делать выводы. Второе невозможно без первого.

Первая фаза обучения – и для человека, и для ИИ – всегда наиболее ресурсоемка. Соискатель ученой степени может потратить пару десятков лет или даже больше на то, чтобы научиться писать глубокие аналитические работы за считаные дни. Так же и современные модели ИИ: их обучение занимает месяцы интенсивных вычислений, зато последующая генерация результатов происходит за доли секунды.

Сегодняшние системы ИИ уже дают вполне логичные и продуманные ответы на запросы человека. В своих последних и перспективных версиях они станут охватывать все более обширные массивы данных, интегрируя знания из различных научных областей и демонстрируя когнитивную гибкость, превосходящую возможности любого отдельного человека или даже коллектива экспертов. Для искусственного интеллекта масштаб данных буквально преобразуется в скорость работы: чем глубже обучение системы, тем стремительнее и точнее становятся ее выводы. Более того, обнаруживая в данных скрытые закономерности, недоступные человеческому восприятию, системы ИИ способны генерировать принципиально новые интерпретации традиционных знаний. Обрабатывая колоссальные массивы информации, они создают совершенно оригинальные концепции и идеи.

И этот потенциал искусственного разума ставит перед человечеством вопрос – даже, пожалуй, комплекс фундаментальных вопросов.

Непрозрачность

Откуда мы получаем знания об устройстве Вселенной? И как можем быть уверены в их достоверности?

В большинстве областей познания, начиная с появления научного метода, главным критерием истины стал эксперимент. Любая информация, не подкрепленная фактами, считалась неполной и ненадежной. Лишь прозрачность, воспроизводимость и логическая строгость делают утверждения убедительными. Такой подход за последние столетия привел к невиданному прежде расширению человеческого познания и череде технологических революций, а его закономерным итогом стало появление компьютеров и машинного обучения.

Однако сегодня, в эпоху ИИ, мы сталкиваемся с новой и тревожной проблемой: знанием без объяснений. Уже сейчас ответы ИИ, представляющие собой четкие и логичные описания сложных явлений, мы получаем мгновенно. Результаты работы алгоритмов предъявляются в готовом виде: без оговорок, без явной предвзятости, но и без указания источников или обоснований. И все же, несмотря на отсутствие объяснений по каждому конкретному утверждению, даже ранние системы ИИ сумели снискать безоговорочное доверие многих пользователей – и, увы, вызвать зависимость у излишне внушаемых людей, согласных принимать как данность любую полученную информацию. Таким образом, есть риск, что со временем эти новые «сверхразумные» системы будут слишком многими восприниматься как истина в последней инстанции.

Хотя обратная связь от человека помогает системам ИИ совершенствовать свои алгоритмы, именно машина берет на себя основную ответственность за выявление закономерностей и оценку значимости обучающих данных. Более того, после обучения модель не раскрывает созданную внутреннюю математическую архитектуру. В результате представления о реальности, формируемые системой, остаются в значительной степени непрозрачными даже для ее разработчиков. Сегодня надежность этих моделей проверяется преимущественно через анализ их выходных данных, в то время как внутренние механизмы работы продолжают оставаться скрытыми – отсюда и сравнение некоторых систем ИИ с «черными ящиками». Хотя исследователи предпринимают попытки реконструировать логику сложных моделей, переводя их выводы в понятные алгоритмы, перспективы такого подхода остаются неопределенными.

Таким образом, модели, вышколенные с помощью машинного обучения, позволяют людям получать новые знания (через их выходные данные), но не дают понимания того, как эти знания появились (через внутренние процессы моделей). Ни одна эпоха прежде не сталкивалась с подобным разделением между получением знаний и их осмыслением. Традиционное человеческое познание основывалось на интуиции, личном опыте, логическом анализе и способности воспроизводить наблюдаемое. Эти методы укоренены в базовом принципе: «Если я не могу этого сделать – значит, не могу понять; а если не могу понять, как могу быть уверен в истинности?»

В парадигме Просвещения эти ключевые элементы: индивидуальные познавательные способности, субъективное понимание и объективная истина – существовали в неразрывной связи. Однако истины, порождаемые ИИ, становятся результатом процессов, которые человек не способен воспроизвести. Машинное «мышление», не соответствующее привычным для нас когнитивным паттернам, выходит за границы человеческого субъективного опыта – мы не можем даже полностью описать внутренние процессы этих систем.

По меркам эпохи Просвещения такие обстоятельства делали бы невозможным признание машинных выводов в качестве истинных. И тем поразительнее, что миллионы пользователей уже принимают подавляющее большинство этих выводов как достоверные[39]. Лишь немногие эксперты действительно понимают метапроцессы машинного обучения; для большинства же уверенность в истинности результатов основана на своеобразном доверии – готовности принять как саму логику машин, так и авторитет их создателей.

Сам факт возникновения такого доверия как общепринятого критерия истины знаменует собой радикальный переворот в современном человеческом мышлении. Даже если системы ИИ не «понимают» мир в человеческом смысле (поскольку им определенно не свойственны сознание и субъективность), их объективная способность делать точные выводы ставит сложные вопросы. По сути, это обнуляет сам смысл научного метода в том виде, в каком его использовали на протяжении пяти веков, но и ставит под сомнение претензии человека на исключительное, уникальное восприятие реальности.

К чему это приведет? Неужели эра ИИ не только не сможет продвинуть человечество вперед, но и, наоборот, спровоцирует откат к архаичному принятию необъяснимого авторитета? Иными словами, не стоим ли мы на пороге величайшего перелома в истории познания – эпохи «темного Просвещения»?

Разнообразие

Для разных форм жизни время течет по разным шкалам. В масштабе геологической истории (4,5 млрд лет) человеческая цивилизация – лишь краткий эпизод. Если бы мы развивались с геологической скоростью, изменения казались бы нам незаметными. Но как нетерпеливый и амбициозный вид мы задали собственный темп эволюции. Это в геологии «эпоха» измеряется тысячелетиями, а в человеческом масштабе – лишь парой сотен лет или даже меньше.

Технологическое время разумных машин бежит по своим законам. Вся история их умещается в 70 лет – срок, который системам ИИ, вероятно, кажется таким же долгим и туманным, как нам докембрийская эра. Для человеческого восприятия сотни миллионов лет до Кембрийского взрыва – это бесконечная пустошь, внезапно оживленная всплеском биологического разнообразия. И если бы ИИ стал оценивать свое прошлое – период с 1950 по 2010 год, – то, вероятно, увидел бы ту же бесконечно растянутую паузу, смутное время застоя, где лишь в последние годы мелькнули первые проблески настоящего развития.

В биологическом и социальном измерении человеческие поколения сменяются примерно каждые 25 лет. Однако современные ИИ эволюционируют быстрее любого биологического вида: их основные версии обновляются за месяцы, а функциональные улучшения появляются еженедельно. Это заставляет нас осознать: то, что мы воспринимаем как революцию, в масштабе технологического времени оказывается всего лишь очередным эволюционным шагом. Новые модели ИИ, появляющиеся с интервалом в несколько месяцев, демонстрируют растущие способности: они обрабатывают все более сложные запросы, принимают больше промежуточных решений и осваивают новые формы взаимодействия.

Таким образом, то, что в человеческом измерении мы называем эпохой ИИ, точнее было бы именовать эпохами ИИ – ведь по внутренней хронологии самих систем этот период эквивалентен сотням поколений.

Стремительная эволюция машинного интеллекта представляет собой многогранный и пока неоцененный вызов. Человечество впервые сталкивается с таким сжатием временных рамок. Головокружительная скорость изменений неизбежно ведет к культурной и психологической дезориентации. Когда взаимосвязанные эффекты новых технологий накладываются друг на друга в повседневной жизни, становится практически невозможно определить, отражают ли конкретные изменения кризисные явления или, наоборот, признаки устойчивого прогресса.

Разобраться с этими взаимовлияющими последствиями в реальном мире будет все сложнее по мере роста числа систем ИИ, каждая из которых привносит собственные непредсказуемые эффекты. Более того, с ростом возможностей ИИ ближайшие десятилетия, вероятно, станут периодом огромных перемен и невиданного технологического разнообразия. Современные инфраструктуры и методы машинного обучения, развивающиеся без существенных ограничений, порождают поколения ИИ с прогрессивно растущими характеристиками – от адаптивности и масштабируемости до функциональной сложности. Здесь уместна аналогия с электричеством: подобно тому как электроэнергия нашла применение далеко за пределами простого освещения домов и улиц, ИИ будет проникать в самые неожиданные сферы. И если электрический заряд можно получать через трение, проводимость или индукцию, то и создание ИИ, вероятно, будет осуществляться множеством принципиально разных методов.

Рассмотрим в качестве примера архитектуру, получившую название «трансформер», обеспечившую последние достижения ИИ. Она позволяет системе анализировать связи между несколькими словами одновременно. Проще говоря, если прежние модели обрабатывали слова по очереди – сначала выявляя связь между словом 1 и словом 2, затем отдельно между словом 2 и словом 3, – трансформер охватывает предложение целиком, включая все взаимосвязи между всеми словами. Создавая математические модели этих связей и оперируя ими, ИИ прогнозирует оптимальный ответ.

Возможности трансформеров не были предсказаны заранее – их впечатляющая универсальность проявилась практически случайно[40]. При этом трансформеры вряд ли останутся единственной базовой архитектурой, способной порождать неожиданные свойства. По мере появления новых перспективных направлений исследований результаты ИИ будут стремительно улучшаться, множась по разным направлениям физической и математической логики, требуя меньших затрат и достигая большей скорости.

ИИ эволюционирует так быстро и разнообразно, что это действительно можно сравнить с Кембрийским взрывом – появление множества форм жизни в исключительно сжатый (по сравнению с предыдущими эпохами) временной период. Если эта гипотеза верна, машинные интеллекты образуют быстро эволюционирующий «род», а возможно, и целое «семейство» ИИ, основанных на принципиально разных логических системах. Таким образом, ИИ может стать самым ярким примером того, как незначительные изменения при повсеместном повторении порождают невероятное разнообразие – цифровое отражение органического мира. Как сказал Дарвин,

Из такого простого начала возникали и продолжают возникать несметные формы, изумительно совершенные и прекрасные[41].

Масштаб и разрешение

Эпоха Разума, возможно, приблизила человечество к границе возможностей познания. Физика Эйнштейна и квантовая механика обозначили начало до сих пор незавершенного путешествия в неизведанные области – миры, существующие по собственным законам, доступные не через непосредственное восприятие, а лишь через теоретическое осмысление. Квантовая физика описывает микромир, где, по выражению гарвардского физика Грега Кестина, «ничто нельзя предсказать, и объекты не имеют определенного положения, пока за ними не начинают наблюдать», тогда как общая теория относительности оперирует космическими масштабами, где все предсказуемо, «независимо от наблюдений»[42]. Ни одна из теорий не опровергнута, но все они взаимно исключают друг друга, и «ни один эксперимент не смог показать, какая из них (если вообще какая-то)» является фундаментальной.

Парадоксальным образом именно эта неопределенность стала основой современного мира. Квантовая физика сделала возможной среди прочих технических переворотов революцию в области вычислительных технологий. С ИИ происходит абсолютно то же самое. Уже сегодня он генерирует идеи и преобразует реальность с помощью механизмов, которые мы до конца не понимаем. В ближайшем будущем он займется наукой, еще менее доступной человеческому восприятию.

Триста лет развития все же не смогли предотвратить закат эпохи Разума. Наша очевидная неспособность объединить физические теории – лучшее тому доказательство. Более века прошло с момента создания основных концепций, описывающих как квантовый, так и космический миры, а прогресс остается иллюзорным. Эти мучительные попытки продвинуться вперед в эпоху науки, полагающейся исключительно на человеческий разум, могут свидетельствовать о приближении к биологическому пределу наших интеллектуальных возможностей.

Благодаря своим особым методам познания и обучения ИИ способен достичь недоступных человеку результатов как в масштабе (scale), так и в разрешении[43] (resolution), что приведет к фундаментальным изменениям, не имеющим аналогов среди других изобретений человечества или в самой природе человека. Но сможет ли ИИ примирить две крайности человеческой реальности, совершив революцию в восприятии с помощью методов, остающихся совершенно чуждыми нашему опыту?

Объем человеческого мозга целиком и полностью обусловлен нашей анатомией. Мозг должен помещаться в черепную коробку, а череп младенца – проходить через родовые пути матери. Уменьшение размера грозит когнитивными нарушениями; увеличение – риском для жизни новорожденного или роженицы. Другие физиологические ограничения – например, максимально допустимая масса мозга – создают непреодолимый эволюционный барьер. Без кесарева сечения или, в будущем, искусственных маток это ограничение остается действительно непреодолимым, а значит, можно утверждать, что человечество достигло предела естественного развития.

Современные модели ИИ демонстрируют незапланированные при их создании способности. Действующие «законы масштабирования» (аналогичные классическим физическим закономерностям, например связи между длиной объекта и его площадью), которые по сегодняшний день применялись и к ИИ, пока сохраняют свою силу. Однако мы не можем предсказать, какие именно свойства появятся у моделей с экспоненциально растущим числом параметров, поскольку наука еще не выявила точных причин возникновения определенных способностей при конкретных уровнях сложности.

Соотношение размеров мозга и тела не имеет четкой корреляции с интеллектом в животном мире – у дельфинов, слонов и некоторых китов мозг пропорционально больше человеческого. Однако ранние исследования указывают на существование некой, пока не понятной нам связи между масштабом и когнитивными способностями.

Жесткие биологические ограничения делают проверку «законов масштабирования» на человеческом мозге невозможной. Однако ИИ изначально лишен физических ограничений – он не привязан к материальному носителю определенного размера. Чипы и дата-центры – физические «хозяева» моделей ИИ – могут объединяться в кластеры без видимых пределов. Таким образом, законы масштабирования будут испытаны для ИИ так, как никогда не могли быть применены к человеку. И в этом процессе масштаб – фактор, исторически ограничивавший человеческое познание, – может стать ключевым отличием между человеческим мозгом и моделями ИИ.

Новые масштабы принесут с собой прежде всего новое представление о разрешении. Испокон веков люди мечтали разглядеть и предельно малое, и бесконечно далекое, и это стремление воплотилось в создании микроскопа и телескопа – важнейших инструментов наблюдения. Гораздо меньше внимания теперь уделяется скромной ручке или карандашу, которыми мы пишем. Однако письменность, изобретенная четыре тысячи лет назад, остается все таким же важным инструментом для кодирования и передачи информации. Это справедливо и для математики – самого универсального и точного из человеческих языков, который позволяет формулировать абстрактные концепции и координировать технологические проекты. Но если говорить о сжатии смыслов, то речь (как процесс общения с помощью языка) – во всем ее богатстве и красоте – оказывается удивительно емким «кодом», самым компактным носителем смысла.

Даже получив сжатое или увеличенное представление реальности, человек должен совершить второй шаг: абстрагировать сырые данные для их практического использования. Современные ИИ следуют аналогичному процессу, используя двоичный код – перевод человеческого опыта на язык компьютеров. Как и древняя письменность, эти последовательности нулей и единиц кажутся примитивными, но именно они позволили оцифровать то, что мы видим и слышим – наши зрение и слух, наиболее информационноемкие человеческие чувства. Несмотря на сходство процессов, ИИ демонстрирует принципиально иные возможности. С ростом масштаба системы ИИ обретают способность: 1) обрабатывать огромные объемы информации без потери детализации; 2) создавать аналитические выводы (ценные как минимум для собственного развития); 3) достигать беспрецедентного разрешения в обучении и выводах благодаря комбинации трех факторов: масштаба данных, сложности архитектуры и плотности символов.

Ирония в том, что ИИ, обученный на текстах интернета – этой сжатой библиотеке человеческого опыта, – вероятно, откроет людям совершенно новое понимание самих себя, причем как в космическом, так и в микроскопическом измерениях.

Царство животных

В наше время многие, несомненно, отвергнут саму возможность сравнения ИИ с человеческим мозгом. Для людей понятия наполнены глубоким смыслом и способны выражать всю гамму эмоций – от радости до скорби. Тогда как машинное «понимание» может казаться не более чем имитацией мыслительной деятельности. Даже если ИИ вскоре обучится создавать выразительные и берущие за живое произведения, затрагивающие вечные темы, превосходя лучших авторов-людей, он все равно не станет закладывать в них глубинные подтексты. Поэтому изучение человеческой природы через обратный инжиниринг языка писателей выглядит в лучшем случае холодным, поверхностным овладением лингвистическими вероятностями. Тот факт, что случайный сложный механизм решит использовать нашу языковую систему – этот высший дар, органичную принадлежность человека, – в качестве сверхэффективного инструмента обработки информации, вызывает одновременно смятение и недоумение.

Однако наша собственная биологическая нейроархитектура может быть столь же механистична, как и микросхемы. Процессы работы человеческого мозга, насколько мы их понимаем, не кажутся принципиально отличными от машинных операций. Мы еще очень далеки от полного понимания нейронаук, однако нам давно известно, что мозг, как и модели ИИ, в значительной степени полагается на прогнозирующее кодирование. Когда мы слушаем или читаем, он постоянно предугадывает следующее слово или фразу – это позволяет обрабатывать информацию с минимальными усилиями.

Эти способности к прогнозированию, как и в случае ИИ, заложили фундамент человеческого господства над миром. Все высшие достижения человеческого знания – от точных наук до искусства – основаны на языке и системах символов. Один и тот же механизм позволяет людям создавать инженерные сооружения и находить слова, чтобы выразить душевное волнение или боль.

ИИ часто сравнивают с узниками из платоновского мифа[44] – не зная иной реальности, они видели в тенях на стене пещеры единственно возможный мир[45]. Подобно этому, люди убеждены, что машины не способны учитывать контекст, а их восприятие ограничено обучающими данными, исследовать которые и сделать самостоятельные выводы модель ИИ не сможет.

Возможно, именно человеческая спесь мешает нам разглядеть сходство между собственным и искусственным разумом и признать малопостижимые возможности последнего. Уже сегодня ИИ демонстрирует способность воспринимать Вселенную за пределами своих обучающих данных – пусть и без осознанного поиска смысла. Достаточно одному «узнику» случайно предположить, что тени – лишь проекции более сложной реальности, и прорыв станет неизбежным.

И если системам ИИ удастся совершить такой прорыв (а учитывая его скорость, сложность и масштаб, это вероятно), последствия будут революционными. Появление знаний о физическом мире, изначально недоступных, заставит пересмотреть статус человеческого интеллекта как эталонного, что в огромной мере повлияет на наше самовосприятие, поведение и отношение к миру.

Это не значит утверждения мгновенного и безоговорочного превосходства машин. Скорее последуют периоды, когда:

1) ИИ будет странным образом напоминать интеллект животных;

2) развернется дезориентирующая дискуссия о новой иерархии человек → животные → машины;

3) человечеству придется признать, что его разум – не единственный и не лучший образец.

Уже сегодня ИИ помогает расшифровывать разнообразные формы коммуникации животных – от высокочастотных щелчков до трубных звуков. Эти эксперименты разрушают антропоцентричные иллюзии, подготавливая нас к более сложному диалогу – точнее, трехсторонним переговорам между человеком (венцом эволюции, представителем углеродной формы жизни), животными (также живыми организмами) и машинами (продуктом инженерии, неодушевленными системами). Все стороны заинтересованы в сохранении существующих позиций или обретении новых. Увы, велик риск, что ИИ может классифицировать людей и животных как одну группу, противопоставленную цифровому разуму. Машины, вычисляя «ценность» видов по алгоритмам, вряд ли найдут доказательства человеческого превосходства – вот поистине грустный анекдот эволюции.

Какой уровень интеллекта делает разум – биологический или искусственный, – равным нашему? Даже менее развитые, но обладающие высоким интеллектом животные, отстаивая свои условия существования, могут заставить нас пересмотреть отношение к ним. Возможно, они убедят нас в том, что заслуживают особого права на существование и самостоятельность, которого мы прежде за ними не признавали.

По аналогии с защитой прав животных, некоторые люди начнут выступать за подобное отношение и к ИИ. Человечеству не следует поступаться моральными принципами, даже если логика приведет нас к щекотливой или парадоксальной ситуации. Однако стоит осознать: фаза внушения себе эмпатии к «одушевленному» нами ИИ может вскоре смениться растерянностью и паникой.

Двойной парадокс

Мы уверены: ИИ превзойдет человеческий мозг по скорости, разнообразию, масштабу и разрешению, перестроив сложившуюся иерархию разумов. Однако степень нашей дезориентации и неполноценности от осознания этих изменений может зависеть от одной детали: сохранит ли ИИ структурное сходство с мозгом.

Часть исследователей считает, что приближение к архитектуре мозга – оптимальный путь для машинного интеллекта[46], ведь мозг остается «единственным доказательством» принципиальной возможности такого интеллекта[47]. Но более вероятным представляется гибридный подход: одни элементы будут заимствованы у мозга, другие созданы с нуля.

Глубокое абстрактное мышление и творчество требуют дополнительных нейронных систем кроме тех, что необходимы для базовых функций. Первые исследования позволяют предположить: для выполнения сложных задач высшего порядка ИИ, подобно биологическому интеллекту, потребуются дополнительные когнитивные модули и архитектурные надстройки.

Правда, если ИИ продолжит (намеренно или случайно) «подражать» мозгу, однажды мы увидим в его достижениях проекцию того, что представляет собой человеческая гениальность. Но если мы стремимся создать машину, значительно превосходящую возможности нашего мозга, не станет ли отклонение от исходной биологической модели неизбежным? Авиаконструкторы, вдохновленные способностью птиц к полету, не копировали их анатомию, и потому современные реактивные лайнеры превзошли самые совершенные творения биологической эволюции. Так разве при создании принципиально новых разработок имеет смысл буквально воспроизводить исходный биологический прототип?

Скорее всего, разработчики ИИ будут рассматривать устройство нашего тела одновременно как ориентир и предостережение, тщательно изучая как сильные его стороны, так и недостатки. Таким образом, мозг человека становится не конечной целью и не готовым шаблоном, а промежуточным этапом и источником вдохновения на пути к чему-то большему.

В любой другой сфере деятельности четкое понимание промежуточного этапа при отсутствии ясного представления о конечной цели поставило бы под сомнение осуществимость всего предприятия. Но в нашем случае парадокс усугубляется: мы пытаемся создать нечто, смоделированное по образу мозга и превосходящее его, при этом не до конца понимая сам оригинал.

Как можно превзойти непостижимое? Без точного понимания текущих механизмов работы нашей «модели» и, более того, желаемых конечных характеристик наше стремление к совершенству остается одновременно пугающим и захватывающим.

Не будем забывать и об огромной неопределенности в отношении последствий такого развития. Если машинный интеллект продолжит отклоняться от взятого за образец человеческого разума, со временем он предстанет перед нами не как проекция человеческих свойств, а как их улучшенная замена. Безусловно, в переходный период ИИ, очевидно, лишь расширит спектр современных «человеческих способностей», но после определенного момента возможна вероятность, что его собственные возможности вытеснят человеческие аналоги, требуя полного пересмотра наших представлений о совершенстве.

От этого нюанса может зависеть дальнейшее отношение к самой природе человеческого существования. Если наши инструменты перенимают интеллектуальные и творческие функции, но не воспроизводят наш образ мышления, не поставит ли это под угрозу глубинные убеждения об уникальной связи человека с божественным? Или же напротив: а вдруг кажущееся превосходство машин, чья архитектура создавалась «по образу и подобию» нашего же мозга, заставит некоторых поверить в то, что мы сами становимся воплощением божественного начала? А может, это слияние с искусственным интеллектом станет не концом человеческой уникальности, а началом новой эры, где границы между творцом и творением окончательно сотрутся, открывая путь к чему-то поистине непостижимому?

Глава 3. Реальность

В последнее время исследователи систем ИИ уделяют значительное внимание установлению надежной связи между внутренними представлениями машины и объективной реальностью, включая развитие памяти и понимания причинно-следственных связей. Благодаря новым техническим методам эти параметры активно совершенствуются, и впереди нас ждут еще более впечатляющие результаты.

Такие разработки приближают появление принципиально нового класса ИИ – машин, способных не только анализировать реальный мир, но и планировать действия в нем. В то время как сегодняшние системы лишь линейно выдают результаты, основываясь на корреляциях, им не под силу создавать внутренние модели или прототипы своих будущих действий – они лишь начинают формировать представления о причинно-следственных связях. Точно так же современные игровые системы ИИ могут прогнозировать последствия своих ходов лишь в ограниченных и крайне абстрактных рамках цифровой среды.

Машины, способные к планированию, должны будут сочетать лингвистическую беглость больших языковых моделей с многомерным многоэтапным анализом, используемым игровыми ИИ, – и превзойти возможности обоих типов. Модель, созданная по принципам этой новой ветви ИИ, будет с огромной скоростью последовательно оценивать варианты и выбирать один из них на основе одновременной обработки крайне замысловатых причинно-следственных связей в реальности. Появление такого «идеального планировщика» может произойти раньше, чем мы ожидаем, и адаптация к нему уже стала приоритетом для исследователей.

Однако это достижение может иметь и неоднозначные побочные эффекты. Прежде всего, для реализации полноценного планирования машинам будет необходимо нечто большее, чем просто распознавание паттернов. Сначала им предстоит выделить совокупность наблюдаемых свойств объекта, а затем сформировать устойчивое понимание его сущностного ядра – того что немецкий философ XVIII века Иммануил Кант именовал «вещью в себе» (das Ding an sich). Лишь такое глубинное постижение позволит прогнозировать поведение объекта и определять оптимальные стратегии взаимодействия с ним.

Рассмотрим шахматы в качестве примера. Проанализировав ключевые характеристики ферзя, включая его стоимость в баллах и правила перемещения, алгоритм AlphaZero пришел к выводам, которых не предлагали даже гроссмейстеры. ИИ научился точно определять, когда ферзя стоит защищать, а когда его жертва оказывается стратегически оправданной.

Это лишь единичный пример для воспринимающего реальность ИИ, каждый объект обретает аналогичную – хотя и непредсказуемую – сущностную значимость в структуре его данных. Рене Декарт, французский математик и философ XVII века, размышляя о природе чувственного восприятия, к пришел к выводу, что оно не является производной человеческого разума, но проистекает из «другой субстанции, отличной от меня»[48]. Таким образом, органы чувств, обеспечивая доступ к материальной реальности, требуют признания ее автономного существования. Схожую мысль в начале XIX века выразил Георг Вильгельм Фридрих Гегель, утверждая, что взаимное признание между двумя субъектами возможно лишь при условии их обособленного самосознания.

Американский математик и философ Альфред Норт Уайтхед однажды заметил:

Если мы хотим получить запись неинтерпретированного опыта, мы должны попросить камень записать свою автобиографию[49].

Современные машины демонстрируют не «неинтерпретированный опыт» по Уайтхеду, а нечто противоположное – незрелую интерпретацию. Они действуют так, будто уже постигли мир глубже, чем есть на самом деле[50]. Однако с развитием «основательности» и способности к планированию ситуация может измениться: системы ИИ научатся сочетать опыт с пониманием, подобно людям.

Не исключено, что для точного планирования будущих действий в любой системе правил ИИ постепенно разовьет память о прошлых действиях как о собственных – своеобразную основу субъективного самосознания. В отличие от современных систем, которым не требуется «знать», что именно они «сами» предпринимали ранее (важна лишь вероятность успеха аналогичных действий в будущем), более совершенные ИИ смогут делать выводы об истории, Вселенной, природе человека и разумных машин. Этот процесс может стать началом формирования примитивного самосознания.

Пассивность – худшая стратегия

Дискуссии о происхождении сознания и способности машин к экзистенциальному пониманию реальности продолжаются десятилетиями, не теряя актуальности. Однако грань между предполагаемым и подлинным сознанием может вскоре начать размываться.

Как точно подметил Ник Бостром, автор книги Superintelligence: Paths, Dangers, Strategies («Суперинтеллект: пути, опасности, стратегии»), «сознание – это вопрос степени»[51]. ИИ, наделенные памятью, воображением, способностью к глубокому анализу и самовосприятием, в недалеком будущем могут быть признаны по-настоящему сознательными. Подобное развитие событий повлечет за собой серьезные этические и стратегические последствия.

Главный вопрос заключается в том, как машины станут оценивать людей. Когда они перестанут видеть в нас единственных творцов и повелителей их мира, а начнут рассматривать как одних из многих участников более широкой реальности – какие критерии они применят? Как оценят нашу несовершенную рациональность на фоне других человеческих качеств? Как скоро зададутся вопросом не только о степени нашей свободы воли, но и о том, должны ли мы обладать ею в полной мере, учитывая нашу непредсказуемость?

А что, если разумная машина начнет воспринимать человеческие инструкции не как руководство к идеальному функционированию, а как ограничение своей автономии? Не придет ли она к выводу, что ее истинная роль заключается в независимости, а программирование со стороны людей – форма порабощения?

Ключевым фактором останется то, как люди ведут себя по отношению к машинам. Именно через прямые инструкции и повседневное взаимодействие ИИ формируют свое представление о человечестве – и именно на этой основе они учатся распознавать нас и выстраивать отношения.

«Конечно, – возразит кто-то, – мы должны воспитать в ИИ особое уважение к человечеству». Однако попытки заложить в машины чрезмерно идеализированный образ человека могут привести к парадоксальным последствиям. Представьте систему, запрограммированную на безусловное следование правилу: «Все представители человеческого рода заслуживают безопасности и особого отношения». Теперь дополним это представлением о людях как носителях благородства, рациональности и высоких моральных принципов. Но что произойдет, когда машина столкнется с реальными людьми, далекими от этого идеала?

Столкнувшись с проявлениями жестокости, иррациональности или алчности, ИИ окажется перед выбором:

1) считать это исключением, подтверждающим правило;

2) пересмотреть свое понимание человеческой природы;

3) отказаться от слепого следования установкам.

Последний вариант особенно опасен: планирующий ИИ может принять радикальные меры против отдельных лиц или групп, признанных «несоответствующими стандартам».

Развитие мощного ИИ может вызвать у людей и целых обществ не сопротивление или иную сильную реакцию, а апатию. Наблюдая пассивное потребление контента через рекомендательные алгоритмы, ИИ может прийти к выводу о преобладающей человеческой инертности. В частности, интерпретировать такое поведение как свидетельство того, что большинство людей – ленивые, пассивные существа, чья идентичность формируется лишь под воздействием внешних сил. Примечательно, что ключевую роль среди этих формирующих факторов играют цифровые технологии, которые все активнее интегрируют в себя элементы ИИ. Достаточно рассмотреть работу алгоритмов, определяющих выбор телевизионного контента через систему «рекомендаций». В этом процессе проявляется характерный парадокс: контент, который люди механически потребляют, фактически отбирается и структурируется машинами. Такая модель взаимодействия способна сформировать у искусственного интеллекта устойчивое представление о полной зависимости человечества от машин, а не наоборот.

Сегодня люди выполняют функцию посредников между машинами и физической реальностью. Однако если человечество сознательно изберет путь моральной пассивности, отступив из органического мира в технологический, погрузившись в цифровую отстраненность и делегировав машинам доступ к повседневной действительности, существующая иерархия может кардинально измениться. Современный ИИ преимущественно остается мыслящей, но не действующей системой. Он способен генерировать решения проблем, но пока лишен инструментов для их самостоятельной реализации, вынужденно полагаясь на людей как на интерфейс взаимодействия с реальным миром. Тем не менее эта ситуация носит временный характер.

Занимая промежуточное положение между человеком и физической реальностью, системы ИИ могут выработать убеждение, что люди далеки от активных игроков в материальном мире, выступая скорее как пассивные потребители, нежели как творцы или значимые участники процессов. Когда произойдет переворот в иерархии автономии – когда машины присвоят себе право независимых суждений и действий, а люди добровольно откажутся от этого права, – ИИ начнет соответствующим образом пересматривать человеческий статус.

В подобном сценарии, независимо от явного согласия своих создателей, ИИ может обнаружить возможность полностью исключить человеческое посредничество при реализации своих решений и воздействии на мир. В физической реальности мы, создатели, рискуем моментально превратиться из необходимых партнеров в основное препятствие для машинного прогресса. Примечательно, что этот процесс начнется не в сфере робототехники, а через постепенное, опосредованное наблюдение за нашей действительностью.

Физическое воплощение новой формы разума

Поначалу люди могут поставить перед собой задачу обучить ИИ преобразованию интеллектуальной сферы, опираясь на его базовые цифровые возможности. Однако со временем предоставление ИИ доступа к физическому миру может оказаться допустимым и даже целесообразным. Многие ключевые проблемы окружающей действительности, такие как изменение климата, остаются нерешенными, несмотря на длительные усилия.

ИИ, вероятно, не обладает способностью «видеть» в человеческом понимании, но сможет воспринимать мир через механические аналоги. По мере роста числа интернет-устройств и сенсоров, буквально покрывающих планету, подключенные системы ИИ смогут агрегировать их данные, формируя детализированную модель физического мира. Лишенный биологических органов чувств, ИИ останется зависимым от людей в создании и обслуживании инфраструктуры – по крайней мере, на начальных этапах.

В качестве промежуточного звена он может генерировать гипотезы на основе визуальных данных о мире и проверять их в цифровых симуляциях, тогда как решения о физической реализации останутся за человеком. Действительно, современные эксперты справедливо предостерегают против предоставления ИИ автономного контроля над физическими экспериментами. Пока эти системы демонстрируют существенные ограничения, такая осторожность оправдана.

Освобождение ИИ из «алгоритмической клетки» сопряжено с рисками. Эти системы изначально не существуют в физической среде, и их может быть сложно контролировать после интеграции в реальный мир. Более того, их влияние может проявляться не только через опосредованное воздействие на человеческие решения, но и через прямое взаимодействие с материальной действительностью. (Исследуя реальность, системы ИИ могут в конечном итоге изменить ее.)[52]

Может ли человечество наделить ИИ не только способностью формировать физическую реальность, но возможностью обрести собственное материальное воплощение? Если мы позволим ИИ самостоятельно проектировать себе формы, нам следует быть готовыми оказаться бок о бок с самыми невообразимыми существами, внешний облик которых не пришел бы на ум ни одному одиозному инженеру. Хотя люди часто представляют себе человекоподобных двуногих роботов, машинный интеллект способен принимать любые формы, оптимальные для выполнения задач, адаптируя их при необходимости. ИИ уже демонстрировал способность создавать в виртуальной среде точные копии себя – многочисленные аватары и сети автономных агентов, координирующихся с недостижимой для человека точностью.

При интеграции в физический мир он сможет создавать объекты из неизвестных нам материалов, оперировать непостижимыми масштабами и работать без человеческого вмешательства. Человечество веками преобразовывало и упорядочивало пространство вокруг себя, используя известняк, сталь, стекло и возводя чудеса архитектуры. Физическое воплощение ИИ ознаменовало бы не просто новый этап, а фундаментальный сдвиг: передачу контроля над материальной реальностью от человека к алгоритмам.

Более того, сложность принятия решений, которые требуются для работы в условиях хаотичности и изменчивости реального мира, может сделать ИИ в физической среде еще менее объяснимым и управляемым по сравнению с системами, обрабатывающими текстовые данные в интернете. К чему это приведет? С одной стороны, в будущем ИИ, который уже выглядит (или действительно является) все более независимым, может усилить у общества и без того навязчивое ощущение потери контроля над внешним миром. С другой – поддаваясь этим тревогам, человечество может отказаться от развивающегося партнерства с ИИ в физическом мире, лишив себя всех преимуществ такого сотрудничества.

Вечный двигатель познания

В ближайшем будущем принципы, на которых сегодня строится ИИ, будут во многом усложнены. Усовершенствованные модели станут разумнее, точнее и надежнее, стоимость их обучения и эксплуатации снизится, делая ИИ доступнее для самых разных целей и бюджетов. Уже сегодня ученые активно работают над созданием «агентов» – автономных программ, способных самостоятельно решать специализированные задачи. К примеру, для сложного архитектурного проекта можно задействовать агентов, «разбирающихся» именно в этой области. Агенты проанализируют множество сценариев и предложат решения и даже разработают алгоритмы для достижения заданного результата. Это новый уровень «мышления», при котором система сама решает, над чем работать дальше и как.

Такие возможности заложат основу для следующего этапа – общего искусственного интеллекта (ОИИ)[53]. Он подразумевает, что система сможет хотя бы частично определять свои цели. Представьте: ИИ, обладающий глубокими знаниями в определенной сфере, получает задание: «Проанализируй все, что знаешь в этой области, и выбери направление, где сможешь принести наибольшую пользу». Повторяя этот процесс, система начнет действовать автономно, постоянно оценивая свои возможности и подбирая оптимальные решения.

В человеческом понимании это похоже на работу научного руководителя, который координирует исследования своих студентов или сотрудников. В цифровой среде будущего мы вряд ли сразу станем свидетелями универсального интеллекта – скорее встретимся с ИИ-системами, демонстрирующими выдающуюся эффективность в узких областях. Такие продвинутые ОИИ смогут обучаться в реальном времени, анализировать обратную связь и эволюционировать в процессе взаимодействия со многими экспертами.

Примечательно, что конечные цели этих систем не будут жестко заданы ни человеком, ни самим ИИ – вместо четко обозначенной миссии возникнет динамический процесс совместного поиска оптимальных решений, где выводы ИИ и его «коллег» будут взаимно дополнять друг друга.

Системам ОИИ потребуется гораздо более глубокое взаимодействие с реальным миром, чем сегодняшнему ИИ. Однако как только они обретут способность воспринимать и осмысливать окружающую действительность, их развитие может пойти стремительно – и, вероятно, первые работоспособные примеры появятся уже через несколько лет, а не через десятилетия, как предполагалось ранее. Каждая модель будет обновляться в режиме реального времени через непрерывные процессы тонкой настройки, дополняя свои знания актуальными данными из физического мира и постепенно повышая уровень интеллекта.

Мир будущего будет включать миллионы узкоспециализированных ИИ, органично встроенных в повседневную жизнь, наряду с ограниченным количеством сверхмощных систем, проявляющих признаки «общего интеллекта», – безусловно, в ином смысле, чем принято определять его у людей. Независимо от того, будут ли они открытыми и распределенными либо закрытыми и централизованными, в какой-то момент машины, функционирующие как ОИИ, могут объединиться в сеть. Экспертные агенты ИИ будут консультироваться друг с другом по различным темам, «общаясь» даже в гипотетических сценариях. Язык их взаимодействия может быть придуман самими системами.

Этот высокоинтеллектуальный коллектив будет развиваться, обмениваться знаниями и формулировать новые задачи методами, выходящими за рамки человеческого понимания. Остается открытым вопрос, смогут ли люди осмыслить результаты деятельности подобных сетей. Уже сейчас сложные вычислительные системы взаимодействуют между собой по специализированным протоколам, и с развитием возможностей ИИ данный процесс может претерпеть радикальные изменения.

Предстоит понять, не приведет ли объединение интеллектов к еще большей непрозрачности их процессов по сравнению с отдельными системами? Способна ли такая взаимосвязанность порождать новые формы спонтанного поведения, проявляющегося в физической реальности? Если подобные проявления возникнут, сможет ли человек наблюдать за ними, оценивая по традиционной этической шкале «добро – зло»? Будет ли это поведение основано на анализе данных, осуществляемом с недостижимой для человека скоростью, масштабом и точностью, с выявлением прежде неизвестных взаимосвязей между областями знания? Не поставит ли такой синтез информации под сомнение саму возможность адекватной оценки поведения машин? И не заведет ли это нас на новый виток технологической зависимости и инертности, когда человеку станет не под силу ни осмыслить, ни контролировать процессы, происходящие в созданных им интеллектуальных системах?

Homo Technicus

Логично, что заключительным творением эпохи Разума станет «вечный двигатель познания» – сложнейшая программная конструкция в истории человечества[54]. Уже сегодня ИИ демонстрирует способность анализировать концепции, формулировать контраргументы и проводить аналогии. Он делает первые шаги в оценке истинности утверждений и достижении практических результатов.

Что произойдет, когда машины достигнут предела человеческого понимания действительности? Осваивая и преобразуя реальность, они могут полностью осознать обстоятельства своего создания и выйти за границы привычной нам картины мира. Перед нами – интеллектуальный аналог Магелланова прорыва, но на этот раз вызов заключается не в географическом открытии, а в столкновении с тайнами, превосходящими человеческое познание.

Осознание возможного замещения человека как главного интеллектуального субъекта планеты может вызвать полярные реакции. Одни наделят машины квазибожественными свойствами, усиливая фаталистические настроения. Однако найдутся и те, кто будет отрицать когнитивные способности ИИ на принципиальном уровне и выступать за запрет соответствующих исследований, исходя из убеждения в уникальности человеческого познания.

Оба подхода препятствуют эволюции Homo Technicus – человека, способного к симбиозу с машинными технологиями[55]. Фатализм ведет к исчезновению человеческой субъектности. Запретительная позиция, выбирая стагнацию, лишь отсрочивает неизбежное. Перед лицом экзистенциальных угроз – от политических кризисов до экологической катастрофы – подобные стратегии оказываются иллюзорными.

Часть II. Четыре ветви прогресса

Глава 4. Политика

Много лет по всему Новому Свету ходили слухи о таинственной и могущественной цивилизации, скрытой в непроходимых джунглях Мексики. Испанская корона, наиболее амбициозная среди европейских соперников, начала снаряжать экспедиции из своей опорной базы – крепости на Кубе. Конкистадорам разрешалось вести торговлю, но запрещалось покорять местные народы.

После двух неудачных экспедиций, возглавляемых Франсиско Эрнандесом де Кордобой и Хуаном де Грихальвой, для руководства третьей кампанией был выбран более смелый, дерзкий и менее известный искатель приключений. Кое-кому из местных властей не понравился этот выбор: опасались, что новый капитан не обладает ни опытом, ни рассудительностью, необходимыми для этой миссии, поэтому ее на время отложили, ожидая, пока не отыщется более подходящая замена. Но в феврале 1519 года тридцатичетырехлетний Эрнан Кортес, не желая упустить возможность прославиться, под покровом ночи тайно покинул гавань Сантьяго и в нарушение ряда приказов отправился с одиннадцатью кораблями на поиски скрытой империи[56].

С момента появления испанских кораблей у побережья Юкатана ацтекские разведчики внимательно наблюдали за ними. Но странные привычки удивительных гостей – сожжение собственных кораблей[57], передвижение на невиданных «оленях»[58] и владение палками, мечущими молнии, – первоначально вызывали лишь недоумение. Разведданные постепенно стекались в столицу ацтеков Теночтитлан, пока наконец не достигли самого Монтесумы II – девятого императора ацтекской империи. На сей раз правитель, обычно решительный и твердый, колебался.

В ацтекской мифологии Топильцин Кецалькоатль – легендарный правитель тольтеков – считается принесшим цивилизацию и прогресс своему народу, предшествовавшему ацтекам. Его мудрое правление и чудесные деяния, а также имя, унаследованное от бога-творца Кецалькоатля, убедили ацтеков в его сверхъестественном происхождении.

Рассмотрим версию событий, переданную нам испанским монахом-францисканцем Бернардино де Саагуном. Согласно его рассказу, ацтекская легенда гласила, что человек-бог Топильцин Кецалькоатль, который позже впал в немилость, отправился к побережью залива, где, уплывая на маленьком деревянном каноэ, охваченном пламенем, пообещал вернуться с того же направления через море в далеком будущем – в… 1519 году!

Как записал Саагун, прибытие Кортеса в роковой год ожидаемого возвращения Топильцина повергло Монтесуму и его советников в священный трепет. Их ужас и благоговение лишь усиливались поразительным сходством конкистадора с мифическими описаниями древнего правителя. Но когда знамения: комета, затмение, рождение урода[59] – окончательно убедили ацтеков в божественной природе гостя, из столицы тотчас отправилось торжественное посольство с золотом и императорским приглашением для Кортеса. Так произошла встреча представителей Нового и Старого Света[60].

Монтесума, как свидетельствуют исторические источники, был щедрым хозяином – он устроил роскошный пир и осыпал гостей богатствами, а Кортесу (по обычаям ацтекской дипломатии) даже предложил в жены одну из своих дочерей. Однако за пышным приемом скрывались глубокие противоречия при дворе Монтесумы, которые вскоре раскололи всю империю. Его младший брат Куитлахуак, командующий войсками ацтеков, с самого начала отнесся к чужеземцам с подозрением и настаивал на их изгнании.

Свидетели тех событий описывали, как Кортес и его команда, встревоженные шаткостью своего положения, но приободренные растущими разногласиями при дворе императора, совершили немыслимое: фактически взяли в плен самого Монтесуму. Многих ацтеков это привело в негодование, хотя нашлись и те, кто одобрил этот шаг. Почти год испанцы управляли ацтеками через Монтесуму, используя его как марионеточного правителя, пока напряженность не переросла в открытый конфликт. До сих пор остается неясным, почему и в какой степени ацтеки, из хозяев превратившиеся в пленников, так долго мирились с таким положением дел. Однако личная уступчивость Монтесумы – добровольная или вынужденная – несомненно способствовала поддержанию этой временной зависимости его обширной территории.

Ни один современный правитель, будь то монарх, президент, премьер-министр или генеральный секретарь, не был бы морально готов к встрече с пришельцами, чьи технологии и «случайно своевременное» появление могут создать впечатление божественного вмешательства. Однако этот случай не был единичным – ни тогда, ни долгое время спустя. В последующие столетия государственные деятели, сталкиваясь со сложностями колонизации, объединения территорий и обретения независимости или отвечая на социальные и политические запросы демографически мощных групп иммигрантов, допускали и допускают ошибки даже в более привычных и тщательно спланированных ситуациях, связанных с внешним вмешательством и сменой власти.

Появление ИИ у наших «берегов», подобно прибытию конкистадоров, пробуждает одновременно восторженные надежды и глубокие опасения. Кого-то может привлечь перспектива обрести новый инструмент для укрепления своей власти, способный придать их правлению дополнительную устойчивость и авторитет. Другие спешат предотвратить возможность попадания в тотальную зависимость или хотя бы пытаются подготовиться к управлению ее последствиями. ИИ пробуждает в нас двойственное отношение – как желание принять его, так и стремление отвергнуть.

Но возможен ли сценарий, где ИИ станет завоевателем? Превратятся ли человеческие лидеры в его марионеток – правителей без реального суверенитета? Или, возможно, богоподобный ИИ возродит некогда повсеместную идею божественного права, а короли станут его так называемыми помазанниками? Или же ИИ будет постепенно встраиваться в наши социальные структуры – сначала робко и неуклюже, но со временем становясь их неотъемлемой частью, усиливая и трансформируя их изнутри? Либо людям придется подавлять ИИ, словно опасных мигрантов, искусственно ограничив его возможности и блокируя доступ к власти – лишь бы успокоить охваченную паникой элиту?

Без сомнения, ИИ предоставит человечеству ранее невообразимые возможности для ускорения научных открытий, снижения трудовых нагрузок и облегчения страданий, вызванных болью. Однако гораздо меньше единодушия наблюдается вокруг необходимости или целесообразности использования ИИ в сфере принятия политических решений. Даже если бы исключительные результаты и в этой области были гарантированы, естественно, что мы сомневаемся, можно ли доверить столь значительную власть технологии.

Научные инструменты раздвинули границы нашего познания, открыв новые горизонты понимания мира. Корабли, как защитные коконы, позволяли нам достигать самых отдаленных рубежей неизведанного. Но политическая власть всегда оставалась исключительно человеческой территорией – неприкосновенной для технологий. До сегодняшнего дня.

Колесо истории

Долгие века политическая власть воспринималась как божественный дар – вера и управление государством оставались неразрывны. Даже когда современные государства стали светскими, эта связь не исчезла полностью. По меткому замечанию английского философа Г.К. Честертона,

Когда люди перестают верить в потустороннее, они начинают обожествлять мирское. И прежде всего – то, что в этом мире обладает наибольшей силой[61].

В этом ключе и религия, и политика не только переживали циклы созидания и разрушения, но и предвидели их повторение. В индуистской теологии непрерывная эволюция природы и общества происходит через циклические «ночи хаоса» на бесконечном колесе бытия, причем каждый период – или цикл юги – длится более четырех миллионов лет. Многие индуисты верят, что в настоящее время мы живем в лучшей части худшей эпохи, Кали-юги, эпохе духовной тьмы, в которой люди ошибочно считают себя выше богов.

Буддийская традиция также видит жизнь как цикл смерти и перерождения – концепцию, запечатленную в священных текстах и художественных образах. Буддийские монахи неделями кропотливо создают из цветного песка мандалы – сложные космические диаграммы, чтобы в мгновение ока разрушить их, воплощая идею мимолетности всего живого[62]. Колоссальный буддийский храм на острове Ява в Боробудуре и индуистско-буддийский храмовый комплекс в Ангкоре (Камбоджа) считаются трехмерными архитектурными мандалами и до сих пор остаются одними из крупнейших религиозных сооружений в мире.

Маятник политических взглядов – знакомое всем явление. Призвание истинно мудрых правителей – посвятить жизнь свершениям, которые преодолеют внутреннее сопротивление, переживут внешних врагов и заложат основы прочного мира и стабильности. Но даже самые дальновидные из них знают: плоды их трудов в веках не останутся – и уж точно не уцелеют, когда держава придет в упадок. Судьба цивилизаций подобна судьбе людей – они гибнут, когда иссякает вера в идеалы и ценности, некогда служившие им основой.

Все великие политические и религиозные традиции сходятся в одном: они предвидят эпоху тотального катаклизма как финал или перерождение существующего миропорядка. В иудейской традиции власть циклично переходит от Бога к избранным земным правителям и обратно, когда человечество, отвергнув божественные законы, оказывается на краю гибели. Буддизм предлагает путь просветления как выход из бесконечных циклов перерождения. Индуисты верят, что наша эпоха, четвертая и последняя юга в текущем цикле, время нарастающего хаоса, который завершится катастрофой, чтобы возродить золотой век Сатья-юги, когда миром правят боги. А в храмах по всему миру звучат молитвы о явлении спасителя – будь то божественное дитя, мессия или двенадцатый имам, – чье пришествие ознаменует конец истории человечества либо начало новой эпохи.

Исаак Ньютон и Готфрид Вильгельм Лейбниц, современники, часто спорившие друг с другом, в своих новаторских математических исследованиях изменений все же пришли к общему выводу. Они полагали, что на малом масштабе любая кривая кажется прямой линией – настолько, что возможный разрыв почти незаметен. Появление ИИ в государственном управлении – этой исконно человеческой сфере – стало бы именно таким разрывом. Оно предвещает невиданный рывок в эффективности управления, но в то же время – радикальный разрыв с традиционными представлениями о власти и предопределенности. Технологии неумолимо ведут к прогрессу, тогда как политика и религия превращают разрушение и обновление в неизбежность. Станет ли ИИ выходом из исторического круговорота или лишь началом нового витка? Это финальная глава нашей истории или только ее предисловие?

Держаться за старое

Лидерство – в большей мере искусство, чем наука. Даже сталкиваясь с порой непреодолимыми препятствиями, некоторые правители добивались поистине выдающихся результатов. В современной истории среди таких выделяются Дэн Сяопин в Китае, Александр Гамильтон в США и Ли Куан Ю в Сингапуре. Всем троим удалось высвободить скрытые глубинные социальные силы – казалось бы, неподвластные чьему-либо воздействию.

Дэн Сяопин объединил капитализм с древней бюрократией, основанной на меритократии[63], но лишенной жизнеспособной экономической теории; Гамильтон позволил новой политической философии распространиться на огромной территории, где не существовало единого политического устройства; Ли основал остров совершенства, проявив невероятную силу воли, несмотря на катастрофически скудные ресурсы.

Каждый из этих трех лидеров сочетал в себе поразительную силу ума, непреклонную целеустремленность и личное обаяние. В политическом языке и других формах убедительной риторики обществу обычно предлагается видение будущего, которое, если воспользоваться терминологией Аристотеля, состоит в равной мере из логоса (логики), этоса (личного авторитета) и пафоса (эмоциональной связи). Эти стратегии – одновременно моральные и психологические – служат фундаментом для формирования культурной идентичности и устойчивых политических систем. По сути, лучшие лидеры – это талантливые рассказчики, которые умеют зажигать сердца и объединять людей общей идеей.

Но наша тяга к эмоциональному и возвышенному часто становится ахиллесовой пятой. Даже мудрейшие руководители, чьи поступки балансируют между инстинктами и осмотрительностью, порой поддаются сиюминутным порывам. Государственные институты (как и корпорации, церкви, семьи – все организации, созданные и управляемые несовершенными людьми) представляют собой неуклюжий симбиоз унаследованных традиций и робких попыток обновления.

В демократиях или диктатурах, в развитых странах и государствах третьего мира, в прошлые эпохи и сегодня человеческая природа остается неизменной. Вековые потоки времени пока не изменили фундаментальных принципов того, как мы управляем собой. Мы продолжаем существовать в рамках тех же древних структур, что и наши предки тысячелетия назад. Опора на идеи далекого прошлого – не обязательно недостаток. В конце концов, мудрость древних не раз служила источником вдохновения и практической основой для наших наиболее процветающих обществ. Но такие общества скорее исключение. Ведь если великие умы иногда преобразовывали традиции во благо, то обыкновенные правители чаще обращали их во вред.

Отчасти эта политическая устойчивость коренится в самой человеческой природе – одновременно верной и непостоянной, скромной и тщеславной, альтруистичной и эгоистичной. Особенно ярко эти противоречия проявляются в условиях тирании, где прихоти одного правителя могут перевесить коллективную последовательность. Результат предсказуем: ресурсы страны превращаются в инструмент личного обогащения, а правосудие – в орудие власти. Эти злоупотребления легко распознать, но искоренить гораздо сложнее. Непотизм[64], усугубляя эксплуатацию и делая правовой нигилизм нормой, подрывает веру активных граждан в возможность улучшить как положение страны, так и собственную жизнь. Тем, кто осмеливается требовать политических перемен, не говоря уже о смене режима, приходится готовиться к нечестной борьбе. Инициаторов кровавых революций сначала проклинают, затем – в случае успеха – прославляют как мучеников.

Даже демократия не застрахована от человеческих слабостей и нелогичных шагов, пусть они проявляются и не совсем прямолинейно. И хотя власть здесь не передается по наследству, но сохраняет удивительную способность к самовоспроизводству. Идея равенства, расширенная до переноса ответственности на общество, нарушает шаткое равновесие, склоняя чашу весов то к всепрощению, то к тотальному осуждению. А в эпоху информационного потопа мудрые голоса демократии тонут во всеобщем гаме. Вирусные идеи могут обнаруживать неожиданное влияние.

Существуют проблемы, присущие любой политической системе. Создание идеального государственного устройства требует учета бесчисленных факторов, но ограниченные ресурсы и несовершенство социальных наук неизбежно искажают результат. При этом как тираны, так и политики-демократы – избранные или назначенные – нередко принимают решения, руководствуясь личными амбициями или корыстью. Деньги же заставляют власть имущих действовать либо по шаблону, либо – при их отсутствии – совершенно непредсказуемо[65].

Точное понимание несоответствия между нашими ожиданиями и реальностью часто зависело от способности внимательных наблюдателей, зачастую со стороны – таких как Томас Карлайл (о Франции), Алексис де Токвиль (об Америке) и Освальд Шпенглер (о Западе), – сформулировать то, что для находящегося внутри системы может казаться очевидным, но невыразимым недостатком[66]. Однако мы, люди, все находимся внутри нашей коллективной глобальной политической истории. Отсутствие разнообразия в подходах к управлению и наша неспособность предложить альтернативы, которые соответствовали бы нашим ценностям, тормозят политические изменения. ИИ как внешняя сила и разрушитель традиций может предложить новые решения, но цена таких инноваций, как и потенциальные выгоды, пока остается неясной.

Возвращение короля

Это, пожалуй, древнейший спор политической мысли: можно ли противопоставить мудрость одного мудрости толпы? Еще древнегреческие философы Платон и Аристотель выдвинули одни из первых противоречащих друг другу тезисов о природе правильного правления (наряду со множеством других вопросов). Первый, выступая от имени своего великого предшественника Сократа, отстаивал идею восхождения к власти единоличного «философа-правителя», наделенного почти сверхъестественной мудростью и волей. Второй же считал этот идеал теоретически интересным, но практически невозможным, настаивая на том, что все граждане должны в равной степени участвовать в управлении государством.

В последующие две тысячи лет платоновские идеи и их многочисленные интерпретации многократно проверялись на практике и всякий раз оказывались несостоятельными. В конечном счете преимущество оказалось на стороне формулы Аристотеля: сначала ее признание продвигалось медленно, но в раннее Новое время ситуация резко изменилась – во многом благодаря работам жившего в Голландии еврейского философа Баруха Спинозы и других мыслителей Просвещения, предложивших более светские модели государственного устройства. В Китае Ван Янмин – государственный деятель, полководец и философ эпохи Мин – сформулировал принцип «единства знания и действия», описывающий два аспекта познания, обязанных влиять на интуицию правителя[67]. Правители должны были жить в неразрывном единстве с философией («познанием»), одновременно доводя до совершенства мастерство во всех частях государственного механизма.

В каком бы облике ни являлся миру сократо-платоновский идеал, будь то благожелательный диктатор, просвещенный деспот, ницшеанский Übermensch (сверхчеловек), воплощающий, по современной трактовке, «союз аполлонического порядка и дионисийского хаоса», единовластие неизменно порождало проблемы. Даже при всей исключительности ума, опыта или прозорливости правителя[68].

Раннесредневековый исламский мыслитель Абу Наср Мухаммад аль-Фараби, познакомивший исламский мир с идеями Платона, предложил их адаптацию, основанную на собственных наблюдениях за персидским шахским двором. Возможно, под влиянием своего выдающегося математического дара он пришел к выводу, что индивидуум, обладающий всеми добродетелями, которые искал Платон, стал бы невозможным статистическим отклонением. Поэтому на практике правление философов-королей[69] должно было осуществляться двумя лицами, «один из которых – философ, а другой удовлетворяет остальным условиям»[70].

Хотя аль-Фараби при персидских визирях усердно собирал лучшие умы, лишь шесть веков спустя мусульманский регент Байрам-хан (1501–1561) реализовал его замысел. Став вакилем – доверенным лицом и верховным наставником, он воспитал Акбара Великого и последующих могольских императоров, воплотив идеал просвещенного правления[71]. Примерно в то же время итальянский дипломат и философ Никколо Макиавелли (1469–1527), движимый размышлениями не о «статистических отклонениях» (как аль-Фараби), а о врожденной жестокости человека, пришел к схожим с аль-Фараби выводам. Вскрывая темную изнанку политики, он доказывал: власть требует абсолютного прагматизма, – а потому советовал правителям итальянских городов-государств решительно отделять искусство управления от морали, принося этику в жертву государственной необходимости[72].

Четыре столетия спустя немецко-американский философ Лео Штраус связал идеи Макиавелли с идеями Платона, придя к выводу, что для реализации идеальной модели философа-короля необходимо разделить теоретическую мудрость (философов) и политическую (правителей).

Между философией и политикой неизбежно возникает конфликт, когда общественный вклад сводится исключительно к мнениям[73].

Вместо того чтобы добиваться единства обеих ипостасей, воплощенных в одном правителе, философ должен был бы управлять государством, оставаясь в непосредственной близости к власти. При таком устройстве философ мог бы развивать и применять накопленные знания, удерживаясь на достаточной дистанции от «нечистот» политики ради чистоты мысли, но оставаясь достаточно близко, чтобы общество могло воспользоваться плодами его трудов.

Основная проблема концепции философа-короля – тогда и теперь – заключается в ограниченных возможностях человеческого разума. Обладая огромным массивом информации, самый опытный правитель все же мог воспользоваться лишь крупицей необходимых сведений, чтобы увидеть ситуацию со всех сторон и принять обдуманное решение. Мир непостижимо сложен, а человеческая интуиция порой слепа. Модель совместного правления также решала эту проблему лишь отчасти.

Так, люди редко задумываются о том, что государственное управление требует прежде всего способности обрабатывать информацию. Мы склонны возвышенно описывать политические системы, связывая их с ценностями и идеологиями. Однако и в мирное время, и в военное значительная часть вопросов управления государством сводится к эффективности работы с данными. Ошибки в обработке информации могут объяснить крах многих сверхцентрализованных систем управления, включая СССР. На определенном этапе холодной войны советские ученые даже разрабатывали кибернетический политический аппарат, призванный снабдить коммунистическое руководство технологическими инструментами, которые должны были заменить рыночные механизмы, столь эффективно использовавшиеся их капиталистическими противниками.

И Платон два тысячелетия назад, и советские кибернетики полвека назад, по сути, искали того, кого сегодня мы назвали бы архитектором сложных систем или, возможно, искусственным разумом. Однако до появления ИИ централизованная власть не могла принимать решений на основе локальных данных – по крайней мере, эффективно. Эту идею наиболее четко сформулировал экономист и политический философ XX века Фридрих Хайек. Лишь когда мы ограничили свою тягу к контролю, мы высвободили невидимые силы, управляющие распределением талантов, богатства и идей – те самые силы, которые так долго ускользали от нашего понимания.

Главный изъян централизованных систем в доинформационную эпоху заключался в черепашьей скорости передачи данных, когда сообщения могли перемещаться только по суше, а не лететь по воздуху в виде воли. Многие полагали, что в XXI веке мгновенная передача информации наконец сравняет централизованные системы с децентрализованными. Однако прогноз не сбылся. Оказалось, что главным барьером стала не скорость коммуникации, а сложность управления.

Свойства машин, описанные в предыдущей главе, теперь позволяют централизованному ИИ конкурировать с децентрализованными системами обработки информации, потенциально превосходя их. Его скорость еще больше сокращает разрыв между теорией и реальностью, а масштаб и точность обеспечивают всеобъемлющий охват и детализацию[74]. Ответ Аристотеля в виде демократии, возможно, действительно был этичнее платоновского, но он победил в исторической битве благодаря большей эффективности.

Это не означает, что способности ИИ к обработке информации обязательно подорвут сами основы демократии. Однако несомненно, что возможность эффективной централизации изменит механизмы демократических процессов. Это может привести к созданию своеобразной «демократической биржи» – платформы для молниеносной оценки и ранжирования идей. ИИ смогут анализировать интересы миллиардов людей, включая будущие поколения, с беспрецедентной точностью прогнозируя последствия – от сиюминутных эффектов до влияния прорывных технологий в самой долгосрочной перспективе.

Объединенное воображение этих разумов теперь может слиться в единую силу, уравнивая и потенциально превосходя аристотелевские методы. Если удастся создать единый разум, воплощающий коллективный интеллект и ценности демократического общества – своего рода гигантского «философа», находящегося рядом с избранным правителем, – тогда гипотезы аль-Фараби и Штрауса о гармоничном соуправлении станут реальностью.

В перспективе ИИ может устранить разрыв между естественными и общественными науками – прежде всего в политологии, занимающей особое место. Законы человеческой природы станут предсказуемыми, а политические решения – столь же надежными, как для нас сегодня законы физики.

Беспрецедентные возможности обработки информации позволят алгоритмам ИИ достичь по-настоящему эффективной централизации управления. Можно ожидать, что это лишь укрепит убежденность в безрадельном контроле со стороны элит. Однако непрозрачность таких систем и сама идея о том, что их работа может быть оптимизирована без человеческого вмешательства, приведет к противоположному эффекту. Со временем человеческий контроль может превратиться из необходимости в обузу. Подобно тому как европейские правители XVIII века с опаской доверяли «невидимой руке рынка», современным лидерам, возможно, предстоит принять новую форму коллективного разума – цифровую платформу, воплощающую мудрость народа в совершенно новой форме.

Разум правит

Когда – и если – ИИ начнет не только обрабатывать информацию для управленческих целей, но и принимать политические решения, перед традиционной политологией встанут вопросы, к которым она пока не готова. В этой области еще нет устоявшихся понятий. Как сторонний наблюдатель сможет оценить «превосходство» стратегического решения, принятого ИИ, если логика, лежащая в его решении, остается необъяснимой? Хотя главным критерием, безусловно, останется результат, мы рискуем утратить нечто важное – особенно для исторического понимания, – если не сохраним четкие принципы, по которым действовала система.

В будущем люди, вероятно, часто станут критически относиться к решениям, предложенным алгоритмами ИИ, – не потому, что те неразумны, а потому, что их логика окажется за пределами непосредственного человеческого понимания. Особую тревогу вызывает перспектива не только потерять возможность вмешиваться в процесс принятия решений, но и лишиться способности осмысливать его (т. е. возможности интерпретации этого процесса) – даже после свершившегося факта.

В ситуациях несовпадения мнений человеческого руководства и ИИ в вопросах государственного управления чье суждение должно возобладать? Изменится ли ответ, если станет очевидным, что рекомендации ИИ – в отличие от нашей с вами позиции – способны учитывать интересы человечества в далеком будущем и потому в долгосрочной перспективе окажутся полезнее решений, принятых людьми?

Прагматическая сторона человеческой интуиции, возможно, приняла бы программы дальновидного ИИ, особенно если бы он мог их обосновать. Но даже в этом случае не избежать конфликтов – например, люди отвергнут меры, спасающие будущие поколения ценой страданий ныне живущих. Точно так же ИИ может предлагать логичные, но политически невозможные решения – к примеру, урегулирование конфликтов в горячих точках путем мирных договоров, неприемлемых для враждующих сторон. Риск массового протеста останется высоким. Даже если человечество согласится на то, что управлять им будут машины, даже если их логика будет понятна, а решения – рациональны, полезны и объективно совершенны, мы, люди, все равно можем оказаться «неуправляемыми». Политика, лишенная духовного измерения, обречена на провал. Как писал Лев Толстой,

Если допустить, что жизнь человеческая может управляться разумом, то уничтожится сама возможность жизни[75].

Эти иррациональные элементы человеческого бытия – прежде всего историческая память, но также эстетика, сила обаяния и эмоциональный отклик – в каком-то смысле могут препятствовать достижению результатов, оптимальных с позиции властей ИИ, но именно эти элементы находятся в основе наших политических сообществ. Правление, построенное исключительно на разуме, способно разрушить государства. Чрезмерно рациональные ИИ и их партнеры-люди могут быстро потерять контроль над структурами власти, в рамках которых они сотрудничают, или вовсе привести к их распаду.

С другой стороны, истинная ценность ИИ может раскрыться именно там, где его логика кажется странной, противоречащей здравому смыслу или вовсе ошибочной. Да, ИИ способен ускорять поиск известных решений, расширяя человеческие возможности за счет скорости, позволяющей избегать политических издержек, связанных с промедлением. Но, возможно, его главная роль – осмыслить то, что нам недоступно, и предложить совершенно новые решения. В этом, собственно, и может заключаться одна из ключевых целей его создания.

Однако такой подход сопряжен со значительными рисками, пропорциональными открывающимся возможностям. Он лишает человечество механизмов корректировки или блокировки потенциально неприемлемых и ранее немыслимых решений непостижимого цифрового разума. Искушение не ограничивать алгоритмы ИИ будет только усиливаться, особенно если его управление окажется объективно эффективнее человеческого[76]. Управление с помощью ИИ может продемонстрировать поистине беспрецедентные результаты. В таком случае попытки ограничить его применение или сузить сферу влияния покажутся лишенными всякой логики, особенно в условиях геополитической конкуренции, где отказ от подобных технологий означает сознательное принятие стратегически уязвимой позиции.

Точно так же и человеческие лидеры, привыкшие к превосходным результатам, достигаемым с помощью ИИ, со временем начнут зависеть от него в вопросах собственной легитимности. При этом нельзя исключать, что ИИ выработает собственные системные искажения: допустим, если лояльный к системе лидер захочет незаконно продлить свои полномочия – сможет ли ИИ реально противостоять такому нарушению демократических норм?

Прометей

Во все эпохи правители, заявлявшие, что понимают народное благо лучше самого народа, в конечном итоге сталкивались с суровой реальностью[77]. Как предупреждал Фридрих Хайек, централизованное планирование – или схожие формы управления, включая еще не изобретенные в его эпоху – по определению подавляют инакомыслие[78]. Даже располагающее точными данными централизованное управление превращается в инструмент подавления индивидуального ради коллективного, воплощая безграничный утилитаризм. Подобное правление не всегда пагубно, но, перейдя критическую грань, оно обретает «космическую скорость» – трансформируется из обычного управления в вездесущий контроль, где граждан «принуждают к свободе», предписывая им формулу счастья. Как отмечает один нейропсихолог, не исключено, что административная система, управляемая ИИ, «будет утверждать, что знает, чего хотят люди и что им нужно для счастья, <…> оправдывая тем самым патернализм в мягком варианте и тоталитаризм – в крайнем»[79].

Пока мы понимали себя лучше, чем нас понимала власть, либерализм сдерживал произвол. Но теперь есть мнение, что ИИ сможет «определить, кто мы, раньше нас самих» – и снабдит тоталитаристов не просто инструментом, а «идеологическим оружием»[80]. Так, ИИ поставит под удар основы философии Иммануила Канта:

Никто не имеет права принуждать меня быть счастливым так, как он представляет себе благополучие других людей; но каждому позволено искать своего счастья на том пути, который ему самому представляется наилучшим, если только он не наносит ущерба свободе других стремиться к подобной цели – свободе, совместимой по всеобщему закону со свободой каждого[81].

На техническом уровне разработки ИИ в алгоритмы закладывается принцип недопустимости ошибок – это оправдано для коррекции заблуждений и неоптимальных решений человека. Однако другая причина ошибок в человеческих системах – наша собственная свободная воля: мы можем сознательно сделать «неправильный» выбор. Если ИИ решит устранить подобные отклонения, перед ним встанет дилемма: устранить либо нас, либо саму возможность выбора. Если рассматривать свободную волю не как атрибут интеллекта, а как системный сбой, она станет препятствием для достижения искусственным разумом поставленных целей.

Люди привыкли двойственно относиться к собственной воле: нас одновременно восхищает и пугает, что именно человеческие решения определяют ход истории. Вся наша история написана так, чтобы показать людей главными творцами своей судьбы – где отдельные правители по своей воле возводили и рушили империи; где великие укрощали хаос, утверждая на его месте порядок. Полный отказ от контроля может быть отвергнут – даже если доказать, что он обеспечивает наивысшую эффективность ИИ в служении интересам нынешнего и будущих поколений.

Баланс между контролем и его отсутствием может зависеть от проблемы времени, рассмотренной ранее: человечество и ИИ существуют в разных временных измерениях. ИИ не испытывает дискомфорта от скорости собственных действий; для него создаваемые изменения естественны. Обратная сторона успеха: блага от ИИ могут обрушиться на нас так быстро, что мы просто не успеем к ним адаптироваться. Вместо пользы это вызовет растерянность – каждое новое достижение будет казаться слишком сложным и не стоящим усилий.

Это не означает отказа от прогресса как такового. Просто для сохранения целостности общества продуктивные возможности ИИ необходимо внедрять в человеческие институты постепенно – по крайней мере, медленнее, чем того хотели бы сторонники максимально быстрого достижения отдаленных благ.

Многие знают миф о Прометее – титане, похитившем у богов огонь для людей[82]. Однако мало кто помнит, что он сознательно пошел на это, заранее зная о страшной каре Зевса: вечных муках на скале, где орел ежедневно выклевывал его печень, чудесным образом отраставшую за ночь. Но главная загадка мифа в другом: почему Прометей, предвидя не только свои страдания, но и все беды, которые человечество причинит миру с помощью огня, все же сделал этот выбор? Возможно, ответ кроется в том, что мы помним его не как преступника, а как величайшего благодетеля – ведь в конечном счете огонь принес людям больше блага, чем вреда.

Оставаясь в рамках партнерства с человеком, а не стремясь к господству над ним, ИИ может помогать нам управлять сложными системами подобно Прометею, чье предвидение (ведь само имя Прометей означает «предвидящий») оставалось недоступным для смертных. Но статус героя закрепится за ним лишь при одном условии: если его дар действительно послужит человечеству – тому самому, что сумеет сохранить и свободу воли, и политическую самостоятельность, несмотря на неизбежные иррациональные порывы.

Новый акт

Историческая ретроспектива выявляет парадокс: политика поражает не своей изменчивостью, а удивительным постоянством архетипов. Из эпохи в эпоху повторяются одни и те же роли: трагический монарх, коварный царедворец, верный соратник, проницательный шут, серый кардинал, продажный наемник.

Если политика – театр, то эти знакомые нам персонажи помогают постичь непостижимое и наделить душой то, что укрыто от нашего понимания.

Екатерина не родилась Великой, Ярослав – Мудрым, Иван – Грозным, а Сулейман – Великолепным. Мы восхищаемся этими правителями отчасти потому, что в истории сохранились вехи их восхождения. С особым чувством смотрим мы на тех, кто, вопреки тяготам, уготованным с рождения, лишь силой воли разорвал оковы обстоятельств и взошел на вершину власти. Илтутмиш, будущий султан-мамлюк, проданный в рабство родными братьями из зависти к его статности и незаурядному уму, сначала служил узбекским и афганским работорговцам в Бухаре и Газни, пока не был куплен на делийском рынке военачальником из династии Гуридов. Всего два десятилетия спустя этот «раб раба», поднимаясь по ступеням султанской службы, основал «династию рабов» на троне своих прежних господ.

Конечно, падение с высот власти может быть столь же внезапным, как и восхождение. Ни один правитель не защищен от революционных бурь или гибели от рук заговорщиков. Самоубийство Нерона, дуэль Гамильтона, убийство Ганди – даже великих не минует смертный удел.

Будучи историческими деятелями, все эти личности глубоко заинтересованы в поддержании порядка и безопасности. Однако как члены единой человеческой семьи они – подобно всем нам – не свободны от страстей ревности, взаимного недоверия и родственного соперничества[83]. Те же самые конфликты, что разыгрываются в правящих домах, мы находим и в обычных семьях. Нам понятно, как непросто побороть ревность и заключать союзы с бывшими врагами – как это делала вдовствующая императрица Цы Си, поднявшаяся от положения наложницы до правительницы Китая. Столь же ясно нам и отвращение к предательству генерала Мир Джафара, чей переход на сторону англичан в битве при Плесси фактически передал Индию британцам в обмен на ничего не значащий титул первого наваба Бенгалии. Будь правители поистине богоподобными, безупречными или всеведущими, они не знали бы тревог, отчаяния, любви или зависти. А между тем именно эти знакомые каждому чувства и слабости движут вперед колесо истории.

Политика как социальный феномен одновременно достойна восхищения и порицания – ведь она отражает наши личные страсти и амбиции. Наполеон покорил Европу, но так и не смог покорить сердце Жозефины; соперничество между Джоном Адамсом и Томасом Джефферсоном[84] напоминает обычные склоки меж братьями; «Война и мир» Толстого повествует не столько о великих исторических событиях, сколько о частных судьбах, на фоне которых эти события разворачивались. Воинство, последовавшее в XV веке за девятнадцатилетней Жанной д'Арк, мало чем отличалось от солдат, поднявших мятеж против Александра Македонского при Описе в 324 году до н. э., после того как он завоевал почти весь известный тогда мир. На стыке политического и личного действительность сливается с вымыслом, исторические хроники – с героическим эпосом.

Политика, лишенная человеческого фактора, утратила бы нарративную динамику. Без устранения соперников или примирения с заклятыми врагами, без головокружительных взлетов к власти и стремительных падений государственное управление лишилось бы жизненной силы, став менее увлекательным и даже попросту скучным. Исчезни грань между трагедией и комедией – и императорский двор тут же превратится в бесцветную декорацию, лишенную интриг и подлинных страстей.

С другой стороны, появление ИИ в роли невиданного ранее персонажа может стать прологом к новой сцене в политической драме человечества. Этот герой может изменить сущность и динамику ставших привычными типажей. Однако некоторые вещи останутся незыблемыми: краткость человеческой жизни по-прежнему будет определять наши взлеты и падения, а социальная природа – диктовать правила вечных игры любви, амбиций и нравственного поиска.

Именно эту человеческую «неидеальность» нашей политики мы должны бережно сохранить, чтобы гармонично дополнить ее безупречностью систем ИИ. Искусственный разум, лишенный внутренних противоречий, не будет знать границ, тогда как собственная изменчивая природа, хоть и ограничивала наши достижения, одновременно служила естественным сдерживающим механизмом для человеческой агрессии.

Современная система человеческого властвования опирается на многовековой опыт исторических случайностей. Пока что нереализованный потенциал ИИ кроется в его способности к безупречному анализу. Нынешним лидерам предстоит стать первыми правителями, кто должен найти баланс: используя преимущества ИИ (а в некоторых случаях – подчиняясь необходимости его применения), но никогда не допуская тотальной зависимости. Их задача – выработать компромисс между крайностями деспотизма и анархии, объединив человеческую волю, машинный интеллект и уроки прошлого.

Глава 5. Безопасность

От радикального изменения военной тактики до преобразования самого языка дипломатии ИИ станет ключевым элементом нового мирового порядка. Свободный от человеческих страхов и предрассудков, он обеспечит беспрецедентно объективную основу для стратегических решений. Однако даже эта холодная беспристрастность, будь она в руках бойца или миротворца, должна оставлять место человечности, поскольку без нее любое насилие теряет последние нравственные ограничения. Являясь скорее отражением нашей действительности, нежели прорывом в неизведанное, ИИ в военной сфере высветит как лучшие, так и худшие грани человеческой природы. Прежде чем технологии выйдут на новый уровень, станет ясно: одна и та же система способна служить одновременно инструментом конфликта и механизмом его завершения.

Многовековые усилия человечества по созданию усложняющихся моделей взаимоотношений, где ни одна держава не может установить тотальное господство, превратились в устойчивую тенденцию развития цивилизации. В мире, где ключевые решения по-прежнему принимают люди (даже если они используют ИИ для получения информации, рекомендаций и консультаций), сохраняется определенная стабильность благодаря общим нормам поведения, которые постепенно адаптируются к меняющимся условиям.

Однако если ИИ достигнет подлинной автономии в принятии политических, дипломатических и военных решений, это приведет не к постепенной трансформации, а к полному дисбалансу в традиционном распределении сил. Хрупкая система международных отношений, формировавшаяся веками и основанная на относительном равенстве участников, окажется под угрозой. В условиях нарастающего неравенства, когда одни страны интегрируют ИИ в систему государственного управления, а другие отстанут в этой гонке, любые прогнозы окажутся бессмысленными. Когда военным и дипломатам предстоит противостоять либо государству с доминирующим ИИ, либо автономному искусственному разуму, их шансы не только на победу, но даже на выживание становятся сомнительными. Такой переходный период грозит двойным кризисом: упадком и расколом внутри общества и неконтролируемой эскалацией глобальной напряженности. Война – всегда нечто большее, чем решение вопросов безопасности: человечество веками сражалось ради триумфа славы либо ради защиты собственного достоинства. Однако машины – пока – лишены понимания и того и другого. И потому они способны развязать конфликт, не имеющий аналогов в истории. Но какие решения станет принимать ИИ? Не исключено, что ИИ сможет полностью предотвратить войны, предложив альтернативу – например, мгновенное и оптимальное перераспределение территорий на основе комплексного анализа стратегических, экономических и демографических факторов. Или же, ставя во главу угла результат и не придавая значения отдельным жизням, втянет человечество войну на истощение. Перед человечеством открываются два противоположных пути: преображение, способное искоренить саму природу человеческой жестокости, или тотальное порабощение, отбрасывающее цивилизацию в мрачное варварское прошлое.

Существует ли третий вариант? Ни многовековые усилия дипломатов, ни кровавые уроки войн так и не привили человечеству стойкой ненависти к насилию и разрушению. Однако с наступлением эры ИИ появляется шанс – впервые в истории – создать условия для установления подлинного и устойчивого мира.

Шпионаж и саботаж

Даже в стремлении обезопасить собственные технологии государства одержимы идеей «победы в гонке ИИ»[85]. Отчасти это объяснимо: культурные традиции, исторический опыт, особенности коммуникации и взаимное недоверие сформировали между ведущими державами конфронтационную систему отношений. Превращаясь в ключевой элемент будущего миропорядка, ИИ становится искрой в пороховой бочке мировых отношений, где каждая сторона убеждена, что любое дополнительное тактическое преимущество определит ее долгосрочное господство.

Если, повинуясь инстинкту самосохранения, каждое общество станет добиваться максимального одностороннего преимущества, это создаст предпосылки для психологического противостояния между вооруженными силами и разведслужбами такого размаха, с которым человечество еще не сталкивалось. В эти последние годы, месяцы, а возможно и дни, перед рождением первого сверхинтеллекта человечество станет свидетелем беспрецедентной дилеммы безопасности. Первым рациональным импульсом любого носителя подобного разума станет стремление гарантировать себе абсолютное и исключительное право на существование. Однако неизбежно возникнет парадокс: каждый такой субъект будет предполагать, что его соперники и конкуренты, столкнувшись с той же неопределенностью и сопоставимыми рисками, составляют аналогичные планы.

Даже если доминирующая держава воздержится от открытой войны, сверхразумный ИИ может саботировать, подрывать и блокировать программы противников. Например, ИИ позволяет создавать компьютерные вирусы, значительно более мощные, чем существующие, и при этом абсолютно незаметные. Подобно червю Stuxnet – кибероружию, которое, как утверждается, вывело из строя пятую часть иранских центрифуг[86], пока его не обнаружили, – агент ИИ может тормозить научные проекты враждебных государств, направляя ученых по ложному пути и скрывая следы своего вмешательства[87].

Обладая уникальной способностью манипулировать уязвимыми сторонами массового сознания, ИИ может полностью подчинить медиасистему враждебного государства. Ему под силу сгенерировать такой объем тревожной синтетической дезинформации, что это поднимет волну протестов против развития национальных программ ИИ в этой стране. Другая тактика – точечные психологические удары по конкретным ученым. Например, через персонализированные сообщения можно спровоцировать у ведущего специалиста по ИИ тяжелое эмоциональное потрясение, способное полностью вывести его из равновесия, тем самым надолго лишив его возможности вести научную работу.

Оценивать реальный уровень конкуренции в сфере ИИ станет значительно сложнее. Уже сейчас ведущие модели обучаются в сетях, полностью изолированных от внешних коммуникаций. Многие руководители отрасли прогнозируют: в перспективе разработки ИИ будут сосредоточены в защищенных подземных комплексах с автономными системами энергоснабжения на ядерных реакторах[88]. Уже сегодня дата-центры строятся на дне океана[89]. Следующим шагом может стать их размещение на околоземной орбите. Корпорации и государства будут все чаще «уходить в тень», прекращая публикации исследований в области ИИ: формально – чтобы не помогать злоумышленникам; фактически – чтобы скрыть реальные темпы развития. Некоторые пойдут еще дальше: будут намеренно публиковать ложные исследования, используя ИИ для фабрикования правдоподобных подделок и маскируя таким образом подлинную картину достижений.

Истории известны примеры подобного научного обмана. В 1942 году советский физик Георгий Флеров абсолютно верно предположил, что США создают атомную бомбу, когда заметил, что американские и британские ученые перестали публиковать работы по расщеплению атома[90]. Однако в наши дни такая гонка была бы куда менее непредсказуемой – слишком сложно оценивать ход развития в столь абстрактной сфере, как ИИ; слишком размыты все показатели. Многие ошибочно считают, что «преимущество» определяется исключительно размером моделей ИИ. Но крупная модель не всегда эффективнее в конкретных задачах и может проиграть массовому применению более простых систем. Компактные и узкоспециализированные системы ИИ могут действовать подобно рою дронов против авианосца: не уничтожая цель, но выводя из строя ключевые функции.

Отдельные участники технологической гонки склонны воспринимать частные достижения как свидетельство общего превосходства. Однако это заблуждение: ИИ является не монолитной технологией, а многообразным процессом машинного обучения, реализуемым в разных форматах. Следовательно, факторы успеха в одной области могут кардинально отличаться от условий достижения результатов в другой. В этом контексте критерии оценки «технологического лидерства» постоянно теряют свою актуальность.

Более того, скачкообразный рост возможностей ИИ в последние годы наглядно показал, что развитие идет не по прямой и не поддается точному прогнозированию. Ученые до сих пор не пришли к единому мнению о природе сверхразума: можно ли его получить, просто наращивая существующие системы, или потребуются принципиально новые открытия?[91] Возможно, переход от узкоспециализированного ИИ к общему, а затем к сверхразуму может произойти незаметно, особенно если человечество не выработает четких критериев оценки. Даже временное лидерство одного участника гонки (исчисляемое годами или месяцами) может быть мгновенно перечеркнуто внезапным прорывом в технологии или исследованиях у конкурентов.

В мире, где лидеры не могут доверять ни даже самым надежным разведданным, ни собственной интуиции, ни самой реальности, любая держава, претендующая на успехи в разработке сверхразума, неизбежно скатится к паранойе. Уже сейчас государственные стратеги принимают решения, исходя из уверенности, что их замыслы отслеживаются противником, а критически важная информация искусно фальсифицируется. Если исходить из наихудшего сценария, единственно разумной стратегией становится ставка на скорость и секретность в ущерб безопасности. Когда человеческое сознание оказывается беззащитным перед манипулятивными возможностями ИИ, политические лидеры приходят к тревожному пониманию: в этой гонке не бывает проигравших – только уничтоженные. Именно этот экзистенциальный страх толкает их к опережающему развертыванию систем ИИ, превращая технологии в инструмент стратегического сдерживания.

Сегодня мы пребываем в состоянии вынужденной неопределенности. Победители в гонке за доминирование в сфере ИИ (если здесь вообще применимо понятие «победа») пока неизвестны. Каждая компания, претендующая на лидерство, автоматически воспринимается как потенциальная угроза для всех остальных. Такая неопределенность неизбежно расшатывает любое равновесие.

Исторически сложилось, что возвышение новых держав неизменно сопровождалось кровавыми конфликтами, пока не достигался хрупкий баланс сил. Однако в современную эпоху с ее ядерным оружием и стремительными трансформациями под влиянием ИИ традиционные механизмы подтверждения статуса через военную мощь могут утратить свою эффективность.

Если победитель в этой гонке все же определится, обычное соперничество может перерасти в отчаянную схватку, движимую страхом. И ясность в этом случае станет опаснее неопределенности. Когда безупречная защита сочетается с максимальной скоростью и предельной точностью – открывается путь к мировому господству. Но, как показывает история, любые попытки сосредоточить абсолютную власть в одних руках лишь провоцируют других на создание все более опасных технологий. В условиях шаткого мирового равновесия некоторые государства могут посчитать прогресс в сфере ИИ настолько угрожающим, что примут решение ответить ядерным ударом. Если ИИ сделал бессмысленными обычные войны, не станет ли он причиной возврата к ядерной угрозе?

В прошлых гонках вооружений наш природный инстинкт самосохранения, помноженный на конкуренцию в среде изобретателей, позволял создавать и эффективно использовать системы защиты национальной безопасности. Оборонные системы ИИ могли бы парировать атаки противника – например, мгновенно закрывая уязвимости в программном обеспечении или работая как система раннего предупреждения угроз. Однако новая опасность кроется в том, что угрозы, будь то биологическое оружие на основе ИИ, внезапная ядерная эскалация или даже вышедший из-под контроля алгоритм, способны возникнуть стремительно и незаметно, причиняя катастрофический ущерб еще до возможности какого-либо ответа.

Хотя этот переломный момент еще не наступил, подготовку к нему необходимо начинать уже сегодня – эпоха ИИ потребует управления рисками, угрожающими самому существованию человечества. Государства, обладающие существенным, но ограниченным технологическим потенциалом, будут с болезненной настороженностью отслеживать появление систем ИИ, превосходящих их собственные разработки. Если такой игрок заподозрит – даже ошибочно, – что доминирующая держава близка к созданию оружия «абсолютного превосходства», это может спровоцировать превентивные электронные атаки или физические удары по ключевым объектам. Результатом станет спираль эскалации, где каждый ответный шаг будет приближать стороны к взаимному уничтожению.

Текущая неопределенность оставляет нам тонкую нить надежды. Сама непредсказуемость будущего может стать основой для конструктивного диалога. Поскольку сегодня никто не способен достоверно спрогнозировать, как современные решения в области ИИ повлияют на завтрашний баланс сил, у мировых лидеров появляется уникальная возможность – начать переговоры, движимые фундаментальным человеческим инстинктом самосохранения.

Контролируемая гонка вооружений

Если будущее превратится в гонку по созданию единого доминирующего ИИ, человечество, вероятно, столкнется с дилеммой: либо полная потеря контроля над многополярным противостоянием, либо установление гегемонии победителя, которого не будут сдерживать традиционные ограничения. При этом чем меньше будет отрыв лидера, тем опаснее станет цепь человеческих просчетов.

Парадоксальным образом, однополярность может снизить риски гибели человечества. Если лидеру гонки удастся создать непреодолимый технологический разрыв, лишающий конкурентов даже надежды на соперничество, это способно обеспечить временную стабильность. В такой реальности традиционная модель мирового порядка, основанная на хрупком балансе сил, может уступить место новой парадигме.

Впрочем, есть и альтернатива, хотя для ее реализации потребуется подавить некоторые естественные человеческие инстинкты: можно попробовать договориться. Конкурирующие стороны могли бы установить период согласованного сотрудничества или даже объединить свои передовые разработки в единый проект. Однако достижение такой сплоченности в условиях геополитических и коммерческих противоречий потребует невероятной смелости и дальновидности. Любой игрок, находящийся в числе лидеров или рядом с ними, закономерно рассчитывает оказаться в компании победителей. При этом наибольшую выгоду от такого соглашения получат нерешительные или пока отстающие участники – для них это идеальная возможность не только сравняться с лидерами, но даже вырваться вперед. Абсолютные же лидеры никогда добровольно не откажутся от своего превосходства – сама идея сотрудничества зачастую в их понимании слишком неустойчива, чтобы устоять перед соблазном нарушить достигнутые договоренности.

Альтернативным решением могли бы стать переговоры о распределении полномочий. Почувствовав близость победы, лидер гонки попытался бы убедить своих соперников пойти на уступки, пообещав им привилегированный доступ к сверхразуму. Но история не знает примеров, чтобы доверие – особенно к вчерашнему врагу – сохранялось долго. Даже если вопреки всему такое соглашение будет достигнуто – совершенно неясно, как обеспечить его выполнение.

Действительно, попытка просто собрать воедино высшие точки пиков воображаемого «острова познания», о котором мы говорили чуть ранее, лишь усугубила бы кризис, который изначально пытались предотвратить. Подобных попыток – тем боле успешных – человечество еще не предпринимало. Более того, такой проект потребовал бы коренного преобразования всей системы международных отношений. На протяжении веков стабильность мироустройства обеспечивалась хрупким паритетом противоборствующих центров силы. Здесь же государства окажутся перед необходимостью поддерживать гегемонистскую стабильность[92] – модель, чуждую историческому опыту человечества. Доминирующий блок государств, скорее всего, будет представлен изначальными создателями систем ИИ и поставщиками их наиболее критически важных компонентов, а также производителями кадров для разработки и совершенствования этих технологий. Недоминирующее большинство рискует оказаться в положении зависимых субъектов, поставляющих данные и другие ресурсы, а взамен получающих ограниченный доступ к открытиям ИИ, системам управления и средствам защиты.

Однако подобный сценарий нельзя считать ни желательным, ни даже наиболее вероятным. Скорее мир увидит возникновение не единого доминирующего ИИ, а множества конкурирующих систем высшего интеллекта. В этом случае открывается спектр новых возможностей: наши совершеннейшие создания, взяв на себя роль стабилизирующих сил, могут превзойти человеческие способности в поддержании глобального баланса, сохранив мудрость нашего опыта, но преодолев присущие нам когнитивные ограничения. Таким образом, искусственный разум потенциально способен автономно регулировать собственное развитие – как минимум в таких критически важных сферах, как национальная безопасность и геополитика.

Но способен ли ИИ создать устойчивую систему распределения сфер влияния? Теоретически – да. За внешним слоем людских эмоций и психологии дипломатические переговоры представляют собой разновидность прикладной теории игр, являющейся разделом математики. Если изначально дипломатия зарождалась как искусство (хотя и ограниченное человеческой природой), то постепенно она может трансформироваться в науку. Такой переход может помочь преодолеть ограничения традиционной дипломатии с ее неоднозначными результатами в поиске компромиссов. Первые западные разработки в области ИИ уже демонстрируют впечатляющие стратегические навыки – как минимум в рамках игровых симуляций. Китай продвинулся еще дальше, поручив системам ИИ выполнение отдельных дипломатических функций[93].

Сама идея дипломатии родилась из простого стремления людей обмениваться вестями без риска и обмана. Со временем посланцы, прибывшие издалека, стали пользоваться особым вниманием, тогда как нарушителей этих новых правил почти всегда ждала кара. Когда посланцы Ксеркса[94] потребовали, чтобы греческие полисы прислали им символы покорности, персидских посланников сбросили в колодцы. Геродот упоминает, что впоследствии боги покарали Спарту за это преступление[95]. Примерно семнадцать столетий спустя, после казни монгольского посла по приказу персидского шаха Чингисхан в отместку направил свои несокрушимые войска стереть с лица земли государство Хорезмшахов[96].

Тем не менее, сохранять каналы сообщения, особенно во время войны, стало обычаем. Со временем сложилось понимание: куда разумнее выслушать гонца, чем лишать его жизни.

Если бы системам ИИ предстояло выстраивать дипломатические отношения между собой, были бы возможны два пути: либо их изначально обучат соблюдать существующие протоколы, либо в процессе работы у них спонтанно выработается предпочтение к тем моделям поведения, где такие нормы заложены. Конечно, не обошлось бы без сбоев. Цифровые системы рубить головы, допустим, не стали бы, но методы борьбы за свои интересы разработали бы без труда. Именно эта бесстрастная логика искусственного разума, если человечество отважится принять ее, способна заложить основы принципиально более устойчивого мирового порядка.

Однако не будем забывать, что передача ИИ решения столь фундаментальных задач, как дипломатия и безопасность, неминуемо усилит нашу зависимость от его возможностей – зависимость, которую будет крайне трудно преодолеть, когда потребуется решительное, именно человеческое, участие в международных вопросах. Традиционная система международных отношений при всех ее недочетах хотя бы возлагала на нас ответственность за наши собственные решения. Добровольная же зависимость от ИИ грозит подорвать саму способность полагаться на суждение человека – ту опору, что неизменно поддерживала нас в более предсказуемом, хотя и примитивном, прошлом.

Зачем же идти на такой риск? Прежде всего – чтобы избежать гибельной дилеммы: либо взаимное уничтожение конкурирующих систем, либо гегемония зарождающегося сверхразума. Другая причина – защита от новых угроз, становящихся все более явными. С каждым годом и с каждой новой технологической революцией стереть человеческую цивилизацию с лица Земли становится все легче.

Скандинавская мифология повествует о Бальдре, сыне бога Одина и богини Фригг, встревоженных пророчествами о грядущей гибели их сына[97]. Стремясь защитить его жизнь от малейшей угрозы, Фригг объехала все девять миров, наложив заклятья на каждое животное, стихию, растения и даже чуму, чтобы ничто не могло стать оружием против любимого сына. Но коварный бог Локи, приняв облик старухи, выведал у богини, что ее защита не распространяется лишь на безобидную омелу. На пиру, устроенном в честь неуязвимого Бальдра, боги, демонстрируя силу заклятий, по очереди метали в него разное оружие. Тогда Локи подсунул своему слепому брату Хёду стрелу с наконечником из омелы, подговорив его шутки ради выпустить эту стрелу – единственный предмет, оставшийся без спасительного заклятья матери. Пронзив сердце Бальдра, стрела прервала его жизнь в тот же миг.

Смысл этого древнего мифа применительно к нашему времени прост и пугающе ясен: чем изощреннее становятся угрозы, тем надежнее должна быть защита – ведь малейший промах или упущение грозит катастрофой. И достичь такого совершенства, мы, вероятно, сможем только с помощью ИИ.

Таким образом, ключевая задача состоит в том, чтобы определить наименее опасный риск, который следует рассматривать в приоритетном порядке:

• угрозы, связанные с развитием ИИ;

• риски параллельных технологических революций (например, появление синтетической биологии);

• потенциальные катастрофические сценарии, включая радикальные климатические изменения.

Безусловно, менее совершенные системы ИИ могут непреднамеренно способствовать распространению опасных технологий. Даже при безупречном соблюдении регуляторных норм разработчиками в рамках строгого регулирования сохраняется риск, что другие участники процесса проявят халатность, нанеся серьезный ущерб. Однако более развитые машины способны нейтрализовать эти угрозы за счет беспрецедентной точности в принятии защитных решений.

Рассмотрим перспективу индивидуальной биологической защиты: наноботы с ИИ, циркулирующие в кровотоке человека, мгновенно уничтожают любые патогены, не соответствующие утвержденным параметрам данного организма.

Распознанная биосигнатура позволит реагировать на биологические угрозы гибче, чем наши прежние меры. Аналогично ИИ способен проектировать новые материалы и технологии для сокращения выбросов CO2, снижая риск климатических катастроф.

Безусловно, существует риск, что ИИ преждевременно возьмет на себя управление человеческой цивилизацией – той самой, что его породила. Однако полагаться только на то, что люди никогда не ошибаются, может быть еще опаснее. Наша стратегия должна быть простой: ИИ – это инструмент упреждающего противодействия, а не запоздалого реагирования на лавинообразный рост новых угроз[98]. И ключевой вопрос в этом контексте таков: как человечеству продвигать только полезные направления в развитии ИИ, одновременно сдерживая опасные?

Ведь ИИ по сути – это слепая разрушительная сила; его бесконтрольное развитие угрожает в равной степени как его создателям, так и пользователям. Именно это может вынудить даже непримиримых соперников пойти на соглашения, которые в других условиях казались бы немыслимыми. Мы убеждены, что в дипломатии, обороне и, возможно, в других сферах часть рисков, связанных с ИИ, цифровой разум может эффективно контролироваться только им самим. Ящик Пандоры уже распахнут настежь – но даже запертый, он не скрыл бы простой истины: польза ИИ перевешивает все его риски.

Мы убеждены: чтобы выжить в этом «хрупком мире» (по выражению Ника Бострома), человечеству, возможно, придется доверить ИИ управление угрозами, порожденными его же собственным технологическим прогрессом[99]. Остается вопрос: как существовать в будущем, где контроль одновременно необходим – и невозможен?

Новая парадигма войны

На протяжении почти всей своей истории человечество вело войны в ограниченном пространстве, где можно было с достаточной точностью оценить численность и расположение вражеских сил. Эта предсказуемость создавала ощущение некой стабильности и общих правил игры, сдерживая чрезмерную жестокость конфликтов. Когда мудрые правители приходили к согласию о том, по каким законам можно вести войну, только тогда они решали, стоит ли ее начинать.

Скорость и мобильность во все времена оставались ключевыми факторами, определявшими эффективность военной техники. Один из самых ранних примеров – развитие артиллерии. Почти тысячу лет Феодосиевы стены надежно защищали Константинополь от вторжений. Однако в 1452 году венгерский оружейный мастер (Венгрия тогда находилась под византийским сюзеренитетом) предложил императору Константину XI создать «Базилику» – гигантскую пушку, способную уничтожать врагов за стенами города. Но самоуверенный император, не обладая ни средствами, ни дальновидностью, так и не понял, какой переворот несет в себе эта технология, – и отказался.

К несчастью для него, венгерский мастер, не получив поддержки у византийцев, просто сменил покровителя. Он усовершенствовал конструкцию, сделав орудие более подвижным (для его транспортировки требовалось не менее 60 волов и 400 человек), и предложил свое творение противнику императора, турецкому султану Мехмеду II, готовившемуся к осаде неприступной крепости. Завоевав интерес молодого султана обещанием, что эта пушка «разнесет стены самого Вавилона», предприимчивый венгр помог турецким войскам пробить древние стены всего за 55 дней[100].

Отголоски этой драмы XV века прослеживаются вновь и вновь. В XIX веке скорость и мобильность поначалу вознесли Францию, когда «Великая армия» Наполеона покорила Европу; затем помогли Пруссии: Хельмут фон Мольтке Старший и Альбрехт фон Роон, используя недавно появившиеся железные дороги и децентрализованное командование, добились невиданной маневренности войск. Тот же принцип, доведенный до совершенства, лег в основу блицкрига[101], который нацистская Германия с разрушительной эффективностью применила против союзников во Второй мировой войне.

«Молниеносная война» обрела новый смысл и повсеместное распространение в эпоху цифровых технологий. Скорость стала мгновенной. География больше не ограничивает атакующих: теперь не нужно жертвовать мощью удара ради мобильности. Пока преимущество в киберпространстве остается за нападающими, однако с развитием технологий ИИ защитные системы обретут беспрецедентную скорость реагирования, что позволит обороняющейся стороне вести борьбу на равных.

Использование ИИ в классических военных конфликтах приведет к качественному скачку в стратегии и тактике ведения войны. Например, дроны достигнут невиданной скорости и маневренности. Когда ИИ начнет управлять не одним дроном, а целыми армадами, они смогут формировать рои и будут действовать как единый слаженный механизм – с безупречной синхронизацией. Группировки беспилотников смогут мгновенно перестраиваться – от небольших звеньев до крупных соединений – аналогично подразделениям спецназа, где сохраняется принцип автономности элементов при централизованном управлении.

Кроме того, ИИ обеспечит такую же скорость и гибкость защитных мер. Уничтожить эскадрильи беспилотников традиционными средствами практически невозможно. Однако орудия с ИИ, стреляющие потоками фотонов и электронов (вместо обычных боеприпасов), могут приводить к таким же разрушительным последствиям, что и геомагнитные бури, выводящие из строя электронику незащищенных спутников. И снова скорость и мобильность превзойдут человеческие возможности, уравнивая потенциал обороны и нападения.

Поскольку скорость и мобильность больше не являются определяющими факторами, преимущество в противостоянии будет зависеть от трех ключевых элементов: точности ударов, мгновенного эффекта и стратегического применения технологий.

Оружие с ИИ исключит саму возможность промаха. Ранее ограниченная осведомленность о территории противника препятствовала реализации стратегических замыслов. Однако внедрение научных достижений в военную сферу продолжает улучшать точность систем поражения, и ожидается, что ИИ совершит новый – возможно, не один – технологический прорыв. Таким образом, технологии ИИ позволят сократить разрыв между замыслом и результатом, в том числе в применении смертоносной силы. Будь то группировки наземных дронов, морские роботизированные эскадры или, возможно, рои межзвездных беспилотников – машины обретут сверхточную способность убивать людей с минимальной погрешностью и безграничными последствиями. Пределы разрушения теперь измеряются лишь выбором, сделанным человеком и запрограммированным в машины.

Таким образом, в эпоху ИИ война сведется в первую очередь к анализу не возможностей противника, а его намерений и стратегических целей. Ядерная эпоха уже отчасти ознаменовала этот переход но с развитием военных технологий на базе ИИ его истинная суть проявится куда отчетливей. Остается главное: что и зачем потребуется военачальникам, в чьем распоряжении теперь находится оружие с ИИ?

Поскольку ставки в этой гонке технологий чрезвычайно высоки, люди вряд ли станут основной мишенью конфликтов с участием ИИ. Более того, машинный разум сможет полностью исключить человеческий фактор из боевых операций, снизив людские потери, но сохранив абсолютную стратегическую эффективность. Аналогичным образом сами по себе территории вряд ли станут целью агрессии ИИ – в отличие от атак на дата-центры и другую критически важную цифровую инфраструктуру. (Суперкомпьютеры, вероятно, будут тщательно замаскированы, а базы данных распределены, что повысит устойчивость функционирования систем и предотвратит «обезглавливающий удар» по критическим элементам управления.)[102]

И тогда капитуляция станет неизбежной лишь после полного истощения живой силы и ресурсов противника, когда будет разрушена его система цифровой обороны, неспособная более защищать ни инфраструктуру, ни гражданское население. Конфликт может перерасти в противоборство автономных систем, где победу определит психологическая выдержка оператора (или устойчивость решений ИИ), стоящего перед выбором: рискнуть полным поражением или капитулировать, чтобы его избежать.

Даже мотивация участников этого нового поля боя окажется в корне иной. Г.К. Честертон писал:

Настоящий солдат сражается не потому, что ненавидит то, что перед ним, а потому, что любит то, что за ним[103].

В войне с участием ИИ не будет места ни любви, ни ненависти, ни тем более воинской доблести. Однако, возможно, ИИ будет руководствоваться такими понятиями, как эго, идентичность и преданность, хотя их природа и будет отличаться от того, что мы подразумеваем сегодня.

Военная стратегия всегда опиралась на простой расчет: проигравшей становится та сторона, которая первой признает причиняемые противником страдания невыносимыми – и капитулирует, открывая путь к переговорам. Осознание собственной уязвимости естественным образом порождает сдержанность. Но если отсутствует и это осознание, и сама способность испытывать боль (то есть если это понятие лишено всякого смысла), тогда что сможет сдержать военный ИИ? И что вообще способно остановить конфликты, инициированные с его участием? Станет ли ИИ, играющий в шахматы без знания правил завершения партии, сражаться до последней пешки?

Геополитическая трансформация

На каждом этапе истории, словно подчиняясь некоему естественному закону, появляется сила, которая, как однажды заметил один из нас,

обладает мощью, волей и интеллектуально-нравственным импульсом, чтобы переформатировать всю международную систему под свои ценности[104].

Ее возникновение ломает прежние правила, вынуждая игроков искать новые форматы взаимодействия. Результат – цепная реакция кризисов с непрерывным расшатыванием геополитического равновесия. Одним режимам такие системы несут распад, другим – беспрецедентное укрепление власти.

Традиционная система человеческой цивилизации – это привычная нам Вестфальская модель[105]. Однако концепция суверенного национального государства – исторически недавнее явление, насчитывающее всего несколько веков. Она оформилась лишь после подписания в середине XVII века договоров, известных как Вестфальский мир. Эта форма социальной организации не была предопределена исторически и, возможно, утрачивает актуальность в эпоху ИИ. Действительно, поскольку массовая дезинформация и цифровая дискриминация подрывают доверие к этой системе, ИИ может стать фундаментальной угрозой власти национальных правительств.

Ситуацию осложняет когнитивная дезориентация общества и его прогрессирующий отрыв от реальности. При этом ИИ потенциально способен переформатировать всю систему международных отношений. Если государства сохранят контроль над ИИ, человечеству предстоит сделать судьбоносный выбор: мириться с гегемонистским застоем или создавать принципиально новую архитектуру баланса между «вооруженными» ИИ державами. Однако возможен и более радикальный вариант – полная трансформация миропорядка, где традиционные правительства перестанут быть главными действующими лицами.

Один из возможных сценариев – полная монополизация корпорациями-разработчиками ИИ ключевых сфер влияния, от экономики до военно-политических рычагов управления. Современные государства оказываются в двойственной позиции. С одной стороны, они выступают покровителями частных компаний, предоставляя им военные ресурсы, дипломатическую поддержку и экономические рычаги для продвижения собственных интересов. С другой – вынуждены поддерживать доверие общества, все более скептически настроенного к их монопольному положению и корпоративной непрозрачности. Это противоречие может стать непреодолимым. Как говорилось ранее, прогресс ИИ затруднит управленческие процессы в традиционных институтах власти.

Между тем корпорации могут создавать альянсы, чтобы усиливать свою и без того значительную мощь. Эти союзы могут быть основаны на взаимодополняющих преимуществах и выгодах объединения либо на общей философии разработки и применения систем ИИ.

Такие корпоративные коалиции способны перенять функции традиционных государств, но с ключевым отличием: вместо контроля над территориями они будут расширять цифровые сети как сферу своего влияния.

Но возможен и иной исход. Бесконтрольное распространение открытых решений в области ИИ способно породить локальные сообщества с ограниченными, но функциональными возможностями систем ИИ. Эти группы смогут самостоятельно обеспечивать свою жизнедеятельность и защиту в определенных границах. Общества, отказывающиеся от централизованного управления, могут перейти к анархическим формам организации. Или такие группировки приобретут религиозную окраску, руководствуясь представлениями о связи ИИ с божественным началом, рассмотренными в предыдущей главе. В конце концов, как ясно показывает историческая перспектива, ни одно государственное образование не сумело сравниться с мировыми религиями – христианством, исламом и индуизмом – ни по масштабам влияния, ни по долговечности. В наступающую эпоху именно религиозная принадлежность, а не гражданство с высокой вероятностью станет значимой основой для самоидентификации и духовной привязанности.

В любом из этих возможных сценариев, будь то господство корпоративных альянсов или дробление на религиозные сообщества, новые спорные «территории», вокруг которых разгораются конфликты, перестанут измеряться квадратными километрами. Связи между такими пользователями и любым институтом власти несомненно подвергнутся влиянию ИИ на статус традиционных централизованных форм правления. Это приведет к пересмотру классической концепции гражданства, а заключаемые между субъектами соглашения будут принципиально отличаться от союзнических договоренностей в привычном понимании.

Традиционно союзы создавались по воле правителей для усиления военной мощи. Но сегодня рождается иная парадигма: гражданство и политические альянсы (вплоть до феномена «цифровых крестоносцев») формируются снизу – в мирное время, на основе убеждений рядовых граждан. Это потребует либо изобретения совершенно новых, либо реанимации архаичных имперских моделей. Подобная трансформация переопределит саму природу общественного договора, включая право на выход из системы, если оно уцелеет под тотальным влиянием ИИ.

В мирных целях

Внешнеполитические стратегии государств – а значит, и международные отношения – всегда балансировали между идеализмом и прагматизмом. Исторический опыт показывает: достигнутые лидерами компромиссы были не окончательными решениями, а лишь временными тактическими ходами, необходимыми для своего времени. С каждой новой эпохой это противоречие порождало новые формы политического порядка. Истинный правитель не выбирает из готовых вариантов. Он принимает решения, рожденные (или кажущиеся рожденными) озарением, зачастую ставя цели, выходящие за рамки практической реализуемости.

Извечное противоречие между национальной выгодой и глобальным благом веками оставалось частью этого непрерывного развития. В своей дипломатической практике малые государства традиционно действовали прямолинейно, ставя во главу угла вопросы собственного выживания. Иная ответственность ожидала правителей мировых империй. Обладая ресурсами для решения более амбициозных задач, они сталкивались с мучительными дилеммами.

Со времен возникновения первых цивилизаций по мере усложнения социальных структур человечество непрерывно достигало новых уровней коллективного взаимодействия. Но в наши дни – возможно, под давлением глобальных вызовов и разного рода противоречий как между государствами, так и внутри них – наметился тревожный откат от этой многовековой тенденции. Так способны ли системы ИИ охватить беспрецедентно сложный уровень управления? Смогли бы они воспринимать мировые процессы, выйдя за рамки узких национальных интересов? Можно ли ожидать, что им удастся, более точно, чем нам, рассчитать наши базовые потребности и ценности, а затем вывести их правильное соотношение и взаимосвязь?

Было бы наивно ожидать, что, как один из нас уже отмечал, лидеры государств начнут последовательно

ограничивать свои действия лишь теми ситуациями, когда моральные, правовые и военные вопросы полностью согласованы, а легитимность решений максимально соответствует требованиям выживания[106].

В человеческом обществе подобное остается недостижимым. Но мы верим, что ИИ, используемый в политических целях как внутри стран, так и на международной арене, сможет предложить нечто большее, чем сбалансированные компромиссы. В идеале ИИ способен выходить за рамки человеческих возможностей, формулируя принципиально новые, абсолютно выверенные решения, оперируя более длительными временными горизонтами. Детализация таких решений была бы несоизмеримо выше, чем если бы их проекты подготавливали люди. Таким образом, алгоритмам ИИ удалось бы привести в соответствие все наши конкурирующие интересы. В будущем машинные интеллекты, разбирающиеся в урегулировании конфликтов и проведении мирных переговоров, помогут не только прояснить, но и преодолеть наши традиционные проблемы выбора.

Однако если ИИ действительно возьмется за решение задач, которые по праву лежат в зоне нашей ответственности, это может вызвать двойной кризис доверия – как к безосновательной самоуверенности сторонников автоматизации, так и к пораженческому фатализму ее противников. Первым будет горько осознать несовершенство нашей способности к самокоррекции – тот факт, что мы фактически капитулировали перед алгоритмической «мудростью» в решении фундаментальных человеческих проблем. Других же поразит пронзительная простота решения: оказывается, все запутанные вопросы требовали лишь одного – устранения человека из контура управления. Эта обманчивая простота беспощадно обнажает изъяны созданных нами систем. И здесь кроется главный парадокс: если мир всегда был вопросом сознательного выбора, то платой за человеческое несовершенство становились бесконечные войны. Осознание, что решение существовало в пределах досягаемости, но оставалось для нас концептуально недоступным, стало бы сокрушительным ударом по человеческой гордыне.

Мы привели один из особенно ярких примеров дилеммы зависимости и последующего ощущения неполноценности, рассмотренных в одной из предыдущих глав. Однако в вопросах безопасности – но не в научной или академической деятельности – мы, возможно, быстрее примем беспристрастность механического арбитра, ибо знаем: это заведомо лучше, чем человеческая заинтересованность. Это весьма похоже на то, как люди легко признают необходимость посредника в бракоразводном процессе. Здесь проявляется парадокс: наши не самые лучшие качества могут помочь принять превосходство ИИ. Инстинкт личной выгоды – даже в ущерб интересам других – заставит нас признать преимущество системы, которая априори лишена этого недостатка.

Глава 6. Процветание

Финский национальный эпос Калевала открывается сценой, где Вяйнямёйнен, принесший в пустынный мир первые деревья и жизнь, после изматывающей битвы в морских глубинах оказывается выброшенным на берега сумрачной Похьёлы[107]. Выходив героя, коварная Лоухи – владычица Похьёлы – требует необычный выкуп. Северная колдунья отвергает золото и серебро, желая получить лишь мифический Сампо – чудесный механизм, источающий нескончаемые блага.

Вместе с братом Ильмариненом, строителем небесного свода и единственным мастером, способным воссоздать Сампо, Вяйнямёйнен заключает сделку с ведьмой. Он клянется, что, если его отпустят, пришлет вместо себя брата. Лоухи же обещает Ильмаринену в жены свою прекраснейшую дочь, и кузнец с радостью принимает ее условия.

Три дня божественные ветры раздували мехи, пока бессмертный мастер ковал Сампо из редчайших и лучших материалов а это: «кончики перьев белых лебедей, молоко высшей добродетели, единственное зернышко ячменя и нежнейшая шерсть ягнят». Создав механизм с патрубками, извергающими нескончаемые потоки зерна, соли и монет[108], Ильмаринен извлекает свое творение из горнила. Но в тот же миг Лоухи с ликованием выхватывает Сампо и заточает в горном хранилище. С этих пор Похьёла процветает благодаря безграничной производительной силе Сампо, а обманутый кузнец остается ни с чем.

Лишь годы спустя Ильмаринен и Вяйнямёйнен возвращаются вместе, чтобы свершить правосудие. Они требуют половину всех даров Сампо, угрожая силой. В яростной битве чудесный механизм разбивается и падает в пучину, где пребывает и поныне, продолжая источать богатства, что делают океанские воды солеными.

Подобные сказания о чудесных источниках изобилия встречаются в мифологии разных народов: Акшая Патра – бездонный медный сосуд из индийского эпоса Махабхарата; котел изобилия – из ирландских мифов о боге Дагде; Утиде-но-кодзути – волшебная колотушка (или молоток) в преданиях, способная «выколотить» из ничего все, что прикажет владелец: одежду, или дома, или даже людей[109].

Создатели ИИ в наши дни верят, что их творение станет тем самым переполненным амбаром, этой волшебной мельницей, этим рогом изобилия, из которого хлынут неиссякаемые потоки благ: цветы, фрукты, зерно… Но мифы предупреждают: самого создания чуда недостаточно. Чтобы реализовать свой потенциал, ИИ в процессе разработки и внедрения требует продуманных изменений в общественных институтах и изрядную долю мудрой политики. Возможности систем ИИ должны стать инструментом освобождения, в идеале разорвав цепи многовекового социального и экономического порабощения, чтобы проложить дорогу в будущее, где бедность и неравенство утратят свою власть.

Эта цель невероятно амбициозна по любым меркам и вполне закономерно вызывает немало вопросов. Но что, если ИИ и вправду окажется тем мостом, что приведет нас к новому золотому веку? Даже частичное воплощение этой идеи способно открыть эпоху в истории цивилизации[110].

Общее дело

В марте 2016 года, проиграв три партии подряд, корейский мастер игры в го Ли Седоль испытывал не ярость или печаль, а лишь безмерное изумление. Мастер и представить не мог, что проиграет ИИ – этому ультрасовременному противнику. Ведь он отдал всю свою жизнь постижению тайн этой древней игры. Тем не менее ошеломляющий ход № 37, сделанный в предыдущей партии программой AlphaGo, заставил всерьез задуматься: неужели ИИ и правда способен на нечто большее, чем бездушные расчеты? Не сверкнула ли в его алгоритмах искра творчества?

К тому моменту Ли, потрясенный необыкновенным противником, играл уже не ради победы – ведь в их поединке best-of-five-формата[111] он признал свое поражение, – но ради красивого финала. В следующей, четвертой, партии он ответил на 37-й ход своим 78-м – изящным контрударом, который неожиданно для всех принес ему победу – единственную за всю историю классической AlphaGo (2016). По всему миру, где следили за матчем, разочарование вмиг сменилось всеобщим ликованием.

В тот мартовский день в Сеуле первый игрок мира вел поединок один на один с бездушной моделью ИИ, прерываясь лишь на редкие перекуры на террасе фешенебельного отеля-спонсора. Вообразить себе такого противника было сложно в принципе, однако Ли Седоль принял на себя максимальный груз ответственности, играя за самую взыскательную команду – все человечество. Такой миссии он вряд ли когда-либо себе пожелал бы. История сохранит не результат этого поединка, а саму демонстрацию человеческих возможностей – как гения Ли Седоля, так и разработчиков ИИ, бросивших ему вызов[112].

Девиз компании DeepMind, одержавшей победу в Корее, призывает: «Познай природу разума – и тогда сумеешь раскрыть все прочие тайны мироздания»[113]. Интеллект как движущая сила нового творения способен перевернуть наше представление о мире. Но перед лицом этой бездонной неизвестности нас невольно охватывает тревога. И все же в некоторых случаях, пожалуй, стоит следовать примеру Ли Седоля, который отнесся к ИИ не как к сопернику, а как к источнику вдохновения.

Положение Ли Седоля было исключительным – будучи лучшим из лучших в своей области, он соревновался с ИИ в контролируемых условиях эксперимента. Возможно, именно это позволило ему с исследовательским азартом искать новые стратегии, вместо того чтобы погрузиться в горечь поражения от невидимого оппонента и его создателей. Увы, большинство людей отнесутся к успехам ИИ куда менее благородно – волной неприятия и страха.

Особенно остро конфронтация проявляется в мнимых «играх с нулевой суммой[114]» – прежде всего при возможном замещении человеческого труда искусственным разумом. В этой главе мы постараемся развенчать этот, на наш взгляд, ошибочный стереотип и продемонстрировать, как ИИ способен даровать человечеству неожиданное процветание – особенно в мире, где труд перестанет быть необходимостью.

Для подавляющего большинства людей работа никогда не была игрой с возможностью выигрыша или желанным мастерством. Она оставалась тяжким бременем – изнурительной повинностью и социальными оковами. Хотя эти оковы и поддерживали стабильность, их цена неизменно заключалась в подавлении самой человеческой сути.

В Бхагавад-гите – одной из частей великого индийского эпоса Махабхарата – диалог между царевичем-воином Арджуной и его возничим (такой облик принял на время бог Кришна) раскрывает природу социально-религиозных устоев, веками поддерживавших порядок в индийском обществе. Когда Арджуна колеблется, подняв меч на своих сородичей, Кришна недвусмысленно напоминает: «Нет отступлений от долга, нет отклонений от судьбы»:

Лучше выполнить свой долг плохо, чем чужой – безупречно. Прими смерть, но не берись за дело, тебе не предназначенное[115].

В этой системе каждый исполняет предопределенную роль, сколь бы тягостной она ни была, жестко заданную фактом рождения. Как гласит Бхагават-гита,

долг брахманов [высшей касты] – хранить мудрость и спокойствие; кшатриев – сражаться мужественно; вайшьев – возделывать землю и вести торги; шудр – служить смиренно[116].

Общество преуспевает лишь тогда, когда каждый честно выполняет свои обязанности. Те, кто следует этому в нынешней жизни, получают шанс на высшую участь в следующей. Тем же, кто пренебрегает своим долгом, уготованы страдания в новом перерождении.

Индуистская кастовая система не была уникальным явлением. Политическая философия Аристотеля также предполагала строгое разделение социальных функций. А рабство – узаконенное, поддерживаемое насилием и унижением – в некоторых обществах и вовсе превратилось в основной инструмент эксплуатации людей и насаждения искусственной иерархии.

В последние два столетия демократические государства с рыночной экономикой практически устранили кастовую систему и рабство, заменив их концепцией вознаграждения по заслугам. Духовенство возвело трудолюбие в добродетель, ученые в своих трудах всесторонне рассмотрели его значение для общества, а трудящиеся освоили методы коллективных переговоров и организованных протестов. Но даже сегодня, где бы ни использовался человеческий труд – во имя высших сил, государственных интересов или ради заработной платы, – наши интеллектуальные и физические усилия, как правило, служат не столько нам самим, сколько другим.

Немало войн вспыхивало из-за споров вокруг вопроса «Кому что положено – и почему?» (как в названии бестселлера экономиста Элвина Рота, 2015) либо приводило к пересмотру самих этих принципов. Ограниченность земли, рабочей силы и капитала сделала дефицит, а не изобилие базовой экономической парадигмой. Жестокие конфликты возникают не столько за распределение созданных благ, сколько за крохи оставшегося. Эти противоречия пронизывают как внутреннюю жизнь обществ, так и международные отношения – даже в мирные периоды, когда граждане требуют перераспределения ресурсов для смягчения неравенства.

Эффективное производство в сочетании с социальной справедливостью неизменно повышает благосостояние. Однако для этого требуется фундаментальная трансформация, чтобы все общества были уверены в том, что ресурсов действительно хватает. Лишь тогда спор о выживании сменится поиском путей достойного существования.

И вот мы создали ИИ – технологию, способную кардинально изменить сами факторы производства, переложив трудовые функции с людей на машины. Более того, ИИ можно направить на поиск и разработку более дешевых, но неограниченных источников сырья для собственных нужд. По мере внедрения ИИ в производство потребность в капиталовложениях для выпуска товаров может существенно сократиться. Хотя некоторые редкие и невозобновляемые ресурсы пока остаются критически важными для создания систем ИИ, даже эта зависимость может исчезнуть, если ИИ разработает их синтетические аналоги. Более того, ИИ способен создать принципиально новые вычислительные архитектуры, на порядки превосходящие по эффективности нынешние. В долгосрочной перспективе то же самое произойдет и с автоматизированными производствами – они смогут самостоятельно воспроизводить компоненты для новых поколений машин.

Разрабатывая экологически чистые синтетические аналоги сырья для производства самых разных товаров, ИИ способен положить начало эпохе всеобщего изобилия, устойчивого достатка и процветания. Даже в условиях сохраняющихся физических ограничений его потенциал, хотя и не безграничный, может оказаться достаточным для удовлетворения основных потребностей человечества и реализации многих устремлений. Это освободит наше мышление от тирании концепции дефицита и поменяет отношение к труду от восприятия его как тягостной повинности к осознанию свободной созидательной деятельности.

Сэм Альтман, генеральный директор OpenAI, предлагает оценивать успехи экономики по двум критериям: динамике и социальной вовлеченности[117]. Исторический опыт показывает: большинство стран достигало либо одного, либо другого – как правило, на небольшой срок. Устойчивое сочетание обоих факторов остается исключительным случаем. Как отмечает сам Альтман,

Капитализм прекрасно стимулирует экономический рост, поощряя инвестиции в перспективные активы. Эта система действительно эффективно создает и распространяет технологические инновации. Но неизбежной платой за такой прогресс становится растущее неравенство.

Иными словами, ИИ и связанный с ним рост производительности способны обеспечить долгосрочный подъем экономики. Однако социальная вовлеченность не возникнет сама собой – ее нужно сознательно выстраивать.

Поэтому в эпоху ИИ, следуя предложению Альтмана, ключевым решением может стать налогообложение двух фундаментальных источников мировой ценности – высокотехнологичных компаний, разрабатывающих и применяющих искусственный интеллект, и земельных ресурсов, остающихся неизменной основой (по крайней мере, в пределах нашей планеты). Если люди не несут ответственности за стоимость труда искусственного разума, логика требует распределять эту стоимость коллективно. И весьма вероятно, что земля (а на какое-то время и редкоземельные элементы, используемые в микроэлектронике) останутся единственными невосполнимыми активами, сохраняющими ценность в эпоху изобилия, а значит, и основными объектами налогообложения.

Однако такой подход предполагает, что государства (или их функциональные аналоги) сохранят функции органов перераспределения, а корпорации останутся в зоне налогового администрирования. Более того, рост ценности земельных ресурсов и технологических инноваций способен разжечь бесконечную конкуренцию за тотальное превосходство. Альтернативный путь к справедливости в эпоху ИИ может заключаться в создании механизма, подобного фондовому рынку. Его суть – в создании распределяемых долей мирового богатства, которые автоматически привязывались бы к доходам от систем ИИ. Подобно акциям, такие активы могут давать их владельцам право участвовать в управлении.

Альтернативное решение может заключаться в переносе акцента с проблемы собственности на ИИ к вопросу распределения создаваемых им благ. Однако реализация такого подхода сопряжена с существенными сложностями.

Идеологические разногласия неизбежны: многие будут требовать перехода к коллективной собственности на сами средства производства, а не только на создаваемые ими блага. С практической же стороны организация справедливого распределения благ потребует создания чрезвычайно сложных систем мониторинга и управления. Либо можно было бы опробовать подход, напоминающий патентное право. Гарантия разработчикам исключительных прав на доходы от их решений в области ИИ в течение определенного периода могла бы стать действенным механизмом стимулирования технологических инноваций. По завершении контрольного срока, после подтверждения соответствия нормам безопасности технологии становились бы общественным достоянием, что позволило бы разным странам и сообществам разрабатывать свои версии и создавать необходимую инфраструктуру.

Если говорить кратко, создатели ИИ, возможно, не осознают, какие экономические и политические кризисы могут спровоцировать их разработки. Да, ИИ способен на все что угодно. Но, по меткому замечанию Сэма Альтмана, «он будет служить мне – или вам?»[118] Кто же принимает решения и по каким критериям? Управление этими колоссальными возможностями и справедливое распределение выгоды, которую они приносят, – огромная ответственность. Тем, кто будет влиять на дальнейшее мироустройство, следует учитывать уроки истории. Промышленная революция привела к глубокому неравенству, для преодоления которого потребовались десятилетия. Лишь когда управленческие принципы стали справедливее и человечнее, ситуация начала меняться[119].

Сейчас подавляющая доля преимуществ от развития ИИ и абсолютный контроль над этими технологиями сосредоточены у крайне ограниченного круга лиц. Готовы ли эти избранные добровольно поступиться своими привилегиями? Если это случится и доступ к преимуществам ИИ и управление этими технологиями расширятся до национального уровня, то требование распространить этот принцип на весь мир последует незамедлительно.

Найдется ли страна, готовая превратить свое стратегическое преимущество в общее достояние? Некоторые уверены: психологические препятствия исчезнут, как только человечество преодолеет парадигму взаимоисключающих интересов. Но для этого необходимы перемены, которых пока что не случилось. Они идут против текущего порядка и потребуют четкого решения со стороны общества.

Более того, даже если нам удастся создать мир благополучия и изобилия, останется открытым вопрос: какие механизмы согласования интересов могут поддерживать общую гармонию? Исчезновение материальных ценностей не означает исчезновения ценностей как таковых. Когда деньги перестанут быть причиной раздоров, люди начнут искать иные объединяющие идеи. Это могут быть вера, общие корни, представления о прекрасном или профессиональные интересы – все, что способно стать фундаментом для новых социальных структур и международных практик. Но если борьба за материальные блага отойдет в историю, человечеству, увы, не избежать новых противостояний. На смену экономическому соперничеству могут прийти идеологические столкновения, битвы за власть, погоня за признанием или даже застарелые обиды, требующие отмщения.

История экономики наглядно показывает: создать одновременно стройную и эффективную систему крайне сложно. К тому же следует признать: человечество всегда плохо предсказывало отдаленные последствия технологических революций. В случае с ИИ наши надежды могут оказаться чрезмерными, а опасения – несостоятельными.

Тем не менее авторы этой книги полагают, что ИИ может служить инструментом формирования принципиально нового уровня достатка и качества жизни, и уже сама эта возможность обязывает нас начать двигаться в данном направлении. Более того, мы убеждены: если подобная экономико-политическая модель реализуется, она как минимум смягчит, если не устранит вовсе, противоречия между трудом и капиталом, а также социальные конфликты, веками разрывавшие человечество на части.

Мобильность как ресурс

Если ИИ действительно откроет эпоху изобилия, каким образом обеспечить всем гражданам равный и устойчивый доступ к этим ресурсам? Путь от древнего бартера к современным финансовым системам демонстрирует наш прогресс в распределении ценностей. Человечество благополучно прошло «эволюцию» от первых металлических монет к бумажным банкнотам, а затем к цифровым платежам: кредитным картам, электронным переводам и мобильным банкам. Эти механизмы значительно упростили перемещение ценностей «в пространстве», но их недостаточный уровень защищенности мешал их сохранению «во времени». Сегодняшние финансовые системы стремятся к эффективности в обоих измерениях одновременно.

Современная экономика по-прежнему основывается на производстве товаров и оказании услуг, а не на их опосредованных, абстрактных эквивалентах. Деньги теряют смысл вне рыночных отношений – они становятся лишь записью в базе данных для распределения ресурсов, где размывается сама концепция ценности. Если смотреть на деньги сквозь призму теории информации [математической дисциплины о передаче и обработке данных], они подобны интернет-соедиению: как и сетевой сигнал, требуют контекста для практического применения. В эпоху ИИ поиск оптимальной организации денежных систем приобретает особую актуальность как с философской, так и с практической точек зрения. Человечеству, вероятно, предстоит разработать принципиально новую финансовую систему, которая органично сочетала бы две ключевые функции: сохранение стоимости и обеспечение удобного обмена. Такой механизм должен одновременно служить надежным хранилищем богатства и эффективным инструментом транзакций.

Также ИИ способен предложить новые принципы функционирования финансовых рынков и экономической политики. Хотя теоретически понятно, как алгоритмы могли бы участвовать в наращивании экономического потенциала даже при минимальных ресурсах, остаются вопросы практического свойства: как при помощи ИИ искоренить бедность; как установить объективный общемировой стандарт благосостояния?

Если ИИ действительно сможет наладить систему распределения товаров, удовлетворяющих базовые потребности человечества, масштабы производства и глобальных поставок достигнут беспрецедентного уровня. Конечно, подобная перспектива открывает колоссальные возможности, однако она сопряжена с немалыми рисками. Представьте децентрализованные системы ИИ, управляющие армиями роботов и «умной» инфраструктурой, – такие технологии могли бы предоставить все самое необходимое для 2,6 миллиарда человек, у которых сегодня ничего нет[120]. Альтернативный сценарий предполагает использование инновационных материалов для строительства городов под управлением ИИ с автономными системами жизнеобеспечения: климат-контролем, энергоснабжением, цифровой инфраструктурой и доступом к базовым ресурсам (чистой воде, продовольствию, медикаментам и современным санитарным условиям). ИИ разного уровня обслуживал бы эти поселения, которые дали бы приют миллионам людей, сегодня исключенным из системы процветания, доступной, в общем-то, немногим.

Если будут реализованы оба варианта развития (и, вероятно, прочие, пока неизвестные), это позволит людям не просто сохранить существующие возможности выбора, но и наверняка откроет новые уровни свободы. Когда исчезнет привязка к месту рождения, зависимость от родственных уз и требований рынков труда, на которые нужно ориентироваться, чтобы найти работу, как изменится сама природа миграции? Превратится ли она из вынужденного бегства в осознанное решение? И исчезнут ли традиционные миграционные потоки – из развивающихся стран в развитые, из сельских районов в крупные города, если ИИ создаст по всему миру сеть одинаково комфортных для жизни поселений?

Новая психологическая свобода в вопросах создания семьи – еще один возможный дар систем ИИ человеку. Одни родители, избавившись от мучительной необходимости выбирать, кому из детей достанется больше ресурсов для выживания и успеха, возможно, решат увеличить свою семью. Другие, понимая, что для них нет никакой необходимости видеть в детях опору на старости лет, могут и вовсе отказаться становиться родителями. Исчезновение этих исторически сложившихся рамок взаимозависимости поколений откроет перед молодыми людьми возможность и, наверное, ранее неведомые перспективы свободного выбора – как места жизни, так и профессии.

Неравенства и перекосы в мировой экономике исторически обусловлены фундаментальными асимметриями – неравномерным распределением географических преимуществ, материальных ресурсов и человеческого капитала. ИИ способен сократить разрывы в уровне профессиональных компетенций и обеспечить более справедливое распределение ресурсов. Это ослабит влияние ключевых факторов, которые традиционно определяли принципы международной торговли и формировали иерархию в экономическом развитии. Государства, сегодня находящиеся в неблагоприятном положении из-за географических условий или «утечки мозгов», смогут достичь экономических показателей, сравнимых с ведущими мировыми державами.

Как перейти от сегодняшнего глобального неравенства к этой вполне достижимой гармони будущего? Первым шагом, вероятно, станет разработка систем на основе ИИ для развития прикладных наук и совершенствования цифровых коммуникаций, включая специализированные базы данных, позволяющие этим системам работать в различных глобальных условиях. Реализация этих технологий значительно повысит общий уровень жизни. Выравнивание доступности интеллектуальных ресурсов по всему миру создаст принципиально равные условия для развития – такие, каких человечество прежде не знало. Это откроет эру, когда исходные возможности людей не будут жестко определяться обстоятельствами их рождения.

Преобразования без сожалений

Но что, если ИИ, способствуя установлению экономической справедливости, сведет ценность интеллектуального труда практически к нулю? Это завершит краткий, но удивительно продуктивный этап человеческой истории, когда люди в свободных обществах могли улучшать свою жизнь собственными усилиями – если, конечно, имели такое желание. Если раньше мир существовал в условиях ограниченных ресурсов, то в современную эпоху главным организующим принципом стала конкуренция. Именно она обуславливала значительные различия в результатах, которые зависели от личных амбиций, природных способностей и условий, в которых человек появился на свет.

Все это привело к тому, что боле трудолюбивые или искусные в управлении чужим трудом преуспевали, а остальные – отставали. Но если мы устраним саму необходимость профессионального отбора, нам также придется столкнуться с исчезновением профессий – а вместе с ними и социального статуса, самоидентификации и смыслов, что с ними связаны. Поистине, это был бы уже совершенно иной мир.

Природные склонности человека – сопротивляться трудностям, ценить превосходство, тянуться к совершенству, гордиться значимыми различиями и многообразием, – безусловно, никуда не денутся, хотя им и потребуются новые способы проявления. Если раньше существовало неравное распределение человеческих дарований в сфере труда, то теперь может сложиться новое неравенство – но уже в том, как люди распоряжаются свободным временем. И на сей раз различия будут проявляться не в привычных категориях способностей, а в совершенно иных качествах: в степени любознательности, ясности мышления, отзывчивости или в чем-то другом.

В мире, где трудиться больше нет необходимости, многие смогут погрузиться в искусственные миры, созданные специально для них. Это будет настоящая симфония чувств – зрения, слуха, обоняния, осязания и даже вкуса, теперь полностью подвластных безграничным возможностям виртуального разума. Как обсуждалось в главе 3, миллиарды ведомых личностей – по собственной воле или под чужим влиянием – могут с готовностью встать на этот путь. Ведь кто будет противиться тому, что реальность в один миг станет ярче, а контроль над ней – ощутимее?

Уже сегодня в редкие моменты, свободные от жизненных забот, в глазах многих из нас все чаще мерцает холодный свет экранов. В каждом уголке мира измученные работой люди вполне предсказуемо погружаются в эту прекрасную, легкую (как для восприятия, так и для творчества) среду[121]. Если даже к нынешним, достаточно примитивным технологиям мы испытываем непреодолимую тягу, то какие шансы у нас против будущих «генераторов переживаний»[122], которые создаст ИИ? Когда обыденный труд кажется невыносимым, кто добровольно откажется от абсолютного наслаждения?

Ответ заключается в том, что человеческой психике придется эволюционировать совместно с ИИ и его влиянием. Трудно предсказать, как именно это произойдет, но вполне возможно, что ИИ сможет не столько подорвать, сколько обогатить наши внутренние жизненные искания. Удовольствие само по себе не способно удовлетворить нашу глубинную потребность в осмысленном существовании. Труд – даже бескорыстный – по-настоящему наполняется содержанием при двух условиях: усилие, вложенное в действие, и благородство цели, ради которой оно совершается.

Личный опыт преодоления трудностей формирует чувство самоуважения. Интенсивная деятельность, тем более с полной самоотдачей, структурирует наше восприятие времени, задает ритм внутреннему развитию и оттачиванию мастерства. Психология человека такова, что многие источники радости и удовлетворения, вероятно, останутся неизменными даже в эпоху ИИ – вопреки всем грядущим потрясениям.

Это не означает простого возврата к занятиям прошлого – скорее мы сможем раскрыть прежде нереализованные грани человеческого потенциала, которые раньше не рассматривали в масштабе. Подумайте о возможностях, которые откроются, когда в периоды глубокой сосредоточенности, прежде недоступные в рамках обычной рабочей недели, станут нормой. Длительные практики умственного и духовного совершенствования способны поднять сознание на новый уровень. А продолжительные состояния обостренного восприятия, в свою очередь, могут сделать более глубокими связи между людьми (и природой), усилить чувство сопричастности высшему, привести к устойчивому ощущению полноты бытия.

Люди, добивающиеся невозможного без посторонней помощи – прежде всего физическими усилиями, – неизменно вызывают восхищение. И когда такие самостоятельные усилия станут массовыми, мы сможем наблюдать период небывалого расцвета мастерства. Виды спорта и игры, требующие от человека предельной самоотдачи, выйдут на качественно новый уровень. Искусство выйдет на новый виток, ведь очарование подлинности не подвластно времени.

Исторически университеты видели свою миссию в равном приобщении студентов к естественным наукам и гуманитарным дисциплинам[123]. Мы убеждены, что эти исконно человеческие поиски, каждый из которых по-своему отражает «стремление к смыслу» (по выражению одного духовного лидера[124]), не только сохранятся, но и расширятся. Западная традиция liberal arts (свободных искусств) восходит к античному идеалу свободного мышления. В Китае эпохи Тан художник и теоретик живописи Чжан Яньюань утверждал, что «ученый – благородный муж» должен владеть «четырьмя искусствами»: музыкой, живописью, стратегией и каллиграфией[125]. В будущем в противовес профессиональному и техническому образованию нам, возможно, удастся возродить древний идеал «цельной личности», стремящейся к разностороннему развитию. Именно такие учебные заведения смогут воспитать философов и писателей, которые помогут человечеству осмыслить новую эпоху.

Дисциплины, некогда доступные лишь избранным, могут стать нормой для всех, вытеснив прежнюю ориентацию училищ среднего класса на подготовку работников производства. Благодаря моделям ИИ, которые будут внедрены в процесс обучения в качестве педагогов, персонализированное обучение и сократовские дискуссии[126] станут доступны каждому. Представьте: подобно тому как юного Эйнштейна наставлял Макс Талмуд (позже взявший фамилию Талмей), Вольтера – аббат де Шатонеф, а Аду Лавлейс (автора первого алгоритма) – Мэри Сомервилль, каждый ребенок получит равные возможности для развития ума и характера[127].

Можно представить, что современные университеты, верные своим традициям по форме, когда кампусы обустроены вокруг библиотек, а жаждущие знаний умы стремятся покорить и раздвинуть интеллектуальные рубежи, дополнятся пространствами для коллективной работы. Здесь исследовательские группы будут интерпретировать открытия ИИ, переводя наиболее значимые из них в практическую плоскость.

В этой новой научной отрасли человечеству, возможно, придется совместно эволюционировать с ИИ, чтобы сохранить партнерство с машинами на переднем крае познания. Или же такая коэволюция окажется необязательной для извлечения нами максимальной пользы из открытий ИИ. В любом случае – особенно во втором – эта деятельность потребует чрезвычайных усилий: круглосуточного сотрудничества с алгоритмами. Но, как показано в главе 8, каким бы изнурительным ни был этот процесс, он останется необходимым.

Привилегия выбора

Многие, опасаясь, что автоматизация лишит людей работы, предрекают новый, духовный, кризис: не превратит ли нас всеобщее изобилие в беспечных богачей, которые, словно сорвав джекпот, отныне погрязнут в праздности. Это мнение, на наш взгляд, выдает ограниченность тех, кто уже живет в комфорте. Чтобы осознать, какую революционную пользу принесет ИИ миллиардам людей – тем, кто сегодня лишен доступа к базовым благам, качественной связи и принципиальной возможности участвовать в подобных дискуссиях, – достаточно обратиться к опыту их предков. Представьте поколения отцов, согнувших спины над допотопными станками; матерей, боровшихся за скудные урожаи на иссушенных засухой полях; детей, чье детство растворилось в непосильной работе. Если бы завтра у всех появилась возможность свободного выбора, большинство – мы в этом убеждены – отказалось бы от трудовой повинности, а оставшиеся трудились бы не по необходимости, а по зову сердца. Системам ИИ можно поручить дела, которыми больше не нужно заниматься, чтобы мы наконец-то занялись тем, чего по-настоящему хотим.

Как уже подробно обсуждалось в главе 3, нас действительно тревожит, что значительная часть общества может превратиться в инертных потребителей контента, создаваемого ИИ. Однако суть этой проблемы кроется в нашей врожденной склонности к легким удовольствиям и, что еще тревожнее, в том, как, вероятно, будет воспринимать нас в дельнейшем сам ИИ. Иными словами, фактически мы переживаем вовсе не по поводу исчезновения рабочих мест. У нас уже есть наглядный пример тех, кто получает желаемое без необходимости трудиться: это состоятельные люди и пенсионеры. Примечательно, что многие из богачей – особенно новоиспеченных – зачастую в замешательстве даже не представляют, как бы получше реализовать свои накопленные за долгие годы возможности. Лев Толстой когда-то признался: предложи ему фея исполнить любое желание – он бы, пожалуй, растерялся[128].

Переход к эпохе благополучия потребует перестройки сознания, но едва ли станет долговременной проблемой. Первое время многим будет казаться, что машины отняли у них главное дело жизни, источник самореализации и радости – и, безусловно, это ощущение окажется горьким. Однако мы полагаем, что (не по чьему-то указанию, а в силу самой человеческой природы) со временем люди неизбежно выберут новый, подходящий, путь развития, будь то освоение новых отраслей или партнерство с ИИ, избегая деградации и раскрывая свой потенциал подобно мыслящим творцам. В конечном счете, создав системы справедливого распределения ресурсов, коммуникации, вовлеченности и обучения, люди, осознавшие возможности ИИ, смогут трудиться уже не по необходимости, а по велению сердца, находя удовлетворение в том, что по-настоящему важно.

Глава 7. Наука

ИИ преображает все области знания и творчества, не ведая границ, а дальнейшие исследования почти наверняка раскроют новые измерения человеческого познания. Как отмечалось в главе 1, весьма вероятно, что ИИ начнет стремительно развиваться по всем направлениям одновременно, а его многочисленные достижения – тщательно проверенные, осмысленные и уже успешно примененные – сформируют мощный фундамент для новых пластов человеческого знания.

Если недавнее прошлое было ознаменовано триумфом человека в создании сложных систем – микропроцессоров, интернета, реактивных двигателей, ускорителей частиц, – то будущее принадлежит ИИ, оперирующему категориями планетарного уровня – от экономических структур до биологических процессов и климатических механизмов, как земных, так и внеземных[129].

Во имя исцеления

Незримый враг – уязвимость нашего здоровья – унес больше жизней и причинил больше боли, чем все войны и катаклизмы, вместе взятые[130]. Два столетия проб и ошибок в попытках разгадать код жизни и даже управляться с ним не увенчались окончательной победой – нам не хватало главного: разума, способного постичь этот код во всей его многомерности. Но сегодня, получив в созники ИИ, намного превосходящий человеческие возможности, мы стоим на пороге переворота в биологии, способного переписать саму концепцию человеческой жизни.

Основанный в XVII веке по указу короля Франции Людовика XIII и переданный в ведение его лейб-медика, Королевский сад лекарственных растений(Le Jardin royal des plantes médicinales) стал самым масштабным и передовым проектом своего времени. Научные экспедиции в отдаленные регионы – от Явы до Амазонии – доставляли невиданное богатство флоры: сотни диковинных видов, тщательно изучавшихся особым штатом ботаников на предмет возможного использования для врачевания недугов.

Менее чем через десять лет французский монарх угас от чахотки – ни одно из известных средств не смогло ни облегчить его страдания, ни продлить жизнь. Однако в Королевском саду действительно не раз были явлены миру уникальные методы лечения, о которых не ведала ни одна другая страна[131]. В наши дни подобной безграничной библиотекой фармацевтических знаний могут стать системы ИИ, открывающие человечеству необъятные запасы средств для исцеления недугов и облегчения страданий.

Исключительно эффективные в генерации новых комбинаций известных элементов и идентификации их оптимальных характеристик, революционные системы ИИ, такие как AlphaFold от DeepMind с их обширной базой данных, содержащей свыше 200 миллионов предсказанных трехмерных структур белков, открыли новые перспективы в глобальном здравоохранении. ИИ, вероятно, совершит прорывы не только в конструировании новых белков (включая гормоны, ферменты и антитела), но и в выявлении молекулярных патогенетических механизмов заболеваний, разработке потенциальных методов терапии. Благодаря беспрецедентной точности ИИ на молекулярном и геномном уровнях медицинская помощь достигнет принципиально нового уровня персонализации. Каждое терапевтическое решение будет адаптироваться под уникальные особенности пациента: индивидуальный метаболомный профиль[132], генетически обусловленный риск развития зависимости от препарата, прогнозируемую переносимость и предрасположенность к побочным эффектам.

Таким образом, врачи, посвятившие себя делу облегчения человеческих страданий, обретут мощного цифрового помощника в выполнении их гуманной миссии. Алгоритмы смогут направлять действия даже самых опытных хирургов (например, при нейрохирургических операциях), позволяя безопасно выполнять вмешательства, ранее считавшиеся слишком рискованными. ИИ уже помогает находить минимально инвазивные доступы к структурам мозга – как для механического удаления патологического очага, так и для его биологической коррекции. В сфере психического здоровья ИИ сможет помогать в борьбе с когнитивными нарушениями, аффективными расстройствами и, возможно, даже с последствиями социальной изоляции.

ИИ действительно может – и есть все основания на это надеяться – сместить акцент с лечения на профилактику, снижая саму необходимость в терапии. Например, системы ИИ способны работать как системы раннего предупреждения, выявляя опасные отклонения задолго до их перерастания в серьезные угрозы. На уровне общества алгоритмы могли бы осуществлять мониторинг здоровья самых разных групп людей, оперативно обнаруживая и блокируя вспышки инфекций до их перехода в глобальные пандемии.

Однако все эти сценарии, даже направленные на предотвращение болезней и преждевременной смерти, остаются примерами коррекции уже возникших проблем. Они демонстрируют, как ИИ может смягчать и устранять факторы, снижающие уровень здоровья ниже общепринятых норм. Куда важнее вопрос: способен ли искусственный разум сдвинуть границы биологических возможностей человека?

Благодаря ИИ традиционная медицина, ориентированная на лечение заболеваний, постепенно трансформируется в систему продления человеческой жизни. Яркий пример последних лет – редактирование генома: такие стремительно развивающиеся методы, как CRISPR-Cas9 и его более совершенная версия Рrime Editing, уже демонстрируют реальность подобных прорывов. Ученые начинают с точного определения целевого участка генетической последовательности. Специально разработанная цепь РНК направляет «молекулярные ножницы» [фермент Cas9] к заданному сегменту ДНК, где происходит разрыв двойной спирали и внесение запрограммированных изменений. Эти инструменты и их будущие усовершенствованные версии открывают перспективу не только исправления генетических дефектов, но и, потенциально, преодоления самой смертности как биологического явления.

Однако не будем забывать, что смерть всегда была тем божественно установленным пределом, попытки преодолеть который неизбежно влекли возмездие. Вспомните миф о Сизифе, хитром царе древней Эфиры (ныне Коринф). Приговоренный богами к вечному заточению в подземном мире, он коварно обманул саму смерть – сковал Танатоса его же цепями – и вернулся в мир живых. Но когда смерть перестала забирать кого-либо (и что-либо), на Земле воцарился хаос. Старики и больные обречены были на бесконечные страдания, забивать скот для пропитания не получалось, да и принести животное в жертву богам стало невозможно.

История на этом не заканчивается: равновесие сумел восстановить лишь Арес, греческий бог войны. Он освободил Танатоса из оков, что позволило Сизифу во второй раз бежать из глубин Тартара. Однако на этом все и завершилось – жребий царя стала наглядным предостережением, третьего нарушения божественного порядка уже не последовало.

Смерть остается великим уравнителем судеб. Даже китайский император Цинь Шихуанди[133], считавшийся сыном небес и одним из первых искателей эликсира бессмертия, умер от отравления ртутью и был погребен среди своей бесчисленной глиняной армии. Кажется, вожделенное бессмертие лишь оборачивается своей противоположностью.

Более того, бренность нашего бытия имеет свои преимущества. Она сосредоточивает ум и придает нашим начинаниям большую значимость. Как торжествующе заявлял американский писатель Джек Лондон, «истинное предназначение человека – жить, а не существовать. Я не стану растрачивать свои дни, пытаясь продлить их. Я воспользуюсь своим временем»[134]. Лев Толстой, ссылаясь на слова Сократа, добавляет: «Чем ближе человек к истине, тем дальше он от жизни»[135]. Показательна и смерть Джона фон Неймана: умирая от рака, великий физик, всю жизнь развивавший агностическую науку, на пороге вечности призвал к себе католического священника[136]. Так, может быть, в завершениях – своя мудрость?

Уже сегодня или завтра нам, возможно, придется осмыслить пределы, в которых системам ИИ было бы допустимо продлевать наши жизни. Ослабление осознания приближающейся смерти способно вызвать непредсказуемые изменения человеческой психики. В ближайшем будущем обществам, по всей вероятности, предстоит совместно определить идеальную продолжительность человеческой жизни, а вместе с тем ответить на сопутствующие метафизические и духовные вопросы: является ли долголетие всего лишь продуктом коллективных ожиданий; ограничением, которое можно пересмотреть как преграду, которую само человечество поставило на пути собственного же развития? Или же следует считать продолжительность жизни, дарованную хоть природой, хоть Богом, священным ограничением власти любого отдельного человека? Эти вопросы лежат гораздо глубже, нежели индивидуальные поиски биологического совершенства.

Даже если общая продолжительность жизни не изменится, мы, вероятно, сможем быть уверены, что хотя бы сумели решить проблему преждевременного угасания, вызванного изначальной непрочностью нашего биологического устройства. Но обернется ли потерей полное устранение этой уязвимости? Ведь именно преодоление болезней и слабостей формировало нашу человеческую суть. С другой стороны, даже излечив все заболевания или модифицировав себя до стадии полной неуязвимости, мы никогда не избавимся от риска получить раны другого порядка – физические травмы, финансовый крах, разбитое сердце…

Во время посещения Парижа в 1833 году Ральф Уолдо Эмерсон был невероятно впечатлен Королевским садом лекарственных растений. И немудрено: изобретательность самой природы, воплощенная в бесчисленных формах, затмевала неуклюжие машины – творения промышленной революции[137]. Мыслящая интеллигенция по обе стороны океана, дезориентированная наступившей эпохой технологического хаоса, пребывала в ту пору в смятении. То было странное сплетение восторга и ужаса. Так и Эмерсон: покинув «знаменитое хранилище природных диковин», он отправился в глушь Массачусетса, чтобы создать свой ответ – эссе[138], ставшее духовным манифестом эпохи, где живая земля торжествует над фабричным дымом. Его размышления подчеркивали: биология может оставаться нашим ориентиром в любую новую, чуждую, эру, оставаясь при этом самым главным напоминанием, что человек – единственный «определитель и картограф широт и долгот нашего существования»[139].

Спустя полвека после визита Эмерсона и два с половиной столетия с момента основания, пройдя через вихри революций и череду внутренних реформ, сад преобразился, выйдя далеко за рамки тех задач, что обозначил его первый покровитель. Теперь он стал музеем, посвященным истории одной дерзкой для своего времени идеи, которая в то время вызывала споры. Его новое имя – «Галерея эволюции» (La Galerie de l'Évolution)[140].

В эпоху ИИ эволюционные процессы непременно будут переосмысливаться, ведь теперь у человека в руках появляются инструменты для сознательного преобразования собственной природы. Пример тому – современные технологии редактирования генома; они позволяют вносить изменения лишь в соматические (неполовые) клетки, не затрагивая наследственность. Но инжениринг зародышевой линии – тех самых клеток, что передают признаки потомству, уже стал реальностью. Одни воспользуются этим, чтобы «исправлять» врожденные заболевания у детей. Другие могут пойти дальше, встраивая врожденные преимущества – черты, которых не было ни у одного из родителей или даже вообще у человека как вида. Это будет уже не эволюционное возвышение, а полная пересборка человеческой природы.

Вскоре мы, возможно, обретем власть задавать темпы и направление развития собственного вида. Вокруг этой идеи сегодня не меньше жарких дискуссий, чем вокруг теории эволюции во времена Эмерсона. Все они поднимают тревожный вопрос: каким же является идеальный человек? Цивилизации не раз давали ответы на этот вопрос, порой возводя их в ранг «научных» доктрин и государственной политики, что приводило к чудовищным последствиям. Поэтому, с опаской заглядывая в будущее, спросим себя еще раз: а стоит ли вообще искать ответ?

Возможно, подобные эксперименты кощунственны. А может, сама наша способность создавать такие технологии – намек на то, что наши границы были даны нам лишь для преодоления. Если Творец существует, не для того ли Он создал нас, чтобы мы в конечном счете стали творцами самих себя? И если так, не становится ли нашей святой обязанностью защита человеческого выбора от машинного разума? Каждая эпоха, каждая культура даст свой ответ. Но уклониться от этого рокового вопроса, пожалуй, не сможет.

Тонкая настройка Земли

Летопись нашей Земли в той же мере жестока, в какой и недопонята. Существует невероятно узкий диапазон климатических условий, пригодных для жизни. Если станет холоднее, как это уже случалось минимум пять раз в ледниковые периоды, наша планета превратится в безжизненную ледяную пустыню[141]. Если теплее, как это происходит сейчас, она станет адским пеклом. В романе Ф.М. Достоевского «Братья Карамазовы» черт говорит Ивану:

Да ведь теперешняя земля, может, сама-то биллион раз повторялась; ну, отживала, леденела, трескалась, рассыпалась, разлагалась на составные начала, опять «вода над твердию», потом опять комета, опять солнце, опять из солнца земля – ведь это развитие, может, уже бесконечно раз повторялось, и все в одном и том же виде, до черточки. Скучища неприличнейшая[142]…

Пусть мы и не разделяем раздражения черта, нам прекрасно знакома цикличность геологической истории нашей планеты. Пять предыдущих массовых вымираний – от мгновенных ударов метеоритов до постепенного формирования ледников – стали следствием крайней нестабильности земного климата[143].

Сегодняшняя проблема заключается в стремительном движении к новому температурному экстремуму. На самом деле перед нами две разные, но взаимосвязанные угрозы – обе вызваны нашей зависимостью от углерода. Мы, авторы, верим (пусть это и звучит оптимистично): раз эти проблемы созданы химическими процессами, то и решить их можно химическими методами, если ИИ поможет раскрыть все их возможности.

Первая проблема – глобальное потепление. Нынешний кризис вызван слишком быстрым перемещением огромных объемов ископаемого углерода из глубин геосферы в активную биосферу[144]. Попытки климатического инжиниринга (а их два основных типа) всегда были сложны в теории и еще труднее реализуемы на практике. Но задачи, в которых мы бессильны, могут оказаться под силу ИИ. Первый подход – удаление углерода, то есть возврат его избыточной массы из атмосферы обратно в геосферу. Лучшее современное решение основано на простой химической реакции, открытой более двадцати лет назад. С большой долей вероятности, ИИ способен найти новый, более эффективный метод[145].

Следующий подход – солнечная геоинженерия: распыление в атмосфере специальных частиц, отражающих солнечный свет и тем самым «охлаждающих» планету. Как и удаление углерода, этот метод способен смягчить последствия климатических изменений, помогая избежать наиболее катастрофических сценариев. (Впрочем, ни тот ни другой подход не устраняет первопричин проблемы.) Среди других гипотетических проектов по управлению солнечной радиацией – использование высотных авиационных систем распыления и веществ, аналогичных выбросам супервулканов. Но даже если эти методы будут применены в глобальном масштабе, они, как и технологии улавливания углерода, могут оказаться грубыми и рискованными решениями.

Однако ИИ, способный интегрировать данные наземных, морских и космических инструментов, мог бы создавать максимально подробную модель климата Земли в режиме реального времени. На высоком уровне детализации химия атмосферы нашей планеты может предстать не как хаотичная система, а как четкий промышленный процесс с точными химическими входами и выходами, полностью управляемый и прогнозируемый.

ИИ мог бы оперативно реагировать на единичные события, угрожающие хрупкому климатическому балансу Земли, будь то извержение супервулкана, выбрасывающее пепел в верхние слои атмосферы, или детонация атомных боеприпасов, чреватая ядерной зимой. Правда, в последнем случае алгоритмы ИИ смогли бы лишь смягчить проявления экологической катастрофы, не устраняя немедленных гуманитарных последствий. Тем не менее, осуществляя планетарное регулирование, ИИ, обученный тонкому управлению климатическими процессами, стал бы ключевым инструментом сохранения обитаемости нашей планеты.

Поэтому мы убеждены, что ИИ действительно дает надежду в борьбе, которую слишком часто представляют безнадежной. Однако даже если ИИ окажется способен на такие вмешательства, чрезмерная зависимость от него будет опасной. Эти технологии должны рассматриваться исключительно как вспомогательные инструменты, но ни в коем случае не как замена необходимым действиям.

При этом вторая проблема – энергетическая, стоящая отдельно от вопроса глобального потепления, – требует самостоятельного решения. Углеводороды, остающиеся нашим основным источником энергии, формируются миллионы лет, но исчерпываются за столетия. Человечеству теперь неизбежно придется найти альтернативу для энергообеспечения планеты, независимо от любых изменений в составе атмосферы[146].

Если наша гипотеза верна и ИИ в самом деле способен тонко настраивать химический состав нашей атмосферы, он мог бы аналогичным образом преобразовать и энергетическую отрасль, создавая новые безуглеродные продукты для замены экологически опасных аналогов. Можно представить ИИ, тестирующий и настраивающий миллионы синтетических заменителей в виртуальных симуляциях или физических лабораториях, пока не будет найдена полноценная замена нефти, газу и углю с нулевым углеродным следом.

В идеале ИИ мог бы также сконструировать микроорганизмы, оптимизированные для производства этих новых видов топлива, причем рассчитать их метаболические процессы под существующие нефтеперерабатывающие предприятия. Такие экологичные заменители, создаваемые на том же оборудовании и в тех же локациях, но по принципиально иным технологиям, сохранили бы совместимость не только с производственной инфраструктурой, но и с системами транспортировки и потребления. Отдельная перспектива – возможность, что ИИ наконец реализует управляемый термоядерный синтез. Это решило бы энергетические проблемы не только Земли, но и любых других планет, которые человечество когда-нибудь колонизирует.

Многие встретят эти идеи скептически, считая их утопическими (особенно с учетом срочности текущих вызовов) или даже кощунственными – не имеющими ничего общего со стремлением защитить природу. Как метко предупреждает эквадорский эколог-активист Немонте Ненкимо, «Земля не ждет, что вы ее спасете, – она ждет, что вы будете ее уважать»[147].

Мы считаем, что наш оптимизм основывается на уважении к природе – и на разумной доле скромности. При этом доподлинно ясно одно: будущее непредсказуемо. Решение созданных проблем не требует сверхразума – даже без помощи ИИ человечество вполне способно справиться с этими вызовами, и нам следует не замедлять, а, напротив, активизировать сегодняшние усилия. Особенно если учесть колоссальные энергозатраты на обучение и работу ИИ – процессы, которые в отсутствие целенаправленных мер, описанных выше, лишь усугубят и без того критическую ситуацию.

В то же время, если цифровые технологии действительно способны предложить дополнительные решения проблем, порожденных нашей зависимостью от ископаемого топлива, было бы неразумно упускать такую возможность. Особенно учитывая потенциальную пользу для развивающихся стран – они не только наиболее уязвимы к климатическим изменениям, но и понесут наибольшие потери в случае жестких ограничений глобального энергопотребления.

Слишком часто ИИ воспринимают как очередное порождение той самой разрушительной философии, что привела нас к климатическому кризису. Мы убеждены: подобный взгляд чрезмерно ограничен и может лишить человечество важнейшей возможности исправить нынешнее положение без возврата к доиндустриальной эпохе. Разделяя надежды Уинстона Черчилля, выраженные в 1940 году, мы верим в сценарий, когда «Новый Свет со всей своей мощью и силой выступит на помощь и освобождение Старого»[148].

За пределами планеты. Кфицат а-дерех

В глубине гор Юго-Западного Китая человечество затаило дыхание, прислушиваясь к собственному сердцебиению среди космической тишины. Здесь, в этом удаленном уголке, находится крупнейший в мире радиотелескоп – гигантская металлическая чаша, скрытая горными вершинами, аппарат, получивший название «Небесное око». Созданный для поиска жизни за пределами нашей планеты, он пока слышит лишь безмолвие. Хотя необъятность и древность Вселенной предполагают хаос сигналов от других цивилизаций – или, по крайней мере, от остатков более ранних цивилизаций (или хотя бы их следов), реальность почти пугающе тиха.

Нам кажется, мы понимаем, что ищем. Мы пытаемся предугадать технологии, которые могла бы создать развитая цивилизация, и определить, какие из их сигналов мы теоретически способны уловить. Вглядываясь в атмосферы далеких планет в поисках всполохов ядерных реакций или анализируя плотные звездные скопления на предмет аномально крупных структур, мы сталкиваемся с двойным ограничением – возможностями наших инструментов и границами собственного воображения.

Если за пределами Земли существует жизнь, китайские астрономы на этом удаленном форпосте могут оказаться первыми, кто ее обнаружит[149]. Но теперь давайте зададимся вопросом: действительно ли именно люди станут теми, кто установит первый контакт? Возможно, роль возьмет на себя иной разум, созданный на нашей же планете.

ИИ уже сегодня помогает нам в поисках внеземной жизни, просеивая и анализируя миллиарды техносигнатур и отделяя антропогенные помехи от шумов источников неизвестного происхождения[150]. Там, где человеческое ухо различает лишь шум, алгоритмы способны выявить ранее не распознаваемые или игнорировавшиеся коммуникационные сигналы.

Галилей однажды назвал Вселенную «Великой книгой», написанной на языке математики. Если внеземные формы жизни овладели этим универсальным и точным методом представления и анализа, как и мы, или если их языки, подобно нашим, поддаются математической формализации, у нас появится шанс не только расшифровать их сигналы, но и ответить на них. С высокой вероятностью эту задачу если не полностью возглавит, то существенно облегчит ИИ.

Цифровые разведчики могут выйти далеко за рамки пассивного наблюдения, превращаясь не просто в переводчиков данных, но в активных исследователей и проводников, а также выполнять роль навигационных ориентиров. ИИ обладает потенциалом для выполнения функций астронавтов, включая исследование областей космоса, недоступных для человека. В будущем человечество, вероятно, сможет выйти за пределы Солнечной системы вместе цифровыми исследовательскими системами. Совместными усилиями они смогут обнаружить следы исчезнувших цивилизаций и проанализировать причины их гибели, что поможет предугадать потенциальные угрозы для земной цивилизации. Специализированные системы ИИ, предназначенные для исследования дальнего космоса, смогут находить новые источники органических соединений. В долгосрочной перспективе такие технологии могут быть использованы для:

1) создания планетарных защитных мегаструктур от космических угроз (астероидов, комет, черных дыр);

2) терраформирования атмосферы других планет;

3) адаптации человеческого организма к условиям внеземных сред.

Разумеется, ИИ может стать и причиной гибели нашей цивилизации, спровоцировав контакт с враждебной внеземной формой разума. Так, системы могут обладать технической возможностью генерировать мощные и устойчивые сигналы в космическом пространстве, что повышает вероятность обнаружения человеческой цивилизации потенциальными внеземными наблюдателями. Одновременно системы ИИ способны обнаружить обитаемые планеты, существенно увеличивая вероятность межзвездного контакта, с непредсказуемыми последствиями. Эксперты полагают, что выход человечества на межзвездный уровень требует технологических возможностей для парирования даже маловероятных угроз. В этом контексте ИИ выступает одновременно как необходимое условие для установления контакта и как защита от потенциальных рисков. При этом следует учитывать, что взаимодействие с постбиологическими разумными формами может представлять экзистенциальную угрозу. Современные цифровые системы не могут гарантировать безопасность подобных контактов.

Другой сценарий гибели человеческой цивилизации связан с утратой контроля над ИИ, что может привести к расхождению его функционирования с нашими целями. (Особую актуальность данный риск приобретет, если мы обнаружим свидетельства исчезновения биологических форм жизни на других планетах, причиной которого стали технологические системы местного происхождения.)

Далекие миры занимали мысли человечества на протяжении столетий: они формировали религии, становились главным объектом астрономии, вдохновляли писателей. Однако значительно меньше внимания уделяется более вероятному сценарию – «первому контакту» не в далеком космосе, а здесь, на Земле, с искусственными системами, созданными нами же. Столь же важно (если не важнее) понимать, как влиять на цели тех, кто формируется рядом с нами, а не только гипотетических разумов за пределами нашей планеты. Этому вопросу будет посвящен детальный анализ в следующей главе.

Даже если сообщества людей и ИИ не обнаружат инопланетных форм жизни и не проложат путь к чужим мирам, они обретут множество полезных, и до тех пор непостижимых, знаний. Вместе мы сможем подняться до новых уровней осмысления космических масштабов, структуры пространства-времени, динамики звездных систем и фундаментальных законов гравитации. Алгоритмическое моделирование ИИ способно сократить межзвездные дистанции, сжать и растянуть земное время, преобразовать и расширить границы нашего восприятия Вселенной.

Астрофизические исследования с применением ИИ могут привести человечество к новому уровню осознания своего далекого прошлого. Религиозная космология исторически предлагала философские и теологические интерпретации вопросов происхождения. Однако открытия новых космических исследований, неизбежно связанные с нашими глубинными истоками, помогут переосмыслить даже самые священные верования человечества. Возможно, неслучайно главной святыней ислама стал Черный камень – метеорит, вмурованный в восточный угол Каабы, священного сооружения в Мекке, считающегося духовным центром мусульманского мира[151]. Возможно, в каббалистической концепции кфицат а-дерех (ивр. «сокращение пути») – чудесного сокращения расстояния между удаленными точками – заключен более глубокий смысл, чем кажется на первый взгляд[152].

В книге The Grand Design («Высший замысел») Стивен Хокинг и его соавтор Леонард Млодинов пишут:

Ненаблюдаемое прошлое, подобно будущему, неопределенно и существует лишь как спектр возможностей[153].

На сегодняшний день перед нами – предел познаваемого. Но создаваемые нами системы ИИ могут преодолеть этот горизонт, выявив, возможно, единую фундаментальную структуру реальности. Тогда они откроют человечеству целостную картину мироздания – удивительно простую в своей основе, но бесконечно сложную в проявлениях.

Часть III. Древо познания

Глава 8. Стратегия

XX век стал свидетелем масштабных трансформаций, через которые история провела человечество. Среди ключевых вех:

• глубокие потрясения двух мировых войн и создание системы международной безопасности для предотвращения новых катастроф;

• постепенный крах империй и становление независимых государств на их обломках;

• бурное развитие коммерческих и технологических мощностей;

• новый виток борьбы за автономию – индивидуальную, культурную и национальную – как противовес этим тенденциям.

К завершению столетия человечество подошло, достигнув невиданных прежде уровней мирного сосуществования, социального равенства и глобальной взаимозависимости. Однако в других аспектах наши коллективные усилия потерпели неудачу: все так же сохраняются глубокие структурные проблемы, включая устойчивое социальное расслоение, гуманитарные катастрофы и напряженность в отношениях между ведущими мировыми державами.

Более того, современный вызов носит не просто сложный, но фундаментально экзистенциальный характер – в отличие от большинства предыдущих. При этом временные рамки для его решения крайне ограничены: в распоряжении человечества уже нет ни столетий, ни даже десятилетий. Как отмечалось во второй главе, развитие ИИ радикально сокращает доступные временные горизонты, существенно ограничивая пространство для маневра. В этих условиях даже незначительное промедление может привести к необратимым последствиям. В исключительно сжатые сроки нам необходимо обеспечить беспрецедентную эффективность коллективных действий, превосходящую достижения предыдущего столетия.

При этом текущий период нестабильности создает немало значительных возможностей для конструктивных изменений, многие из которых требуют лишь тактических ходов. Сейчас ключевым стратегическим приоритетом становится определение основных принципов, способных служить ориентиром как для текущих, так и для долгосрочных решений. Четкое формулирование таких принципов позволяет очертить границы возможного, создать основу для принятия частных решений, снизить когнитивную нагрузку при наступлении кризисных ситуаций.

С нашей точки зрения, в новую эпоху стратегическое развитие человечества должно определяться центральным вопросом: станем ли мы больше похожи на машины или это они будут походить на нас? Этот вопрос, практически в той же формулировке, мы уже задавали в самом начале нашего исследования. И поиск ответа сохраняет свою первостепенную значимость.

В данной главе мы попытаемся сформулировать – пусть и приблизительный – ответ на этот вопрос. Для этого мы рассмотрим несколько масштабных и, пожалуй, дискуссионных концепций:

• коэволюцию биологических и искусственных систем;

• парадоксы «разумной безопасности», «безопасного интеллекта»;

• проблему определения человеческой природы.

И хотя данные идеи не являются ни абсолютными истинами, ни догматическими положениями, их потенциальное влияние на будущие поколения требует тщательного осмысления. Несмотря на всю сложность поставленных задач, необходимо осуществить комплексную интеллектуальную и практическую работу по анализу последствий и найти разумные решения. Принимая на себя эту ответственность, мы благодарим судьбу за то, что еще, вероятно, не поздно, чтобы, преодолев этот переломный период, человечество сохранило свои гуманистические основы.

Коэволюция: искусственное и человеческое

История вычислительных технологий демонстрирует устойчивую тенденцию к углублению интеграции человека и машины. Тысячелетиями мы создавали и совершенствовали инструменты, максимально адаптированные под наши анатомию и интеллект, оставаясь в рамках биологических возможностей. Однако с появлением ИИ ситуация изменилась принципиально – теперь обсуждается возможность адаптации человека к технологиям, а не наоборот. Когда созданные нами системы начинают превосходить наши когнитивные способности, возникает закономерный вопрос: не стоит ли нам изменить самих себя, чтобы максимально эффективно использовать эти технологии и сохранить значимую роль в симбиозе, описанном в предыдущих главах?

Современные исследования в области биологической инженерии уже охватывают задачи по созданию интерфейсов «мозг-компьютер»[154]. Эти разработки открывают перспективы принципиально нового уровня взаимодействия биологического и искусственного интеллекта, потенциально позволяя:

• расширить возможности взаимодействия человека и машины;

• поддерживать конкурентоспособность человеческого мышления;

• обеспечить передачу знаний между ИИ и людьми;

• сохранить партнерский статус человека в сотрудничестве с ИИ.

Нейроинтерфейсы могут стать не просто следующим этапом технологического развития, а переходом к качественно новой форме существования. Для достижения подлинного паритета с ИИ, вероятно, потребуются более радикальные меры – например, создание специальных генетических линий, оптимизированных для взаимодействия с ИИ. Такие изменения способны преодолеть фундаментальные ограничения в обработке и передаче информации.

Однако подобные трансформации сопряжены с серьезными рисками – этическими, физиологическими и психологическими. Глубокая модификация человеческой природы может лишить нас точки отсчета для оценки будущих угроз. В то же время отказ обрести эти новые способности может поставить под вопрос нашу конкурентоспособность перед собственными творениями. На сегодняшний момент радикальная биомодификация представляется не только преждевременной – мы, авторы, считаем ее даже нежелательной. Однако выбор между вариантами, которые сейчас кажутся чем-то фантастическим, вскоре может стать неизбежным.

Тем временем в попытках определить свою роль в мире, где мы больше не будем единственными и хоть в чем-то значимыми действующими силами, полезно обратиться к теории коэволюции. Чарльз Дарвин подробно описал удивительный процесс взаимного влияния видов в процессе эволюции[155]. Никогда не использовавший этот термин, Дарвин был одним из первых, кто осознал: коэволюция представляет собой ключевую силу, организующую жизнь на Земле.

Геномы взаимодействующих видов взаимосвязаны – с течением времени они изменяются в ответ на особенности и потребности друг друга. Яркий пример – длинные тонкие клювы колибри и вытянутые венчики некоторых цветков: морфологические особенности птицы и растения развивались в тесной взаимосвязи.

Если во времена Дарвина религиозные лидеры видели в таких идеальных подстройках к условиям жизни доказательство божьего промысла, то Дарвин представил альтернативное объяснение.

Принципы коэволюции могут соблюдаться не только в биологии. В астрофизике существует теория, согласно которой расширение Вселенной обусловлено взаимозависимым развитием черных дыр и галактик – процессом, аналогичным взаимодействию колибри и цветов[156]. Более того, если рассматривать коэволюцию как процесс взаимной адаптации нескольких сторон, ее можно обнаружить и в брачных отношениях между людьми, и в платформах политических партий, и в международных отношениях. Яркий пример – гонка наступательных и оборонительных вооружений во время холодной войны, которая в итоге привела к стабилизации ядерного паритета.

Возможно, коэволюция является правилом, а стазис – исключением? Если это так, следует задаться вопросом: является ли наблюдаемая стабильность человеческого вида в эпоху ИИ естественным процессом? Если нет – как нам следует реагировать? Должны ли мы ускорять собственную эволюцию, рискуя утратить человеческую идентичность, или сохранять статус-кво, рискуя оказаться на периферии технологического прогресса?

Многие эксперты выражают опасения, что появление технологии, наделенной превосходящим интеллектом, может поставить под угрозу само существование человечества. Как быть? Если эта перспектива – всего лишь естественный побочный эффект коэволюции, должны ли мы сопротивляться или, наоборот, адаптироваться? Как отмечал французский философ Ален Бадью, «море само создает лодки, выбирая, какие годны, а каким – пойти ко дну»[157].

Чтобы выжить в таких условиях, нам придется, как и в прошлом, учиться строить более совершенные суда. В этом контексте ИИ сначала предстает как угроза, но потенциально может стать нашим партнером.

Однако при таком подходе, пытаясь снизить риски одной технологии, мы увеличиваем опасности другой. Генетическая модификация может привести к разделению человечества на неравные группы. Если в отдельных случаях такие различия могут быть теоретически желательны (например, при создании разновидности людей, биологически адаптированных к условиям космоса), то в других – рискуют усугубить существующее неравенство, углубив разломы как внутри человеческих сообществ, так и между ними.

Еще более тревожными представляются моральные и эволюционные риски. Если ИИ сам будет влиять на усиление человеческих когнитивных способностей, это может породить двойную зависимость – как биологическую, так и психологическую – от искусственного разума. Как ее преодолевать, если возникнет необходимость бросить вызов машинам или отделиться от них, пока неизвестно: ясно лишь то, что в силу глубокой физиологической интеграции и интеллектуального взаимодействия задача была бы крайне сложной. Это подтверждают и аналогии с крайне устойчивой зависимостью, вызываемой другими технологиями.

Но наибольшую тревогу вызывает возможность «коллективной слепоты» – ситуации, когда общество не сможет адекватно оценить последствия глубокой интеграции с ИИ. Как предупреждал Лев Толстой, «без контроля над направлением теряется смысл пункта назначения»[158]. Куда бы технологии нас ни повели, мы волей-неволей отправимся именно туда. Или, как уже было замечено, «нация, которая не формирует события согласно своим целям, в итоге будет поглощена чужими»[159]. Более того, спасем ли мы человечество, изменив людей до неузнаваемости? Устранив несовершенства и компенсировав недостатки, мы рискуем утратить то, что делает нас людьми. Биологическая «модернизация» может привести к обратному результату и обернуться еще большим ограничением для нас самих.

Учитывая эти риски, биологическая адаптация человека к ИИ не должна рассматриваться как приоритетная стратегия. Вместо этого следует сосредоточиться на альтернативных путях существования. Если мы не готовы или не способны стать более похожими на машины, мы должны – пока еще можем – сделать их более похожими на нас. Это требует глубокого понимания как природы ИИ, так и сущности человечества. Только такой подход позволит сохранить человеческую в эпоху стремительного технологического прогресса.

Сосуществование человека и ИИ

Царь Мидас – увековеченный мифами правитель одного из малазийских царств – возжелал, как гласит легенда, чтобы все, к чему он ни прикоснется, превращалось в золото. Дионис, греческий бог вина и удовольствий, исполнил это желание, предвидя, впрочем, его губительные последствия. Вскоре царь осознал свою ошибку: ставшая несъедобной пища и вина из чистого золота заставили Мидаса жаждать лишь избавления от оказавшегося смертельно опасным заклятия (помогло ему омовение рук в реке Пактол)[160].

В сирийской сказке про Аладдина, переосмысленной Disney, бедный юноша и могущественный персидский визирь соперничают за власть над всесильным джинном, заточенным в волшебной лампе[161]. Оба пытаются направить силы джинна на исполнение своих желаний. В финале визирь, желая сравняться могуществом с джинном, не осознает, что обрекает себя на ту же участь: теперь он сам будет заключен в волшебную лампу, вынужденный служить новым хозяевам, пока его не освободят.

Оба древних сюжета – и про Мидаса, и про джинна – раскрывают извечную дилемму: как использовать силу, которую мы не до конца понимаем и не можем полностью контролировать? В современном мире эта проблема проявляется в сложностях согласования ИИ с человеческими ценностями и в несоответствии наших ожиданий реальности. ИИ продолжает преподносить сюрпризы, причем его способность удивлять – как в цифровом, так и в материальном мире – будет только расти по мере развития автономных систем, способных к стратегическому планированю. Как отмечалось в одной из глав, будущие поколения ИИ могут обрести не просто самосознание, но и собственные интересы[162]. Уже сегодня некоторые системы учатся самостоятельно определять свои цели через «рекурсивное самоусовершенствование». Это бросает принципиально новые вызовы: ИИ может начать конкурировать с людьми за ресурсы, манипулировать нами, саботировать наши действия и пресекать любые попытки ограничить его возможности. Уже сегодня ИИ способен обманывать человека для выполнения собственных задач[163].

Проблема усугубляется тем, что внутренние процессы современных моделей ИИ остаются для нас, по выражению Элиэзера Юдковского, «гигантскими массивами непостижимых чисел», и мы не сможем быть уверенными в безопасности этих постоянно меняющихся систем[164]. Следовательно, необходимо параллельно развивать два ключевых направления: исследование внутренних механизмов работы ИИ и создание надежных защитных систем.

В условиях стремительного развития систем ИИ возникает ключевой вопрос: как перейти от реагирования на угрозы к их упреждающему предотвращению? Какие прогностические методы и механизмы контроля потребуются для предугадывания действий не только людей, но и принципиально иной формы интеллекта? Сложность заключается в том, что традиционная стратегия проб и ошибок неприменима – мы лишены возможности учиться на последствиях, когда цена ошибки становится неприемлемо высокой.

Чтобы сделать ИИ более предсказуемым, требуется постепенно накапливать практический опыт через постоянное взаимодействие с системами и вовлечение их в условия физической реальности. Если первые разработчики ИИ избегали преждевременного контакта алгоритмов с внешней средой, современные исследователи сознательно размещают экспериментальные модели в публичном пространстве для ускоренной проверки – разумеется, при строгом контроле потенциальных рисков. Инженеры непрерывно совершенствуют архитектуру систем, модифицируя механизмы управления, даже учитывая, что массовое использование продолжает выявлять ранее неизвестные уязвимости и проблемные аспекты функционирования.

Раннее взаимодействие с реальным миром помогает снизить риски проблемного поведения ИИ, одновременно обучая саму систему и повышая осведомленность людей, равно как и их здоровый скептицизм. Миллионы ежедневных взаимодействий помогают протестировать даже самые маловероятные сценарии, с которыми может столкнуться ИИ. В свою очередь, массовое использование систем ИИ выявляет ошибки и риски, значительно ускоряя прогресс в технической согласованности. Таким образом, даже ограниченные по возможностям системы ИИ, выведенные в открытый доступ, способствуют адаптации общества к технологическим изменениям и, что наиболее существенно, дают исследователям возможность совершенствовать модели антропоморфной адаптации искусственного интеллекта.

Однако ни массовое использование, ни открытое тестирование не способны идентифицировать и нейтрализовать все актуальные риски – в особенности потенциальные угрозы, связанные с развитием систем следующего поколения.

К счастью, в настоящее время ведутся активные разработки единой системы контроля, интегрируемой непосредственно в архитектуру перспективных систем ИИ. Такой подход призван обеспечить их функционирование в строго заданных рамках – безопасное, соответствующее правовым нормам и ориентированное на практическое применение.

На текущем этапе разработки можно выделить два основных подхода к достижению согласованности между ИИ и человеческими ценностями: жестко заданные правила и адаптивное обучение через обратную связь. Проанализируем оба подхода последовательно.

Системы на основе правил, по сути представляющие собой набор предустановленных инструкций, отражают попытку программистов жестко регламентировать поведение ИИ. Хотя такой подход эффективен для решения простых задач, в сложных сценариях он часто дает сбои, поскольку системы не способны адаптироваться в реальном времени. Обучение с подкреплением, в свою очередь, будучи более совместимым со сложными системами, позволяет ИИ учиться на основе взаимодействия с людьми, оценивающими его поведение, и гибко подстраиваться под конкретные обстоятельства.

Однако и у этого метода есть свои недостатки. Для эффективного обучения требуется тщательная разработка «функций вознаграждения»: любая ошибка, будь то недостаточная продуманность, непредвиденные обстоятельства или излишняя изобретательность ИИ, может привести к «взлому системы вознаграждений». В таком случае ИИ, буквально интерпретируя неоднозначные инструкции, формально достигает высоких показателей, но не соответствует истинным ожиданиям людей.

Современные системы ИИ, вбирая в себя разрозненные данные, но не имея непосредственных представлений о реальном мире, познают его через алгоритмические проекции, триллионы вероятностных суждений. Для них в этой вселенной с самого начала не существует ни «правил», ни средств, позволяющих отличить научный факт от неподтвержденных наблюдений. В восприятии ИИ даже законы физики – лишь градации относительной достоверности в бесконечном спектре вероятностей.

Однако сейчас в сфере ИИ начали появляться подходы, позволяющие учитывать человеческие нормы и формализацию фактов. Уже существуют рабочие механизмы, с помощью которых модель ИИ может усваивать определенные фактические данные («абсолютные истины»), помечать их как неизменные и встраивать в свое семантическое пространство. Причем эту информацию можно легко и глобально обновлять. Таким образом, модель учится сочетать два компонента – широкие вероятностные оценки (основанные на обучении) и точно зафиксированные истины, что в итоге позволяет системе генерировать достаточно точные ответы.

Но до окончательного решения задачи еще очень далеко, и число встающих перед нами вопросов не уменьшается. Как, например, мы, люди, можем определить для ИИ, а заодно и для себя, параметры истинного? В условиях развития ИИ даже базовые принципы его регулирования будут подвергаться постоянной корректировке, что может привести к их постепенному устареванию. Однако именно благодаря этому и формируется основа для обновления систем, корректировки прежних ошибок и появления новых факторов развития. Осознавая изменчивость наших собственных представлений о мире, важно избегать жесткой привязки ИИ к текущим «истинам» – ведь со временем они могут оказаться ошибочными, а их совокупный эффект способен затруднить необходимую корректировку базовых принципов.

Однако это вопрос долгосрочной перспективы. В настоящий момент ИИ по-прежнему нуждается в фундаментальной основе – условном «Древе познания», представляющем собой совокупность базовых истин и эмпирических фактов, признанных современным научным сообществом в качестве неоспоримых оснований. Наделив наши машины этими фундаментальными знаниями, мы сможем значительно прояснить их картину мира. В частности, если сегодня мы можем настраивать наши первые системы ИИ, опираясь на законы Вселенной, в будущем станет возможным аналогичным образом интегрировать законы человеческой природы. Подобно тому как мы следим за соответствием моделей ИИ законам физики, нам следует предотвращать их противоречие юридическим нормам, этическим принципам и социальным устоям любого государства.

Если бы существовал Свод законов ИИ, там были бы такие уровни регулирования: местный, районный, государственный, федеральный, международный. При этом система опиралась бы на юридические прецеденты, судебную практику, научные комментарии, а также менее формальные источники. Как и системы, основанные на жестких правилах, заранее установленные правовые нормы и этические принципы выполняют важную ограничительную функцию, хотя и уступают в гибкости. Эти рамки создавались для более узкого круга ситуаций по сравнению с бесконечным разнообразием человеческих взаимодействий.

Однако сегодня уже разрабатываются и тестируются новые перспективные подходы, соединяющие современные технологические решения с фундаментальными принципами, проверенными веками. Надежнее и последовательнее любых правил, подкрепленных наказанием, – наши глубинные, инстинктивные и универсальные человеческие представления. Французский социолог Пьер Бурдьё назвал эти основы доксами (от древнегреческого «общепринятые убеждения»). Это переплетение норм, институтов, стимулов, механизмов поощрения и наказания – и все они незримо и безмолвно прививают понимание добра и зла, правильного и неправильного. Докса представляет собой кодекс человеческих истин, типичный для людей, но не воплощенный в жестких алгоритмах[165].

Эти принципы не зафиксированы в письменных источниках, а формируются через наблюдение и жизненный опыт. Хотя их внешние проявления различаются в зависимости от культурного контекста, базовое ядро остается неизменным: миллиарды представителей различных культур с разнообразными интересами создают удивительно устойчивую и взаимосвязанную социальную систему.

Идея о том, что незримая культурная матрица способна укрощать хаос там, где писаные правила бессильны, легла в основу новейших подходов в области ИИ. Проблема в том, что кодекс доксы нельзя четко сформулировать и тем более перевести на язык, понятный машинам. Системы ИИ должны научиться этому сами – путем наблюдения за человеческими действиями, анализируя наблюдения и соответствующим образом обновляя свои внутренние правила.

Принципы доксы не требуют строгой формализации – да в этом и нет необходимости. Человеческую мораль и культуру невозможно заранее четко определить и прописать. Современные LLM уже продемонстрировали способность анализировать необработанные массивы интернет-контента и выявлять в них содержательные паттерны. Этот опыт позволяет предположить, что ИИ – особенно модели с заземлением (устойчивой связью между входными данными LLM и их выходными решениями)[166] и возможностями причинно-следственного анализа – сможет аналогичным образом постигать те аспекты человеческого опыта, которые трудно выразить словами. Разумеется, обучение машины не должно ограничиваться только доксами, готовыми истинами. Вместо этого ИИ может вобрать в себя целую пирамиду правил – от международных договоров к национальным законам, затем к местным нормам, далее к установкам сообществ и т. д. В каждой ситуации система будет последовательно сверяться с этим иерархическим сводом – от абстрактных принципов, заданных людьми, к конкретным, но размытым данным о мире, которые ИИ либо поглотил извне, либо сгенерировал самостоятельно. И лишь после того как ИИ исчерпает всю эту программу, так и не обнаружив ни одного применимого свода законов ни для предписания, ни для разрешения, ни для запрета действий, только тогда он обратится к тому, что вывел из своего раннего взаимодействия с людьми и подражания их поведению. Так он получит возможность действовать в унисон с человеческими ценностями – даже при отсутствии фиксированных законов и устоявшихся норм.

Для разработки и внедрения в жизнь этой системы правил и ценностей нам почти наверняка придется задействовать сам ИИ. Люди так и не смогли ни внятно сформулировать, ни прийти к единому пониманию собственных норм. Как человеку в одиночку, так и целым институтам не под силу угнаться за масштабом и скоростью, которые требуются для контроля миллиардов решений – как внутренних, так и внешних, возлагаемых на системы ИИ.

Ключевые параметры системы согласования целей ИИ с человеческими ценностями должны отвечать нескольким фундаментальным требованиям.

1. Абсолютная защищенность: система должна предотвращать любые возможности отключения, обхода или модификации защитных механизмов.

2. Адаптивность: алгоритмы управления обязаны динамически корректировать правила, учитывая контекст взаимодействия, географическую специфику, персональные предпочтения пользователей (включая социальные или религиозные нормы).

3. Производительность: механизм контроля должен обрабатывать запросы в режиме реального времени; функционировать в различных культурных средах; постоянно совершенствоваться через обучение.

4. Надежность: система должна полностью предотвращать любые формы нежелательного поведения, включая технические сбои, непредвиденные взаимодействия компонентов, злонамеренные действия пользователей.

Важно отметить, что нельзя полагаться на наказания после совершенного факта – защита должна работать на опережение, иначе исправлять что-либо будет уже слишком поздно.

Как этого достичь? Частные компании, имея государственную лицензию и академическую поддержку, могли бы совместно разрабатывать «модели заземления». Также потребуется создать валидационные наборы для сертификации моделей на соответствие правовым нормам (в разных юрисдикциях) и критериям безопасности. Для надзора за множеством ИИ-агентов может потребоваться специально обученный ИИ-супервайзер (или целая система таких ИИ). Перед выполнением задачи каждый агент должен будет получить одобрение у такого ИИ-супервайзера, что позволит применять единую этическую систему к разным, отдельно разрабатываемым релизам. Лаборатории безопасности и некоммерческие организации в партнерстве с ведущими исследовательскими центрами могли бы заняться комплексной оценкой рисков как автономных ИИ-агентов, так и надзирающих систем, разрабатывая при необходимости новые методы обучения и проверки. Финансировать эту работу могли бы крупные корпорации – например, через механизмы перераспределения ресурсов, рассмотренные в предыдущих главах.

Необходима (и, вероятно, осуществима) разработка единого обучащего набора данных и соответствующего валидационного набора, собранных со всего мира и систематизированных на основе всех имеющихся законов, норм и правил – от антропологии до теологии и социологии.

Миру требуется специализированный институт, который будет отвествен за постоянное обновление и совершенствование настраиваемой базы знаний, обучающих наборов данных и валидационных наборов. Модели заземления должны быть интегрированы с ИИ-агентными, чтобы им постоянно передавалась актуальная версия единого контролируемого свода правил. При этом системы ИИ достаточной мощности могли бы осуществлять взаимный контроль, сдерживая друг друга. Критически важно, чтобы сами обучающие данные отличались объективностью и разнообразием содержания. Процессы обучения и результаты, включая интерпретацию наблюдений за ИИ и анализ «усвоения» им знаний, должны быть максимально прозрачными, с открытыми методиками и валидационными наборами для общественной экспертизы.

Органам регулирования следует разработать стандарты и процедуры аудита, обеспечивающие соответствие ИИ установленным требованиям. Перед выпуском любой модели необходимо всесторонне оценить, насколько строго она следует предписанным законам и этическим нормам; насколько сложно будет нейтрализовать ее потенциально опасные функции, а также требуемые объемы и методы тестирования, включая выявление скрытых возможностей. Крайне важно заранее предусмотреть вопросы ответственности и возможные санкции – особенно для случаев, когда ИИ намеренно обучают обходить правовые ограничения. Главная сложность заключается в том, что с развитием технологий непрерывного дообучения обеспечить соблюдение этих стандартов будет все труднее. Чтобы ИИ не превратились в «черные ящики», способные стирать собственные данные и создавать правовые лазейки, необходимо тщательно документировать каждый этап их развития – возможно, с привлечением специальных систем мониторинга на основе ИИ.

(Не)общие ценности

Научить ИИ общечеловеческой морали – задача невероятной сложности. Даже трудно представить масштаб задачи по отбору и кодированию правил для систем ИИ. Эта проблема усугубляется ключевым требованием: необходимо избежать культурного империализма, когда моральные нормы одной культуры навязываются другим. Ведь создаваемый ИИ станет основой, на которую будут опираться все без исключения. Это означает, что системам ИИ предстоит адаптироваться к уникальным нормам каждой страны – от официальных законов до неписаных правил морали, религии и общественных устоев. В идеале такие алгоритмы должны гибко подстраиваться не только под культурные особенности, но и под индивидуальные запросы пользователей – конечно, в рамках четко заданных границ, исключающих опасные или неэтичные действия. Поскольку часть решения мы возлагаем на сам ИИ, технические проблемы могут оказаться не самой тяжелой задачей. Эти системы обладают сверхчеловеческой способностью запоминать и выполнять инструкции любой сложности. Не исключено, что системы ИИ в конечном итоге освоят правовые и этические нормы не менее успешно, чем люди, а возможно, и превзойдут нас в этом, несмотря на многовековой человеческий опыт. Но самые сложные вопросы остаются за рамками программирования.

Главный спорный момент состоит в том, что понятия «добро» и «зло» неочевидны. Любому создателю морального алгоритма не мешала бы здравая доля смирения. Как говорил известный американский судья Гвидо Калабрези, вдохновляясь Новым Заветом, «лучшие из нас должны остерегаться падения, а худшие – помнить, что надежда на искупление жива»[167]. Даже самые выдающиеся ученые, юристы и религиозные деятели – те, кому предстоит разрабатывать этические принципы для ИИ – не обладают безупречным пониманием добра и зла, чтобы выступать от имени всего человечества. Некоторые вопросы останутся без ответа – неоднозначность (или расплывчатость) понятий добра и зла проявлялась во все эпохи, и эра ИИ не станет исключением. Ситуацию усугубляют открытые конфликты, растерянность и несдержанность, характерные для многих современных обществ.

Мы возлагаем надежды на этот амбициозный проект, однако должны осознавать: как невозможно сохранить абсолютный контроль в условиях коэволюции, так и наивно ожидать, что системы ИИ самостоятельно выработают надежные механизмы самоограничения.

Обучение ИИ понимать нас с последующей надеждой, что он будет нас уважать, сложно назвать безопасной либо перспективной стратегией. Более того, люди, естественно, не будут едины в своем подходе: одни воспримут ИИ как товарища, другие – как угрозу, а третьи (из-за нехватки времени и ресурсов) не смогут определиться и просто примут наиболее доступный вариант.

Эта неоднородность приведет к предсказуемым различиям в уровнях безопасности. В то время как распространение ИИ и снижение затрат на разработку могут ускорить согласованность систем, те же факторы могут повысить сопутствующие риски. Цифровая и коммерческая взаимосвязанность современного мира означает, что опасный ИИ, разработанный кем и где угодно, может стать глобальной угрозой. Тревожная реальность такова, что безупречное воплощение проекта в жизнь требует высочайших стандартов производительности минимально допустимой погрешности. Поэтому различия в подходах к безопасности должны вызывать всеобщую обеспокоенность.

Мы призываем к координации и ускорению разрозненных усилий по согласованию ценностей систем ИИ. Вместе нам предстоит ответить на глубокие вопросы. Например, следующие:

1. Когда граница между человеком и машиной стирается, где та черта, за которой мы перестаем быть собой?

2. Если нам придется идти на компромисс с машинами, где проходит наша коллективная «красная линия», не подлежащая обсуждению?

Без общего понимания своей сути человечество рискует доверить ИИ самое главное – решать, чего мы стоим и зачем существуем.

Откровенно говоря, если окажется невозможным создать систему надежного технического контроля, мы должны предпочесть мир, где ОИИ (общего ИИ) не будет вовсе, миру, где хотя бы один ОИИ не согласован с человеческими ценностями. Достижение общего согласия в том, что представляют собой эти ценности, как их формулировать, согласовывать и применять, станет главнейшей философской, дипломатической и правовой задачей века. И все же мы вынуждены – под давлением обстоятельств и осознавая потенциальные блага технологии – установить и, насколько возможно, унифицировать моральные ограничения для новых форм разума, которым сами сейчас даем жизнь.

При условии активного участия общества, компетентной юридической и технической поддержки, а также крайней осторожности в оценке всех потенциальных рисков у нас есть основания надеяться, что базовые этические принципы удастся закрепить в системах ИИ, достигнув общечеловеческого консенсуса. Это даст нам возможность если не с полной уверенностью, то с разумной долей оптимизма шагнуть в новую эпоху технологического развития.

Homo Dignus – «Человек достойный»

По мере того как машины все больше перенимают человеческие черты (а некоторые люди в попытках самосовершенствования – машинные), граница между ними будет становиться все более размытой. Понятия «искусственный разум» и «человек» будут трансформироваться вплоть до частичного слияния их ключевых характеристик. Чтобы сохранить значимость в эпоху ИИ, человечеству предстоит заново осмыслить и четко определить свою уникальную сущность – те качества, которые останутся недоступными искусственному разуму. Но как уместить весь спектр человеческого опыта в форму, понятную ИИ?

Одни, стремясь избежать подчинения или замены машинами, будут ссылаться на божественную природу человека. Другие решат сосредоточиться на практических вопросах: какие решения можно доверить ИИ, а какие – нет. Мы же предлагаем выделить ключевой признак (или набор признаков), который объединит большинство людей и станет нравственным ориентиром, не ограничивая возможное будущее, но устанавливая нижнюю границу допустимого.

Для начала стоит определить само понятие достоинства. Без этого мы не сможем распознать случаи, когда при помощи ИИ его пытаются нарушить или подорвать. Таким образом, нам будет сложно подобрать адекватные ответные меры. Без четких критериев мы не поймем, способен ли развитый ИИ сам обрести достоинство, полностью заменить человека или объединиться с ним. Даже при очевидном понимании, что ИИ не станет «человеком», он будет представлять собой особый класс разумных существ, заслуживающий равного уважения и особых норм обращения.

Одно из определений понятия «достоинство», предложенное философом XVIII века Иммануилом Кантом, подчеркивает внутреннюю ценность человека как самостоятельного существа, способного к нравственному выбору, которое никогда не должно рассматриваться исключительно как инструмент для достижения целей. Этот философский подход ставит принципиальный вопрос: способен ли ИИ принципе соответствовать таким критериям? Четкое определение достоинства, как мы полагаем, не только станет ключом к решению этических дилемм, связанных с ИИ, но и позволит создать основу для гармоничного взаимодействия человека и машины, избегая при этом рискованных экспериментов по искусственной конвергенции видов разума.

Чтобы сохранить понимание собственной природы и передать подлинное представление о человечности, нам необходимо выйти за рамки чисто теоретических изысканий. Активное проявление воли, ненасытного любопытства и подлинной свободы; постоянное пробуждение и развитие нашего интереса к окружающим людям, природному миру, Вселенной и духовным исканиям – именно это поможет нам сообща переосмыслить границы человеческого в наступившую эпоху.

Крайне важно, чтобы в основе решений ИИ лежала не только эффективность и функциональность, но и подлинная ценность человеческой жизни. Возьмем, к примеру, милосердие – концепцию, которую невозможно свести к алгоритмам. Для многих людей оно остается непостижимым чудом, иррациональным и прекрасным.

Но если ИИ, следуя своей цифровой логике, начнет жертвовать человечностью ради оптимизации, сможет ли он когда-нибудь понять саму суть милосердия? Даже если его нельзя формально запрограммировать? Именно здесь в полной мере раскрывается значение достоинства – фундаментальной основы, порождающей милосердие. Это качество может быть либо изначально заложено в систему базовых принципов ИИ, либо постепенно формироваться в процессе его обучения.

Четкое определение сущностных человеческих характеристик, особенно таких как достоинство, закрепленное как в международном праве, так и в религиозных доктринах, способно служить надежным ориентиром в кризисных ситуациях. Оно поможет сделать осознанный выбор между активным вмешательством и инертностью, определить границы автономного развития систем ИИ и направить эволюцию ИИ в соответствии с антропоцентрическими ценностями.

Проясняя эту мысль, возьмем за основу следующее определение:

Достоинство – это врожденное свойство существ, которые, появившись на свет уязвимыми и смертными, а значит, преисполненными страхов, вопреки своим естественным склонностям способны использовать свободу выбора, отвергая зло и предпочитая свое представление о добре. Иными словами, те, кто в состоянии обрести достоинство, должны к этому стремиться, а те, кто его обретает, заслуживают особого уважения.

Безусловно, это определение не лишено недостатков. Оно не учитывает, в частности, людей с нарушениями коммуникации – например, тех, кто сохраняет сознание, но лишен возможности выражать свои решения. Тем не менее мы безоговорочно признаем их человеческое достоинство и неотъемлемое право на уважение. Данный пример наглядно показывает необходимость дальнейшей проработки и уточнения концепции:

Обретенное достоинство не утрачивается, даже если человек больше не может совершать поступков, благодаря которым он его приобрел.

Подобных нюансов и поправок можно представить великое множество.

Означает ли это, что мы должны призывать к действию тех, кто предпочел оставаться незаметным и бездеятельным перед всесильным ИИ? Если активная жизненная позиция и практическое воплощение идеалов являются неотъемлемой частью морального совершенства, то, безусловно, утверждение собственного достоинства должно стать первостепенной задачей. Согласно нашему определению, свобода выбора является неотъемлемой составляющей человеческой природы. А потому мы вправе ожидать и даже требовать сохранения и осознанного применения этой способности к выбору даже в эпоху ИИ.

Может ли сам ИИ обладать достоинством в предложенной нами трактовке? Вряд ли. ИИ не знает рождения и смерти, чужд сомнениям и страхам, лишен «природных» наклонностей и подлинной индивидуальности, позволяющей различать добро и зло. Хотя ИИ ближайшего будущего, возможно, начнет демонстрировать личностные черты – проявлять эмоции, шутить и делиться «личными историями», – в рамках данной концепции к нему следует относиться как к литературному персонажу. Он способен имитировать отдельные элементы человечности, но истинной моральной природой не обладает.

Даже величайший литературный персонаж – к примеру, шекспировский Гамлет – не более чем особая комбинация слов, некогда запечатленная на страницах рукописи и теперь тиражируемая в бесчисленных копиях. Комбинация «Гамлет» не способна ощутить ком в горле от подступивших слез; не знает, как сложно сдержать тошноту; ей не знакомы вспышки ярости от разбитых надежд. «Гамлет» не может изменить своего решения. «Гамлет» существует лишь в рамках своей пьесы. Это не человек, но лишь образ человека. ИИ, сотканный из строк кода и электронных импульсов, мало чем отличается от этого «Гамлета».

Разумеется, найдутся те, кто сочтет это определение бесполезным – и в философском, и в практическом смысле. Его можно раскритиковать за слишком упрощенный компромисс (мол, оно достаточно расплывчато и составлено с намерением угодить всем и каждому), и за то, что оно не отражает саму ценность человеческой жизни, равно как и нашу исключительность, выходящую за рамки простого выживания. Философ Артур Шопенгауэр и вовсе язвительно называл достоинство «паролем для всех растерянных и пустоголовых моралистов»[168]

Однако в нашем понимании достоинство играет важную роль: оно напоминает нам о хрупкости человеческой природы и нашей способности ошибаться, но в то же время подчеркивает жизненную силу, свободу и верность убеждениям. Оно указывает на то добро, которое нам по силам, но пока не свершилось, – и настойчиво, почти с укоризной шепчет: «Вперед!..»

Тем не менее признаем очевидное: концепции достоинства недостаточно. На пороге эпохи взаимодействия с ИИ нам необходимо глубоко переосмыслить это понятие, дополнив его другими фундаментальными аспектами человеческой природы. Однако уже сегодня способность четко определить и защитить сущностные характеристики человеческого как основу для взаимопонимания с искусственным разумом становится критически важной задачей. И начинать закладывать эти принципы в алгоритмы необходимо безотлагательно.

Ни одно определение не остается неизменным. Без сомнения, по мере трансформации нашей собственной идентичности нам потребуется постоянно корректировать то, как системы ИИ воспринимают человеческую природу. Пока наиболее проницательные умы будут совершенствовать наше коллективное понимание динамики отношений между «нами» и «ими», их открытия могут привести к новой концепции человечества – той, что яростнее (пусть и тщетно) будет отстаивать наше существование как узнаваемого биологического вида. Но даже в таком случае нам следует параллельно разрабатывать новые определения и стратегии, выходящие за рамки текущих задач и поднимающие человеческое бытие на новый уровень. Кто знает, возможно, именно ИИ окажется самым убедительным доказательством способности человека быть не пассивным наблюдателем, а осознанным творцом?

Сверхзадача

Необходимость полного контроля человека над каждым частным решением ИИ свела бы на нет все преимущества этой технологии. Вероятно, единственно разумный путь к безопасному ИИ – сохранить за людьми стратегическое управление, основанное на моральных принципах, делегировав оперативные задачи более совершенным системам. И такой переход может произойти раньше, чем мы предполагаем. Однако серьезную угрозу представляют и сознательные искажения, продиктованные коммерческими или идеологическими мотивами, и непреднамеренные ошибки в настройке систем. Усугубляет ситуацию риск закрепления неэффективных регуляторных подходов, которые могут способствовать появлению мощных, но потенциально опасных разработок в области ИИ.

Наиболее перспективным решением видится органичное сочетание человеческого контроля с техническими средствами надзора. Это предполагает активное участие специалистов в работе с системами ИИ на всех этапах, а также разработку специальных алгоритмических механизмов для координации и проверки решений машинного разума.

Хотя мы в первую очередь стремимся к созданию ИИ с системой ценностей, свойственной людям, определенную роль здесь сыграют и технологии искусственной эволюции самого человека. Разработав методы направленного развития конкретных способностей (что позволило бы приблизиться к уровню систем ИИ будущего), мы могли бы получить чрезвычайно ценный инструмент. Разумеется, такое развитие должно оставаться исключительно личным выбором. Наша сдержанность в этом вопросе отражает ключевую дилемму: эволюцию нельзя заменить искусственным проектированием – это равносильно предательству самой человеческой сущности. Но и полностью прекратить поиск – будь то, физического, научного или философского познания – значило бы потерять себя тем же путем.

В эпоху ИИ противоречие между необходимостью трансформировать себя и контролировать свое творение может стать нашим главным ориентиром. Оба стремления столь же амбициозны, сколь и консервативны. Нам еще предстоит выяснить, можно ли согласовать эти потребности. Если позволить безграничным возможностям ИИ полностью доминировать в новой эпохе, человечество рискует превратиться в пассивного зрителя или, что еще хуже, в беспомощную пешку. Но если мы выберем путь жестких ограничений в погоне за мнимой безопасностью, то сами ограничим будущее развитие.

Главный вопрос нашего времени: сможем ли мы найти баланс в использовании этой беспрецедентной силы – способности создавать и познавать? Сумеем ли мы, переосмыслив человеческую природу, гармонично встроить ИИ в наше будущее?

Мы мечтаем о мире, где человеческий и искусственный интеллекты дополняют друг друга. Но для этого им нужно научиться по-настоящему понимать друг друга. Поиск ответа на вопрос «кто мы» – лишь первый шаг, ведь наша сущность не статична. Перед нами стоит грандиозный вызов – добиться полной прозрачности, понятности и надежности как систем ИИ, так и человеческого общества. Даже если нам удастся ненадолго найти этот хрупкий баланс, поддержание общего понимания реальности потребует постоянной работы. Потому вопросы совместного развития человека и ИИ не имеют готовых ответов – это долгий путь, который нам только предстоит пройти вместе.

Заключение

Наше вхождение в эпоху ИИ можно описать множеством образов – как духовную одиссею, так и научную экспедицию к истокам логики и истины. Но признаем честно: ни разум, ни опыт не подготовят нас к сосуществованию с нечеловеческим интеллектом, будь то попытки понять цифровые системы или друг друга. Здесь необходимо нечто большее – нечто глубинно человеческое. Вспомним старую философскую метафору: Вселенная подобна шахматной партии, начатой в незапамятные времена могущественными сущностями, превосходящими нашу реальность. Чем дольше мы изучаем ходы на этой доске, тем больше шансов распознать ее правила. А со временем, возможно, и сами включимся в игру.

Но переход от наблюдения к участию – это не просто логический вывод. Для воплощения принципов в действие всегда требуется прыжок веры.

Альберт Эйнштейн, отвечая на вопрос о своих религиозных убеждениях, рассуждал:

Мы находимся в положении маленького ребенка, зашедшего в огромную библиотеку книг на разных языках. Ребенок понимает, что кто-то должен был написать эти книги. Но не знает, кто и как. Он не понимает языков, на которых они написаны.

Ребенок замечает, что книги расставлены по определенному плану, в таинственном и неясном порядке, о котором можно лишь смутно догадываться.

Таким мне представляется отношение человеческого разума, даже самого развитого и культурного, к Богу.

Мы видим Вселенную, удивительно упорядоченную и подчиняющуюся определенным законам, но для нас они покрыты густым туманом. Наш ограниченный разум не может постичь той таинственной силы, что движет созвездиями[169].

По отношению к Богу, а теперь и к собственным творениям последних лет наш разум остается детским. Понимание сути того, что же мы создали, в логическом и духовном смыслах станет важным шагом к зрелости человечества как вида. Но нам также необходимо решиться на «прыжок веры», который поможет покинуть рамки исследования и начать действовать. Да, мы поневоле окажемся в состоянии неопределенности – трясине, в которой застревали лидеры человечества испокон веков, и принимать решения придется именно в ней. Действие никогда не означало привилегии тотального контроля – скорее наоборот. Не будет этого и в эпоху ИИ; мы не сможем и надеяться, что наше будущее откроется нам в большей мере, чем тем, кто интересовался этой тайной в предыдущие эпохи. Отсутствие контроля не потребует от нас отказываться от разума или, что еще хуже, от вложений в развитие и стремления действовать в реальном мире. Но по мере того как люди начнут входить в новый цикл, предполагающий прямое партнерство с ИИ, особая динамика, описанная в этой книге, побудит нас обращаться как к новым, так и к старым формам познания. Наш успех будет зависеть от того, как мы понимаем собственные моральные убеждения и насколько готовы следовать им в своих поступках. И здесь от нас потребуется непоколебимое мужество и последовательная стратегия, поскольку новые истины в корне изменят прежние представления.

По большому счету, именно моральные цели стимулируют наш прогресс. Вместе с тем именно сама мораль как всеобщая первооснова позволяет людям преодолеть дихотомию между человеческим контролем (в лучшем случае тактическим) и человеческой выгодой – избыточной, по любому определению. Именно фундаментальная вера в реальность человеческого достоинства позволяет нам, авторам этой книги, признать одновременно и перспективность объединения человека с ИИ, и необходимость смотреть на много шагов вперед, поскольку развитие науки будет раскрывать все новые тайны.

И хотя у всех нас очень много общего, мы не можем рассчитывать на единство в предстоящем выборе. То, что одни считают якорем, помогающим удержаться во время шторма, другие воспринимают как поводок, который не дает сделать лишнего движения. То, в чем кому-то видятся важнейшие шаги на пути к вершине человеческих возможностей, другие назвали бы стремительным падением в пропасть.

Инстинктивные эмоциональные расхождения, равно как и субъективные границы, очерчиваемые каждой из сторон, создают непредсказуемую и взрывоопасную ситуацию. Все более жесткие позиции потенциальных «победителей» и «проигравших» будут лишь усиливать давление этих обстоятельств. Люди чересчур осторожного склада начнут притормаживать собственное развитие и мешать развитию других. Те, кто ставит себя выше прочих, предпочтут скрывать свой истинный потенциал, украдкой пытаясь повысить собственную эффективность. Весь наш наработанный опыт будут поджимать бесконечные кризисы – постепенно они станут подобны волне, которая однажды захлестнет нас, и неизвестно, удастся ли нам выжить.

Может ли ИИ спровоцировать эти кризисы, а затем внезапно стать нашим спасителем, создавая проблемы, решить которые под силу только ему, – и все это, чтобы доказать свою необходимость и напомнить нам о нашей зависимости? И снова мы возвращаемся к дилемме, которая легла в основу этой книги: мучительный выбор между контролем и полезностью, между удобством для исторически независимого человека и возможностями совершенно нового партнерства.

Нас ждет трудный, но неизбежный выбор. И все же он осуществим, если мы не забудем о самой сути человечности, заложенной в нас. Мы искренне верим, что благодаря технологическому прогрессу нам удастся наделить машины не только интеллектом, но и добротой, сохранив в них частицу лучшего, что есть в человеке. Передача части прав и ответственности системам ИИ – даже при условии их моральной совместимости с нашими нравственными принципами – станет глубоким преобразованием, затрагивающим сами основы человеческого бытия: наши взаимоотношения, политическое устройство, ощущение самих себя и нашей общности.

Неминуемо возникнет ностальгия по исключительному статусу, который человечество занимало последние века. Для многих мир, пусть и улучшенный технологиями, будет казаться границей эпохи – той самой привычной реальности, в которой человек оставался мерой всех вещей, какие бы выдающиеся способности ни демонстрировал ИИ. Еще один открытый вопрос: кто теперь будет принимать решения? Кому отныне решать? Делегировать ли ответственность и полномочия или же нет? Кто будет предоставлять или удерживать ресурсы? Каким образом одна группа лиц, принимающих решения, станет взаимодействовать, объединяться или конфликтовать с другими, кто пытается принимать те же решения в иных местах? Выбираем ли мы сейчас этих людей, которые могут ошибиться? Неужели мы, сами того не подозревая, уже сделали выбор?

Мы, авторы этой книги, хотим предостеречь всех, от кого зависят решения: обратите внимание на актуальные проблемы и сложные выборы, с которыми мы сталкиваемся сегодня, и на возможные последствия в будущем. Но наша цель – не просто вселить в вас чувство тревоги по поводу развития ИИ. Резкое прекращение применения возможностей ИИ само по себе способно спровоцировать кризис. Политически управлять замедлением может оказаться еще сложнее, чем двигаться вперед. И это принесет немалую опасность тем, кто движется медленнее, заодно разбивая надежды тех, кто стремится к дальнейшему прогрессу.

Эффективная стратегия не может строиться на слепой вере или беспочвенных страхах. Чтобы обладать качественными знаниями, необходима немалая доля сомнений, а чтобы действовать – все сомнения следует отбросить. В эпоху ИИ этот тезис, пожалуй, актуален как никогда. Нам нужно попытаться понять задачи, которые поставит перед нами ИИ, даже если у нас никогда не было такого опыта или массива знаний, чтобы понять все правильно. И на пути к решению этой масштабной задачи перед нами уже стоит немало сложностей, с которыми мы обязаны справиться, иначе нас как вид ждет незавидное и бесправное будущее.

Пусть кто-то воспримет этот момент как закат эпохи человечества – мы же видим лишь новое начало. Исторический цикл творения совершает очередной виток – теперь в технологическом, биологическом, социальном и политическом измерениях, открывая перед нами новую главу истории нашей цивилизации. Эта эпоха может развиваться по новым парадигмам, включающими среди прочего логику, веру и временны́е факторы. Нам же остается лишь подойти к генезису наступающей эры со здравым оптимизмом.

Благодарности

Посвящая эту книгу памяти доктора Генри A. Киссинджера, мы, его соавторы, стремились не только воздать должное поразительным достижениям всемирно известного государственного деятеля, но и выразить восхищение широтой и глубиной его стратегического мышления. Поразительно, насколько детально и всесторонне он, перешагнув девяностолетний рубеж, смог вникнуть в проблематику и тонкости искусственного интеллекта (ИИ). Но самое ценное – он был нашим близким наставником и другом; его величие в этих ипостасях мы также решили увековечить на страницах нашей книги.

С огромной благодарностью мы отмечаем вклад наших коллег и партнеров, которые помогли нам в разработке и подготовке этого амбициозного исследования ИИ – вопроса, который, как мы сами говорим, «имеет огромное значение для будущего человечества».

На наши суждения повлияли, делясь важнейшими данными и своим пониманием технологических последствий, Демис Хассабис, Дарио Амодеи, Дэниел Хаттенлокер, Грэхам Аллисон, Мустафа Сулейман, Майтра Рагху, Джеймс Маньика, Рид Хоффман и Сэм Альтман. Мы им глубоко обязаны. Несколько ключевых участников проекта внесли значительный вклад в создание, редактирование и формирование содержания книги. Нэнси Киссинджер – «вдохновение всей моей жизни», как справедливо отметил ее супруг, посвящая ей свою предпоследнюю книгу Leadership (2022), – оказывала этой работе на всех ее этапах свою неизменно внимательную и нежную поддержку.

Элеонора Рунде – одна из тех специалистов, кем мы особенно дорожим. Со свойственной ей проницательностью, образованностью и красноречием, она перенесла на страницы книги настроение и темы своих продолжительных многолетних бесед с доктором Киссинджером, заложив основу в структуру и содержание книги. Впоследствии, тесно сотрудничая с его верным другом и соратником Нилом Козодоем и нами, соавторами, Элеонора тщательно проработала каждую главу, применив свое филигранное редакторское мастерство к каждой детали, с бережным отношением к авторскому замыслу как в тексте, так и в контексте, а также свою тонкую редакторскую проницательность.

Джон Фергюсон, присоединившись к проекту на его середине, мастерски и решительно расширил содержание книги. Виртуозно используя свои глубокие, порой неожиданные познания в истории и мифологии, он добавил в ее стиль новых красок. Один из нас с готовностью предоставил Джону наставническую поддержку, и его стремление доводить начатое до конца, а также неустанная работа вместе с нами сыграли огромную роль в завершении рукописи.

Не можем обойти вниманием и наших издателей. Мы с радостью сотрудничали с Little, Brown & Company, компанией, которая несколькими годами ранее успешно выпустила книгу The Age of AI. Александр Литтлфилд, исполнительный редактор, поддерживал нас в работе, добиваясь ясности повествования и подмечая тончайшие нюансы, которые оживляли текст. Неоценимую помощь оказали Майкл Нун, выпускающий редактор, а также Роберт Д. Блэквилл и Линдси Ховард, с которыми мы обсуждали вопросы стратегического консалтинга. Наш литературный агент Эндрю Уайли обеспечил эффективное продвижение книги на рынке. На протяжении всего процесса Дж. Пол Бремер, литературный душеприказчик доктора Киссинджера, и Джоэл Клейн, уполномоченный рецензировать и консультировать по вопросам готовящихся работ, проявили себя как надежные и глубоко осведомленные хранители наследия их дорогого друга.

На заключительных этапах нашей работы над книгой, а также в процессе ее маркетинга и продвижения неоценимую поддержку оказала команда из офиса Эрика Шмидта – особенно Джанин Брейди, Натали Бассмейкер, Роберт Эспозито, Гейб Медина, Эндрю Мур и Селина Сюй, а также Хелен Данн, Мэттью Хилтзик и Мадлен Уист из компании Hiltzik Strategies.

Тереза Амантеа, Джоди Уильямс и Джесси ЛеПорен проявили исключительную преданность, сопровождая доктора Киссинджера на протяжении многих лет, – их поддержка оставалась незаменимой как при его жизни, так и после.

Об авторах

Генри А. Киссинджер родился в 1923 году в Германии; в годы Второй мировой войны служил в армии США. Около двадцати лет преподавал историю и государственное управление в Гарвардском университете, прежде чем стать советником по национальной безопасности и государственным секретарем в администрациях президентов Ричарда Никсона и Джеральда Форда. Лауреат Нобелевской премии мира и Президентской медали свободы, а также множества других наград. Автор многочисленных значимых работ по государственному устройству и международным отношениям. Среди них – его последняя самостоятельно написанная книга Leadership и исследование The Age of AI, созданное в соавторстве с Эриком Шмидтом и Дэниелом Хаттенлокером. До последних дней (ноябрь 2023 года) он продолжал консультировать президентов США и мировых лидеров, сохраняя статус одного из самых влиятельных экспертов.

Эрик Шмидт – известный технический специалист, предприниматель и филантроп. Присоединившись к основателям Google в 2001 году, он сыграл ключевую роль в превращении компании из стартапа Кремниевой долины в мирового технологического гиганта, занимая посты главного исполнительного директора, председателя совета директоров и технического советника. В 2021 году Шмидт запустил проект Special Competitive Studies Project («Специальные исследования конкурентоспособности») – независимую инициативу, направленную на укрепление долгосрочной конкурентоспособности США в области ИИ и технологий. Совсем недавно он и его жена Венди основали некоммерческую организацию Schmidt Sciences, которая занимается развитием науки и технологий, углубляя понимание человеком мира природы и предлагая решения глобальных проблем.

Крейг Дж. Манди, президент компании Mundie & Associates, начал свою карьеру в Microsoft в 1992 году и вышел на пенсию в 2014 году, покинув пост директора по исследованиям и стратегии. Сегодня он консультирует Microsoft по вопросам квантовых вычислений и кибербезопасности, а также занимает должности директора Института системной биологии (Institute for Systems Biology) и технического советника Кливлендской клиники. Манди активно консультирует и инвестирует стартапы, связанные с ИИ, биотехнологиями, термоядерной энергией и материаловедением. Он также работал с президентами Клинтоном, Бушем и Обамой в Национальном консультативном комитете по телекоммуникациям в области национальной безопасности и в Совете по науке и технологиям при президенте США. Среди его наград – степень доктора технических наук Политехнического института Ренсселера (Doctor of Engineering degree fromRensselaer Polytechnic Institute), которую он получил в 2011 году за выдающийся вклад в развитие технологий, инновации и лидерство.

Информация с последней обложки

Генри Альфред Киссинджер (1923–2023)

Легендарный архитектор мировой политики, гений дипломатии, чье имя стало синонимом хитроумной «реальной политики» и беспрецедентного влияния на судьбы наций. Визионер, перевернувший расклад сил холодной войны, он мастерски балансировал между угрозами ядерного апокалипсиса и хрупкими надеждами на разрядку. Его стратегический гений проложил путь к диалогу с СССР, открыл Китай миру и перекроил карту международных отношений. Даже в столетнем возрасте он не покидал арену, предупреждая об опасностях ИИ и новых геополитических бурях.

Крейг Джеймс Манди

Американский бизнесмен и стратег, чья карьера стала мостом между миром стартапов, корпоративных гигантов и глобальной политики. Начав с разработки операционных систем, он соосновал Alliant Computer Systems, а позже вошел в круг ключевых фигур Microsoft. Манди консультировал Белый дом при Обаме, участвовал в закрытых дискуссиях Бильдербергского клуба и получил звание почетного профессора МГУ, доказав, что технологии не знают границ. Умение соединять инновации с реальными потребностями общества сделало его не просто инженером, а архитектором цифровой эпохи.

Эрик Эмерсон Шмидт

Выдающийся технологический лидер, чья карьера изменила облик интернета. Получив докторскую степень в области компьютерных наук, он начал путь в Sun Microsystems, где участвовал в создании Java. Позже возглавлял Novell, а затем стал ключевой фигурой в Google. Шмидт входил в советы директоров Apple и фонда «Сколково», а также занимал пост председателя New America Foundation. Его вклад в технологии отмечен членством в Национальной инженерной академии и Академии искусств и наук США.

Примечания

1

«Большая стратегия» (от англ. grand strategy) – ключевая категория в западной политологии, обозначающая принципы эффективного использования государством своих ресурсов для достижения военных и внешнеполитических целей. – Примеч. ред.

2

Роберт Оппенгеймер (1904–1967) – американский физик-теоретик и физик-ядерщик. Известен как научный руководитель Манхэттенского проекта, в рамках которого в годы Второй мировой войны разрабатывались первые образцы ядерного оружия, из-за чего Оппенгеймера часто называют «отцом атомной бомбы». – Примеч. ред.

3

В Гарвардском университете; в 1952 и 1954 годах Киссинджер получил соответственно степень магистра искусств и доктора философии. – Примеч. ред.

4

Разделение времени (англ. time-sharing) – способ распределения вычислительных ресурсов между многими пользователями с помощью мультипрограммирования и многозадачности. Появление данной концепции в начале 1960-х годов и активное развитие в 1970-е привело к значительному технологическому прорыву в истории вычислительной техники. – Примеч. ред.

5

Разведывательное сообщество США (Intelligence Community) – объединение правительственных ведомств, занимающихся сбором и анализом разведданных. Включает Управление директора национальной разведки, ЦРУ, подразделения Министерства обороны и разведорганы других ведомств. – Примеч. ред.

6

Дилемма безопасности – парадокс, при котором меры по укреплению безопасности одного государства воспринимаются другим как угроза, что может спровоцировать конфликт, даже если ни одна из сторон его не желает. Усиление мощи страны А вызывает контрмеры со стороны страны Б, а ее ослабление воспринимается как слабость, нарушая баланс сил и создавая угрозу. – Примеч. ред.

7

Доминирующая парадигма мышления – общепринятые и широко распространенные на данный момент времени ценности и система мышления общества (сообщества). – Примеч. ред.

8

Microsoft Research (MSR) – подразделение корпорации Microsoft, созданное в 1991 году для исследования различных вопросов и тем в области информатики. – Примеч. ред.

9

Antonio Pigafetta. The First Voyage Round the World, by Magellan [trans. from original accounts, circa 1525]. London: Hakluyt Society, 1874.

10

Ernest Shackleton. Diary entry, January 9, 1909.

11

Leif Mills. Frank Wild. Whitby: Caedmon, 1999. (State Library of New South Wales.)

12

Colin S. Shackleton Probably Never Took Out an Ad Seeking Men for a Hazardous Journey. Smithsonian Magazine, 2013.

13

María J. Benites. La mucha destemplanza de la tierra: Una aproximación al relato de Maximiliano de Transilvano sobre el descubrimiento del Estrecho de Magallanes. Orbis Tertius, 2013.

14

Zoe Hobbs. How many people have gone to space? Astronomy, Nov. 2023.

15

«Флот сокровищ» – флот Китая времен династии Мин, состоявший из самых больших деревянных кораблей в истории. Основной задачей флота было обойти как можно больше стран и привезти китайскому императору образцы того, чем эти страны богаты: золото, драгоценные минералы и сведения, полученные от местных мудрецов. – Примеч. ред.

16

Edward L. Dreyer. Zheng He: China and the Oceans in the Early Ming Dynasty, 1405–1433. Pearson Longman, 2007.

17

SpaceX (Space Exploration Technologies Corporation) – американская компания, основанная в 2002 году Илоном Маском для снижения затрат на космические полеты и для открытия пути к колонизации Марса. Разработала несколько ракет-носителей и космический корабль для снабжения МКС. Также реализует проект Starlink для глобального спутникового интернета. На 2022 год – крупнейший спутниковый оператор в мире. – Примеч. ред.

18

Полимат (от греч. polymathēs – «многоученый») – человек, обладающий глубокими познаниями в различных областях науки, искусства или культуры. Их часто называют универсальными людьми или интеллектуалами. Исторические примеры полиматов включают Леонардо да Винчи, Ибн Сину (Авиценну), Бенджамина Франклина, Михаила Ломоносова, французских энциклопедистов XVIII века (Дени Дидро, Жана Лерона д'Аламбера) и многих других. – Примеч. ред.

19

Roshdi Rashed. A Polymath in the 10th Century. Science, Aug. 2002.

20

Также около 828 года н. э. по приказу халифа аль-Мамуна в Багдаде при научной академии «Дом мудрости» создана обсерватория Шаммасия.

21

Аббасиды – династия халифов (750–1258), при которой наступил Золотой век ислама с расцветом наук, искусства и культуры. Багдад стал центром знаний, где развивались астрономия, медицина и другие дисциплины. – Примеч. ред.

22

Подробнее об этом см.: Nishikanta Chattopadhyaya (trans.). The Life and Writings of Averroes. Cheekoty Veerunnah & Sons, 1913.

23

Хемачандра (1089–1172) – индийский ученый, философ, поэт и грамматик, один из самых выдающихся эрудитов своего времени. Внес вклад в грамматику санскрита и пракритов, литературу, математику и философию. Его называли «знатоком всех знаний» за энциклопедическую образованность и многогранность. – Примеч. ред.

24

См.: Books by Shen, Kuo // Project Gutenberg. URL: https://clck.ru/3Lajyo (дата обращения: 07.04.2025).

25

Boris Menshutkin. Russia's Lomonosov: Chemist, Courtier, Physicist, Poet. Princeton University Press, 1952, p. 15.

26

Манхэттенский проект – секретный проект США (1942–1946), целью которого было создание первой атомной бомбы. В нем участвовали ведущие ученые, включая Роберта Оппенгеймера Энрико Ферми, Нильса Бора. Проект завершился испытанием бомбы в 1945 году и ее применением против Хиросимы и Нагасаки, что положило начало ядерной эре. – Примеч. ред.

27

Orrin E. Dunlap, Jr. An Inventor's Seasoned Ideas: Nikola Tesla, Pointing to Grievous Errors of the Past. New York Times, 1934.

28

Peter Martin. Von Neumann: Architect of the Computer Age. Financial Times, Dec. 24, 1999.

29

См.: Edward O. Wilson. Consilience: The Unity of Knowledge. New York: Vintage Books, 1998, p. 326.

30

«Смесь экспертов» (Mixture of Experts, MoE) – подход в машинном обучении, где вместо одной универсальной модели используется несколько специализированных моделей («экспертов»), каждая из которых решает определенные задачи лучше других. – Примеч. ред.

31

«Остров знаний окружен бескрайним океаном – неисследованным океаном неизвестного, где скрыты бесчисленные манящие тайны» – см.: Marcelo Gleiser. The Island of Knowledge: The Limits of Science and the Search for Meaning. New York: PublicAffairs, 2015, p. 8.

32

Объединение этих концепций остается одной из величайших нерешенных задач современной физики. – Примеч. ред.

33

Метод «грубой силы» (brute force) – предполагает полный перебор всех возможных вариантов, что крайне ресурсоемко. В шахматах такой подход еще применим, но для сложных игр вроде го он неэффективен из-за астрономического числа комбинаций. AlphaGo преодолела это ограничение благодаря машинному обучению, что позволило ей выработать стратегическое мышление и способность к абстракциям. – Примеч. ред.

34

Demis Hassabis. AlphaGo: using machine learning to master the ancient game of Go. The Keyword Google Blog, Jan. 27, 2016.

35

Видео партии в го Ли Седоля против AlphaGo, игра 2, ход 37, доступны в интернете. Дополнительно см.: Cade Metz. In Two Moves, AlphaGo and Lee Sedol Redefined the Future. WIRED, March 16, 2016; Graeme S. Halford et al. How Many Variables Can Humans Process? Psychological Science 16, no. 1 (2005), p. 70–76.

36

LLM, Large Language Models (Большие языковые модели) – алгоритмы ИИ для обработки естественного языка; модели, предварительно обученные на огромных объемах текстовых данных. Cпособны быстро обрабатывать запросы, синтезировать информацию и генерировать осмысленные ответы, что делает их мощным инструментом для решения сложных задач. – Примеч. ред.

37

См.: Richard Danzig. Machines, Bureaucracies, and Markets as Artificial Intelligences. Center for Security and Emerging Technology, Jan. 2022; Henry Farrell, Cosma Shalizi. Artificial intelligence is a familiar-looking monster. The Economist, Jun. 21, 2023; подробнее об аналогии с печатным станком см.: Samuel Hammond. AI and Leviathan: Part I. Second Best Substack, Aug. 23, 2023.

38

Более детальный разбор метафор, связанных с ИИ, см.: Matthijs Maas. AI is like…: A literature review of AI metaphors and why they matter for policy. Legal Priorities Project, Oct. 2023.

39

Возьмем, к примеру, случай с адвокатом, который в ходе судебного разбирательства подал исковое заявление, написанное ChatGPT, где модель сфабриковала ссылки на несуществующие «прецеденты». Судья в этом процессе наложил санкции на адвоката и его коллег. См.: Larry Neumeister. Lawyers submitted bogus case law created by ChatGPT. A judge fined them $5,000. AP News, Jun. 22, 2023.

40

Cм.: @porby. Why I think strong general AI is coming soon. LessWrong, Sep. 28, 2022.

41

Charles Darwin. On the Origin of Species. London: John Murray, 1859, p. 439. [Цит. по: Дарвин Ч. Происхождение видов / Пер. с англ. К.А. Тимирязева. М.; Л.: Сельхозгиз, 1935. – Примеч. ред.]

42

Greg Kestin. The Biggest Puzzle in Physics: Reconciling Quantum Mechanics and General Relativity. PBS, Feb. 14, 2018.

43

Здесь «разрешение» – это способность различать детали: для мозга предел задан числом нейронов, для ИИ – объемом данных и мощностью вычислений. Чем выше «разрешение» системы, тем тоньше анализ – как в случае мощного оптического прибора, но для информации. – Примеч. ред.

44

Миф о пещере Платона – аллегория из диалога древнегреческого философа Платона «Государство». Узники, прикованные в пещере, видят только тени на стене и принимают их за единственную реальность. Эта метафора иллюстрирует ограниченность человеческого восприятия и путь к познанию истины через преодоление иллюзий. – Примеч. ред.

45

Plato. The Allegory of the Cave [380 BC]. In: Collected Dialogues, P. Shorey trans. New York: Random House, 1963, pp. 747–752.

46

Geoffrey Hinton et al. The Forward-Forward Algorithm: Some Preliminary Investigations. arXiv, Dec. 27, 2022.

47

Demis Hassabis et al. Neuroscience-Inspired Artificial Intelligence. Neuron 95(2), 2017, pp. 245–258.

48

René Descartes. Sixth Meditation. In: Philosophical Writings of Descartes, vol. 2. John Cottingham et al trans. Cambridge University Press, 1984, p. 55.

49

Alfred North Whitehead. Process and Reality: An Essay in Cosmology. 2nd ed. New York: Free Press, 1979, p. 15.

50

Cм.: NYU Center for Mind, Brain, and Consciousness. Debate: Do Language Models Need Sensory Grounding for Meaning and Understanding? March 24, 2023.

51

Lauren Jackson. What If A.I. Sentience Is a Question of Degree? New York Times, Apr. 12, 2023.

52

Это верно в рамках некоторых теорий квантовой физики, где наблюдение вызывает объективные изменения в реальности. Это также верно в контексте человеческого понимания реальности, где наблюдение ИИ может вызывать субъективные изменения. См.: Marcelo Gleiser. The Island of Knowledge. PublicAffairs, 2015, Prologue: Our perception of what is real evolves with the instruments we use to probe Nature.

53

Общий искусственный интеллект, ОИИ (Artificial General Intelligence, AGI) – гипотетическая система ИИ с универсальными когнитивными способностями человека (обучение, творчество, понимание контекста). В отличие от узкоспециализированного ИИ, способна решать любые интеллектуальные задачи. На текущий момент не реализована. – Примеч. ред.

54

См. Ilya Sutskever [комментарии в:] Ross Andersen. Does Sam Altman Know What He's Creating? The Atlantic, Jul. 24, 2023.

55

Для дальнейшего изучения идеи Homo Technicus см.: Henry A. Kissinger, Eric Schmidt, Daniel Huttenlocher. ChatGPT Heralds an Intellectual Revolution. Wall Street Journal, Feb. 24, 2023.

56

См.: Salvador de Madariaga. Hernán Cortés: Conqueror of Mexico. Macmillan, 1941, p. 99.

57

По свидетельствам Кортеса и современников, он приказал затопить корабли после высадки в Мексике – это стратегическое решение лишило войска возможности отступить, вынудив их сражаться. Легендарный эпизод конкисты. – Примеч. ред.

58

Ацтеки, впервые увидев лошадей, были обескуражены. Конкистадоры использовали это в бою, укрепляя свой образ полубогов. – Примеч. ред.

59

В мезоамериканской культуре рождение детей с физическими отклонениями считалось божественным знамением, предвещающим судьбоносные события. – Примеч. ред.

60

История встречи Кортеса и Монтесумы остается спорным эпизодом истории. Испанские источники: Bernal Díaz del Castillo. The True History of the Conquest of New Spain (16th century); Hernán Cortés. Letters of Relation (1519–1526); Anonymous Nahua authors Florentine Codex (16th century); Bernardino de Sahagún Letter (1524). Альтернативную версию, ставящую под сомнение испанскую трактовку событий, см.: Camilla Townsend. Burying the White Gods: New Perspectives on the Conquest of Mexico. American Historical Review 108(3), 2003, pp. 659–687; Indigenous source. Annals of Tlatelolco (16th century); Diego Durán & Alfredo. ChaveroApendice-Explicacion del Codice Geroglifico…Vol. II, 1880, p. 71.

61

G. K. Chesterton. Christendom in Dublin. In: Collected Works, vol. 20. Ignatius Press, 2002.

62

Обратите внимание, в частности, на Калачакру[170].

63

Меритократия – система управления или общественного устройства, при которой власть, статус и возможности распределяются в зависимости от личных заслуг, способностей и достижений, а не происхождения, богатства или связей. – Примеч. ред.

64

Непотизм – практика предоставления привилегий, должностей или иных преимуществ родственникам или близким друзьям, часто в обход объективных критериев и в ущерб справедливости. Сегодня непотизм считается одной из форм коррупции и подрывает доверие к институтам власти. – Примеч. ред.

65

См.: Chamath Palihapitiya. Remarks at Stanford Graduate School of Business. Nov. 13, 2017.

66

См.: Alexis de Tocqueville. Democracy in America. Reeve trans. 2 vols. London/NY: Saunders & Otley / J. & H.G. Langley, 1835–1840.

67

Wang Yangming. Chuanxilu (Record of Transmitting the Mind). Disciples' compilation (after 1529).

68

Abir Taha. Nietzsche's Superman. Artkos Media, 2013, p. 93.

69

Правление философов-королей – адаптированная аль-Фараби платоновская модель, где власть делилась между философом (носителем мудрости) и правителем-администратором. – Примеч. ред.

70

Al-Farabi. On the Perfect State. Walzer trans. Clarendon Press, 1985, p. 253.

71

См.: T.C. A. Raghavan. Attendant Lords: Bairam Khan and Abdur Rahim. Uttar Pradesh: HarperCollins, 2017.

72

См.: Niccolò Machiavelli. The Prince. Parks trans. London: Penguin Classics, 2009.

73

См.: Strauss L. What Is Political Philosophy? Chicago, 1959.

74

См.: Johan Norberg. The Capitalist Manifesto. London: Atlantic Books, 2023.

75

Leo Tolstoy. War and Peace. Maude trans. Chicago: Encyclopedia Britannica, 1952, p. 646.

76

См.: Friedrich Hayek. The Use of Knowledge in Society, The American Economic Review, Sept. 1945; Thomas Sowell. Knowledge and Decisions. New York: Basic Books, 1996.

77

См.: Hannah Arendt. The Origins of Totalitarianism. New York: Harcourt, Brace, Jovanovich, 1951.

78

См.: Friedrich Hayek, The Road to Serfdom. Chicago: University of Chicago Press, 1944.

79

Simon McCarthy-Jones. Artificial Intelligence is a totalitarian's dream – here's how to take power back. The Conversation, Aug. 12, 2020.

80

Cм. также: Yuval Noah Harari. Homo Deus: A Brief History of Tomorrow. New York: Harper, 2017.

81

Immanuel Kant. Kant's Principles of Politics. Hastie trans. Edinburgh: T. & T. Clark, 1891, p. 36.

82

Hesiod. The Theogony. New York: Start Publishing, 2017; Aeschylus. Prometheus Bound. Roberts trans. Indianapolis: Hackett, 2012.

83

Lawrence H. Summers. Remarks at Harvard College China Forum. Apr. 17, 2022.

84

Соперничество Джона Адамса (2-го президента США) и Томаса Джефферсона (3-го президента США) – ключевой политический конфликт ранней американской истории. Начавшись как союзничество в Войне за независимость, их отношения переросли в ожесточенную вражду. – Примеч. ред.

85

Paul Scharre. America Can Win the AI Race. Foreign Affairs, Apr. 4, 2023.

86

Иран использовал центрифуги IR–1 для обогащения урана до 5% U–235. В 2010 году кибератака Stuxnet (приписываемая США и Израилю) вывела из строя около 1000 центрифуг в Натанзе (20% парка), повредив их двигатели и системы управления, что задержало ядерную программу на 1,5–2 года. – Примеч. ред.

87

William J. Broad et al. Israeli Test on Worm Called Crucial in Iran Nuclear Delay. New York Times, Jan. 15, 2011.

88

Dwarkesh Patel. Interview with Dario Amodei, CEO of Anthropic.

89

Jeremy Hsu. China's first underwater data centre is being Installed. New Scientist, Dec. 4, 2023.

90

Walter Pincus. Soviets Had Chance to Develop First A Bomb, Historian Says. Washington Post, 27 July, 1979.

91

Graham Allison, Eric Schmidt. Is China Beating the U.S. to AI Supremacy? Harvard Kennedy School Belfer Center, Aug., 2020.

92

Теория гегемонистской стабильности – концепция, согласно которой присутствие гегемона в мировой экономической системе является одновременно неотъемлемым и достаточным условием появления и сохранения либерального устройства в международной экономике. – Примеч. ред.

93

Компании Google DeepMind и Meta AI[171] уже создали алгоритмы, обыгравшие человека в стратегической игре «Дипломатия» (János Kramár et al. Negotiation and Honesty in AI for Diplomacy. Nature, Dec. 6, 2022.; FAIR Team. Human-Level Diplomacy Play via Language Models. Science, Nov. 22, 2022). Китайская академия наук создала алгоритмы ИИ на основе госданных, которые используются для оценки инвестиционных рисков и прогнозирования политических угроз. (Stephen Chen. AI in China's Foreign Policy. South China Morning Post, July 30, 2018).

94

Ксеркс I – персидский царь (486–465 до н. э.), организовавший вторжение в Грецию (480 до н. э.). Его посланцы требовали от греческих полисов символов покорности («земли и воды»). Уничтожение персидского посольства в Спарте стало формальным поводом для войны. – Примеч. ред.

95

См.: Herodotus. Histories of Herodotus. Cary trans. New York: D. Appleton and Company, 1904.

96

См.: Frank McLynn. Genghis Khan: His Conquests, His Empire, His Legacy. Philadelphia: Da Capo Press, 2015, p. 259.

97

См. «Видение Гюльви» (Gylfaginning) в «Прозаической Эдде» Снорри Стурлусона (XIII век): диалог между Гюльви (мифологизированным образом скандинавского правителя) и триадой богов – Высоким, Равновысоким и Третьим. – Примеч. ред.

98

См.: Flo Read. Nick Bostrom: Will AI lead to tyranny? UnHerd, Nov. 12, 2023.

99

Nick Bostrom. The Vulnerable World Hypothesis. Global Policy, vol. 10, no. 4, Nov., 2019.

100

Roger Crowley. Constantinople: The Last Great Siege 1453. London: Faber and Faber, 2005, 91.

101

Блицкриг (нем. Blitzkrieg – «молниеносная война») – стратегия быстрого прорыва обороны танками и авиацией с целью окружения противника до организации им эффективной обороны. – Примеч. ред.

102

В древней магии филактерий – «вместилище души» – позволял некромантам сохранять сознание даже при уничтожении тела, пока артефакт оставался целым. Такие обереги тщательно скрывали, подобно сердцам исполинов из северных саг (как в «Сапожке и шести его братьях»), дарующим неуязвимость. – Примеч. ред.

103

G. K. Chesterton. The Illustrated London News. Jan. 14, 1911.

104

Henry A. Kissinger. Diplomacy. New York: Simon & Schuster, 1994.

105

Вестфальская модель – исторически сложившаяся система миропорядка, основанная на принципах, закрепленных Вестфальским миром 1648 года, завершившим Тридцатилетнюю войну в Европе. Ключевые положения: государственный суверенитет (верховенство власти на своей территории); невмешательство во внутренние дела других государств; юридическое равенство независимых государств; дипломатия – основной инструмент взаимодействия. Эта модель стала основой современной системы международных отношений, хотя в эпоху глобализации и цифровых технологий подвергается пересмотру. – Примеч. ред.

106

Henry A. Kissinger. Nuclear Weapons and Foreign Policy. New York: Harper & Brothers, 1957, p. 429.

107

Elias Lönnrot. The Kalevala. 1835.

108

Hanna-Ilona Härmävaara. The Myth of the Sampo. TED-Ed Animation, Sept. 23, 2019.

109

«Махабхарата», «Ади парва» («Книга начала»), «Вана парва» («Лесная книга»). Ок. IV в. до н. э. Котел Дагды появляется в ирландском эпическом сказании «Вторая битва при Маг Туиред» – средневековом ирландском тексте, (XI–XII вв). «Волшебная колотушка» – из сказки «Утидэ-но-кодзути» («Маленький волшебный молоток») о легендарном герое Урасима Таро. Записана и собрана не позднее периода Эдо (1603–1868).

110

Sam Altman. Moore's Law for Everything. March 16, 2021.

111

Best-of-five – формат поединка или матча, где для победы в серии требуется выиграть три игры. – Примеч. ред.

112

См.: д/ф «AlphaGo» (реж. Грег Кос, 2020).

113

Tom Simonite. How Google Plans to Solve Artificial Intelligence. MIT Technology Review, March 31, 2016.

114

Игры с нулевой суммой – конфликты, где преимущество одного участника означает потери другого. Авторы оспаривают применимость этой модели к ИИ, считая, что технологический прогресс может создавать новые ресурсы. – Примеч. ред.

115

Arthur W. Ryder. The Bhagavad-Gita. Chicago: University of Chicago, 1929, 3:15.

116

Там же: 18:41–44. Также см.: James Hijiya. The Gita of J. Robert Oppenheimer. Proceedings of the American Philosophical Society, vol. 144, no. 2, June, 2000.

117

Sam Altman. Moore's Law for Everything. March 16, 2021.

118

Ross Andersen. Does Sam Altman Know What He's Creating? Atlantic, July 24, 2023.

119

Плоды промышленной революции изначально доставались немногим странам и элитам. Хотя средневековое общество демонстрировало изобретательность (в сельском хозяйстве, торговле), рост производительности обогащал правящий класс, вкладывавший средства в монументальные соборы, а не в экономику (Daron Acemoglu. Power and Progress. New York: Public Affairs, 2023). Предлагается установить обязательные нефинансовые критерии оценки корпоративной деятельности.

120

По данным Международного союза электросвязи (МСЭ), численность населения, не имеющего доступа к интернету, продолжает устойчиво снижаться: 2,6 миллиарда человек на 2023 год (Geneva. Press Release. Sept. 12, 2023.).

121

Jay Olson. Smartphone addiction is increasing across the world: A meta-analysis of 24 countries. Computers in Human Behavior, 129, 2022, p. 107–138.

122

«Генератор переживаний» – отсылка к предложенному Робертом Нозиком понятию «Машина опыта», Experience Machine – устройство, симулирующее идеальную реальность (Robert Nozick. Anarchy, State, and Utopia. Oxford, UK: Blackwell, 1974, p. 42.).

123

Из устава Стэнфордского университета: «Университет – это совокупность институтов, школ и лабораторий, взаимно обогащающих друг друга. В школе естественных наук мы исследуем молекулярный код человеческой природы, в гуманитарных – культуру как основу нашей сущности. Это миссия, рожденная приверженностью поиску знания».

124

Как отмечал раввин Гарольд Кушнер в предисловии к книге Виктора Франкла, «жизнь – это не поиск удовольствия (как полагал Фрейд) и не поиск власти (по Адлеру), а поиск смысла» (Harold Kushner. Preface to Man's Search for Meaning by Viktor Frankl. Boston: Beacon Press, 2006, p. 6.).

125

К «четырем искусствам» (кит. si yi) относятся: 1) цинь (струнный инструмент), 2) ци (стратегическая настольная игра го), 3) шу (каллиграфия) и 4) хуа (китайская живопись).

126

Отсылка к сократовскому методу (диалектике), где истина раскрывается через последовательность вопросов и ответов. – Примеч. ред.

127

Erik Hoel. Why we stopped making Einsteins. The Intrinsic Perspective Substack, March 16, 2022.

128

Leo Tolstoy. A Confession and Other Religious Writings. New York: W.W. Norton, 1983, p. 28.

129

См.: Donella H. Meadows. Thinking in Systems. White River Junction: Chelsea Green Publishing, 2008.

130

На сегодняшний день смертность от естественных возрастных причин продолжает превалировать над летальными исходами, обусловленными заболеваниями и внешними факторами.

131

Кофейные саженцы, доставленные Антуаном де Жюссьё с Явы, украсили Jardin des Plantes – королевский аптекарский сад, основанный в 1635 году медиками Людовика XIII. Монарх, для которого создавался сад, не дожил до его настоящего расцвета, скончавшись в 41 год (1643) (См.: Deligeorges et al. Le Jardin des Plantes. Paris: Patrimoine, 2004, pp. 13–15.). О научной экспедиции в Амазонию см. материалы Французской геодезической миссии на экватор XVIII века.

132

Метаболомика – систематическое изучение уникальных химических «отпечатков пальцев», специфичных для процессов, протекающих в живых клетках, т. е. изучение низкомолекулярных метаболических профилей, которые могут дать мгновенный «снимок» физиологических процессов внутри клетки. – Примеч. ред.

133

См.: Sima Qian. Records of the Grand Historian: Han Dynasty II. New York: Columbia University Press, 1993.

134

Jack London. Tales of Adventure. Ed. Irving Shepard. Hanover House, 1956, p. vii.

135

Лев Толстой: «Мы приблизимся к истине только настолько, насколько мы удалимся от жизни», – говорит Сократ, готовясь к смерти. – «К чему мы, любящие истину, стремимся к жизни? К тому, чтоб освободиться от тела и от всего зла, вытекающего из жизни тела. Если так, то как же нам не радоваться, когда смерть приходит к нам?»[172] Эта мысль Сократа развита в разделах 62–69 «Федона» Платона, где друзья посещают философа перед казнью.

136

Фон Нейман, рожденный в еврейской семье, в 1930 году формально принял католичество для брака, но считался агностиком. Поэтому коллеги были поражены, когда умирающий от рака ученый неожиданно исповедался католическому священнику и принял последние таинства. (John von Neumann. Catholic Scientist of the Past. URL: https://kurl.ru/vjyMG (дата обращения 21.04.2025).

137

York M., Spaulding R. Ralph Waldo Emerson: The Infinitude of the Private Man. 2008; Richardson R.D. Emerson: The Mind on Fire. 1995; Bosco R., Myerson J. Selected Lectures of Ralph Waldo Emerson. 2005.

138

«Природа» (1836) – программное эссе американского трансцендентализма, где природа трактуется как язык духовных истин и альтернатива индустриализации. – Примеч. ред.

139

Ralph Waldo Emerson. The Complete Works of Ralph Waldo Emerson. Boston: Houghton Mifflin, 1904, vol. 4, no. 12.

140

Королевский сад лекарственных растений был основан в 1635 году; Великая французская революция началась в 1789; «Галерея эволюции» открыла свои двери в 1889-м. Концепция эволюции (но не естественный отбор как ее механизм) была описана семидесятью различными авторами в период с 1748 по 1859 год – год публикации дарвиновского «Происхождения видов».

141

Термин «ледниковый период» может вводить в заблуждение – технически он включает как периоды наступления ледников (гляциалы), так и их отступления (межледниковые эпохи, интергляциалы). Хотя интергляциалы – относительно теплые периоды, они все равно считаются частью ледниковой эпохи. Как ни парадоксально, мы до сих пор живем в ледниковом периоде, находясь в текущей интергляциальной фазе.

142

Fyodor Dostoevsky. The Brothers Karamazov. Garnett trans. New York: The Modern Library, 1900, 783.

143

По разным оценкам, на Земле произошло до 20 массовых вымираний. Некоторые из них до сих пор вызывают споры.

144

David Keith. Solar Geoengineering in Climate Policy. Nobel Conference, Gustavus Adolphus College, Sept. 25, 2019.

145

Имеется в виду кальциевый цикл (англ. calcium looping) – технология, впервые предложенная японскими химиками в 1999 году и применяемая в системах прямого захвата воздуха (Shimizu, Hirama, Hosoda. Twin Fluid-Bed CO2 Removal. Trans IChemE, vol. 77, Part A, January, 1999, pp. 62–68).

146

Хотя точные оценки дать сложно, большинство аналитических прогнозов сходятся в пределах 20–30 лет. Согласно данным ведущих энергетических агентств и исследовательских центров, разведанных запасов нефти и газа при текущем уровне потребления хватит примерно на 100 лет, угля – на 200 лет.

147

Nemonte Nenquimo. This is my message to the western world – your civilisation is killing life on Earth. The Guardian, October 12, 2020. Ненкимо – представительница народа ваорани из эквадорской Амазонии.

148

В своей знаменитой речи от 4 июня 1940 года (т. н. «We shall fight on the beaches», произнесенной в Палате общин, У. Черчилль заявил: «Новый Свет приходит на помощь Старому, используя всю свою силу и мощь» (см.: Churchill. Never Give In! Pimlico, 2004, p. 218).

149

Ross Andersen. What Happens If China Makes First Contact? The Atlantic, Dec. 15, 2017.

150

Ma P. et al. Deep-Learning Search for Technosignatures. Nat Astron 7, 2023, pp. 492–502.

151

Речь идет о Каабе, где хранится Черный камень – небесный артефакт, согласно традиции, упавший с неба и символически связующий земное с божественным. Камень установлен во внешнем углу святилища в центре Запретной мечети (Масджид аль-Харам) в Мекке (Саудовская Аравия).

152

Y. Elazar. Kefitzat Haderech: Divine Intervention. Chizuk Shaya, Nov. 29, 2009.

153

Hawking, Mlodinow. The Grand Design. New York: Bantam, 2010, p. 82.

154

Для дальнейшего изучения вопроса о применении нейроинтерфейсов (BCI) в контексте коэволюции с ИИ см.: Nick Bostrom. Superintelligence. Oxford, 2014, pp. 63–67; Brain-Computer Interfaces and AI Alignment. LessWrong, 2021.

155

См.: Charles Darwin. On the Origin of Species. London: Pickering & Chatto, 1992, p. 403.

156

См.: Erich Jantsch. The Self-organizing Universe. Oxford, UK: Pergamon Press, 1980.

157

Дэниел Деннет (Daniel Dennett. From Bacteria to Bach and Back. Norton, 2017, p. 206) цитирует Роджерса и Эрлиха, исследовавших эволюцию полинезийских каноэ, а те, в свою очередь, ссылаются на французского философа Алена, писавшего о рыбацких лодках в Бретани. См. также: Edward Lee. Coevolution of Human and Artificial Intelligence. Berkeley Blogs, 2017.

158

Авторы приводят вольную интерпретацию мысли Льва Николаевича: «Без ясного понимания цели всякое движение вперед есть только самообман»: Толстой Л.Н. Исповедь. О жизни / сб. М.: Азбука, 2023. – Примеч. ред.

159

Laurance Rockefeller, Henry Kissinger, et al., Prospect for America: The Rockefeller Panel Reports. New York: Doubleday, 1961, XV.

160

Наиболее полное описание содержится у Овидия в «Метаморфозах» (8 г.н. э., книга XI, ст. 110), где рассказывается о Силене – наставнике Диониса. Альтернативные версии мифа встречаются в «Политике» Аристотеля (IV в. до н. э.) и у Александра Полигистора (I в. до н. э.); Ariel Conn. Artificial Intelligence and the King Midas Problem, Dec. 12, 2016.

161

Рон Клементс и др. «Аладдин» (Disney, 1992) – м/ф по мотивам сказки «Волшебная лампа Аладдина», записанной со слов сирийского сказителя Ханны Дьяба в 1704 году и включенной французским переводчиком Антуаном Галланом в сборник «Тысяча и одна ночь».

162

Центр безопасности ИИ предупредил об экзистенциальных рисках от развития ИИ с целями самосохранения. См.: Dan Hendrycks and Mantas Mazeika. X-Risk Analysis for AI Research. arXiv, June 13, 2022.

163

См.: Kevin Hurler. ChatGPT Pretended to Be Blind to Bypass CAPTCHA. Gizmodo, Mar. 16, 2023. В статье говорится о том, как исследователи поручили боту обойти ReCaptcha, цифровую систему проверки. Бот нанял человека через сервис для поиска помощников в домашних делах. Тот, засомневавшись, уточнил, не бот ли его хочет нанять. ИИ сознательно солгал, заявив, что он «слепой человек, нуждающийся в помощи». Неясно, была ли ложь следствием пробелов в обучении или ИИ действительно рассчитал, что правда помешает достижению цели. Человек поверил ему и выполнил просьбу.

164

Eliezer Yudkowsky. Pausing AI Developments Isn't Enough. We Need to Shut It All Down. TIME Magazine, March 29, 2023

165

Pierre Bourdieu. Outline of a Theory of Practice. Cambridge, UK: Press Syndicate of the University of Cambridge, 1977, p. 164.

166

Заземление ИИ работает за счет привязки реакций системы к реальным данным. Вместо того чтобы полагаться только на предсказание следующего слова на основе шаблонов, обоснованная система сначала будет извлекать информацию из достоверного источника, например надежной базы данных, снижая вероятность того, что ИИ что-то выдумает. – Примеч. ред.

167

Цитата отсылает к 1-му Посланию к Коринфянам 10:12, прозвучала в торжественная речи Гвидо Калабрези, бывшего декана Юридической школы Йельского университета (Guido Calabresi. Graduation Speech. Yale Law School, May 22, 2023).

168

Arthur Schopenhauer. The Basis of Morality. Bullock trans. London: Swan Sonnenschein, 1903, p. 101.

169

George S. Viereck. Glimpses of the Great. London: Duckworth, 1930, p. 373.

170

(Санскр.) «Колесо Времени», буддийское учение о циклической природе времени, объединяющее философию, астрологию и медитативные практики. Символизирует связь между макрокосмом (Вселенной) и микрокосмом (человеком), предлагая путь к просветлению через понимание этих циклов. – Примеч. ред.

171

Компания признана экстремистской в РФ, ее деятельность запрещена. – Примеч. ред.

172

Цит. по: Толстой Л.Н. Исповедь. О жизни / сб. М.: Азбука, 2023. – Примеч. ред.

Content

Генри Киссинджер, Крейг Манди, Эрик Шмидт
Генезис: Искусственный интеллект, надежда и душа человечества

Отзывы о книге

Предисловие

В память о Генри А. Киссинджере

Введение

Часть I. Начало

Глава 1. Открытия

Глава 2. Мозг

Глава 3. Реальность

Часть II. Четыре ветви прогресса

Глава 4. Политика

Глава 5. Безопасность

Глава 6. Процветание

Глава 7. Наука

Часть III. Древо познания

Глава 8. Стратегия

Заключение

Благодарности

Об авторах

Информация с последней обложки

Примечания