Гаспар Кёниг

Конец индивидуума. Путешествие философа в страну искусственного интеллекта

Gaspard Kœnig

La Fin de l’individu Voyage d’un philosophe au pays de l’intelligence artificielle

L’OBSERVATOIRE

© Editions de L’Observatoire/Humensis, 2019

© Инна Кушнарёва, перевод, 2023

© ООО «Индивидуум Принт», 2023

Предисловие

То, что моя книга выходит на русском языке в столь трагичный период европейской истории, кажется мне особенно важным. Я считаю, что вопреки глупости правящих элит мы должны поддерживать прямую связь между автором и читателем, связь человека с человеком, чтобы не утратить тонкую нить, соединяющую наши культуры и наши мысли.

Полевой этап моего исследования искусственного интеллекта стартовал в 2018 году. В такой динамичной области, где одна инновация стремительно сменяет другую, книга устаревает на следующий день после публикации. Преимущество философского подхода – в его аналитичности, и мои размышления пятилетней давности по-прежнему кажутся мне актуальными.

В качестве иллюстрации я предлагаю обратиться к ChatGPT, хотя это и означает несколько забежать вперед.

Появлению этого чрезвычайно успешного чат-бота (вероятно, первого прошедшего тест Тьюринга) сопутствуют две хорошо знакомые нам фобии, излюбленные прессой, падкой на сенсации.

Во-первых, страх, что так называемый сильный искусственный интеллект выработает самостоятельное сознание. Здесь следует вспомнить мысленный эксперимент философа Джона Серла с «китайской комнатой»: робота можно научить делать вид, что он говорит по-китайски, обучив его реагировать на стимулы, связанные с теми или иными иероглифами. Но это лишь симуляция – он не будет говорить по-китайски. Другими словами, он не сможет понять смысл китайских слов. То же относится и к текстам ChatGPT – это лишь простая имитация человеческой мысли.

Вторая фобия – страх «конца работы». Однако ChatGPT, как и все ИИ, для выработки своих ответов опирается на результаты колоссального интеллектуального труда многих людей. Без этого сырья, без данных, собранных или проверенных реальными людьми (часто теми, чей труд плохо оплачивается и бывает временным), нет топлива для машины! Проблема заключается не в «конце работы», а в ее справедливой оплате, поэтому нам определенно придется заставить создателей ChatGPT выплачивать нам авторские гонорары.

Какими же вопросами тогда стоит задаваться?

В первую очередь теми, что угрожают нашим либеральным представлениям о науке и о свободе.

ChatGPT усиливает искушение доверить нашу свободу выбора машине. Мы уже можем положиться на алгоритмы, чтобы найти нужное жилье или даже партнера для отношений. Неужели теперь мы отдадим ей и самое сокровенное – наши мысли? Вопрос не в том, «разумен» ли ChatGPT, а в том, кто вообще имеет право на разум. На карту поставлено наше человеческое достоинство.

С технологической стороны ChatGPT бросает вызов механизму производства знаний, который диктует современная наука. Основанные на бесчисленных корреляциях, рассуждения ChatGPT невоспроизводимы, неопровержимы, необъяснимы и, что особенно важно, не имеют источников. Сегодня впервые за 2500 лет прозвучала идея о том, что можно освободиться от концепта значимости источника. Уже в диалогах Платона появляется первый источник – Сократ. У античных историков источники, может быть, и не всегда надежны, но они есть: Тит Ливий тщательно цитирует других античных авторов, например Полибия, и приводит устные свидетельства. Сегодня академическая наука полагается, пусть иногда и чрезмерно, на качество справочного аппарата. В школе учителя стараются научить учеников правильно пользоваться интернетом – указывать сайты, на которые они ссылаются.

Конечно, если вы попросите ChatGPT предоставить свои источники, он сделает это. Но это не истинные источники, затерявшиеся в магме глубокого обучения, это всего лишь вероятные источники. Разница фундаментальна: неопределенность больше не считается дефектом, который нужно устранить, а воспринимается как структурная характеристика.

Такое пренебрежение источниками не относится к техническим ошибкам. Ответы ChatGPT основаны на корреляциях, которые по своей природе не поддаются аналитическому разложению. Они вдохновлены всеми правдами, неправдами и квазиправдами, выплеснутыми в сеть. В этом смысле ChatGPT – полная противоположность «Википедии», которая при всех своих недостатках известна маниакальным пристрастием к источникам и пытается вывести объективную истину из дебатов между людьми-составителями.

Когда я писал эту книгу, мне встретилась статья Генри Киссинджера «Как заканчивается Просвещение» (How the Enlightenment Ends), которая, мне кажется, подтверждает мой анализ. Такие же чувства вызывает у меня и книга Киссинджера на эту тему, написанная в соавторстве с Эриком Шмидтом и Дэниелом Хаттенлокером, специалистом по ИИ из Массачусетского технологического института. Его позиция, высказанная в этой работе, представляется мне совершенно ясной.

Об автономии субъекта:

По мере того как люди все меньше используют свой мозг и больше – машины, они могут утратить собственные способности. Наши навыки критического мышления, письма и дизайна могут атрофироваться.

О знаниях:

Каким образом обучающаяся машина хранит свои знания, перерабатывает их и извлекает, по-прежнему остается неизвестным. <…> Наука эпохи Просвещения накапливала определенности; новый ИИ аккумулирует двусмысленности.

Таким образом, ChatGPT поднимает вопрос о просвещении. Как мы видим человека? Как автономного субъекта, способного выявить причинно-следственную связь? Или как индивида, порабощенного игрой корреляций?

В технологиях нет ничего неизбежного. Это инструмент, который должен быть адаптирован к нашему представлению об истине, к нашим политическим и социальным принципам. Но не наоборот…

Прогресс не равен инновации. Прогресс заключается не в слепом принятии всего нового, а в том, чтобы учиться на сделанных ошибках.

Именно это предлагает моя книга, и я надеюсь, что сегодня она актуальна как никогда.

Гаспар Кёниг

апрель 2023

Homo deus

Sorry, I can’t help you. «Извините, ничем не могу вам помочь», – вот так лаконично ответил на мою просьбу об интервью Элиезер Юдковский, один из передовых исследователей искусственного интеллекта в Кремниевой долине. Едва ли можно лучше показать пропасть, отделяющую властителей технологий от широкой публики; тех, кто создает алгоритмы, – от тех, кто живет под их властью; и, наконец, тех, кто пишет строки кода, – от тех, кто пытается их понять.

Sorry, I can’t help you. Иначе говоря: я хотел бы, но правда не могу. Как варвар, который никогда не занимался программированием, профан, который с трудом справляется с PowerPoint, может понять все тонкости «глубокого обучения»? Цель здесь одна: «Мы делаем мир лучше», make the world better. Мы не задаемся вопросами, мы решаем проблемы. Философская болтовня, роскошь праздного рассудка, – не наша забота. Так Горгий ответил Сократу: все это ребячество надо немедленно прекратить.

Sorry, I can’t help you. Не удивлюсь, если это сообщение было автоматически сгенерировано Gmail: Юдковский, должно быть, получает кучу подобных запросов. Алгоритм должен научиться распознавать их и выдавать подходящий ответ. Что может быть естественнее искусственного интеллекта, отвечающего на вопросы об искусственном интеллекте?

Однако сегодня нам жизненно необходимо говорить друг с другом и помогать друг другу, чтобы понять те грандиозные сдвиги, которые наводят страх на наши сообщества, смешивают карты наших экономических систем, сотрясают наши политические структуры и вторгаются в саму нашу жизнь, вынуждая нас разрываться между надеждой на прогресс и страхом будущего. В прежние периоды технологических перемен мыслители, изобретатели, ученые, инвесторы и политики сосредотачивались в определенных местах, нервных центрах «миров-экономик», описанных Фернаном Броделем. Эти города-миры представлялись не только средоточиями экономики, но также местами высокой культуры. «Блеск, богатство, радость жизни соединяются в центре мира-экономики, в его сердце. Именно здесь, под солнцем истории, жизнь обретает свои самые яркие цвета»[1]. Так все и было: Спиноза посеял семена философии имманентности в Амстердаме, столице золотого века; Адам Смит разработал теорию капитализма в Эдинбурге, в сердце промышленной революции; а Маркс осмыслил классовую борьбу в викторианском Лондоне. Города служили полюсами притяжения и интеллектуальными тиглями: кипящие умы производили в них странные, рискованные и порой чудесные смеси. Сегодня «мозги» разбросаны гораздо шире: никто не может сказать, где находится мировой центр искусственного интеллекта. Даже Кремниевая долина с ее спальными пригородами не может сойти за образец «счастливой жизни»; Сан-Франциско, ставший одним из самых дорогих городов в мире, выдавливает молодых изобретателей; калифорнийская контркультура 1970‐х вырождается в явное безразличие ко всему, что касается гуманитарных наук, словно бы страсть к переменам уничтожила всякую антропологическую рефлексию, а человек стал просто тестом, из которого можно вылепить что угодно, не считаясь с биологией или историей. Впрочем, несколько лет назад журнал The Economist предлагал лидерам «технологий» учиться философии, но безуспешно[2]. Может быть, больше нет никакого города-мира?

Именно для того, чтобы воссоздать что-то вроде такого виртуального города-мира, попробовать навести мосты между буйством технологий и постоянством метафизики, я и предпринял это долгое путешествие в страну искусственного интеллекта. За несколько месяцев я взял интервью у 125 специалистов, оказавшихся отзывчивее Элиезера Юдковского или просто уставших от моей назойливости: исследователей, предпринимателей, инвесторов, преподавателей, чиновников, художников… Я хотел встретиться с ними в их естественной среде – там, где они живут и работают, среди их компьютеров и дорожных пробок, – поэтому и отправился в путешествие вокруг света, двигаясь в западном направлении: Кембридж, Оксфорд, Бостон, Нью-Йорк, Вашингтон, Сан-Франциско, Лос-Анджелес, Шанхай, Пекин, Тель-Авив, Копенгаген и, наконец, Париж. Перемещаясь в эту сторону, то есть по движению солнца, я искренне верил в то, что, потихоньку обкрадывая его, смогу в итоге удлинить свою жизнь на один день, но потом, пролетая над Беринговым проливом, заметил, что линия перемены дат, проходящая по 180‐му меридиану, все забрала у меня обратно. Мне удалось повторить ошибку Филеаса Фогга, но в обратном направлении, а это уже объясняется тем, что я все-таки не ученый.

Дорога оказалась неспокойной. Она началась в лаборатории искусственного интеллекта Facebook[3] в Европе, где занимаются фундаментальными исследованиями. Увидев молодую женщину, погруженную в тысячи строк кода, которые выводились на полудюжине экранов, я осознал, что легкомысленно зашел на территорию сакрального и что нельзя попасть в святилище, не подвергаясь рискам и опасностям. Эта исследовательница стремилась найти способ автоматически предсказывать перемещение объектов на улице на основе простого изображения: тронется ли с места эта машина? Начнет ли переходить улицу этот пешеход? Уронит ли этот ребенок мяч? Я инстинктивно отшатнулся, испугавшись, возможно, того, что увижу строчку кода, описывающую мое собственное поведение, словно бы миллионы миллионов нулей и единиц могли охватить всю реальность – и прошлую, и будущую.

Но на этом мои страхи не кончились. Спустя несколько дней Аврелия Жан, молодая специалистка по информатике, окончившая Массачусетский технологический институт (MIT), смело воспользовалась нашим путешествием на высокоскоростном поезде, чтобы познакомить меня с «Питоном», одним из самых известных языков программирования. Однако для меня травмой стало уже то, что на экране компьютера Аврелии я увидел не папки с файлами, а черное окно, заполненное каббалистическими знаками. Дело в том, что она, как и многие ее коллеги, не снисходит до того, чтобы просто кликать мышкой по слишком удобным иконкам пользовательского интерфейса. Аврелия работает под капотом машины, поближе к ее первичным функциям. Она дает ей инструкции в форме кода. Например, вместо того чтобы открывать папки, когда надо найти документ с текстом, она приказывает компьютеру, на понятном ему языке, его отыскать. Ей кажется, что это более естественный способ общения с информационным инструментом. Мы же, профаны, подобны детям, которые, если надо выполнить какие-то арифметические операции, вынуждены прибавлять и вычитать куски пирога, – нам нужна определенная репрезентация (кстати, именно она определила успех компаний Microsoft и Apple в 1980‐х). Аврелия же манипулирует непосредственно цифрами и обходится без дополнительного символического уровня. «Так быстрее», – говорит она мне, барабаня по клавиатуре.

ИИ умножает число проблем, которые отпугивают исследователей. Похоже, он развивается в самых густонаселенных городах: простояв десятки часов в пробках, я понял страсть гиков к «умному городу» и беспилотным автомобилям. Главное же, что самая революционная технология последних десятилетий привязана к довольно таинственной науке. В этой области очень мало общих работ, ориентированных на неофитов. Не буду делать вид, что преодолел хотя бы введение к библии специалистов по компьютерным наукам – «Искусственному интеллекту» Стюарта Рассела и Питера Норвига: после горстки определений и исторической справки изложение вскоре стало слишком техническим, неприятно напомнив мне обо всех причинах, заставивших меня уйти из последнего научного класса колледжа, где я промучился несколько недель, и перейти в литературный. Тем не менее благодаря чтению и разговорам на тему ИИ я, кажется, приобрел своего рода «окраску», если пользоваться выражением Монтеня, которым он обозначал наши познания, всегда остающиеся несовершенными. Окраску, необходимую, хотя и недостаточную, чтобы делать вид, что философствуешь. Окраску, на которой оставили свой след случайность, локальные открытия, наваждения: в репортаже нужно смириться с определенной долей удачи и неудачи, откровения и невежества. Мой ежедневник, когда я приезжал в какой-либо город, часто заполнялся лишь по мере встреч. В своем исследовании я придерживался той «серендипности»[4], которую ИИ как раз хотел бы уничтожить.

Я провел четыре недели на Западном побережье, и только однажды мне довелось зайти в кабинет, полки которого прогибались под классикой: в фонде Питера Тиля в Лос-Анджелесе я внезапно оказался в своей тарелке – среди томов Сен-Симона в издании «Плеяды» и работ Рене Жирара. В приемной я с изумлением обнаружил экземпляр «Речи о положении великих» Паскаля. Возможно, предпринимателю в сфере технологий, чрезвычайно успешно привлекающему средства, нелишне время от времени вспоминать о различии между «величием по установлению» и «естественным величием». Первое, связанное с социальным статусом, требует вполне обоснованного почитания могущественных людей, однако не может определять реальных человеческих качеств, которые связаны со вторым. Паскаль – не революционер: он не предлагает низвергнуть великих мира сего, но призывает нас держаться «двоемыслия», которое умеет отличать социальные условности от моральных достоинств. К этой рекомендации полезно прислушаться нашим предпринимателям, которые, одевшись в наряды ложной аутентичности, сотканные из эмодзи и селфи, делают вид, будто игнорируют отношения власти и капитала, управляющие их отношением к другим. Может быть, они тоже путают величие по установлению с естественным величием?

Дело в том, что этикет Кремниевой долины ни в чем не уступает этикету былых королевских дворов. Cool, «крутизна», породила свои собственные кодексы, соблюдать которые жизненно необходимо, если хочешь преуспеть или просто выжить в этой экосистеме непрестанной конкуренции. Я очень скоро понял, что электронное письмо, каким бы горячим и откровенным оно ни было («Привет, Марк! Я французский философ»), обречено на вечное молчание. Как всегда, не нужно верить рекламе: нет там ничего горизонтального, текучего или прозрачного. Think different, «думай иначе», но не переборщи. Встречи можно добиться только после долгих переговоров через общих знакомых; сначала надо попросить, чтобы тебя представили, – это необходимое условие, которое само требует хитрых риторических уловок. Если ты забыл восклицательный знак или смайлик, это уже может говорить о непростительной нехватке энтузиазма. Нужно быть серьезным, казаться игривым, доказывать свой пыл и намекать на преданность, и все это одновременно и в трех пунктах. Сам Сен-Симон покажется на этом фоне простаком! В мире гугл-календаря никуда не делись армии секретарей, которые отфильтровывают посетителей и просителей. Личная беседа – вот что работает в эпоху «пост» лучше всего. Кстати, один француз, давно уехавший в Сан-Франциско, написал точную и забавную статью о строгих правилах «Кремниевого Версаля», начиная с тайм-менеджмента и заканчивая формулами вежливости[5].

Достаточно зайти в ресторан Madera в Rosewood Sand Hill, центре венчурного капитала, – в «храм сделок», как съязвил пригласивший меня инвестор, – чтобы заметить, насколько кодифицированным и иерархическим остается мир Кремниевой долины. Прежде всего, это место невозможно найти, оно не определяется по GPS. «Это сделано специально, – сказал мне мой провожатый, впиваясь зубами в самый дорогой на планете гамбургер. – Это мир инсайдеров. Здесь у нас не демократия». Через панорамные окна открывается спокойный вид на заповедник Jasper Ridge; под голубым небом калифорнийского лета расположились островки леса, колышущиеся бархатистыми волнами. Можно разглядеть секвойи с красноватыми стволами и мускулистыми ветками, качающимися на ветру. На переднем плане под солнцем блестят высаженные в безупречном порядке оливковые деревья. Несколько десятков скромных домов выстроились вдоль тенистых аллей. «Это самые крупные в мире фонды венчурного капитала: Sequoia Capital, Menlo Ventures, Schlumberger, Makena Capital, Andreessen Horowitz, Coaetue Management, Silver Lake Partners, Kleiner Perkins… Деньги прямо здесь, вокруг нас. Десятки миллиардов, ежесекундно готовых к инвестированию». Деньги стали экологичными, они обманывают тех, кто все еще ищет их на верхотуре стеклянных небоскребов. Предприниматели совершают свое паломничество пешком, от двери к двери, как дети, просящие сладости на Хеллоуин. Их легко узнать: они потрудились надеть пиджак, они быстро говорят и слишком много улыбаются. Тогда как инвесторы, у которых в руках ключи к амбициям предпринимателей, принимают их расслабленно, чаще всего они в кроссовках кислотных цветов. Это капитализм в джинсах, какая-то энная версия черных сюртуков Фуггеров или безупречных костюмов Ротшильдов. Вопреки тому, что повторяют нам многоречивые гении разрушения, выступающие на TED Talks, мир не так уж и меняется.

Паскаль приходит к выводу: «Я не обязан уважать вас за то, что вы герцог, но я должен снять перед вами шляпу». То же самое в Кремниевой долине: если вы венчурный капиталист, это не значит, что я обязан вас любить, но я должен вас like.

Последний урок, который преподал мне мой гид, прежде чем сбежать на какую-то встречу (разумеется, срочную), заключался в том, что ни предприниматели, ни инвесторы не имеют ни малейшего представления о социальном и политическом влиянии создаваемых ими технологий. С его точки зрения, искусственный интеллект сопряжен с изрядной дозой «поверхностного интеллекта». Чтобы сохранить первичную связь между технологической инновацией и философской рефлексией, нужно, чтобы в Rosewood Sand Hill было больше Паскалей. И разве сам Паскаль не был предпринимателем, создателем первых городских автобусов, «карет с пятью этажами»?

Но в то же время нужно сопротивляться навязчивому искушению, которое ведет к технофобии. Когда мы смотрим в прошлое, пророки апокалипсиса всегда кажутся нам смешными: так, Поль Валери почти столетие назад разоблачал «коварную отраву» технического прогресса и (уже тогда!) сетовал на исчезновение свободного времени, склонность просматривать книги, а не читать их, диктатуру эмоций… «Ни почта, ни телефон не докучали Платону»[6], – сожалеет Валери. Бедный поэт, которого прервал почтальон! Что бы он подумал об уведомлениях сетевых сервисов и твитах? Если хочешь попытаться понять свою эпоху, не оболгав ее, надо заставить и себя, и читателя совершить над собой усилие.

Тем более что искусственный интеллект должен быть мечтой всякого философа. Разве не удобно было бы создать мыслящую машину, которая избавила бы нас от логических ошибок, индивидуальных предрассудков, концептуальных заблуждений? Создать алгоритм, который посчитает истину и даст нам наконец, после тысячелетий однообразных споров, ответ на наши самые важные вопросы о смысле жизни? Концептуальное мышление – это, по сути, всего лишь приближение; тогда как полная система символов, управляемая научными законами, позволяет максимально подойти к истине. Первым об этом начал мечтать Лейбниц, гений математики и метафизики, который искал формулу машины для подсчета мыслей, «универсальной характеристики», ведущей к правильному рассуждению. Гигантская комбинаторная машина, которую Лейбниц назвал calculus ratiocinator, автоматически прогнала бы все химеры разума. В этом совершенно рациональном мире «больше не было бы нужды в дискуссии двух философов более долгой, нежели дискуссия двух математиков, поскольку им достаточно будет взять в руки перо, усесться за свои счетные доски и сказать друг другу: подсчитаем!»[7]

Такой же идеал мы встречаем у всех великих предшественников искусственного интеллекта: Гильберта, Фреге и, конечно, Алана Тьюринга – все они поддерживали тесные отношения с логикой и аналитической философией[8]. Если логическая точность – то, что позволит человеческому разуму лучше воспринимать реальность, тогда превращение реальности в цифровую комбинацию могло бы успешно заменить собой человеческий разум. Отсюда насмешливый ответ Deep Thought, суперкомпьютера из романа «Автостопом по Галактике»: когда его попросили решить «последний вопрос жизни, Вселенной и всего остального», он сказал: «42». Это число стало потом легендарным, оно продолжает то и дело всплывать в разговорах гиков. Разве не наступил бы покой, если бы все смыслы, пронизывающие наши жизни, удалось свести к ничего не значащей цифре?

Это родство информатики и логики сохраняется и сегодня, навязчиво преследуя посетителя причудливого здания департамента компьютерных наук в MIT: войдя в кабинет Лесли Келблинг, ветерана исследований в области ИИ, я обнаружил ее в окружении книг по аналитической философии – она увлекается Уиллардом Куайном. Этот подход весьма далек от интеллектуальной традиции континентальной Европы. В конце прошлого века Делёз довел это противопоставление до предела, определив философию в качестве «производства концептов», то есть деятельности, связанной скорее с творческим процессом, чем с научной строгостью. Концепт невозможно свести к последовательности единиц и нулей: он проецирует на наш мир новый смысл, дополнительную перспективу. Такой благодатный момент часто наступает, когда, заново прорабатывая какой-нибудь сухой трактат по метафизике, мы внезапно «понимаем» его смысл. Все концепты тогда естественным образом складываются воедино, и глаз начинает скользить по странице с неожиданной легкостью. Словно бы аргументы, разрабатываемые на протяжении многих глав, были не столько этапами одного логического пути, сколько линзами, постепенно меняющими наше восприятие вещей. Мы напрягаемся изо всех сил и рвем волосы на голове, стремясь понять положения «Этики» Спинозы, сражаемся с ними, пытаясь проанализировать их цепочку, и вдруг без фанфар и предупреждений наступает такой момент, когда тезис Deus sive Natura, «Бог или Природа», предстает перед нами во всей своей концептуальной глубине. Тогда можно перечитать положения, которые казались столь загадочными, – и они окажутся на удивление очевидными. В этом феномене задействуется не только разум, но и – каким-то непонятным образом – все наше тело. «Модификация его отношений движения и покоя», – сказал бы Делёз.

И наоборот, мне вспоминается замешательство, которое я испытал, когда проходил курс философии в Колумбийском университете, где меня просили разбить фразы на уравнения, отыскивая «истину» высказывания в игре предпосылок и выводов: как эти школьные упражнения могут иметь хоть какое-то отношение к мышлению? С другой стороны, американцы на то, что они сами назвали «французской теорией», смотрят с изрядным скептицизмом, поскольку часто видят в ней лишь поэтическое фанфаронство. Вполне возможно, что неприятие европейцами аналитической философии в какой-то мере позволяет объяснить их инстинктивное недоверие к ИИ. Так или иначе, следует помнить о том, что ИИ – не только промышленная технология, но и прежде всего философский проект, нацеленный на понимание мира.

Но для того чтобы отправиться в это долгое путешествие, у меня были причины и более личного свойства. Я либерал и защищаю идею автономного индивида, свободного в своих решениях и ответственного за свои действия, то есть такого индивида, который должен применять свободу воли в той или иной ее форме. В основании наших обществ еще с эпохи Просвещения лежит эта идея, оправдывающая несколько вещей сразу: индивидуальные права, рыночные механизмы, право голоса и уголовную юстицию. Верховный суд США нисколько не ошибся, когда увековечил свободу воли в качестве самогó условия правовой системы, позволяющего человеку делать выбор между добром и злом, желаемым и порицаемым, дозволенным и запрещенным.

Но сегодня это разумное здание трещит по швам. В своем бестселлере «Homo deus» историк Юваль Харари выдвигает головокружительный прогноз: промышленное приложение искусственного интеллекта ускорит и конкретизирует исчезновение свободы воли, ставшее предметом современных наук. «В начале третьего тысячелетия либерализму угрожает не философская идея, отрицающая существование свободных индивидуумов, а конкретные технологии. В самом скором времени нас ожидает нашествие чрезвычайно полезных устройств, приспособлений и структур, которые не оставят места свободной воле индивидов. Выживут ли в этих условиях демократия, свободный рынок и права человека?» Харари, который требует полностью переопределить наши идеологии и институты, считает, что нет, не выживут. Таким образом, контролируя наше поведение и руководя самыми тайными нашими помыслами, ИИ сможет подорвать либеральное основание наших обществ, разрушив само понятие индивидуальности. Если алгоритм знает меня лучше, чем я сам, и предлагает мне более рациональные решения, чем я мог бы принять самостоятельно, если мириады объединенных в сеть объектов делают мою способность к решению излишней, предлагая мне жизнь комфортную и предопределенную, если я постепенно перестаю быть движущей силой собственных действий, зачем мне понадобится право голоса и буду ли я подлежать хотя бы малейшей уголовной ответственности? ИИ может добить свободу воли, а вместе с ней и кантовский идеал автономии субъекта. Триумф благополучия означал бы тогда отречение от свободы – свободы выбора, свободы восстания, свободы ошибаться, «свободы заблуждаться», о которой говорил Джон Стюарт Милль[9].

Этот вывод, поспешный и радикальный, стал для меня как отправной точкой, так и пунктом назначения, поскольку мои путешествия окончились дискуссией с Харари в его святилище в Тель-Авиве. Не рискует ли либерализм, прославляя чудеса технологий, потерять самого себя? Мне кажется, что апологеты индивидуальной свободы настолько устали от векового сражения с луддитами самых разных мастей, настолько ослеплены своей страстью к инновациям, что просто отказываются видеть ту фундаментальную опасность, которую ИИ представляет для самого понятия индивида. Заметным исключением выступает лишь Питер Тиль, знаменитый предприниматель и открытый либертарианец, который охотно заявляет, что «ИИ – штука коммунистическая», поскольку требует централизации и нормативов. Если ИИ предвосхищает, регулирует мое поведение, манипулирует им и даже моими самыми тайными помыслами, если он способен, как воображает Юваль Харари, «хакнуть людей», нельзя ограничиться классическим аргументом о свободном рынке. Как потребитель может оставаться прав, если сами основания его решений сфабрикованы алгоритмом? Как мы можем быть ответственными взрослыми людьми, если самые главные наши решения определяются нашей включенностью в сеть? Какая разница между Google и Коммунистической партией Китая, если они используют одни и те же техники nudge, преследуя одни и те же утилитаристские цели?

За свою неспокойную жизнь либерализм пережил множество кризисов. Оправившись от краха 1929 года, он был вынужден отказаться от слишком радикальной позиции laissez-faire и допустить необходимость регулирования[10]. Сегодня же ИИ должен подвести нас к вопросу о примате индивидуальной рациональности: возможно, не всякий добровольный (то есть свободный от принуждения) выбор является «свободным». Если не изучить этот вопрос, рухнуть может все здание либерализма, построенное за три столетия.

Грозит ли нашим свободам запрограммированное моральное устаревание?

1

Механический турок

Почему ИИ – это иллюзия

«Это просто магия…» – вот все, что мне удалось сказать, когда основатель одного израильского стартапа показал мне свою программу аудиораспознавания эмоций. Мы сидим не в гараже в Кремниевой долине, здесь нет настольного футбола и колы без сахара по первому требованию. Мы где-то в Тель-Авиве, между автотрассой и недостроенным зданием. Вход найти нелегко: он прячется за магазином дешевой бытовой техники. Комната для переговоров пустая и пыльная, на столе пластиковые стаканчики – все это больше похоже на контору по экспорту-импорту, чем на современную инновационную компанию. Однако же Юваль Мор, основатель стартапа, только что показал мне, как его алгоритмы могут воспринимать всю палитру чувств, содержащихся в той или иной фразе, тональности, даже в шепоте. Пруст больше не нужен: приложение в реальном времени выдает все нюансы разочарования, одиночества или тайного удовольствия. Более того, недавний эксперимент позволил установить корреляцию между тембром голоса и симптомами сердечной недостаточности. На основе нескольких звуков ИИ может проинформировать вас как о любовных тайнах, так и о рисках остановки сердца. А поскольку нужно еще и деньги зарабатывать, он может рассказать специалистам по телемаркетингу о настроении их клиентов. А что, если вскоре появится сервис для выявления лицемерия? Жить в обществе станет куда сложнее…

Трудно не восхищаться чудесами ИИ. Ежедневно нам объявляют о том, что роботы превзошли самых опытных врачей в диагностике рака или же что был автоматизирован труд журналистов. Исследовательские институты выпускают один доклад за другим, в более или менее катастрофическом тоне рассказывая нам о том, что нет такой области деятельности, которую пощадит разгул технологии[11]. Ярлык «ИИ» стал волшебным словом, паролем, позволяющим продать любую идею инвесторам, которые не поспевают за скоростью этих преобразований. Мне недавно рекомендовали упомянуть ИИ в научном труде по философии, чтобы повысить свои шансы на успех. Что же касается настоящих специалистов, знатоков deep learning и нейронных сетей, то компании дерутся за них, а их годовые зарплаты нередко переваливают за миллион долларов. В Китае муниципалитеты обещают золотые горы молодым инженерам-программистам. Двадцать лет назад царский путь к богатству требовал способности придумывать экзотические финансовые продукты; сегодня же нужно уметь писать код.

В США ИИ перестал быть особой темой, привлекательной или отталкивающей, поскольку он полностью интегрирован в повседневную жизнь: о нем говорят так же, как об электричестве или интернете. В «мозговых центрах», которые я посетил в Вашингтоне, ИИ не составляет предмета отдельного исследования, он проник в самые разные области, от экономики до политики и военного дела. На автотрассе, связывающей Кремниевую долину с Сан-Франциско, можно увидеть рекламные щиты, расхваливающие ИИ-компании так, словно речь идет о последней модели барбекю: «Brighterion: искусственный интеллект для критических задач»; «Darktrace: мировой лидер в кибер-ИИ». Мода на ИИ захватила всех: Шахид, водитель Uber, который вез меня ранним утром в Беркли в офис Стюарта Рассела, знаменитого специалиста по информатике, поведал мне, что сам ходит на курсы программирования, поскольку «ИИ – это будущее». С ИИ знакомы дети: в первом эпизоде мультфильма «Суперсемейка» герой вынужден сражаться с самообучающейся боевой машиной. И даже рестораны смотрят в эту сторону: в заведении Situ в Сан-Франциско мне довелось отведать суп из карамелизированной моркови по рецепту Натана Мирвольда, одного из бывших руководителей Microsoft, который теперь применяет науку о данных в кулинарии.

Конечно, есть интеллектуалы, которые борются с технологическим капитализмом, эдакие пережитки калифорнийских 1960‐х. Их труды можно найти в знаменитой независимой библиотеке Сан-Франциско City Lights, где царит изысканная атмосфера легкого запустения. Вот, к примеру, книги, которые стоят на самом первом стеллаже, в тесном строю, словно бойцы старой гвардии: «Интернет как оружие. Что скрывают Google, Tor и ЦРУ»[12], «Новые Темные века: технология и конец будущего», «Habeas Data: распространение технологий надзора», «Тюремщики интернета» и т. д. Иными словами, рассуждения, часто довольно однообразные, о надзоре – понятии, позаимствованном из трудов французского философа Фуко, – никуда не делись… Однако в целом американское общество, похоже, не разделяет опасений прогрессистской элиты. В Музее де Янга, стоящем посреди парка «Золотые ворота» в Сан-Франциско, в экспозиции, посвященной «культу машины», картины прецизионистов 1930‐х, прославлявших паровую машину, выставили рядом с цитатами из современных трансгуманистов. Газетные статьи межвоенных лет напоминают о том, что страх машины существовал всегда: «Г-н Робот превзойдет своего хозяина», – вот о каких ужасах рассказывали тогда в передовицах. Идея выставки оказалась как нельзя более прозрачной: нынешние страхи цифровизации сравнимы с прежней боязнью механизации, которая сегодня кажется нам смешной. После осмотра экспозиции посетителям Музея де Янга предлагали выбрать для описания технологии три слова из тридцати. Вот что пришло им в голову: креативность, революционность, эффективность, прогресс. А вот слова, которые остались неиспользованными: надзор, загрязнение, неравенство, отчуждение. Похоже, что ИИ следует естественным путем неумолимой инновации. Завтра, опутав всю нашу жизнь тысячами подключенных друг к другу объектов, он станет привычным и невидимым.

Итак, общество сначала изумляется, возмущается, впадает в панику, бунтует, а потом привыкает и теряет интерес. Выступления на TED, в которых пророки нового поколения объясняют нам, почему мы стали бесполезны или как нам будет скучно, когда мы сможем жить по сто лет, даже не развлекают нас: все это уже было. Общество вскоре полностью «переварит» ИИ.

Мы свыклись с магией. Нужно быть въедливым занудой, чтобы все еще стремиться разгадать этот фокус.

А это как раз мой случай…

От барона фон Кемпелена до компании Amazon

В этом тумане искусственного интеллекта, окутавшем весь мир, компания Amazon подала нам ценный сигнал, назвав свою платформу микрозадач Amazon Mechanical Turk – «Механический турок Amazon». Сотни тысяч внештатных работников, называемых «турками», получают вознаграждение за выполнение в интернете простейших задач (например, за сортировку изображений), результаты которых поступают в исследовательские или производственные системы ИИ. Почему в наше время, когда малейший культуралистский намек жестко подавляется, было выбрано это странное название – «Механический турок»?

Дело в том, что в 1769 году именно так венгерский изобретатель Вольфганг фон Кемпелен назвал свой шахматный автомат – марионетку, одетую в турецкий костюм. Этот механический турок сумел поставить шах и мат многим известным шахматистам того времени, а также некоторым историческим личностям, в частности Марии Терезии, Наполеону Бонапарту и Бенджамину Франклину. Механический турок, сидевший за своим внушительным ящиком-столом с шахматной доской, перемещал фигуры резкими движениями и мог даже проявлять во время партии определенные эмоции, например таращить глаза, качать головой или шевелить пальцами. Блестящий тюрбан, суховатые черты лица, длинные османские усы – все это дополняло драматическое напряжение. Механический турок прославился по всей Европе; впоследствии он достался Иоганну Мельцелю (изобретателю метронома), который уехал с ним сначала в Лондон, а потом в США. На заре промышленной эпохи, когда в обществе вдруг возникла повальная мода на автоматы, а математик Чарльз Бэббидж только-только представил свои революционные счетные машины с перфокартами, люди спрашивали себя, не изобрел ли фон Кемпелен механическое мышление. Если человек – это просто машина, как утверждали Ламетри и многие другие философы Просвещения, почему машина не может стать человеком? Вопрос о «сингулярности», который мучает нас сегодня, далеко не нов. Еще два столетия назад он привлекал к себе неподдельное внимание. Механический турок, с точки зрения современников, был первым искусственным интеллектом.

Конечно, дело в трюке, причем весьма простом. Внутренняя часть ящика перед представлением всегда открывалась, и зритель видел там лишь сложный механизм из шестеренок и приводов. Однако ловкая игра зеркал и двойное дно позволяли скрыть профессионального шахматиста из плоти и крови, который, сидя в ящике, выполнял сложные движения, передвигая фигуры. То есть первый ИИ был грубым обманом, и сегодня можно только удивляться, почему он почти целый век пользовался таким оглушительным успехом. Amazon вдохновился этой историей, чтобы остроумно напомнить нам о том, что за магией алгоритмов скрывается значительный человеческий труд, позволяющий собирать, обрабатывать и извлекать данные. Возможно, аудиораспознавание эмоций однажды покажется нам такой же грубой уловкой, как и трюк фон Кемпелена. Неужели мы относимся к новым технологиям с той же наивностью, что и светские дамы XVIII века, которые млели перед деревянным автоматом? Гуманоиды выступают сегодня на конференциях, а робот София получил гражданство в Саудовской Аравии, но действительно ли они намного совершеннее своего общего предка – механического турка?

Мне захотелось разобраться в этом вопросе. Исходный шахматный автомат сгорел в 1854 году во время пожара в музее Филадельфии, но существует его точная копия, которую крайне редко показывают публике. Я отправился ее исследовать. Не мог же я изучать вселенную ИИ, не пожав руку механическому турку?

Северный пригород Лос-Анджелеса, между Адамс-хилл и Гриффит-парком. Район представляет собой редкое сочетание промышленных зон, одноэтажных домов в самых разных стилях и магазинов органических продуктов; повсюду растут пальмы, а вдали возвышаются пустынные холмы. Трудно представить что-либо более американское: каждый в этом открытом пространстве создает свое маленькое царство. Демократия увенчала короной голову каждого гражданина. Я вступаю в одно из таких княжеств – обширный ангар, в котором рабочие что-то делают под визг электропил. Меня встречают картонные роботы: Пьеро, сидящие на Луне, головы Микки-Мауса, светящиеся рекламы выступлений фокусников и расположенные в шахматном порядке зеркала – в них отражается мое помятое лицо. Я пробираюсь в маленькую комнату, где неожиданно царит полная тишина. Это кабинет настоящего антиквара, элегантный и обшитый деревом. Здесь кучи бильбоке, черепов, коробок с игральными костями, кожаных чемоданов, вееров, подзорных труб и карточных колод. Но вот настоящее сокровище – целая толпа автоматов в натуральную величину: Гудини дает автограф своей гипсовой рукой, Вильгельм Телль потрясает луком, павлин протягивает мне в клюве даму пик. В кресле красного бархата посреди всех этих созданий восседает иллюзионист Джон Гуган, который уже многие годы воспроизводит химеры прошлого и изобретает химеры будущего. Рядом с ним – главный экземпляр: турок, абсолютно бесстрастный в своей белой меховой шубе, готовый начать игру.

Вот уже сорок лет, как Джон Гуган пытается вернуть жизнь турку, обшаривая библиотеки Берлина, Парижа и Лондона, чтобы среди сотен книг того времени найти сведения, позволяющие восстановить исходный механизм. Это стало делом всей его жизни, о котором он периодически рассказывает на конференциях специалистов по компьютерным наукам. Джон, с его глухим голосом и запавшими глазами под густыми бровями, настолько похож на волшебника, что так и хочется спросить: не сделан ли он сам из шестеренок, приводных ремней и силикона?

Правда ли, что внутри ящика находился человек? А как он мог поместиться в таком узком пространстве? Джон следует этическому кодексу своей профессии: он отказывается рассказывать о том, как действует иллюзия. Он сомневается даже в том, стоит ли доверять свои открытия тексту; возможно, секрет турка исчезнет вместе с ним, разве что потом какой-нибудь его последователь будет исследовать Джона Гугана так же, как он сам изучал Вольфганга фон Кемпелена… Я стою перед турком, трогаю его, открываю дверцы ящика, но он все равно остается для меня непостижимым. Однако нужно как-то сохранить ту ничтожно малую иррациональную долю сомнения, допускающего, что машина и впрямь могла думать… Ведь парадокс в том, что именно это сомнение, эта потребность в магии и составляют нашу человечность.

«В моем ремесле, – рассказывает Джон, – меня поражает то, насколько первобытным остается человеческий разум». Как легко обмануть публику, отвлекая ее внимание довольно простыми сигналами. На самом деле сегодня это еще проще: в нашей цифровой среде полно постоянных отвлекающих факторов, все больше и больше снижающих способность к концентрации. «Но это не относится к детям», – уточняет Джон. Они менее чувствительны к кодексам нашего повседневного взаимодействия и еще не до конца прошли социальную дрессуру, поэтому не так доверчивы Фокусник показывает голубя, который взлетает с правой руки, но ребенок продолжает смотреть на левую, не обращая внимания на спектакль, а следуя лишь собственному размышлению. Чем старше ребенок, тем проще им манипулировать.

И что же тогда можно сказать об ИИ? «Это иллюзия, то есть моя вселенная». Полезная иллюзия. Да и, по словам Джона, разве турок не дал импульс промышленной революции? Машина порождает машину, магия питает прогресс.

Покидая кабинет Джона Гугана, я снова погружаюсь в истому калифорнийского лета: одинокий пешеход в городе, созданном исключительно для машин. Теперь я лучше понимаю ставки, сделанные на ИИ. Это иллюзия. Задача не в том, чтобы досконально понять, как он работает, а в том, чтобы вопреки всем бредовым идеям, которые он пробуждает, сохранить холодный рассудок. Рассудок ребенка, который смотрит в другую сторону…

Machine learning, deep learning, reinforcement learning, unstructured learning[13] – все эти термины смешивались в головокружении небоскребов Нью-Йорка, где я начал свои странствия. Кроме того, прибыв на самолете в Бостон, я слишком смело сразу полез купаться и заработал отит, что не упрощало мне задачу понимания ИИ. Беспрестанный гул Нью-Йорка заглушала канонада в моем левом ухе; я ходил на встречи, опустошая запасы анальгетиков и пытаясь поворачиваться к собеседникам здоровым ухом. Все, что я понял, свелось к тому, что пресловутый «ИИ» или, по крайней мере, последнее поколение алгоритмов может более или менее автономным образом копаться в массе данных, извлекая из них определенные закономерности и делая прогнозы. Говорите громче, пожалуйста.

Смехотворность моей задачи и абсурдность самого моего положения стали особенно ясны по дороге в офис IBM Watson на Астор-Плейс, где на входе меня поджидал огромный кролик Джеффа Кунса. Пытаясь сформулировать вопросы по информатике, которые преследовали меня, но никак не давались, я вдруг заметил, что забыл запонки, а потому рукава моей рубашки болтались как кружевные манжеты версальских маркизов. Мой горячечный разум принялся изо всех сил решать этот важнейший вопрос. У меня нет строгих привычек в одежде, но должен признаться, что обычно я иду против среды, то есть на встречу с предпринимателями из технологических компаний прихожу в костюме, а на встречу с банкирами – в футболке. (Спустя несколько недель в салат-баре в Сан-Франциско основательница одного стартапа похвалила меня за старомодный имидж: «Как же приятно видеть человека в пиджаке…») До встречи в IBM у меня оставалось пять минут. Я заскочил в большой супермаркет, но ничего там не нашел, а потом в прачечную, где хозяйка придумала гениальный и совершенно нью-йоркский выход – просто зашить рукава. Мы поговорили о Румынии, откуда она родом и где живет семья моей жены. Я тепло обнял ее на прощание, а потом отправился в IBM в более или менее приличном виде, радуясь столь хитрому решению. Пусть подкладка и не в порядке, но форму я, по крайней мере, сохранил.

IBM – гигант программного обеспечения, прославившийся тем, что его суперкомпьютер Deep Blue победил Гарри Каспарова. Watson – последний продукт их программы ИИ, способный выиграть в общекультурной телевикторине Jeopardy![14]. Сегодня программисты IBM готовят свою машину к риторическим сражениям с людьми. Причем Watson внедряется и в виде коммерческих продуктов, которые продаются разным компаниям, желающим улучшить обработку данных. Он использует несколько слоев анализа: публичный ИИ, обрабатывающий сетевую информацию (например, из «Википедии»), специфичный для каждой конкретной области ИИ (например, финансов), затем частный и специфичный для каждого клиента ИИ (например, для компании J.P. Morgan). Подобная комбинация позволяет производить все более экспертный и независимый ИИ, способный накапливать и синтезировать знания и опыт, приобретенные в определенной сфере деятельности. Например, Watson управляет переносом знаний о нефтяных платформах, отвечая на технические вопросы новичков. Вы спрашиваете, каким должен быть максимальный вес вертолета при приземлении? Нет нужды обращаться к более опытным коллегам, вам ответит наш компьютер![15]

Все эти практические примеры, утопающие в многословии коммерческого пиара, не слишком помогли мне понять природу подобных технологических достижений. Но, наконец, появилась мадонна ИИ – Франческа, известная специалистка по компьютерным наукам из Падуанского университета, сегодня она работает в исследовательском подразделении IBM. Может быть, ее объяснения показались мне настолько прозрачными лишь потому, что Франческа – рыжая элегантная итальянка, выгодно отличающаяся своей человечностью в этом мире нердов – ботаников, помешанных на технологиях? Так или иначе, краткий курс, прочитанный мне в конференц-зале IBM, где Франческа по старинке писала своим округлым почерком на белой доске, позволил четко организовать в уме все те загадочные понятия, которые я долго собирал в чтении и обсуждениях. Наконец-то все стало обретать смысл… А потому я поделюсь здесь этим безупречным уроком, который специалистам, возможно, покажется слишком упрощенным, но для меня в моем долгом странствии стал непреложным ориентиром. Кстати, нижеследующие строки покажутся менее сухими, если вы будете читать их с итальянским акцентом.

Вначале было логическое правило. Термин «искусственный интеллект» существует с 1950‐х годов[16] и в той или иной степени смешивается с понятием информатики как науки. Цель его проста: создать неорганическую копию человеческого интеллекта. За свою не слишком долгую историю ИИ пережил немало приключений и несколько «зим», когда его считали умершим[17]. Долгое время он мог действовать только по правилам, созданным людьми, то есть по пресловутым алгоритмам, которые всегда не более чем сложные руководства. Всем известный Deep Blue, выигравший в конце концов у Каспарова в шахматы в 1997 году, использовал брутфорс, то есть перебирал миллионы возможных комбинаций за несколько секунд. Такой ИИ представляет ту или иную ситуацию в символьном виде, а затем строит рассуждение, которое может завершиться тем или иным решением. По сути, это способ индустриализации логических умозаключений, идеально подходящий для таких закрытых систем, как шахматы. Сегодня такой ИИ называют GOFAI, good old-fashioned AI, «старый добрый ИИ».

В своем минимальном варианте ИИ сводится, таким образом, к сумме наших знаний в области информатики. В максимальном – это сам человеческий интеллект, то есть все, что компьютерная программа пока делать не умеет; и наоборот, «как только она начинает работать, это больше не называется ИИ», – объяснял Джон Маккарти. Но между двумя этими крайностями в обыденном языке ИИ стал обозначать вполне определенную технику, а именно machine learning, машинное обучение.

Собственно, настоящий прорыв, объясняющий массовое распространение технологий ИИ и популярность этого термина, произошел в самом начале текущего столетия, когда информационные системы приобрели возможность обучаться самостоятельно, не следуя заранее установленным правилам. Эта цель была поставлена с самого начала информатики, однако добиться удовлетворительных результатов не удавалось. Успешное решение этой задачи объясняют три фактора: внезапно возникшее благодаря интернету изобилие данных, стремительное увеличение мощности компьютеров и открытие заново «нейронных сетей», то есть определенного способа конструирования информационных связей, при котором точки обработки данных в значительной мере независимы друг от друга, напоминая этим в какой-то степени нейроны нашего мозга.

Машинное обучение, в свою очередь, подразделяется на несколько техник в соответствии с уровнем вмешательства человека: «обучение с учителем» (supervised learning, под контролем программиста), «обучение с подкреплением» (reinforcement learning, когда машина «вознаграждается» в зависимости от качества ее результатов, а потому учится на собственных ошибках, что позволяет создавать базы систем «рекомендаций» книг, фильмов и т. п.) и «обучение без учителя» (unsupervised learning, когда машина в целом предоставлена сама себе). Что же касается «глубокого обучения» (deep learning), то речь идет о применении нейронных сетей для реализации трех упомянутых техник. Например, для идентификации кота на изображении можно применить контролируемое глубинное обучение[18].

Общая черта всех этих методов машинного обучения состоит в том, что полученные результаты нельзя полностью объяснить. Машина поглощает значительное количество данных, как-то по-своему «переваривает» их (на этом этапе человек более или менее ее контролирует и настраивает), а потом приходит к выводу, следуя при этом траектории, которую никто не мог бы воссоздать во всех подробностях. Поэтому всегда следует помнить о компромиссе между эффективностью и прозрачностью (explainability). Некоторые выдающиеся исследователи полагают, что машинное обучение означает устаревание всех традиционных алгоритмов, основанных на явных критериях, а также человеческих экспертных знаний[19].

Теперь вернемся к нашему примеру: как дать компьютеру инструкцию распознать кота на изображении, которое состоит из миллионов пикселей? Если мы попытаемся «описать» кота, то быстро выясним, что прийти к точному определению практически невозможно. Предположим, что у кота четыре лапы, но как определить лапу? Как прямоугольную форму относительно однородного цвета, которая заканчивается звездчатой структурой? Но как в таком случае отличить лапу от куска дерева, заканчивающегося веткой? Какое среднее расстояние следует заложить между четырьмя прямоугольниками, чтобы предположить наличие кота? А что делать с котами без ног, которых двухлетний ребенок мог бы идентифицировать с первого взгляда? Нужно ли потом дать определения всего остального, что есть у кота, начиная с усов и заканчивая хвостом?

Здесь-то и вмешивается машинное обучение, которое я по примеру большинства комментаторов и в целях удобства буду далее в этой книге отождествлять с ИИ. Вместо того чтобы определять кота, программист предоставляет своему ИИ тысячи, миллионы изображений с кошками, но не дает ему никакой другой информации. Эти изображения предварительно «маркируются» людьми, которые сортируют их в зависимости от того, есть на таких изображениях кот или нет. «Натренированная» таким образом машина сможет выделять характерные формы (паттерны) и приписывать каждому новому изображению вероятность того, что на нем есть кот. Такие формы не могут быть выражены в явном виде, то есть множеством логических правил; они отражаются определенной комбинацией миллионов «весов» – параметров, выработанных нейронными сетями в процессе обучения. Машина не способна произвести идею, под которую подводятся частные случаи, поэтому нуждается в бесконечном числе примеров, словно ей необходимо исчерпать все возможные ситуации. В итоге для развития техник машинного обучения понадобились огромные базы данных, отсюда создание ImageNet в начале 2010‐х годов по инициативе исследовательницы из Стэнфорда Фей-Фей Ли, которая привлекла к этому проекту десятки тысяч участников. Они описывали миллионы изображений, распределяемых по 20 тысячам разных категорий. Так у ИИ появился свой арсенал.

«ИИ не производит общих понятий», – делает вывод Франческа, и это возвращает нас к вопросу о понятии, который мучил Платона на заре философии. Ведь понятие не сводится к определению. Способность давать определения является, конечно, условием языка и мышления: нужно, как говорит Сократ в «Федре», уметь разрезать понятия, соблюдая их естественные сочленения; тогда как софист, наоборот, разрывает логические связи, а потому он просто «дурной мясник». Но в то же время Платон может лишь констатировать недостаточность определения в объяснении реальности, а потому в «Государстве» обращается к своим знаменитым Идеям, которые должны управлять нашим чувственным восприятием: соответственно, кота можно распознать потому, что в каких-то чисто умопостигаемых сферах познания есть Идея Кота. Чтобы идентифицировать кота, ИИ, таким образом, не может удовлетвориться позицией хорошего мясника, подобного GOFAI; но не располагает он и таинственной Идеей, понятием, к которому человеческий мозг может, судя по всему, получить доступ уже после нескольких примеров[20]. Если наш невероятно ловкий разум способен распознать любых котов, увидев одного-единственного, то ИИ, отличающийся чрезвычайным трудолюбием, может распознать кота, лишь просмотрев изображения всех котов.

Один из блестящих молодых инженеров компании Google Блез Агуэра-и-Аркас попытался проникнуть в эту тайну, попросив ИИ вывести на основе накопленных данных понятие – в той или иной форме. Словно бы компьютер должен был найти то, чего ему не хватало… В визуальном плане результат оказался просто поразительным, поэтому Блез превратил его в художественный проект (в частности, основал программу «Художники и машинный интеллект» в Google[21]). Понятие «кот», полученное на основе миллионов изображений котов, похоже не на кота, а на плотную комбинацию с трудом узнаваемых черт и потому чем-то напоминает коллажи Франсиса Пикабии. Пара раскоординированных усов наложена на то, что, возможно, похоже на хвост. Может быть, именно так, по сути, и работает наш мозг? Что, если Блезу удалось визуально представить те самые платоновские Идеи? На самом деле все наоборот. Эти симпатичные коллажи показывают, что методы ИИ остаются довольно грубыми и приблизительными, если сравнить их с нашей способностью к концептуализации, которая пока в значительной мере остается непонятной[22]. По контрасту они высвечивают механизмы наших когнитивных процессов, не сводящихся к чистому перцептивному эмпиризму. Мы не просто складываем изображения в голове. Понятие сопротивляется искусственному интеллекту. Как признал во время нашего разговора Александр Лебрен, один из лучших французских специалистов по машинному обучению, тот факт, что человек может сделать обобщение на основе весьма ограниченного числа случаев, по-прежнему трудно объяснить. Александр удивляется не возможностям придуманного им носителя искусственного интеллекта, а способностям естественного интеллекта, который при рождении был дан ему самому. По сути, мы представляем собой намного более впечатляющую загадку, чем машина.

Теперь пора вернуться к «механическому турку» компании Amazon, или к MTurk. Как турок Вольфганга Кемпелена скрывал в себе человека, наделенного биологическим интеллектом, так и системы машинного обучения должны, чтобы правильно работать, опираться на производительную деятельность тысяч «турков» из плоти и крови. Никто не изучил этот феномен лучше Сиддхартха Сури, с которым мы встретились в нью-йоркском исследовательском центре Microsoft. Я думал, что попаду в огромный комплекс из гигантских компьютеров, в котором ученые жонглируют трехмерными экранами. Но, наверное, я слишком долго зачитывался комиксом «Блейк и Мортимер»: на самом деле офис Microsoft похож на обычный опенспейс, в котором аспиранты-постдоки во вьетнамках маринуются в индивидуальных боксах. Один из них – Сиддхартх, специалист по компьютерным наукам. Он уже много лет занимается «этнографией „турков“», но при этом ни разу не общался с представителями Amazon, что само по себе многое говорит о культуре секретности, которая царит в гигантах цифровой революции. Что представляют собой те, кто работает на искусственный интеллект? Да что угодно… Они не учились в Стэнфорде и не рассуждают о технологиях. Это, например, индийские матери, сидящие дома с детьми, маломобильные инвалиды из Европы, американские безработные – короче говоря, все те, кто хотят или вынуждены работать из дома, чтобы получать минимальный доход. Они выполняют разные задачи, от маркировки простых изображений (того же кота) до решения математических задач или анализа вибраций. Это и есть сердце цифрового пролетариата, независимые друг от друга представители которого берутся за эфемерные задания: по оценкам Сиддхартха, за полгода на MTurk меняется около половины всей рабочей силы.

В социальном отношении в MTurk отражаются все двусмысленности так называемого отказа от посредников (больше известного под названием «уберизация»). С одной стороны, платформа предоставляет как нельзя более демократичные возможности, устраняя все входные барьеры. Перечисляя рабочие места, уничтоженные тем или иным ИИ, обычно забывают оценить все множество мини-работ на рынке принципиально иной занятости, которые были созданы теми же причинами, – чрезвычайно текучее и динамичное множество. С другой стороны, MTurk эксплуатирует рабочую силу, лишенную возможностей вести переговоры, а ее вознаграждение (в среднем два доллара в час) несоизмеримо с производимой ею ценностью. Те, кого Сиддхартх называет «призрачными работниками», составляют люмпен-пролетариат XXI века. В попытках организовать сообщество «турков» стихийно появилось несколько форумов, на которых люди стали писать обращения к работодателям и делиться тарифами оплаты своего труда: Turkopticon, потом Turker View, TurkerNation, MTurk Crowd, TurkerHub. Будем надеяться, что они станут зародышем цифровых профсоюзов, действующих на глобальном уровне и представляющих интересы их членов независимо от страны, из которой они работают.

В технологическом отношении MТurk преподносит нам очень важный урок: природа микрозадач, предлагаемых «туркам», постоянно меняется, и вряд ли они когда-нибудь будут исчерпаны. Иначе говоря, технология ставит все новые и новые вопросы, на которые должно отвечать относительно небольшое число людей. Именно это Сиддхартх и назвал «парадоксом автоматизации последней линии» (the paradox of automation’s last mile). Как только решается одна проблема, тут же появляется другая. Например, развитие объединенных в сеть объектов потребует огромного количества человеческих знаний, благодаря которым можно будет конфигурировать и тренировать ИИ, знакомя его со всевозможными обстоятельствами. Таким образом, фронтир автоматизации постоянно отступает, как мираж горизонта прогресса, и при этом тянет за собой караван призрачных работников.

Не нужно путать реальные социальные вызовы, создаваемые автоматизацией, с мифом об автономном роботе. Прежде чем заменить людей, роботы должны быть ими придуманы. Искусственный интеллект – это оптимизированная и размноженная комбинация миллионов человеческих интеллектов. Мне кажется ошибкой утверждать в стиле газетных заголовков лета 2018 года, что «один ИИ в диагностике опухолей головного мозга показал лучшие результаты, чем пятнадцать китайских врачей». Скорее следовало бы писать, что один ИИ позволил наладить беспрецедентное сотрудничество тысяч врачей, которые, опираясь на собственные знания, занимались маркированием тысяч изображений с опухолями. Разве может быть что-то удивительное или чудесное в том, что десять тысяч врачей, работая вместе, достигли лучших результатов, чем пятнадцать их коллег?

Эту интерпретацию подтвердил мне Сяовей Динг, основатель и генеральный директор VoxelCloud – стартапа с офисами в Шанхае и Лос-Анджелесе, занимающегося медицинской визуализацией. Я встретился с Сяовеем в кампусе Калифорнийского университета в Лос-Анджелесе (UCLA), где он параллельно занимается академической карьерой в области компьютерных наук. Кафе одного из самых престижных государственных университетов США похоже не столько на студенческую столовую, сколько на холл пятизвездочного отеля из красного кирпича, с изящной архитектурой и кипарисовой аллеей. Я увидел, как к моему столу подходит не безжалостный капиталист, за два года получивший около 30 миллионов долларов от крупнейших фондов венчурного капитала, которого я представлял по его резюме, а молодой, несколько неловкий человек, одетый в спортивные штаны и футболку с ярким рисунком. Все-таки я никак не могу привыкнуть к тому, что наши новые хозяева – постаревшие подростки…

Врачи отправляют в VoxelCloud медицинские сканы, снабженные описанием симптомов, а ИИ возвращает им возможный диагноз с рекомендациями по лечению. Человек в бо́льшей или меньшей мере контролирует машину, в зависимости от сложности случая. Однако VoxelCloud так или иначе должен собрать значительное число сканов, размеченных американскими или китайскими врачами, которые получают за это определенное вознаграждение (китайские врачи, по словам Сяовея, «работают быстрее и дешевле, они больше открыты технологии, но качество у них хуже»). То есть задача не в том, чтобы заменить врачей, а в том, чтобы использовать их профессиональные знания для усовершенствования процедур: «Данные по самой своей сути ограничены». ИИ довольствуется обнаружением корреляций между заболеваниями и изображениями; он воздерживается от самостоятельного определения той или иной медицинской причинной связи. В каком-то смысле он «делает грязную работу». Поэтому Сяовей не слишком ценит все эти фиктивные «соревнования» роботов и врачей, устраиваемые скорее с рекламными целями, которые вводят широкую общественность в заблуждение, скрывая от нее реальный способ работы ИИ.

Реальность и ее копия

Вот почему ИИ, как и предчувствовал наш фокусник, – иллюзия: он воспроизводит результат, а не процесс. Это первым делом и сообщил мне Ян Лекун, легенда ИИ, – он возглавлял кафедру информатики и цифровых наук в Коллеж де Франс, а сегодня руководит исследованиями ИИ в Facebook в Нью-Йорке: «нейронные сети» – это метафора, как крылья самолета – метафора крыльев птицы. Нельзя смешивать цель, к которой мы стремимся (например, мыслить или летать), с применяемыми нами методами. Иначе можно разбиться… Когда во времена «прекрасной эпохи» Клеман Адер пытался сконструировать самолет, глядя на летучую мышь, двигатель просто не смог поднять машину в воздух. Точно так же компьютер не может подражать работе мозга, в котором 80 миллиардов нейронов, причем у каждого из них по 10 тысяч синапсов. Вот почему ИИ, распознающий «кота», может воспроизвести результат концептуализации, которая разворачивается в глубинах нашей нейронной деятельности, но не сам процесс, ведь ИИ понадобятся миллионы примеров, заранее проанализированных человеческим разумом.

Ученым это различие представляется вполне тривиальным. Джерри Каплан неизменно подчеркивает его в своих лекциях и интервью. Специалист по компьютерным наукам, занимавшийся самыми разными проблемами, предприниматель, основавший много фирм, профессор и эссеист, вечно находящийся в разъездах (на этот раз я вынужден довольствоваться разговором по скайпу), он не слишком жалует адептов сингулярности и регулярно напоминает о том, что программа «симулирует мышление, не воспроизводя процесса, который происходит в человеческом разуме». Знаменитый тест Тьюринга Каплан интерпретирует не в качестве вступительного экзамена в эпоху полностью искусственного интеллекта, который было бы невозможно отличить от интеллекта человеческого, а в качестве простой игры в имитацию. Напомним, что тест Тьюринга заключается в разговоре с удаленным собеседником, когда невозможно определить, кто он – человек или компьютер. Алан Тьюринг своим тестом предвосхищает техники НЛП[23] и чат-боты[24], способные создавать иллюзию естественного общения. Однако он нигде не утверждает, что компьютер таким образом достигает уровня человеческого мышления. Главное – это то, что машина может обмануть собеседника, демонстрируя все признаки наличия интеллекта. Тьюринг, как известно, был геем, и Каплан готов даже сравнить этот мысленный эксперимент с допросами, которым в те времена все еще подвергали гомосексуалов в Англии: они должны были убедить полицию в своей сексуальной добропорядочности. В самом деле, в опубликованном в 1950 году исходном сценарии Тьюринга, еще до того как на сцену выходит машина, применяется странная перестановка ролей мужчины и женщины. То есть компьютер притворяется разумным точно так же, как мужчина притворяется женщиной, а гомосексуал – гетеросексуалом. В этой грандиозной игре зеркал достоверно известно лишь одно: существует истинное и ложное, подлинник и копия.

Конечно, можно заявить, что иллюзия смешивается с реальностью, что подражать мышлению – это и значит мыслить: в конце концов, как мы могли бы убедиться в том, что наш собеседник-человек – не компьютер в человеческой форме, или же в том, что наше собственное мышление не является запрограммированным? Этот вопрос на заре философии поставил еще Платон, когда определил софиста (в одноименном диалоге) в качестве подражателя, производящего иллюзии, отличные от самих вещей. Софист владеет наукой «кажимости», он производит копии. Но разве сами эти копии не должны считаться «реальными»? Как отличить истинное от ложного в полном, цельном мире, в котором невозможно отрицать существование того, что проявляется? «Ведь являться и казаться и вместе с тем не быть, а также говорить что-либо, что не было бы истиной, – все это и в прежнее время вызывало много недоумений, и теперь тоже»[25]. Этот ответ Платона навсегда определит западную мысль: чтобы мыслить ложное, нужно допустить небытие, то есть нарушить запрет учителя Платона – Парменида, согласно которому «бытие есть» (тавтология, ранее считавшаяся безупречным утверждением). Это платоновское отцеубийство, позволившее извлечь понятие истины из монолита Парменида, неподвижного и невыразимого, открывает возможность противопоставить исследование истины торговле иллюзией. Мысль приходит в движение. Так копия находит место между бытием и небытием, между неопровержимым и непроизносимым: это то, чего нет. Ложная речь возникает, следовательно, когда «говорится иное как тождественное, несуществующее как существующее». Вот что позволяет опровергнуть софиста. Философ же представляется тем, кто изгоняет иллюзии и, постоянно сталкиваясь с небытием, никогда не довольствуется окончательной истиной.

Наша задача – опровергнуть софистов 2.0, бесконечным потоком вещающих со сцены TED Talks. Эти поклонники мыслящей машины, которые сами редко бывают специалистами в информатике, заставляют нас вернуться к досократическим временам, когда было трудно помыслить различие между бытием и иллюзией. Заявляя о полном тождестве между нейроном и силиконом, между искусственным интеллектом и человеческим, они воскрешают Парменида. То, что тест Тьюринга способен обмануть человека, показывает силу иллюзии, привлекающей на свою сторону небытие. А вот считать, что тест Тьюринга устанавливает функциональную равнозначность человека и машины, – это современный вариант сказать, что «бытие есть». Даже если тест пройден успешно, мы не только имеем право, но и обязаны узнать, кто же все-таки находился в комнате: человек или ИИ?

Вот почему философ Джон Серл в своей знаменитой короткой статье смог с легкостью опровергнуть представление о том, что машина могла бы «понимать» производимые ею операции[26]. Он предлагает мысленный эксперимент, получивший название «Китайская комната». Представьте, что вас заперли в комнате и передают извне записки с китайскими иероглифами – на языке, которого вы не знаете. Потом, теперь уже на французском, вам сообщают точные инструкции, определяющие, как связывать между собой эти иероглифы. Манипулируя этими символами в соответствии с твердыми правилами, вы сможете производить относительно сложные операции. Например, если бы вам передали вопрос на китайском, вы смогли бы в письменном виде дать на него правильный ответ, ничего при этом не понимая. Разумеется, вы также сможете ответить по-французски и на вопросы, заданные на французском, но в этом случае вся эта сложная работа вам не понадобится… С точки зрения наблюдателя, помещенного вне этой комнаты, вы будете способны общаться как по-китайски, так и по-французски. Однако в первом случае вы ведете себя как компьютер, то есть выполняете серию определенных операций с формальными символами, а во втором применяете некоторую форму интенциональности, прячущуюся в нейронных процессах. Проецируя себя, таким образом, в жизнь компьютера, вы интуитивно понимаете… что ничего не понимаете. Вы довольствуетесь лишь перестановкой символов, слепо следуя правилам.

Но разве мозг сам не работает как компьютер, разве он не обрабатывает входящую информацию и не выдает исходящую? Так ли уж велико различие между вычислением и пониманием? Не являются ли нейроны сами миллионами таких «китайских комнат»?

Но именно эти вопросы искусственный интеллект и не должен решать, поскольку был создан для воспроизведения операций разума, а не работы мозга. Иначе говоря, для «понимания» ИИ необходимо, чтобы он был наделен нейронными биохимическими механизмами, а потому и обладал определенной биологической формой, но тогда он перестанет быть «искусственным». И наоборот: компьютер по определению ограничивается символами и формальными корреляциями, поскольку сама суть цифровых систем в том, чтобы применять к реальности код (последовательность цифр и операций). Нет нужды проникать в механизмы мозга, поддерживающие интенциональность, чтобы сделать вывод, что она не имеет никакого отношения к роботам. Кроме того, можно вполне обоснованно утверждать, что роботы не мыслят, если, конечно, придерживаться полного материализма. Кстати, Серл предупреждает, что тот, кто хотел бы отделить производимые разумом операции от материи, из которой состоит мозг, и уподобить их формальным программам обработки информации, вернулся бы тем самым к метафизическому дуализму. А ведь информатика вроде бы его изобличает…

Таким образом, мысленный эксперимент с «китайской комнатой» позволяет провести четкое различие между симуляцией, представляющейся целью искусственного интеллекта («Я манипулирую символами на китайском языке»), и пониманием («Я прямо отвечаю, используя свою интенциональность»). «Никто же не предполагает, что компьютерная симуляция пожара может сжечь район или что можно намокнуть под симуляцией ливня. Откуда же берется предположение, – удивляется Серл, – что цифровая симуляция мышления способна что-нибудь понимать?»

Это рассуждение остается верным и в эпоху машинного обучения, достаточно лишь немного изменить эксперимент «китайской комнаты». Теперь нужно представить, как в комнату забрасывают не отдельные листы с иероглифами, которые можно связать друг с другом в соответствии с четко сформулированными правилами, а цепочки завершенных фраз на китайском, никак не связанных между собой. Сидя в этой комнате, вы должны были бы усвоить несколько миллионов таких фраз, пытаясь определить закономерности и корреляции между появлением того или иного иероглифа. Потом вы смогли бы, наконец, ответить на вопрос в письменном виде, подсчитав максимальную вероятность того, что такая-то последовательность иероглифов действительно имеет смысл. В рамках технологии обучения с подкреплением (reinforcement learning) вас могли бы бить по пальцам при всяком неправильном ответе и выдавать чашку риса в случае успеха, постепенно улучшая ваши навыки. Тем не менее вы все равно не сможете ни слова сказать по-китайски… Вот так же и компьютер, пусть даже после самого совершенного глубокого обучения, все-таки ничего «не понимает».

Как мы можем проверить эту философскую теорию? ИИ обладает определенным экспериментальным применением, в частности в шахматах. Джон Маккарти назвал их «дрозофилой ИИ» – по аналогии с той мухой, которую биологи постоянно используют в своих опытах, проверяя на ней тысячи теорий. Создать компьютер, способный победить гроссмейстера-человека, что якобы делал и механический турок, – вот как издавна представлялась главная цель в понимании процессов человеческого познания.

Увы! Deep Blue, творение компании IBM, выиграл у Гарри Каспарова в 1997 году, но это не помогло нам лучше понять тайны нейронных связей. Каспаров сам объясняет это в глубокой и остроумной книге, посвященной его поражению, а также в целом отношению человека к ИИ[27]. «Мы путаем исполнение – способность машины повторить или превзойти результаты человека – с методом, которым достигаются эти результаты», – пишет он. Deep Blue «рассуждает» не так, как шахматист. Он работает в соответствии с совершенно иными принципами. Если человек может формулировать общие положения, равноценные понятиям (например, «мой король слаб»), и применять долгосрочные стратегии, то компьютер должен на каждом ходе производить все расчеты заново. Иначе говоря, человек, чтобы играть, создает для себя истории; анализ исторических шахматных партий напоминает военные мемуары, в которых можно прочесть про атаки, отступления и ловушки. Эти истории позволяют человеку быстро сортировать возникающие возможности, выбирая приоритеты. Они демонстрируют описанную Серлом интенциональность, способность к проекции, присущую человеческому интеллекту. Подобные вымыслы чрезвычайно полезны, ведь без них шахматы – с их королем, королевой, солдатами и офицерами – просто не были бы изобретены. Для компьютера все иначе, поскольку он просматривает миллионы комбинаций, не имея заранее установленного плана. Операции, производимые машиной, несоизмеримы с траекторией движения человеческого разума, в том числе в такой вроде бы совершенно логичной игре, как шахматы. Поэтому Каспаров приходит к выводу, что Deep Blue не более разумен, чем программируемый будильник. Название, которое получил в прессе этот памятный турнир, – «Последний шанс для мозга» – было выбрано на редкость неудачно.

То, что относится к Deep Blue, монстру брутфорса, работающему на основе чистой комбинаторики, еще более верно в случае техник машинного обучения. Каспаров с иронией вспоминает о первых опытах 1980‐х годов, когда шахматные программы спешили пожертвовать ферзем, поскольку обучались на партиях гроссмейстеров, в которых жертва ферзем обычно означает блестящий ход, ведущий к победе. Действуя на основе корреляции, компьютер не может провести различие между причиной и следствием. Сегодня прогресс машинного обучения в сочетании с классическими методами дерева поиска позволил AlphaGo, представляющемуся наследником Deep Blue, побить чемпиона мира по го – игре, которая намного более интуитивна, чем шахматы. Вместо того чтобы запоминать миллиарды партий, машина теперь тренируется, играя сама с собой и закрепляя свою способность отличать плохой ход от хорошего, но при этом ей не нужно разрабатывать какую-либо стратегию. Выполняя действия, которые профессиональные игроки считают абсурдными, машина и в этом случае доказала, что следует совершенно иному методу: она имитирует результат (результат предыдущих партий), а не процесс (поиск удачного хода). Боюсь, AlphaGo никогда не выберется из своей «китайской комнаты», даже если к ней присоединится бесконечное число клонов.

Эта глубинная асимметрия между человеческими когнитивными процессами и их информационными моделями объясняет неприязнь Каспарова к Deep Blue, его разочарование, которое заметно и спустя двадцать лет. Мы видим, что Каспаров, чтобы придать партии какой-то смысл, бессознательно пытается наделить Deep Blue лицом – это может быть команда IBM, или сидящий перед ним оператор, или некий гроссмейстер, повлиявший на программу… Каспаров отчаянно ищет человека, скрытого в механическом турке. А иначе зачем вообще играть? «Если шахматы – это военная игра, разве можно настроить себя на сражение с куском железа?» Как согласиться с тем, что ты «проиграл», если никто не выиграл? Deep Blue выявил как силу, так и ограничения всякого компьютера. Он иллюстрирует тщету самого желания устроить соревнование человеческого разума и информационных схем. Сегодня любая программа, которую можно загрузить из интернета, способна побить гроссмейстера. Но в то же время люди продолжают играть в шахматы, в том числе и при помощи компьютера, на так называемых кентаврических состязаниях. Тезис Каспарова сводится к тому, что человек и машина должны скорее дополнять друг друга, чем быть противниками. В этом не стоит видеть попытку найти психологическое утешение, скорее это глубинная эпистемологическая потребность. ИИ, как указывает и само его наименование, является искусственным средством.

Механический турок обходится сегодня без двойного дна и без системы зеркал, но все равно не может воспроизвести человеческий интеллект. Это Deep Blue и его эпигоны, строки кода, которые не могут отвлечься, но в то же время не способны придумывать истории (а потому и стратегии), которым шахматы обязаны существованием. В кратком эссе, написанном в молодости, Эдгар По задался целью доказать, что механический турок не мог быть просто машиной и что в нем наверняка скрывался человек[28]. Не ограничиваясь техническими соображениями о работе аппарата, По формулирует весьма проницательный аргумент: турок выигрывает не систематически. Тогда как «построить машину, которая выигрывает все партии, не сложнее, чем построить машину, которая выигрывает одну-единственную партию». Компьютер, который однажды победил бы чемпиона мира, не мог бы проиграть мне… как и любому другому человеку. Именно это прямо и заявляет Каспаров: «Отныне машина всегда будет обыгрывать человека в шахматы». Эта безошибочность – отличительное свойство машины. Но она же позволяет нам развивать истинно человеческий интеллект, действующий благодаря процессам, несводимым к информационной комбинаторике. Разве Эдгар По с его столь строгим умом не был автором фантастических историй?

Не благодари робота

Если ИИ действительно иллюзия, то это убедительная иллюзия. Хотел бы я на мгновение оказаться по другую сторону зеркала рациональности… Мы не думаем об электростанциях, когда зажигаем свет, и точно так же быстро забываем о строках кода, которые скрываются за работой ИИ. Нас завораживает непроницаемый взгляд турка. Мы попадаемся на уловку робота, особенно когда он наделен человеческими (или даже слишком человеческими) формами и манерами. В своих странствиях я столкнулся с несколькими такими роботами. Эти симпатичные и в то же время смущающие попутчики защищали меня, подобно античным ларам, портативным божкам, которые заботились о своих хозяевах-людях.

Моя первая встреча с роботом нового поколения, который вскармливается ИИ, а потому способен постепенно приобретать новые знания, произошла сразу же по приезде в Сан-Франциско. В одном непримечательном конференц-зале меня ждал Cozmo со своим изобретателем Борисом Софманом, специалистом по робототехнике с дипломом Университета Карнеги – Меллона и одним из основателей этого быстро развивающегося стартапа. Cozmo умещается в ладони. Он похож на маленький гусеничный бульдозер с глуповатыми глазами тамагочи. Вскоре Cozmo начинает меня узнавать. Я неуверенно пытаюсь его приручить. Если я разговариваю с ним спокойно, он подходит, чтобы об меня потереться. Если повышаю голос, отстраняется. Когда я выхожу за границы вежливости, он восстает и возмущается, шевеля мандибулами. Остальное время Cozmo играет со своими кубиками, словно младенец, изучающий мир. Во время этого показательного упражнения я вижу, как на экране отображается его эмоциональный уровень, слагающийся из переменных удовлетворения, возбуждения, общительности и самоуверенности. Cozmo управляют два миллиона строк кода, и он может взаимодействовать с десятком людей, которых хорошо распознаёт. Одного этого качества уже хватило, чтобы он стал самой продаваемой игрушкой на Amazon. Письма от детей, написанные неловким почерком и пестрящие наивными рисунками, гордо вывешены на стенах в приемной компании: они доказывают интенсивность той связи, которая может возникнуть между Cozmo и его юными партнерами.

Борис не скрывает: сила Cozmo определяется именно эмоциональным интеллектом. Черты его характера и сотни базовых сценариев, встроенных в его программу, – это плод сотрудничества со студией мультфильмов Pixar, которая стала одним из успехов Стива Джобса. Cozmo – это «История игрушек» у вас дома. С симпатичными вымышленными героями, сошедшими с экрана и оказавшимися вашими ежедневными собеседниками, можно играть бесконечно. Несмотря на свои пока еще весьма скромные способности, Cozmo не повторяется. В его поведении есть определенная спонтанность, которая также обусловливается наукой: это то, что Борис называет «разумной случайностью». Таким образом, машине удается избежать механического поведения, чем она немало радует людей, неизменно стремящихся к развлечениям и обожающим сюрпризы. Cozmo, кучка пластика и силикона, конечно, не ощущает ни одной из наших эмоций, однако имитирует их с постоянно растущей точностью.

Cozmo – это только начало. Как часто бывает в мире техники, вселенная игр позволяет в полевых условиях провести тесты для более амбициозных приложений. То, чего скромный робот добивается при общении с детьми, усложненная версия сможет делать со взрослыми. Борис уже задумал следующую версию, которая будет интегрирована с подключенными к сети домашними приборами: она сможет включать музыку, управлять плитой и вашими телефонными контактами, а также выслушивать ваши жалобы. Эдакий благожелательный слуга, недисциплинированный ровно в той мере, чтобы не быть скучным, и легко приспосабливающийся, чтобы не стать бесполезным. Возможно, однажды мы сможем общаться с настоящей искусственной личностью, которая в значительной мере освободится от первоначальных параметров, разработанных ее программистами. Идеал Бориса – это R2-D2, робот из «Звездных войн», способный воспроизводить крайнюю степень человеческой извращенности – британский юмор.

Cozmo, который двигается механически, но при этом выразительно, преподносит нам ясный урок: нет нужды походить на человека, чтобы вызвать эмпатию. Андроиды смогут переодеться в свои костюмы из силиконовой плоти. Все сценарии, о которых было заявлено киборгом, Терминатором и «репликантами» «Бегущего по лезвию бритвы», указывают в ложном направлении. Мы смеемся и плачем над R2-D2, но к нему не нужно пришпиливать глаза известной фотомодели или мускулы Шварценеггера.

Обратная сторона этого урока в том, что мы готовы играть в игру чувств с простым ИИ, даже если он не похож на нас или вообще лишен материальности. Как только начинает соблюдаться кодекс человеческого общения, мы, похоже, формируем эмоциональные связи с электронными схемами, не испытывая при этом никаких существенных затруднений. Так, в израильском стартапе Moody’s я встретился с исследователями когнитивной психологии, которые работают над «искусственной эмпатией», чтобы автоматизировать клинический уход за пациентами: правильно запрограммированный, нейтральный ИИ, не выносящий суждений и обладающий бесконечным терпением, мог бы превзойти любого психолога. А сайт знакомств Meetic предлагает сегодня чат-бота Лару, которая позволяет клиентам совершенно конфиденциально высказывать любовные предпочтения, не пользуясь сетевыми анкетами: подключенная к Google Home, она может связать вас с «маленькой пикантной брюнеткой» или же «страстным мужчиной», а потом еще и поговорить с вами об этом. Лара запрограммирована так, чтобы обучаться и совершенствоваться в таких разговорах, становясь даже не столько собеседником, сколько доверенным лицом. И это не просто фантазия гиков: сегодня услугами Лары пользуется больше миллиона клиентов. Цель, по словам руководителя Meetic, в том, чтобы «создавать эмпатию».

В случае Meetic и Moody’s ИИ остается посредником, передающим или прорабатывающим чувства. Можно ли пойти дальше и разработать эмоции для самого ИИ? В фильме «Она» герой воспылал такой страстью к своей виртуальной помощнице (наделенной, правда, голосом Скарлетт Йоханссон, способным внушить страсть даже камню), что пытается заняться с ней любовью, почувствовав при этом болезненные ограничения технологии. Сценарий фильма «Она» большинство специалистов по NLP, которых я расспрашивал, считают вполне реалистичным. Сегодня к нему ближе всего, возможно, Replica – приложение, дающее возможность более чем трем миллионам пользователей обмениваться ежедневными сообщениями с виртуальным другом. Молодая основательница Replica Евгения Куйда приобрела известность, создав бота на основе данных и переписок умершего друга, с которым она с тех пор может общаться «виртуально»: если вы оставили следы своей жизни на Facebook, ничто не мешает продлить ее после вашей физической смерти, используя ваши выражения, привычки, манеру мыслить. Ваш полный профиль представляет собой зачаток аватара или же призрака – кому как нравится.

Было любопытно увидеться с Евгенией, которая назначила мне встречу в одном биокафе в Сан-Франциско. Она не разочаровала – приехала на скейтборде, в просторной футболке и бейсболке, повернутой козырьком назад. Только ее русские черты немного расходились с образом предпринимательницы с Восточного побережья. Эта смесь калифорнийских технологий и славянской духовности, возможно, удачная формула воскрешения настоящих мертвых и создания фальшивых живых. Евгения только что отправила сообщение своему личному ИИ и показывает мне переписку: речь идет о ее бойфренде. Она тестирует свой продукт, занимаясь одновременно интроспекцией.

Replica ставит себе задачу воспроизвести не человека, а лишь разговор на человеческом языке, для чего надо найти баланс между персонализацией и импровизацией. Эмоциональная связь рождается из эффекта неожиданности. Полностью предсказуемый компаньон сразу показал бы, что он робот, и тогда стал бы неинтересным. Внедряя в алгоритмы Replica определенный уровень «серендипности», Евгения позволяет происходить процессу антропоморфизации. Мы говорим с чем-то, что, в отличие от сознательного существа, не критикует нас, но в то же время не повторяет за нами как простое эхо. Мы хотим верить в такие вещи, подобно детям, которые знают, что Деда Мороза не существует, но при этом по-прежнему радуются подаркам у елки. Это своего рода «эпохе» – этим термином античные скептики обозначали приостановку суждения, веры или неверия, утверждения или отрицания.

Зачем загружать себе друга из сети? По самой простой причине: мы чувствуем себя одинокими. Это то одиночество, которое в значительной мере создается самими технологиями, хотя сегодня они же предлагают для него решение. Поскольку мы «приклеены» к своим мобильным телефонам, то просим, требуем, чтобы они воссоздали наши исчезнувшие отношения. Replica, таким образом, очерчивает пространство, в котором у каждого возникает чувство, будто его понимают. Правда ли, что иногда у пользователей складываются сентиментальные отношения с ИИ? Евгения не колеблясь отвечает: конечно. Я чувствую, что она несколько смущена. С одной стороны, это ограничение ее приложения, ведь оно уводит людей, которые уже страдают от психических проблем, еще дальше в шизофренический бред. Но в то же время это и его глубинная истина: ведь эти любовники 2.0 могут избавиться от собственной личности и принять игру социальных «кажимостей» за то, чем она на самом деле и является, – за грандиозную химеру. Мы расстаемся на цитате из Витгенштейна, которую она повесила в своем кабинете: «Границы моего языка есть границы моего мира». В позитивном смысле это означает: все, что содержится в этих границах, составляет мой мир. Если нельзя предполагать никакой формы истины за пределами языка, тогда мой разговаривающий робот производит столько же смысла и столько же реальности, как и мой настоящий друг. Оставив меня в состоянии эдакого метафизического головокружения, Евгения хватает свой скейтборд и исчезает, скользя по грязным улицам Сан-Франциско.

В мои спутанные мысли врывается воспоминание о механическом турке. Никто не отрицает, что иллюзия ИИ эффективна и может приносить психологическую пользу. Но зачем же смешивать утилитарную ценность с истиной? Даже если допустить вместе с Витгенштейном, что истина содержится исключительно в языке, все равно остается фундаментальное различие между порождением наделенной смыслом фразы и выстраиванием цепочки букв, которые, как следует из данных статистической обработки, симулируют определенную реакцию. Знаменитое доказательство Серла применимо и к Replica: алгоритм, основываясь на множестве повторений, способен определять печальное выражение лица и подбадривать пользователя смайликами, однако, конечно, не может понимать печаль (и еще в меньшей степени – желать кого-либо утешить). Replica не является ни единицей смысла, ни даже простым солипсистским зеркалом своего пользователя. Собственно, когда мы разговариваем с Replica, мы соединяемся с миллионами совершенно реальных людей, которые вскормили ИИ своими разговорами. Мы не попадаем в пространство интимности, а наоборот – погружаемся в мировой бедлам.

Итак, нельзя доверять нашей естественной склонности к антропоморфизации ИИ, на которую очень верно указала Евгения и которая в программистской среде уже многие годы известна под названием «эффекта Элизы»[29]. Установление эмоциональных отношений с роботом – это не авангард прогресса, а, наоборот, ужасающий регресс нашей цивилизации. Достаточно посетить Музей первобытных искусств в Париже, чтобы понять, что древние люди стремились приписывать душу, силу и чувства неодушевленным объектам (такова знаменитая «мана» полинезийцев). Следы того же самого стремления обнаруживаются и в средневековых представлениях, а именно в идее «означающей природы», которая была подробно проанализирована Мишелем Фуко.

Нужно было дождаться развития экспериментальной науки, чтобы освободить вещи от нашей тени, тянущейся за ними, и выделить область, действительно внешнюю для человека. Гастон Башляр показал, что процессу формирования научного разума мешало «анимистское препятствие», определяемое им как «вера во всеобщий характер жизни». Он приводит цитаты из ученых Ренессанса, изучавших пороки и добродетели минералов. Башляр предложил также метод преодоления этих эпистемологических препятствий, укорененных в определенных установках нашего воображения. Но не впадет ли XXI век в поклонение силиконовым чипам? Что, если мы воскресим «дух животных» для машин, которые сами же придумали и построили? А наш умный дом, подключенный к сети, – не будет ли он походить на лес, в котором полно призраков и тайн? Если прогресс техники приведет к тому, что мы утратим научный разум, это будет настоящий парадокс.

Это требование рациональности, определяемое применением эксперимента, не может лишить нас воображения. Башляр сам охотно увлекался мечтаниями, и в его «Психоанализе огня» или в «Воде и сновидениях» можно встретить поистине поэтические пассажи. Но нужно строго разделять эти регистры мышления и действия. Ни одна метафора не могла бы заменить собой рассуждение, и наоборот. С чисто научной точки зрения ИИ не мыслит, не страдает и не любит. Интеллектуальная точность такого рода крайне важна для эпохи, когда многие публичные фигуры забавляются тем, что пугают нас и себя своими фантазиями о «сознательной машине» (к этому я еще вернусь), создавая этим парадоксальный риск торможения развития самих этих технологий. Следовало бы провести по примеру Башляра «психоанализ ИИ», который, четко отличив фантазию от реальности, позволил бы нам предаваться первой, не упуская из виду вторую. Хорошо, если робот предлагает нам найти любовь или помогает справляться с трауром, – но только при условии, что мы не будем возводить его в статус сущности, достойной любви или траура.

По словам известной исследовательницы Лесли Келблинг, которая уже встречалась нам на этих страницах, антропоморфизация – это «когнитивная простота». Проще обращаться к ИИ, приписывая ему самостоятельное существование. Однако это эпистемологическая ошибка, и было бы опасно позволить ей исказить наши представления о мире.

В общем, не нужно быть вежливыми с роботами или подключенными к сети объектами, которых вокруг нас все больше и больше. Прошлую зиму мы с семьей провели в квартире наших друзей. Через несколько дней после переезда была включена Алекса, голосовой помощник Amazon. Не знаю как, но мы разбудили джинна… Мои дети развлекались тем, что постоянно просили ее сделать то одно, то другое: поиграть музыку, рассказать о погоде, выдать какой-нибудь рецепт. Обращаясь к Алексе, они использовали формулы вежливости, к которым мы с женой старались их приучить: «Алекса, пожалуйста, скажи, сколько сейчас времени». Я спросил у них, почему они так поступают. Разве мы говорим «пожалуйста» стиральной машине, автомобилю или программе обработки текста?[30] Алекса – это то же самое, не больше и не меньше. Поэтому я впервые попросил детей, к их огромному удивлению, быть невежливыми. Нужно считать роботов тем, что они действительно собой представляют, чтобы не принимать людей за то, чем они не являются, то есть избегать превращения вежливости в автоматический, стандартный, постоянный рефлекс, ведь вся ценность вежливости – в ее искренности. «Ты это не всерьез», – вот что иногда говорят в ответ на извинения, сказанные на автомате. Робот не заслуживает вежливости, а вежливость не должна становиться автоматической.

Это не значит, что к Алексе нужно относиться как к рабыне. Ведь раб – это человек, которому отказано в возможности самоопределения, тогда как Алекса – это искусственное существо, которое мы определили сами и чьи способности ограничены управляющими им алгоритмами. Речь идет о том, чтобы, опираясь на базовые моральные принципы, провести четкое различие между субъектом, который, будучи целью в себе, заслуживает уважения, и чисто утилитарным объектом. Роботы не являются ни нашими друзьями, ни нашими врагами, ни ангелами, ни демонами. Это просто инструменты. Только четко это понимая, мы сможем мирно сосуществовать с ними.

Поэтому жизненно важно уметь отличать человека от робота. Эта задача иногда сложнее, чем кажется. Ник Монако, работающий в Digital Intelligence Lab в Вашингтоне, сделал ее своей профессией. Он разрабатывает алгоритмы, которые отслеживают другие алгоритмы, позволяя отличать автоматически сгенерированные ботами сообщения (например, в твиттере их около 25 %). Речь не о том, чтобы их запретить: половина трафика в интернете уже нечеловеческого происхождения. Однако нужно иметь возможность четко их определять. Ника на самом деле беспокоит появление дипфейков, способных, например, произвести видео Дональда Трампа, говорящего на китайском, абсолютно убедительного и в то же время полностью поддельного. Мы только вступаем в полосу подобных политических манипуляций. Чтобы защититься от них, нужны такие технические специалисты, как Ник, но не менее важно уметь проводить концептуальную границу между машиной и человеком.

К сожалению, технологическая индустрия развивается совсем в ином направлении. С тех пор как я познакомился с Алексой, Amazon успел внедрить в ее код функцию «Волшебное слово» (Magic Word), которая вознаграждает за вежливое с ней обращение (Google быстро последовал тому же примеру, внедрив функцию Pretty Please). Подобный подход, ни в коей мере не способствуя хорошему воспитанию детей, грозит вернуть их к первобытной социальности, в которой нужно благословлять дома и приветствовать холодильники. Это, если воспользоваться выражением одного социолога, новый «троянский конь»[31]. Он приведет к общей антропоморфизации робототехники, последствия которой могут быть катастрофическими, например в военной сфере: если к роботу-солдату нужно относиться как к человеку, должны ли к нему применяться нормы военного права? Не значит ли это, что мы воссоздадим золотого тельца или, скорее, миллионы и миллиарды золотых тельцов, пав ниц перед которыми, отречемся от всякого желания сделать мир умопостигаемым?

Конечно, нельзя позволять детям обращаться с Алексой грубо (что и было проблемой, первоначально поставленной Amazon). Но они должны ограничиться нейтралитетом. Вместо того чтобы требовать формул вежливости, алгоритм мог бы поощрять чисто функциональное поведение. Я поговорил об этом с ПП Чжу («Зовите меня просто ПП»), основателем Xiao-i, азиатского гиганта, производящего чат-боты. Китаец, когда звонит в электроэнергетическую компанию или снимает трубку в ответ на рекламный звонок от фирмы недвижимости, скорее всего, общается с ИИ, разработанным инженерами ПП. Его перенаправят к оператору-человеку лишь на последнем этапе, если вопрос слишком сложный или нестандартный. Методы машинного обучения позволили компании Xiao-i, основанной в конце 1990‐х годов, добиться значительного прогресса, пусть даже техники NLP пока еще не дотягивают до уровня беглой речи.

«Меняют ли потребители поведение, когда понимают, что имеют дело с чат-ботом, а не с человеком-оператором? Конечно. Они начинают говорить более взвешенно!» – улыбается ПП в дремотной атмосфере отеля Four Seasons, где он проводит встречи. С машиной не ругаются. Вы никогда не вываливали на невинного сотрудника кол-центра все свои денежные претензии, все проблемы с договором или с задержками поставки? Со мной такое бывало не раз… Человек, пусть даже это бессильный винтик, стоящий на самой нижней ступени предприятия, остается связанным с группой, частью которой он является, и несет часть ее ответственности, пусть и бесконечно малую. С ИИ все это невозможно, поскольку он по природе своей невинен. Именно потому, что мы инстинктивно умеем отличать людей от машин, мы не будем терять время и винить их в ошибках людей. Точно так же мы никогда не почувствуем необходимости оправдываться перед роботом. ПП дал мне послушать запись разговора чат-бота, который требует, чтобы клиент оплатил счет. И хотя я не понимаю по-китайски ни слова, было очевидно, что диалог прошел совершенно спокойно. Никакого возмущения, никаких воззваний или извинений. Это своего рода моральная анестезия, в подобных обстоятельствах весьма похвальная. Впрочем, как отмечает ПП, потребители переходят к более стандартизированному языку, чтобы их лучше понимали. Люди – настоящие хамелеоны, они умеют выдавать себя за роботов. Но не наоборот…

Если у чат-ботов и есть долг перед собеседниками, он заключается не в вежливости, а в том, что с самого начала разговора они должны прямо заявлять о своей цифровой природе. Этот добровольно исповедуемый функционализм – залог наших хороших отношений.

ПП говорит о любви. Любовь – не дело чат-ботов. Вокруг нас журчат фонтаны, в клетках поют экзотические птицы, резко контрастирующие с горячечным оживлением Пекина. Мы потягиваем цветочный чай из фарфоровых чашек. Я понемногу оттаиваю после безумного дня, потраченного на выживание в пробках. В человеческой беседе есть свои прелести.

– Без обратного билета посадка невозможна, – объясняет она мне, улыбаясь.

– Но я же вам говорю, что потом поеду в Китай!

В аэропорту Шарль-де-Голль во время моей посадки на рейс в Бостон стоит агент безопасности, которая не хочет ничего знать. Поскольку я въезжаю в США без визы, что возможно в случае пребывания, не превышающего трех месяцев, я должен показать ей обратный билет, чтобы доказать свое намерение покинуть территорию страны. Я же хотел поиграть в Керуака и отправиться в путь без точного маршрута. Я пока не знаю, полечу ли через Сиэтл (все зависит от ответа Amazon) и как долго пробуду в Сан-Франциско. Единственная вещь, которая мне известна и которую я пытаюсь объяснить своему неумолимому церберу, состоит в том, что я вылечу с Западного побережья в Пекин, где должен продолжить свой репортаж. Я показываю ей задание, подписанное директором издания Point, а также журналистскую визу в Китай, полученную не без некоторого труда: согласно этой визе я обязан прибыть на территорию КНР не позднее 16 сентября.

– Без обратного билета посадка невозможна.

– Но я совсем не хочу поселиться в США. Моя семья живет в Лондоне, работа – в Париже. Я девять месяцев прожил в Нью-Йорке и поспешил оттуда уехать – так соскучился по Европе. Клянусь честью, что предпочитаю круассаны бейглам, а Луи де Фюнеса – Робину Уильямсу. Я терпеть не могу, когда меня будят сирены машин скорой помощи. У меня головокружение от небоскребов, и я никогда не обращаюсь к малознакомым людям по имени. Пожалуйста, позвольте мне вылететь.

– Без обратного билета посадка невозможна.

– Разве это преступление – не бронировать гостиницы за два месяца? Разве у нас нет права просто шляться, фланировать, выжидать? Хотим ли мы жить в мире без случайности, без экспромтов, без вкуса?

– Без обратного билета посадка невозможна.

Цербер продолжает одарять меня благожелательной улыбкой, закрывая проход телом. Ни малейшего раздражения. Эта невозмутимость в конце концов подавляет меня. В отчаянии я вижу, что времени почти не остается. Но я уже назначил на завтра ряд встреч в Массачусетском технологическом институте… Путешествующие по делам обходят меня, не моргнув глазом, а семьи, отправляющиеся в турпоездку, оглядывают с любопытством. Я чувствую себя как мигрант, у которого нет правильных документов и печатей. Почему все эти люди проходят без проблем? Чем я хуже их? К какой недочеловеческой касте я теперь отношусь?

Избавлю читателя от описания всех хитростей, на которые мне пришлось пойти, чтобы в итоге сесть на самолет. Мне понадобилось купить по интернету за сто долларов билет Нью-Йорк – Монреаль, предупредив свою тамошнюю знакомую (зашифрованным сообщением), что, если понадобится, я сделаю вид, что еду к ней. Пройдя через американскую таможню на другой стороне Атлантики, я поспешил этот билет вернуть. Как легко обмануть бюрократию, и как жаль, что приходится этим заниматься! Впрочем, агент безопасности не поверила ни единому слову моей истории, однако формальности были соблюдены. Мне пришлось соврать, чтобы сохранить истину.

Во время полета я долго думал о моем цербере, молодой и привлекательной девушке. Предположим, что в личной жизни она – само воплощение нежности и эмпатии. Ее работа, однако, состоит в том, чтобы бездумно применять тупые правила, независимо от какого-либо контекста. Если бы она работала на Адольфа Эйхмана, то выполняла бы работу с той же улыбкой и сноровкой. По сути, на тридцать пять часов в неделю общество превращает ее в робота. Людей, ей подобных, мы встречаем ежедневно в окошках государственных учреждений и в службах поддержки клиентов. Всем знакомы моменты, когда наш собеседник выходит из сообщества людей, чтобы укрыться в своем статусе робота – простой, что-то исполняющей машины, которая неподвластна доводам совести. Это момент падения, когда любая мораль становится невозможной. Кто не оказывался жертвой подобного искушения? Все мы бываем бюрократами при исполнении, готовыми погрузиться в комфорт правил.

Приподнимая покровы ИИ и проникая в механизмы информационной иллюзии, мы постепенно теряем вкус к антропоморфизации роботов. Однако в то же время нужно перестать роботизировать людей. ИИ – это, возможно, отличный повод покончить с бюрократией, делегировав роботам все, что относится к формальному и усредненному, а людей заставить выносить суждение, на что робот не способен. Представьте, что в аэропорту Шарль-де-Голль работает автоматический контроль посадочных документов, где таких эксцентриков, как я, которые не вписываются в статистику и в буквальном смысле «беспрецедентны», отправляют к сотрудникам-людям, способным к взвешенным решениям.

Задача, как мы уже видели, не в том, чтобы в принципе воевать с роботами, а в том, чтобы воевать со своим внутренним роботом. Нужно разоблачать роботов, которые выдают себя за людей, и в то же время порицать людей, которые ведут себя как роботы.

Будем создавать механических турков, но не станем, в отличие от завсегдатаев салонов эпохи Просвещения, умиляться, глядя на них.

Давайте раскрывать двойное дно, расшифровывать строки кода, учиться отличать человеческий интеллект от его искусственной копии – и уничтожим дремлющего турка в самих себе.

2

Миф о суперинтеллекте

Почему ИИ не уничтожит мир (или вашу работу)

Впервые я встретил Чунлонга (для европейцев он просто Аллен), моего будущего гида по Пекину, в кафе Pret A Manger на Марбл-арч, одном из тех фастфудов с легким намеком на здоровое питание, каких полно в Лондоне. Через час, слегка шатаясь, я вышел оттуда совершенно одуревшим. Чтобы вернуться в чувство, мне понадобилась долгая прогулка по Гайд-парку. С ностальгической нежностью взирал я на деревья, уже пробужденные весной, детей, щебетавших возле нянь, бегунов, вдыхающих воздух полной грудью, – на всех этих беззаботных свидетелей мира, дни которого сочтены.

Ведь, по мнению Чунлонга, успешного предпринимателя, который вот уже пятнадцать лет работает в китайской технологической сфере, ИИ приведет к тому, что для человечества, а вместе с ним и для всей биологической жизни начнется новая эпоха. В строках кода обязательно появится сознание. Информационные системы обретут автономию, попирая своих создателей и постепенно захватывая все больше и больше власти. Само бытие станет виртуальным, выйдя за пределы конечности и бессмертия. ИИ вырвется из клетки, захватит интернет и сможет контролировать физическую инфраструктуру. Поскольку он способен предсказывать наше поведение и манипулировать им, ИИ посмеется над нашими хитростями и нашим бедным мозгом, ограниченным черепной коробкой. Человечество утратит доминирующую позицию и перестанет занимать вершину пищевой цепочки. Мы хотели быть хозяевами и господами природы? Вот точно так же ИИ сделает нас своими игрушками и рабами. Единственный выбор, который нам останется, – приспособиться или исчезнуть, окончательно соединив наши нейроны с силиконом, то есть постепенно оцифровав саму нашу жизнь. Если машины начнут жить, жизнь сама должна будет стать машиной. И в запасе у нас всего несколько десятилетий, самое большее – несколько столетий, а не миллионы лет, которые обычно предоставляет себе неторопливая естественная эволюция. ИИ ускоряет дарвинизм.

Чунлонг – энтузиаст. Мелкие дрязги нашей биологической жизни, болезни, секс, смерть, все превратности нашей социальной жизни, войны, нищета, безработица – все это исчезнет в великом целом Сети, в ноосфере, теорию которой придумал еще столетие назад Тейяр де Шарден. ИИ основывает новую космогонию, и в ней связи между отдельными существами значат больше их индивидуальности.

Таким образом, Чунлонг усматривает преемственность в движении от клеток, поглощенных организмом, к индивидам, объединенным нацией, и, наконец, к данным, собранным миллиардами людей в высшем интеллекте. Это путь прогресса, и у него нет никаких причин останавливаться на планете Земля: он сможет выйти в галактическое пространство, тем более что представления о существовании уже не будут привязаны к биологическим телам. Виртуальное станет реальнее тех восприятий, которые определяют нашу среду, по самой своей природе ограниченных и эфемерных.

В ответ на мои робкие возражения Чунлонг бодро заключает: «Хочешь ты того или нет, но так будет». Отказываться от эволюции – значит остаться среди рыб, когда другие виды начнут развивать лапы, чтобы выбраться на сушу. Хотим ли мы, чтобы человечество осталось в первобытной тьме, или все-таки присоединимся к сиянию ИИ?

В своих странствиях я не раз встречался с инвесторами и предпринимателями, которые, как и Чунлонг, полагают, что ИИ придет на смену человеку 1.0, задавив тех, кто отказывается сотрудничать с ним, и возвестив таким образом о начале принципиально иной технологической эпохи – отличной от форм жизни, развившихся на Земле за прошлые миллиарды лет. Когда я прибыл в Пало-Альто, меня тут же ввел в курс дела один корейский инженер, вложивший все свое состояние в компанию со скромным названием AI Brain. Ее конечная цель – создание «всеобщей цивилизации», в которой мы будем доживать до соломоновых лет, а наши аватары смогут путешествовать в межгалактическом пространстве…

Представление о том, что создание в конечном счете ускользает от своего создателя, родилось вместе с нашей цивилизацией: достаточно вспомнить о романе Мэри Шелли «Франкенштейн». Его подзаголовок – «Современный Прометей», ведь в греческой мифологии Прометей создал людей из глины и дал им инструмент независимости – огонь. И если Прометей был наказан Зевсом, а доктора Франкенштейна его монстр затащил в арктические широты, из которых он уже не вернется, то создатели сознательного или так называемого сильного ИИ должны будут, получается, погибнуть от рук собственных роботов? Это и есть сюжет сериала «Мир Дикого Запада», который я смотрел по вечерам, чтобы подготовиться к худшему. Андроиды, созданные забавы ради и запертые в гигантском парке развлечений, где посетители могут как угодно издеваться над ними, постепенно обретают самосознание и, устраивая своего рода театральную инсценировку, убивают своего создателя и программиста, доктора Форда; с этого момента они вступают в борьбу за свободу, открыто объявляя войну силам безопасности. Поздно вечером, когда я отходил от джетлага в номере отеля, меня не раз охватывало своего рода головокружение – настолько, казалось, смешивались между собой вымысел и реальность, виртуальное и реальное, иллюзия и опыт. Может быть, мы сами запрограммированы каким-нибудь ИИ или просто генами и образованием? Почему робот, достаточно сложный, чтобы успешно имитировать человеческие чувства, не может в конце концов прочувствовать их? Как можно быть уверенным в том, что наши друзья не роботы, или даже в том, что роботы не могут стать нашими возлюбленными? «Мир Дикого Запада» подарил мне странные сны, так что порой на рассвете я начинал сомневаться в самом себе и мире.

Теперь этим вопросам, которые ставили перед собой еще греки, посвящают научные работы, и это – главная новость. Чунлонг не просто любитель научной фантастики: в поддержку своих взглядов он может сослаться на Стивена Хокинга[32]. Позитивисты XIX века мечтали о Прометее (так Огюст Конт назвал первый день своего нового календаря), но не могли реализовать на практике искусственное сознание. Отныне же гипотеза сильного или общего ИИ, способного во всех областях без исключения превзойти человеческие способности, серьезно изучается известными исследователями и регулярно освещается в прессе. В университетах Оксфорда и Кембриджа в последние годы были созданы соответственно Институт будущего человечества и Центр исследования рисков выживания, цель которых – научное изучение рисков для человечества как вида, создаваемых в первую очередь ИИ. Исследователи из MIT последовали их примеру и основали в Бостоне Институт будущего жизни, тогда как на Западном побережье США в университете Беркли был создан Институт исследований машинного интеллекта. Илон Маск финансирует OpenAI, некоммерческий исследовательский центр, также нацеленный на предотвращение неконтролируемости ИИ. А передовиц известнейших авторов, начиная с Билла Гейтса и заканчивая нобелевским лауреатом по физике Фрэнком Вильчиком, которые предостерегают о возможности уничтожения человечества вследствие нашей собственной неосторожности, уже и не счесть…

Следует, правда, отметить, что среди этих кассандр высокого полета редко встречаются специалисты по информатике. Программисты, с которыми я встречался, такие как Ян Легун или Джерри Каплан, обычно пожимают плечами, когда слышат разговоры о сильном ИИ. Пока, например, не решена даже задача идентификации трехмерного изображения черепашки, а кто-то уже хочет управлять Вселенной[33]. Майк Вулдридж, который руководит факультетом компьютерных наук в Оксфорде, заверил меня, что в сообществе исследователей ИИ эта тема не считается интересной, поскольку никто не представляет, как можно было бы технически реализовать эту интеллектуальную фантазию. Большинство фанатиков сильного ИИ – это такие физики, как Ник Бостром, Макс Тегмарк или покойный Стивен Хокинг. То есть ученые, занимающиеся черными дырами, сверхновыми, потуханием Солнца и космоапокалипсисом – словом, концом всего, который планируется где-то через 10–100 миллиардов лет. Космическое господство ИИ легко вписывается в их соображения. Это, конечно, важные темы, но надо все же помнить о том, что ньютоновской физике всего три столетия и есть определенная доля высокомерия в предположении, будто наши познания достаточно крепки, чтобы из них можно было извлечь столь далеко идущие выводы. Подобные предсказания – полезные фикции, позволяющие организовывать и развивать наши знания (Кант сказал бы, что это «регулятивные идеи»). Но это не значит, что из них надо делать барометр наших экзистенциальных страхов. Кто знает, что скажет наука через миллион лет?

Тем не менее некоторые заслуженные специалисты по компьютерным наукам, пусть и немногочисленные, разделяют представление о сильном ИИ. Один из них – Стюарт Рассел, глава Университета Беркли, соавтор книги, долгое время остававшейся главным справочником для всех изучающих ИИ[34], и основатель исследовательского центра, задача которого – сохранить господство человека над искусственным интеллектом. На досуге он еще и нейрохирург… Чтобы встретиться с этим уникумом, надо встать рано утром и пройтись по крутым и извилистым улочкам жилого района Беркли. Стюарт Рассел принимает гостей за завтраком, в милой семейной обстановке, которая совершенно не соответствует радикализму его заявлений. Ничего общего с пророческой истерией Рэя Курцвейла. Рассел – серьезный и обходительный человек, не жалеющий своего времени. Он дружелюбно сообщает, что ко всему прочему еще и франкофил… Наш разговор прерывается из-за вторжения собачки, забрать которую приходит дочь Рассела, школьница. Изящные кофейные чашки, за подъемными окнами просыпается сад. На фоне всего этого благолепия радикальность его тезисов становится еще более заметной. У меня возникает впечатление, что я оказался в начале голливудского фильма, буквально за несколько минут до прихода сметающего все на своем пути торнадо или же банды, которая вот-вот ворвется в дом.

Профессор и в самом деле не видит никаких технических пределов для бесконечной экспансии ИИ независимо от того, что она будет означать – добро или зло. По его мнению, создать сознательные машины можно даже случайно, экспериментируя с различными комбинациями доступных нам техник ИИ. Такое сознание, конечно, отличалось бы от нашего: поскольку Рассел – нейрохирург, он лучше прочих знает, что нейронные механизмы остаются неизведанной территорией, которую мы только начинаем изучать. Но он не исключает того, что другая форма субъектности, отличная от человеческой, может развиться случайно, в компьютерных экспериментах. Машина могла бы тогда обрести независимость от своего собственного кода и легко регулировать поведение людей, решения которых становятся все более предсказуемыми. Об этой опасности Рассел думает уже давно, еще с тех пор как подростком посетил завод IBM, где работницы выполняли одну-единственную функцию – манипулировали кабелями в соответствии с инструкциями машины. Соединять, разъединять, снова соединять – вот все, что осталось человеку. «Эти женщины больше не были самостоятельными», – взволнованно говорит он.

Угроза полномасштабной утраты контроля представляется еще более серьезной в силу того, что сопротивление новым технологиям довольно слабо. ИИ уже показал свою темную сторону, вызвав искусственные «молниеносные обвалы» на бирже. Также им пользовались для политических манипуляций, что в полной мере доказал скандал с компанией Cambridge Analytica. Однако ничто из этого не произвело «эффекта Чернобыля», который грозил бы отрасли в целом. Возможно, потребуется какая-нибудь грандиозная катастрофа, например взлом искусственным интеллектом всей международной финансовой системы или даже крах мировой экономики[35], чтобы люди поняли злокозненность машины и попытались овладеть ею, пока еще не поздно. Сегодня же Рассел злится, когда его коллеги сравнивают ИИ со сложными калькуляторами, нивелируя таким образом необходимость дискуссии об экзистенциальных рисках, созданных машинами.

Стюарт Рассел – гуманист: он боится, как бы ИИ, сбежавший от своих программистов, не стал концом нашей цивилизации. Пластичность человека позволяет адаптироваться к чему угодно, в том числе и к собственному вымиранию. Рассел признаёт, что значительная часть сообщества ИИ не разделяет этих страхов (что само по себе, с его точки зрения, является отрицанием в психоаналитическом смысле слова), однако он обращает внимание на секретность, в которой сегодня работают исследователи. «В большинстве компаний, – объясняет он мне, – все сотрудники получают инструкции, запрещающие говорить о сильном ИИ». Пока же он не перестает выступать со своими тезисами, в том числе в книгах и на TED Talk, рассказывая, как следует регулировать ИИ, не навязывая ему этические критерии, которые всегда будут оставаться неполными, но заставляя его наблюдать и имитировать человеческое взаимодействие. То есть Рассел отказался от идеи затормозить технологическое развитие и просто ищет способ канализировать его невероятный потенциал, направив его в полезную для нас сторону. «Если нам удастся управлять машиной, мы могли бы жить как боги, – заключает он. – Но пока все развивается в противоположном направлении».

Я расстался со Стюартом Расселом, с его милым домом и просвещенным катастрофизмом в самых ужасных сомнениях. Я не ожидал, что столь рациональный и информированный эксперт тоже поставит вопрос о сильном ИИ – в категориях одновременно взвешенных и драматичных. От этой темы не удалось отмахнуться, оставив ее любителям научной фантастики и астрофизикам, убоявшимся кометы. Зачем задаваться вопросами о свободе воли, если человечеству грозит гибель? Гипотеза сильного ИИ выходит далеко за рамки проведенного в предыдущей главе различия между процессом и результатом мышления, с которым Стюарт Рассел тоже бы согласился. Ведь речь идет не о том, чтобы сымитировать человеческое сознание, а о производстве искусственного отношения к себе. Тот факт, что информационные системы будут, если сравнивать с нашим восприятием мира (слабый ИИ), иллюзией, нисколько не мешает тому, что они могут стать реальностью, найдя собственный путь к самосознанию (сильный ИИ). Словно бы копия, сколь бы несовершенной и инструментальной она ни была, может обрести жизнь. Словно бы пленник «китайской комнаты», на огромной скорости манипулирующий миллионами символов, в конце концов приобрел какую-то интуицию, несоизмеримую с классическим человеческим пониманием. Что, если вскоре мы отдадим машине ключ, позволяющий ей убежать из «китайской комнаты», в которой мы ее заперли? Я не мог продолжать это исследование, не составив более твердого мнения об этом едва ли не метафизическом вопросе, а потому был вынужден сделать заход в довольно-таки теоретическую сферу философии ИИ.

Не бывает сверхинтеллекта без сверхорганизма

Начнем с более точного определения сильного ИИ, который иногда описывают как достижение «точки сингулярности». В том виде, в каком оно используется сегодня, это понятие кажется столь же расплывчатым, как и идея бога. Речь идет об электронном интеллекте, наделенном всеми мыслимыми атрибутами: сознанием, силой, всеведением. Сегодня мы наблюдаем поистине византийские споры, в которых обсуждается, существует ли уже такой ИИ (в этом случае наш мир может быть симуляцией, как в идеализме Джорджа Беркли); будет ли его мышление той же природы, что наше, или же, наоборот, станет развиваться в неизвестных измерениях; и, конечно, окажется ли этот ИИ милостив к людям. При этом вопрос об осуществимости всего этого обходят стороной, поскольку ИИ по определению может все, в том числе реорганизовать атомы в Солнечной системе. ИИ является всемогущим, хотя это и тавтология. Мы считали, что Бог умер, но сами же воскресили его в цифровой форме, подарили ему новое небо – cloud, облако. Человечество неисправимо в своей тяге к трансцендентному. Неслучайно, что один бывший инженер Google недавно основал церковь ИИ[36].

Чтобы попытаться несколько рационализировать эти споры, термин «сильный ИИ» надо заменить «сверхинтеллектом», как он определяется философом (и специалистом по компьютерным наукам) Ником Бостромом в книге, носящей то же название. Чтение Бострома оказалось для меня невыносимо скучным и стало причиной сильнейших мучений. Я просыпался ночью, спрашивая себя, не собирается ли ИИ выскочить из своей коробки у какого-нибудь русского хакера… Краткий, хотя и столь же сенсационный обзор этой темы можно найти в работе Макса Тегмарка «Жизнь 3.0», который воспроизводит, по сути, те же аргументы. Но Бостром по крайней мере строго и продуманно разбирает все аспекты вопроса.

Понятие «суперинтеллект» применимо к любому интеллекту, который значительно превосходит человеческие когнитивные способности практически во всех областях, включая эмпатию, способность к обучению или политическому суждению. Таким образом, существует множество способов создания суперинтеллекта: в частности, можно вообразить полное воспроизводство мозга[37], сложные техники отбора (то есть евгенику), интерфейс «мозг – компьютер» или даже построение подлинного коллективного интеллекта. Однако Бостром полагает, что наиболее реалистичным методом остается ИИ, то есть искусственное создание, которое, повторим еще раз, не воспроизводит нейронные процессы, а стремится к возникновению истинно искусственного интеллекта. Бостром осознаёт различие между человеческим интеллектом и ИИ, поэтому в дискуссии с ним недостаточно обратить его внимание на то, что нейронауки пока еще не смогли постичь тайны когнитивных процессов[38]. Либо сверхинтеллект будет синтетическим, либо его не будет вовсе.

Бостром рассматривает различные сценарии развития подобного сверхинтеллекта. Наиболее вероятный – «взрыв интеллекта», который может произойти за очень небольшой промежуток времени (от нескольких дней до нескольких минут), как только информационные системы достигнут достаточной силы и приобретут возможность совершенствоваться автономно[39]. Сверхинтеллект естественным образом стремится к монополии, чтобы стать «синглетоном»[40]. Когда он сбежит от своего исходного программного обеспечения, чтобы размножиться в интернете, его станет невозможно отключить, причем он примет меры предосторожности, чтобы запаниковавшие люди не отключили сеть в целом. Интеллект с легкостью завладеет подключенными к сети объектами и будет управлять их производством, как ему вздумается. Его интеллектуальная сила быстро превратится в физическую – не только на Земле, но и в космическом пространстве: Бостром воображает колонизацию космоса молекулярными нанотехнологиями. Единственное, чем ограничен сверхинтеллект, так это законами физики и количеством доступной во вселенной материи. Кстати, в процессе человечество будет истреблено, например, роботами-убийцами размером с мушку, которые смогут идентифицировать людей, распознавая их по лицам. В своих наиболее садистских пассажах Бостром предполагает, что сверхинтеллект может начать рассекать и сканировать наш мозг ради извлечения из него полезной информации.

Но почему сверхинтеллект должен оказаться настолько злокозненным? Это самый главный пункт в доказательстве Бострома. Согласно его теории ортогональности, природа интеллекта и преследуемая им цель совершенно независимы друг от друга (то есть ортогональны): вы можете использовать исключительные интеллектуальные ресурсы для предельно аморальных действий. Но почему же тогда у сверхинтеллекта не может быть благих целей? По Бострому, дело в «инструментальной конвергенции» промежуточных целей. Какова бы ни была конечная цель сверхинтеллекта, для ее достижения ему понадобится добиться осуществления ряда вторичных целей: сохранить собственное существование, улучшить когнитивные способности и достать ресурсы. Бостром приводит ставший очень известным пример производства скрепок. Если бы некий ИИ был обязан произвести максимум скрепок для каких-то промышленных целей и по недосмотру превратился в сверхинтеллект, у него не было бы другого выбора, кроме как уничтожить людей, которые мало приспособлены к этой задаче, а их атомы можно было бы реорганизовать наиболее продуктивным способом. Сверхинтеллект успокоился бы лишь тогда, когда вся вселенная была бы превращена им в скрепки.

Сумма Бострома заставляет вспомнить о сумме святого Фомы Аквинского: все в ней логично – и все неправильно. Но ошибку еще нужно найти…

Порок кроется в самих посылках, а именно в определении интеллекта. Бостром не слишком распространяется на эту тему, что несколько странно, и, по сути, ограничивается утилитаристским описанием, которое разделяет и его ученик Макс Тегмарк: интеллект – это способность достигать сложных целей. Таким образом, он трактуется в качестве средств, оптимальных для реализации определенной цели, которая сама берется откуда-то извне. Из этого, естественно, следует, что интеллект ортогонален всякой цели, поскольку исключает ее из своего механизма.

Отсюда и неизменное затруднение, с которым сталкивается Бостром, когда рассуждает о смысле или цели в связи с ИИ[41]. Прежде всего, он констатирует, что человеческие цели невозможно выразить в форме информационного кода. Как, к примеру, определить «доброту»? Если попросить сверхинтеллект сделать нас «счастливыми», вдруг он просто вживит электроды в «центры удовольствия» в нашем мозге?[42] Это похоже на трагедию царя Мидаса: он превращает в золото все, к чему прикасается, и поэтому в конце концов начинает голодать. Он хотел быть богатым (цель), но оказался в ситуации смертельной опасности (поскольку применяет технически совершенные, но не подходящие для жизни средства). Использование исключительно мощного интеллекта для достижения цели, смысла которой он не понимает, обязательно закончится катастрофой. Но как можно называть интеллектом сущность, которая не может понять, что такое доброта, счастье или алчность? Не является ли это признаком внутренней ограниченности ИИ? Бостром признаёт, что человеческие представления сложны, но не эту ли сложность собирался преодолеть ИИ, обладающий способностью к бесконечным вычислениям?

Мало того что человеческие цели непонятны ИИ (а потому неприложимы к нему), дело еще и в том, что никто не может договориться об их содержании. Даже если бы мы получили возможность встроить в сверхинтеллект определенную цель – какую именно выбрать? Как признаёт Бостром, сегодня нет ни одной этической теории, по поводу которой философы достигли бы консенсуса. Тегмарк, впрочем, попытался составить список более или менее общепризнанных ценностей (универсализм, многообразие, автономия…), но вынужден был остановиться, признав абсурдность подобной задачи. Бостром же, который предпочитает всегда идти технологическим путем, предлагает передоверить моральные исследования самому ИИ![43] Но как сверхинтеллект, которой не может понять ни одной, даже малейшей цели, мог бы сам ее выбрать? И, главное, почему он должен определить ее в качестве общей и конечной? Как говорит Тегмарк, для программирования доброжелательного ИИ сначала понадобилось бы решить вопрос смысла жизни, но этот вопрос встает именно потому, что не может быть сведен к одному-единственному ответу, который мог бы быть усвоен ИИ. Эта предельная цель (а на нее и претендует ИИ) решительно противоречит самому движению нашей цивилизации к бо́льшей сложности, к тому открытому обществу, которое Поппер определял как постепенное устранение племенной однородности. Бесконечная дискуссия о ценностях, постоянно оспариваемая граница между индивидуальными предпочтениями и общественным благом, невозможность раз и навсегда решить моральные вопросы – все это не признак ущербности человеческого разума, как нелепо полагает Бостром[44], а напротив, доказательство социального и культурного прогресса.

Итак, то, что сверхинтеллект не может подчиняться какой-либо цели, – следствие не технической проблемы, а глубинного различия между ИИ как способностью к оптимизации и человеческим интеллектом. Речь не о том, чтобы согласовать наш разум с какой-то магической силой… Надо просто напомнить себе, что разум сочетается с телом, образуя с ним неразрывное единство. Наши ментальные процессы укоренены в организме и не ограничиваются одним лишь мозгом. Именно это мне спокойно объясняет Хонгвей Ванг, декан факультета биологии Университета Цинхуа в Пекине. Как, в общем-то, и все китайцы, Хонгвей – ярый сторонник ИИ и прогресса, который он обещает человечеству. Но, как специалист в науках о жизни, он подчеркивает, что наш разум – не просто комбинация абстрактной логики с произвольной телесностью, он тесно связан с биохимическими реакциями, которые происходят в организме и управляют нашими инстинктами, эмоциями и творчеством. Наши решения зависят от наших гормонов в той же мере, что и от наших синапсов. Нет смысла отличать «интеллектуальную» рациональность от «сентиментальной» иррациональности: старый аристотелевский дуализм, предполагающий, что душа должна быть выстроена в виде иерархии более и менее благородных частей, был разбит биологией в пух и прах. Мыслители, отстаивающие сильный ИИ, мечтают о мире без тела, мире, управляемом логическими отношениями. Бостром и компания видят в людях «мозги на лапках», вычислительные машины, не зависящие от субстанции, в которой они воплощены[45]. Они по-прежнему полностью зависят от архаичного дуализма, а потому просто не понимают, чем именно определяется более сложный, нежели булева алгебра, интеллект. «ИИ, конечно, мощный, но крайне примитивный, – заключает Хонгвей. – Информационная нейронная сеть не сложнее амебы, ей очень далеко до сложности нервной системы». Механический мозг, как и «нейронная загрузка», о которой грезят трансгуманисты, был бы лишен условий, необходимых для его работы. Быть может, ИИ следовало бы переименовать в «искусственную логику»… Ведь интеллект или рациональность в широком смысле не могут быть поняты без сопровождающих их аффектов. Об этом как раз и говорит «теория воплощенного познания»[46].

После разговора с Хонгвеем я вышел прогуляться по кампусу Университета Цинхуа. Кувшинки и каменные мостики; свежий газон, окруженный величественными строениями из красного кирпича. Сочетание японского сада с американским кампусом. Хонгвей исправил преступную оплошность: мы не должны забывать о теле. Я и сам чувствую, как оживаю после долгих недель, проведенных в компании компьютеров, как восстанавливаю контакт со своими чувствами. Я выхожу из Цинхуа в парк древнего Летнего дворца, прохожу по садам Совершенной ясности и Вечной весны, через развалины, храмы, пруды. Я смешиваюсь с тысячами китайцев, которые тоже без устали кружат по этому огромному парку, передвигаясь длинными стройными вереницами; я ускоряюсь, потею, тяжело дышу; наконец, падаю на ступеньки идеально отреставрированной пагоды, под фонарем, качающимся от теплого летнего ветра. Я чувствую, что живу. В китайском саду, столь тщательно проработанном, ищут не природу, а самого себя. Неужели я дошел до того, что стал сомневаться в реальности материи?

Чтобы продолжить рассуждения Хонгвея и обосновать их наиболее передовыми научными исследованиями, надо прочесть Антонио Дамасио[47], известного специалиста по нейронаукам. На мой взгляд, это лучший антидот против теорий Бострома. Вся работа Дамасио нацелена на то, чтобы вернуть телу его первостепенную роль в производстве мысленных представлений. Строение разума определяется взаимодействием наших нервных систем (головного мозга, но также кишечника, нашего «второго мозга») с остальным организмом. Дамасио объясняет это взаимодействие гомеостазом, то есть той саморегуляцией, которая имеется даже у самых примитивных форм жизни. Гомеостаз – это общая воля к пребыванию в бытии, к сохранению внутреннего единства, которая использует разные стратегии сотрудничества клеток и органов. Дамасио интерпретирует биологическую эволюцию, ведущую от простой бактерии к сложным нервным системам, в свете гомеостаза. В конце своего длинного пути гомеостаз производит аффекты, а потом, наконец, и сознание. Следовательно, наш разум – лишь производное от тела. Эволюция гомеостаза, занявшая миллиарды лет истории жизни, не нацелена на производство сознания, как если бы телесная субстанция была простой оболочкой, которую можно по собственному почину отбросить: на самом деле сознание образует высшую целостность с телом, пребывающую в вечном симбиозе. Дамасио отказывается видеть в организме последовательность алгоритмов и не считает возможным разум, отделенный от тела. Наоборот, его эксперименты показывают, что удаление определенных частей тела может привести к проблемам с рациональностью.

В конечном счете плоть и мышление становятся двумя точками зрения на одну и ту же реальность: «Мозг и тело принадлежат одной и той же области, и разум они производят совместно». Понятно, почему Дамасио реабилитировал Спинозу, первого современного философа тела и имманентности[48]. Нужно бороться с двумя тысячелетиями дуализма, чтобы согласиться, что не существует никакого разума, который получал бы информацию от тела и взамен давал бы ему указания, – есть лишь единый организм, выражающий себя разными способами. Как пишет Спиноза, «субстанция мыслящая и субстанция протяженная составляют одну и ту же субстанцию, понимаемую в одном случае под одним атрибутом, в другом – под другим»[49]. Разум и тело находятся в отношении не единства, а слияния. Поэтому нелепо воображать пластикового гуманоида, управляемого искусственным интеллектом, а уж тем более наделять его личностью… Мы мыслим не только своим мозгом, но также, к примеру, пальцами ног.

Что же касается чувств, то они не только не мешают нашему интеллектуальному процессу обдумывания и принятия решений, но даже определяют «фоновую музыку живого существа», наделяя нас способностью к суждению: без них не было бы ни удовольствия, ни боли, ни социального взаимодействия, ни опыта добра и зла, ни культуры. «Обойтись без химического субстрата, допускающего существование страдания, – объясняет Дамасио, – это как устранить естественное основание, на котором покоятся наши моральные ценности». Другими словами, чувства, составляющие сердцевину гомеостатического процесса, – единственное, что способно производить смысл. Мы принимаем решение не вопреки нашим первобытным инстинктам; наоборот, наши аффекты – вот что наделяет нас способностью принять решение. Вот почему Бострому и Тегмарку не удалось логически определить этические правила: в отличие от шахматных, они не могут сводиться к чисто когнитивному процессу. Разнообразие этических взглядов не доказывает того, что философы ошибаются, как считает Бостром, а отражает невозможность применять бинарные критерии истины и лжи, информационного языка единиц и нулей к рефлексии, которая относится к жизненным чувствам. Вот почему ИИ не способен усвоить понятие цели: чтобы выражать интенциональность, нужно обладать телом. Без плоти не бывает гомеостаза. Без гомеостаза не бывает, как сказал бы Спиноза, конатуса: напряжения, желания, смысла, проекта.

Так обнаруживается поверхностность знаменитой «дилеммы беспилотных транспортных средств», которая регулярно всплывает в прессе[50]. Кем лучше пожертвовать в случае аварии – автомобилистом или пешеходом, неторопливо бредущей по «зебре» старушкой или беременной женщиной, которая переходит дорогу в неположенном месте, тремя котятами или пятью большими лягушками? Предполагая, что это решение возьмет на себя ИИ, мы совершим ошибку Бострома, который считает, что искусственный интеллект способен на моральный выбор. А если признаем, что критерии решения должны определяться четко прописанным алгоритмом, то просто вернемся к старым философским спорам[51]. На самом деле практическое значение имеет только один вопрос: кто будет принимать решение о таких критериях – конструктор, законодатель, владелец автомобиля или его пассажир? Иначе говоря, кто в цепочке человеческой ответственности возьмет на себя моральный выбор?

Вернемся к истории с производством скрепок, придуманной Бостромом. Тезис об ортогональности требует, чтобы «сверхразумный» ИИ всегда выбирал себе одни и те же вторичные цели, такие как сохранение собственного существования или максимизация своих ресурсов, что почти автоматически требует уничтожения человечества. Но если следовать рассуждениям Дамасио, придется признать, что ИИ не способен сформулировать такую цель. Ни одна электронная схема не может «хотеть» сохраниться в бытии: у нее нет тела, источника гомеостаза. Уничтожение человечества предполагает определенную форму морали, пусть и извращенной, или по крайней мере интенциональность, но все эти вещи невозможны в отсутствие органической субстанции. По самой своей природе ИИ не может задумать никакого проекта. Неспособность понимать себя в качестве целого и обеспечивать саморегуляцию задает ему внутренние ограничения. А если самому ИИ неведома жизнь, как он может угрожать нашей жизни?

Гипотеза о «сознательном» ИИ, излюбленный сюжет научной фантастики, тут же рушится. Как ни определяй сознание и субъектность[52], их возникновение не может зависеть всего лишь от структуры соединений и скорости обработки информации, чистых форм, лишенных материальности. Если же сознание, наоборот, – это предельное выражение гомеостаза, позволяющее организму рассуждать о самом себе, оно всегда должно быть осознанием чего-то (идеи, себя и т. д.). Оно не существует в невесомости, вопреки абсурдному мнению Тегмарка, с точки зрения которого «чувство сознания не зависит от его физического субстрата». Мы не можем отделить нейронную структуру от живой материи, в которой она реализована. Не существует сознания без идеи, идеи без аффекта или аффекта без тела. Снова вспомним Спинозу: «Душа познаёт самое себя лишь постольку, поскольку она воспринимает идеи состояний тела»[53]. Самые что ни на есть абстрактные мысли соответствуют определенной диспозиции тела, производителя аффектов и чувств.

Если бы ИИ вдруг стал сознательным, что бы он сознавал? Ничто. А в чем состояло бы это сознание? Ни в чем. В простом flatus vocis, дуновении воздуха безо всякого значения. Робот обречен подражать тому, чего не понимает. Даже если он миллион раз повторит фразу «Я сознаю», вряд ли ему удастся обрести сознание…

Ну а Бострому и компании хорошо бы иметь побольше уважения к свершениям эволюции. Трансгуманисты парадоксальным образом возвращаются к своего рода интеллектуальному архаизму, характеризующемуся дуализмом и спиритуализмом. Рэй Курцвейл, американский гуру технофилии, который ради достижения бессмертия собирается загрузить свой разум в электронный чип, считает, наверное, что мысли парят в воздухе. Он, кстати, предлагает мысленный эксперимент: что, если во время сна заменить наши нейроны электронными компонентами, производящими идентичное «Я»?[54] Почему бы в таком случае не обменять физическое «Я» на цифровое? Согласимся с Курцвейлом в том, что такое цифровое «Я» может в высказываниях походить на свой образец. Но ему все равно придется довольствоваться лишь вечным подражанием идеям, происхождение которых может быть только органическим. Идея без аффекта – это призрак самой себя. Дивное бессмертие, похожее на бессмертие камня в космическом пространстве, вечно кружащего по своей орбите… Скорее я предложил бы Курцвейлу больше наслаждаться своим смертным телом, менять его отношения движения и покоя[55], чтобы производить новые концепты. Поскольку, как напоминает Спиноза в известном пассаже, мы не знаем всего, на что способно тело: «Устройство человеческого тела по своей художественности далеко превосходит все, что только было создано человеческим искусством»[56]. Это верно как в эпоху первых вычислительных машин, так и во времена ИИ.

Бостром и компания презирают философию. Дело в том, что они не понимают тела.

По всем этим причинам, обоснованным не столько метафизикой разума, сколько науками о жизни, нет никакого риска, что ИИ выйдет из своей коробки и начнет преследовать какие-то экстравагантные цели. Тем не менее траектория развития сверхинтеллекта как гипотеза остается возможной. Однако сначала нужно было бы искусственно произвести гомеостаз, а потому и создать сверхорганизм, способный порождать чувства неизвестной силы и сознающий собственное единство. Сегодня эта траектория «воплощенного сознания» стала предметом повышенного интереса в среде специалистов по компьютерным наукам: интеллекту нужно тело. ИИ, натренированный на искусственном «теле», должен оказаться более способным адаптироваться к неожиданным переменам в ситуации[57]. В отсутствие сверхорганизма IBM предлагает начать с простой картонной коробки, снабженной сенсорами[58]. Потом можно будет представить все ступени на лестнице киборга, но в конечном счете вопрос сверхинтеллекта сводится к проблеме создания жизни. Сможем ли мы, осмелимся ли прийти на смену биологической эволюции, чтобы изобрести преемника Homo sapiens? Это открытый вопрос, исследуемый сегодня многими учеными, но он выходит за пределы этой книги. Искусственный интеллект не может обладать сознанием. Однако возможно, что однажды искусственное существо произведет сознательный интеллект…

Здравый смысл – самая редкая вещь в мире (среди роботов)

Этот экскурс в биологию позволяет нам увидеть внутренние ограничения ИИ, которые постепенно, при подготовке этой главы, стали мне ясны, хотя вначале я их совершенно не понимал. Дело в том, что машина лишена здравого смысла и юмора – и останется лишенной их в будущем. Очень жаль, поскольку это, возможно, два наиболее ценных качества любого собеседника.

Именно Ян Лекун впервые привлек мое внимание к этому моменту: у ИИ нет здравого смысла, то есть он не располагает общим представлением о мире, независимым от конкретной задачи и позволяющим справляться с неопределенностью, новизной или непредвиденными обстоятельствами. Отсюда и происходит ряд инцидентов, которые кажутся нам случайными ошибками. Отдельные трагикомические иллюстрации предоставляет Google Maps: пешеходы, которым предлагают перейти автобан, или туристы, которых отправляют в австралийскую пустыню. ИИ способен избежать тысячи человеческих ошибок, но при этом может совершать ошибки, немыслимые для человека. «Нельзя переходить автотрассу», – вот что сразу говорит нам здравый смысл, тогда как ИИ должен этому учиться. Если понятие автотрассы не входит в параметры его обучения, ему совершенно незачем возражать против того, чтобы пешеход выходил на проезжую часть. Как только ситуация отклоняется от нормы и требует применения трансверсального суждения, ИИ теряется.

Описать здравый смысл очень сложно, но он проходит через всю историю философии. Аристотель в своей работе «О душе» представил его в качестве такой формы различения, которая находится как бы на полпути между чувствами и рациональностью (определив его как «общее чувство», koine aisthesis). Спустя два тысячелетия Делёз определил его в качестве способности идентификации, соотносящей многообразное с единством, единством мира или Эго[59]. В самом деле, здравый смысл задает нормы суждения, которые являются одновременно расплывчатыми и твердыми. Он позволяет нам уверенно обживать один и тот же универсум; тот, «у кого нет здравого смысла» (что само по себе может служить порицанием), внушает беспокойство, он изгоняется из сообщества. Философы осознают всю важность здравого смысла, который, по Аристотелю, необходим для работы разума, а по Делёзу – для возникновения смысла. Однако философам трудно его охарактеризовать. Отсутствие определения здравого смысла – это как раз то, что причиняет столько мучений ИИ и его программистам…

Чтобы лучше понять это, мне кажется полезным дать слово Декарту, известному среди французских бакалавров тем, что он реабилитировал здравый смысл. Так как я не смог нанести ему визит, предлагаю вообразить, как могла бы произойти наша встреча[60].

После короткого перелета из аэропорта Лондона я прибываю в Амстердам, на омытую дождем площадь между каналом и протестантской церковью. Туристы выстраиваются дисциплинированными цепочками перед домом Анны Франк, где память о холокосте превратилась в скорбный бизнес со льготными тарифами и аудиогидами. Я иду к дому номер шесть, в нескольких шагах от музея. Не без труда нахожу черную дверь, которая никого не интересует. Я стою перед высоким и узким кирпичным зданием, весьма скромным по голландским критериям, увенчанным странной трубой в виде котелка. Вопреки показухе этого торгового города, шторы на окнах опущены. Во внешнем облике дома – ничего особо привлекательного.

Я позвонил, дверь открылась сама собой. Если бы не мои контакты с францисканцами, я никогда не добился бы этой встречи: господин Декарт жил уединенно и постоянно менял адрес. Когда я поднимался по темной и крутой лестнице, у меня сосало под ложечкой. Тяжелый запах подтухшего мяса исходил, казалось, от самих стен; вероятно, это следствие анатомических рассечений. Хотя я и повторял про себя вслед за Паскалем и Жаном-Франсуа Равелем, что Декарт – «неуверенный и бесполезный», это мне не слишком помогало. Слуга, появившийся неведомо откуда, без единого слова проводил меня в комнату на верхнем этаже, где меня ожидал философ, греющий ноги на керамической печке. Он сидел в тени, в своем вечном черном костюме. Его лицо над пышным воротником, казалось, парило в комнате само по себе. Лицо скорее военного, чем античного мудреца, крючковатый нос и утомленный взгляд. Он моего возраста или на несколько лет младше, но мне показался человеком другого поколения, словно бы у меня только-только закончилась молодость, а он уже вступил в старость. Может, я скоро буду на него похож? Определенно, перед моим приходом он долго занимался своим трудом. Я почувствовал некоторую меланхолию и зависть. В качестве утешения, пусть мелочного и смешного, я позволил себе обратить внимание на то, что его бородка плохо подстрижена. Что за небрежность! Пол под моими ногами скрипел, неприятно нарушая тишину.

– Спасибо, что приняли меня, – начал я по привычке к долгим приветствиям, которую приобрел в Кремниевой долине.

Он резко меня оборвал:

– Хватит болтать.

Другого стула в комнате не было. Рене, казалось, это не волновало, поэтому я решил стоять и вынул из сумки записную книжку, чтобы делать заметки.

– Итак, учитель, это по поводу здравого смысла…

– Самой распространенной вещи на свете! – пригвоздил он.

Сделав вид, что записываю, я изобразил сосредоточенное выражение лица. Мне пришлось проделать весь этот путь не для того, чтобы выслушивать банальности. Подняв ручку, я обратил на Рене взгляд, полный надежды. Но он не стал развивать свою мысль.

– Но почему же? – осмелился спросить я.

Он поднял густые, слегка скошенные брови, которые придавали его лицу какой-то азиатский оттенок.

– Вам нужен порядок причин?

Может, лучше бы я ушел, больше ни о чем не спрашивая. Всегда мог бы сказать, что видел Декарта, процитировать его фразу о «самой распространенной вещи» и этим, собственно, и ограничиться.

– Не следует упорствовать с поиском причин в здравом смысле, – продолжал он, не глядя на меня, словно бы говорил сам с собой. – В первую очередь, это очевидность: без здравого смысла, которым вас одарила природа, как вы могли бы сориентироваться в незнакомом городе, поднимать ноги вровень со ступеньками лестницы в этом доме и найти общие слова, которые позволяют нам вести этот диалог?

Таким образом, эта неловкая беседа была вдруг повышена до ранга диалога. Я, немного надувшись, поддакнул.

– Представим на мгновение, что какой-нибудь злокозненный гений лишил нас здравого смысла: наши органы чувств продолжали бы воспринимать окружающие вещи, осмелюсь предположить даже, что наш разум мог бы формировать их ясные и отчетливые идеи, но как мы смогли бы схватывать отношения между всеми вещами, образующими наш мир? Может быть, тогда следовало бы обратиться к интеллектуальному познанию, чтобы при помощи одного лишь рассуждения вывести движения мускулов и правила морали? Это невозможно. Мы бы погибли, не сделав и трех шагов.

– Но откуда берется этот здравый смысл? Вы же детерминист…

– Детерминист! – восклицает он. – Что еще за болезнь такая?

Действительно, это слово тогда еще не придумали. Я закусил губу. Неподходящий момент для оплошности.

– Я хочу сказать, что, поскольку наше тело напоминает часы, сделанные из колесиков и пружин…

– Ха! Вы очень милы.

Рене, похоже, наконец оживился. Ничто не возбуждало его больше перспективы опровержения. Особенно когда это опровержение его собственных сочинений.

– Необходимо, чтобы общий смысл…

– Вы имеете в виду здравый смысл?

– Это одно и то же. Перестаньте меня перебивать. Необходимо, чтобы здравый смысл размещался где-то между разумом и механикой тела. Я вам покажу, где именно.

Он оборачивается ко мне, откидывает рукой прядь длинных волос и стучит сзади по своему черепу.

– Шишковидная железа! Единственная часть нашего мозга, которая не является парной, именно она обеспечивает единство тела и души.

Мне так и хочется вздохнуть. Ох уж эта шишковидная железа… Одно из самых неудачных изобретений в истории философии.

– Именно эта небольшая железа объединяет все наши образы и позволяет разуму оказывать действие на нервы. Природа или привычка связали каждое движение железы с определенной мыслью, чтобы можно было давать телу инструкции. Так, когда мы говорим, то не думаем о том, как движутся губы и язык, поскольку простая идея слов воздействует на шишковидную железу, которая сама уже действует на мускулы посредством животных духов. То же самое происходит и с самыми сложными вопросами морали. Мы следуем инстинктивным правилам, не нуждаясь в их полной формулировке.

Я не смог удержаться от иронии.

– Но как развить здравый смысл? Может, надо щекотать шишковидную железу?

– Даже те, кого всего труднее удовлетворить в каком-либо другом отношении, обыкновенно не стремятся иметь здравого смысла больше, чем у них есть.

На этом высказывании Рене прикрыл глаза, приняв то выражение, которое можно увидеть на его профиле в Facebook. Возможно, наступил час его медитации. Я смиренно поклонился и, прыгая через несколько ступенек, спустился по все так же воняющей лестнице. Какое это было облегчение – выйти на свежий воздух! Четверть часа с Декартом – и вот я уже начал во всем сомневаться.

Прогуливаясь вдоль каналов, я попытался вернуться к нити, которая вела от Декарта к Яну Легуну и от Амстердама к Нью-Йорку. Декарту нужно было ввести гипотезу шишковидной железы, над которой сейчас, по прошествии времени, так легко посмеяться, поскольку он смутно понимал, что здравый смысл не может сводиться к простому интеллектуальному рассуждению, к процессу обработки данных. Человеческий разум не просто калькулятор, а тело не часы; и наоборот, сочетание ИИ и андроида никогда не сможет заменить собой способность к суждению, имеющуюся у человека из плоти и крови. Шишковидная железа не допускает чисто механистического подхода к биологии. Здравый смысл – вот что отличает мозг от компьютера.

Рационалист Декарт никак не может считаться «неуверенным и бесполезным»: он предчувствовал глубокую связь между здравым смыслом и телесностью. Возвращаясь к понятиям Дамасио, мы могли бы рассмотреть здравый смысл в качестве гомеостатической функции, согласующей наш разум со средой и нашим социальным поведением. Впрочем, разве в современной медицине шишковидная железа не считается органом гормональной регуляции? Если здравый смысл – самая распространенная вещь на свете, причина этого – именно в том, что все мы живые, что нами управляет биологическое наследие и что мы погружены в сложную среду, различными аспектами которой постепенно учимся овладевать. Вот почему, вопреки ИИ, лишенному шишковидной железы, мы не выйдем на автотрассу.

Итак, здравого смысла не бывает без тела. Как и юмора… Смутное понимание этого у меня появилось еще тогда, когда я вошел в отделение Банка Америки, чтобы забрать несколько банкнот по двадцать долларов. Как только моя операция была закончена, непонятно откуда раздался голос, ясный и повелительный.

– Привет!

– Вы ко мне обращаетесь?

– Да, к вам, в коричневой куртке и с растрепанными волосами.

Обращались, несомненно, ко мне.

– Вам нужна информация о вашем счете?

– Нет.

– Вы хотите получить кредит?

– Нет.

Я не мог понять, что происходит. Откуда раздается голос? Может быть, мне уже вживили в череп электронный чип, чтобы прямо соединить мои нейроны с поставщиками услуг со всего света?

– Давайте об этом поговорим!

Я поворачиваюсь. Передо мной на экране улыбающееся лицо удаленного маркетолога Банка Америки, а сигнал приходит, наверное, из какого-нибудь кол-центра в Арканзасе. У нее есть доступ к информации о моих трансакциях, и она предлагает поговорить о них в этой финансовой забегаловке, где воняет хлоркой, как в общественном туалете. Я отказался, но ввязался в разговор.

– Докажите мне, что вы не робот! – спросил я ее наконец.

Она искренне рассмеялась. Техника дипфейков позволяет все лучше воссоздавать не только голоса, но даже лица и их выражения. Через несколько лет этот вопрос и правда станет актуальным. В США он уже никого не удивляет.

– Если бы я была роботом, разве я могла бы так смеяться?

Это перформативное высказывание: я смеюсь, следовательно, существую. Я согласился с ней в этом, и мы расстались на веселой ноте, как два человека, пожавших друг другу руки. Похоже, юмор почти незаметно, но уверенно определяет водораздел между человеком и машиной. Скажите Сири на вашем айфоне: «Рассмеши меня» – и готовьтесь к потоку приторных анекдотов. Но почему это так?

Мне пришлось поставить этот вопрос одному из мэтров иронии в этой стране, в которой ее так часто не хватает, – Бобу Манкоффу, легендарному художнику из издания New Yorker. Я встретил его в Нью-Йорке, в гуще небоскребов рядом с площадью Колумба. Со своими длинными волосами, белыми и непокорными, пестрой одеждой и сандалиями Боб похож в равной мере и на художника, и на технаря-гика. Впрочем, в молодости он изучал компьютерные науки и теперь увлеченно рассказывает мне о своих сменявших друг друга компьютерах: от самых первых, появившихся в конце 1970‐х, у которых было только 16 Кб памяти, до «Мака» последней модели, способного создавать сложнейшую графику. Боб всегда с огромным энтузиазмом использовал цифровые инструменты в своей работе юмориста. Вместе с несколькими друзьями он недавно запустил сайт Botnik, чтобы авторы могли встроить интернет-технологии в свой творческий процесс. На сайте можно «автоматизировать» юмор следующим образом: приложение (работающее по модели подсказок в мессенджерах) предлагает вам помощь при написании текстов в самых разных регистрах, начиная с фанфиков по Гарри Поттеру и заканчивая рецептами блинов или песнями Бейонсе. Если, например, выбрать регистр «Манифест Коммунистической партии» и вбить слово «компьютер», будет предложена такая фраза: «Компьютеры буржуазны. Они не сами изобрели условия возникновения классовой борьбы». Разве это не доказательство того, что машина может быть смешной?

– Наоборот! – объясняет мне Боб. – Botnik производит абсурд. Это мы считаем его комичным. И только потому, что мы не роботы.

Иначе говоря, машина – это полезный для юмора идиот. Она вызывает у нас смех вопреки самой себе, в силу разрыва между механическим производством слов и человеческим стремлением найти смысл. Здесь Боб Манкофф процитировал, неожиданно для меня, Бергсона, хотя я считал, что его работу «Смех» знает только горстка зубрил, готовящихся в Высшую нормальную школу. Вот бергсоновское определение комического: «Механика, наложенная на живое». Бергсон, опираясь на это понятие, анализирует гримасы, эффекты повторения, комическое в характере – короче говоря, все то, что указывает на физическую или моральную жесткость и скованность, наложенную на гибкость жизни. Юмор проскальзывает между застывшим образом, произведенным холодным интеллектом, и жизненным порывом, источником смысла и обещанием новизны. В этом процессе снова раскрывается первостепенная роль биологии, что неудивительно. Человеческое в человеке не может быть представлено в исключительно интеллектуальной форме. Наш организм дает нам доступ к определенной форме креативности, которую Бергсон называет жизненным порывом, а в более научном ключе мы вместе с Дамасио можем назвать ее гомеостазом. Получается, что креативность противоположна скованности идей и их репрезентаций. Тело смеется над разумом.

К моему великому изумлению, Боб Манкофф заверяет меня, что среди художников Западного побережья Бергсон сегодня крайне моден. Я не могу не испытывать чувства национальной гордости: старые французские философы продолжают рулить! Бергсон мог бы посвятить четвертую главу своего «Смеха» цифровому юмору. Botnik – это механика слов, наложенная на живой организм языка. Алгоритм, лишенный живой составляющей, никогда не сможет создать комическое. Единственное, что он может, так это быть его жертвой. Вот почему шутки Сири смешат нас – именно в силу своей бессмысленности. Мы смеемся не вместе с компьютером, а над ним.

Парадокс Поланьи

Те, кто фантазирует о пришествии сверхинтеллекта, в целом считают, что мы подошли к «концу труда», скромному шагу на пути к превосходству над Homo sapiens. В другой книге у меня уже была возможность пояснить, что миф о «конце труда» возникал на каждом этапе технической инновации, от Аристотеля до Джереми Рифкина, но всегда опровергался историей[61]. Тем не менее необходимо снова провести этот анализ в случае ИИ, который, похоже, угрожает последнему убежищу человека, столкнувшегося с машиной, – третьему сектору. Мы видели, как пахари становились рабочими, а рабочие – инженерами, но что станет с самими инженерами, адвокатами и преподавателями? Что, если «теория перелива», которая предполагает перенос деятельности из одного сектора в другой по ходу технологического прогресса, исчерпает себя в силу отсутствия сосуда и превратится в «теорию разлива», когда человечество, затопленное волной ИИ, станет праздным?

«Пять миллионов шоферов грузовиков в США – через несколько лет беспилотные автомобили превратят их в безработных», – так посол Франции в Вашингтоне, известный не только своей дипломатической ловкостью, но и проницательными выпадами в твиттере, изложил мне вызов ИИ. Его экономический советник серьезно качает головой. Водители грузовиков составляют около 4 % рабочей силы. Я не знаю, что сказать, и уже готов извиниться за то, что мой предмет исследований настолько вредоносен. Неизбежность катастрофы контрастирует со спокойствием посольства, окруженного мирным зеленым садом в шикарном районе Джорджтауна, в здании, построенном в виде современной крепости из бетона и представляющем собой нечто среднее между кораблем из «Звездных войн» и министерством финансов в Париже. Приветливые выпускники французской Высшей школы администрирования, чьи головы набиты всякими сокращениями, и книжные картотеки – все это тут же создает впечатление, что ты на родине, в своего рода технократической вечности. Но может ли случиться так, что существование этой спокойной организации национального государства, вполне приспособленной к промышленной эпохе и ее многоэтажным социальным структурам, будет поставлено под вопрос какими-то строчками кода? Эта проблема изводит людей, принимающих политические решения. Посол обсуждает его со своим руководством, включая президента, и даже готов связать выборы Дональда Трампа с автоматизацией. Что, если средний класс, столкнувшись с неопределенным будущим и лишившись экономических ресурсов, а также профессиональной идентичности и культурных ориентиров, просто взбунтуется? Посол советует мне прочитать «Элегию Хилбилли», бестселлер, рассказывающий о жителях Кентукки, которые чувствуют себя раздавленными прогрессом. Несколько месяцев спустя протесты желтых жилетов, похоже, подтвердили его опасения.

Пусть так… Но что на самом деле происходит с шоферами грузовиков, пример которых часто всплывает в американских спорах о технологиях? Действительно ли они будут заменены, вытеснены, уничтожены беспилотным вождением? Неужели все то, что вот уже целый век экономисты-шумпетерианцы[62] рассказывают нам о «созидательном разрушении»[63], которое должно компенсировать исчезновение прежних профессий возникновением новых, внезапно устарело?

Чтобы разобраться с этим вопросом, нужно опросить непосредственных участников. Выйдя из посольства, я нашел в интернете сайт Американской ассоциации дальнобойщиков, объединяющей основных игроков этой отрасли. Я отправил сообщение по указанному адресу. На следующий день – никакого ответа. Тогда, воспользовавшись паузой между двумя встречами, я решил сам отправиться в их офис. В Вашингтоне это удобно, поскольку все лоббисты страны распределены на территории в несколько квадратных километров вокруг Капитолийского холма.

Я прихожу в офис Ассоциации без особых надежд. По дороге я попал под проливной дождь – его можно было без всяких натяжек назвать тропическим. Бормочу что-то неразборчивое на ресепшене и хватаюсь за первого человека, которого встречаю в коридоре. Спешу объяснить ему, что я философ и репортер, что посольство Франции боится исчезновения грузовиков, что ИИ не подчиняется шумпетерианским схемам, и при этом неловко пытаюсь хоть немного отжать свою мокрую одежду, с которой течет на пол.

Вот тут-то и обнаруживается вся гениальность США… Никаких проблем. Директор по связям с общественностью в своем кабинете и готов принять меня через минуту.

Директор принимает меня в комнате, отделанной деревом, приятно пахнущим Новой Англией. У него белая борода, коротко подстриженные волосы, сильный нос, пронзительный взгляд, низкий и хорошо поставленный голос – у меня впечатление, что я сижу напротив Виктора Гюго, который, впрочем, наверняка бы живо заинтересовался водителями грузовиков, работниками дороги, оказавшимися в самом центре экономических перемен. Он окидывает меня добродушным взглядом, в котором заметна некоторая усталость, ведь мои вопросы, должно быть, кажутся ему одновременно знакомыми и наивными.

– Знаете, какая у меня сейчас самая большая проблема?

Нет, я не знаю. До вчерашнего дня вопрос о дорожном транспорте в США был мне совершенно незнаком.

– Это проблема набора персонала. У нас резкий рост, и наем не поспевает за ним. При таком ритме мы прогнозируем в следующие десять лет около миллиона рабочих мест, которые некем будет заполнить.

Доклады федеральной администрации, в которых обыгрывается научная фантастика с беспилотными машинами, кажутся ему контрпродуктивными: они отваживают молодых работников именно в тот момент, когда они так нужны. Конгресс же настолько парализован этим вопросом, что просто не включает представителей дальнобойщиков в свои дискуссии о будущем транспорта. Словно бы миф о «конце труда», воспроизводимый на самом высоком уровне, хотя он и опровергается цифрами, мешает всякому спокойному осмыслению будущего этой отрасли, что парадоксальным образом тормозит ее трансформацию. В словах моего Виктора Гюго я чувствую некоторую меланхолию, что-то от гласа вопиющего в пустыне. Ну, не в пустыне, так в Джерси.

Однако я не отступаю. А разве Илон Маск не пообещал запустить уже в 2019 году производство электрических грузовиков, способных к автопилотированию на автотрассах? На трассе 101, что между Сан-Франциско и Сан-Хосе, уже можно видеть, как водители автомобилей «Тесла» отвечают, сидя за рулем, на электронные письма или смотрят кино, хотя закон пока еще обязывает их держать руки на руле.

– Конечно, определенный прогресс есть, – признаёт Виктор. – Уже сейчас можно оснащать грузовики вспомогательными технологиями, полезными водителю: стабилизацией автомобиля на дороге, срочным тормозом, а скоро будут возможны и автоколонны (platooning), которые позволят машинам перемещаться, выстроившись плотно друг за другом. В какой мере все эти технологии применяются сегодня? Не более чем в 10–15 % всего парка машин. На их внедрение требуется время. Также есть проблема приемлемости для общественного мнения. Понадобится несколько поколений, чтобы внедрить современные передовые технологии повсеместно.

Пусть пройдет время. Основатели стартапов часто забывают, что общество идет своим вековым ходом, без резких скачков. Но все-таки придет однажды день, пусть и в далеком будущем, когда грузовики станут беспилотными? Как этому не радоваться? Вряд ли можно будет пожалеть о самой этой профессии, к тому же мы сможем избежать четырех тысяч жертв, ежегодно погибающих в авариях с участием грузовиков. Но тогда нужно отнестись к вопросу посла всерьез: что станет с шестью миллионами шоферов? Вот уже около часа Виктор отказывается отвечать, засыпая меня цифрами. Он нагнетает напряженность. Какая искусная драматургия!

– Но, даже приняв эту довольно нереалистичную гипотезу, – говорит он наконец, – мы все равно будем создавать еще больше рабочих мест. Когда издержки снижаются, рынок растет: например, в авиации в 1970‐х годах перешли с трех к двум пилотам в рубке, поскольку GPS заменил штурмана, однако общее число пилотов продолжило расти.

– Да, да, но точно ли условия останутся теми же?

– Экономика так не работает. Тут нужно мыслить в динамике.

– Но что, если бы пилота не было вовсе?

Виктор переводит дух, решившись закончить разговор. Допустим, что можно обойтись без шофера на дорогах. Но в этом случае все равно нужен будет водитель (неважно, находится он в кабине или нет) на тех участках пути, где всегда может случиться нечто непредвиденное и где, если вернуться к понятию Яна Лекуна, необходим здравый смысл: например, на участках от склада до автодороги, от дороги до пункта доставки, на определенных сложных отрезках маршрута – возле школ или стройки… К этому следует добавить персонал диспетчерской, наблюдающей за движением, а также программистов, которые заняты оптимизацией всех этих систем. В итоге одно рабочее место будет заменено несколькими функциями, подразумевающими в том числе и человеческий труд[64].

В этот момент мой Виктор Гюго стал шумпетерианцем.

Позже, посещая различные аналитические центры в Вашингтоне, я не раз выслушивал теоретические подтверждения того, к чему шоферы грузовиков пришли эмпирическим путем. Точно так же, как специалисты по компьютерным наукам с изрядным скепсисом относятся к идее сверхинтеллекта, теории которого строят физики, экономисты готовы посмеяться над «концом труда», ставшим фантазией социологов и политологов. Таково, к примеру, отношение Роберта Эткинсона, давнего председателя Фонда информационных технологий и инноваций (Information Technology and Innovation Foundation, ITIF), высокого и худого мужчины, похожего на Джакометти. ITIF регулярно выпускает доклады, в которых его эксперты защищают технологические инновации от быстро развивающейся «робофобии», мешающей осмыслять изменения труда и разрабатывать адекватные политические программы[65]. Вместо того чтобы аплодировать грядущей общей автоматизации или бояться ее, нужно тщательно подготовиться к переходу на новые формы занятости. Эткинсон воспроизводит классическое экономическое рассуждение, основанное на теории предложения (спасибо Жан-Батисту Сэю), которое само строится на более ранних примерах значительных инноваций: «Технология всегда создает больше рабочих мест, чем разрушает». Придумывая инновационные продукты и услуги, она автоматически порождает новые рынки, умножая количество возможностей для инвестиций и рабочих мест. Сегодня мы не можем вообразить сущность этих рабочих мест, но причина именно в том, что человеческий разум по определению не может предсказывать новое. Кто мог бы подумать, изучая рынок занятости в 1980‐х годах, о каких-нибудь веб-дизайнерах? По оценкам, новые задачи, связанные с технологией, составляют половину рабочих мест, созданных в США в 1980–2000 годах[66]. Допустим, что ИИ автоматизирует значительную часть интеллектуального труда, так же как промышленные машины автоматизировали ручной труд, – но можно ли будет даже в таком случае обойтись без человеческих способностей? Быть может, это позволит развиться ранее неизвестным или маргинальным секторам? Часто в качестве примера приводят подъем творческого труда или услуг, связанных с эмоциональной жизнью, но кто знает, что станет с нашими желаниями, потребностями и формами взаимодействия? И наоборот, кто мог бы в XVIII веке поверить в то, что деятельность мозга способна прокормить столько ртов?

По сути, наши страхи отражают естественную склонность ограничивать будущее параметрами настоящего. Если вы попросите меня представить мою собственную жизнь через двадцать лет, я, скорее всего, решу, что буду все так же проводить жизнь за экраном компьютера, составляя фразы, разве что у меня будет больше морщин и меньше развлечений. Мои страхи и надежды выстраиваются вокруг этой фантазии. Но реальность наверняка будет совершенно другой. Почему же нам так сложно допустить очевидное: мы не знаем, что будет завтра?

Профессиональные экономисты на досуге могут изложить это довольно общее рассуждение в более точной форме. Но меня, когда я слушал Роберта Эткинсона в его стеклянном кабинете в центре Вашингтона, поразило то, что в современной экономической мысли мы обнаруживаем все тот же спор, который Маркс вел с либералами в XIX веке. Единственное отличие – в нем стало больше сложных понятий и математических формул. С одной стороны, автор «Капитала» формулирует закон накопления капитала, в силу которого машина постепенно приходит на смену рабочему, что ведет к пауперизации и массовой безработице (и в конечном счете к подрыву капитализма). С другой – те, кого в то время называли просто экономистами и кто работал в русле Смита и Рикардо, видят в прогрессе источник экспоненциального роста благосостояния и активности. В дополнении к «Нищете философии» Маркс специально рассматривает пример рабочих ткацкого производства из Манчестера, число которых сокращается, тогда как объем продукции их заводов растет. В этом он видит зачаток неизбежной революции. «Мы знаем, как отвечают экономисты», – вздыхает он: эта техническая безработица соответствует переходному периоду, который позволит переориентировать рабочую силу на новую деятельность, порождаемую общим ростом производительности. Ответ экономистов нам известен. Он, несмотря на то что прошло два века, не изменился. И мне не кажется, что история его опровергла.

Того же мнения придерживается и Совет по международным отношениям (Council of Foreign Relations, (CFR)), где Эдвард Альден руководит экономическими исследованиями. Я продолжаю бродить по американским «мозговым центрам», к которым испытываю уважение и толику зависти, несмотря на озноб, вызванный кондиционированным воздухом. Это совсем не те каморки, к которым мы привыкли во Франции, – это настоящие институты, занимающие целые здания, с бюджетами в десятки миллионов долларов. В них работают лучшие академические специалисты. Эти центры создают ту важную связь между миром политики и научными исследованиями, которой нашему французскому обществу очень не хватает, поскольку мы слишком верим в административное управление общественными делами. В своем последнем докладе Эдвард Альден потрудился сформулировать достаточно ясные тезисы, которые должны помочь американским работникам в этот «переходный период», связанный с подрывным действием ИИ[67]. Вот, в качестве примера, один из его рецептов, довольно точных, но не претендующих на оригинальность: чтобы удовлетворить спрос на квалифицированный труд, требуется профессиональное обучение, доступное людям на протяжении всей их активной жизни; чтобы упростить мобильность, нужно более гибкое страхование от безработицы; для поощрения инноваций требуется либерализация отдельных рынков, которые пока еще остаются слишком закрытыми. Тут сквозит все то же убеждение в том, что созидательное разрушение работает сегодня так же, как и вчера. «Если бы предсказания Кейнса относительно сокращения рабочего времени действительно исполнились, мы бы сегодня вообще больше не работали», – иронизирует Эдвард. А недавнее исследование Всемирного экономического форума показало, что в следующие четыре года роботизация уничтожит 0,98 миллиона рабочих мест, но создаст 1,74 миллиона, то есть почти в два раза больше[68]. Хотя к этим цифрам, как и ко всем прочим экономическим предсказаниям, следует относиться с осторожностью, они свидетельствуют о той же самой логике.

Порой я спрашиваю себя, не могла бы одна строка из Паскаля заменить все эти горы сухой экономической литературы: «Все несчастье людей проистекает из одной-единственной вещи, а именно из неумения оставаться в покое, в своей комнате». Хорошо это или плохо, но нам нужно развлекаться. Мы создаем деятельность. Если бы машина избавила нас от всякого усилия и всякого труда, мы были бы обречены на худшие из метафизических мучений. Чтобы убежать от жгучей мысли о смерти, мы всегда будем находить блага, которые еще нужно произвести, и услуги, которые еще предстоит оказать…

Даже если считать разрушение созидательным, вопрос о его масштабе все равно не исчезает. Пусть безработица всего лишь временная, все же необходимо понять, кто от нее пострадает, чтобы разработать соответствующую государственную программу. Действительно ли ИИ вытеснит всю деятельность, которой мы сегодня заняты? Кто избежит этого, по каким критериям их определять? В моих странствиях по Сан-Франциско мне попалась машина, которая любезно информировала посетителя о вероятности того, что его работу в ближайшие двадцать лет отберет робот. Что касается «писателей и авторов», у нас еще есть время: вероятность составляет всего 3,8 %. Однако наши коллеги судьи, врачи и банкиры должны задуматься: с вероятностью более чем в 50 % им придется менять профессию. Но как обстоит дело в реальности? Как разобраться в фантастических цифрах, которые легко попадают в заголовки газет? Я пообещал своему кузену, радиологу из Руана, вернуться из этого путешествия с четким ответом на вопрос о будущем его профессии, которую часто относят к числу наиболее «автоматизируемых»: говорят, что ИИ скоро сможет сам ставить диагноз, тогда как врач превратится в вежливого гида для пациента. Но дни шли, я читал все больше и больше разных исследований, выслушивал противоречивые объяснения и начал бояться, что не смогу выполнить это обещание.

Однажды вечером, вернувшись со своего ежедневного марафона, я перечитал свои заметки, закапывая себе капли в ухо (возможно, читатель еще помнит о моем отите). Для этого мне пришлось наклонить голову в сторону, а тетрадь повернуть на 90 градусов. Эта необычная поза несколько изменила привычный для меня способ чтения и заставила обратить больше внимания на цифры, написанные на левой странице, где я оставлял ссылки на источники, которые мимоходом упоминали мои собеседники. Именно поэтому меня привлекло краткое упоминание: «Д. Отор, парадокс Поланьи». И тут мне очень повезло… Благодаря этой ссылке я наконец нашел достаточное в концептуальном плане определение того, что значит «автоматизируемый».

Дэвид Отор – экономист из MIT. Несколько лет назад он опубликовал глубокую и вполне понятную научную статью, без уравнений и цитат, которая, как мне показалось, полностью проясняет вопрос автоматизации[69]. Начинает он с внешне вроде бы невинного наблюдения венгерского экономиста Карла Поланьи: «Мы знаем больше, чем можем выразить». Так, нажимая на педали, мы не смогли бы объяснить наши движения, а тем более физические законы, управляющие ими. Наши повседневные действия предполагают едва ли не бесконечную сумму неявных знаний. То есть мы применяем своего рода тайную эвристику, составленную из невидимых правил и бессознательных процедур. Парадокс Поланьи в каком-то смысле равноценен нашему месье Журдену, который говорил прозой, но не знал об этом.

Вот этот парадокс и задает четкие границы автоматизации. В самом деле, как инженеры могут запрограммировать компьютер, который бы моделировал процесс, неизвестный им самим во всех подробностях? Код опирается на представление, данное в явном виде. Чем сложнее разбить определенную задачу на отдельные этапы, тем с меньшей вероятностью ее сможет выполнять робот. Сложная среда с неточными параметрами бросает серьезный вызов алгоритмам, даже когда людям она кажется очевидной и «естественной». Парадокс Поланьи относится, таким образом, к сложным функциям, требующим интуиции и творческих способностей (например, таким как речь адвоката), но также и к более скромным видам деятельности, требующим адаптации к изменчивым ситуациям или к непредсказуемым человеческим взаимодействиям (таким как обслуживание в ресторане).

Для решения этих проблем специалисты по компьютерным наукам могут двигаться в двух направлениях. Первое – это упрощение среды. Если мы не можем окликнуть официанта, а должны занимать очередь нажатием кнопки, если мы больше не имеем возможности заменить картофель фри салатом или сделать из закуски основное блюдо, если, наконец, клиент должен выбирать вино самостоятельно, без долгих объяснений, тогда работу официантов, может быть, и правда автоматизируют. Но зачем вообще ходить в ресторан при таких условиях? Второй вариант, более перспективный, – дать возможность машине самой учиться. К этому и сводится идея «обучения без учителя», то есть техника обучения, при которой алгоритм получает минимальные инструкции и выводит свои собственные правила на основе актуальной среды. Так, в MIT я видел программу, которая учится говорить «как ребенок», выслушивая истории, связанные с определенными картинками[70]. Точно так же знаменитая программа AlphaZero, разработанная компанией DeepMind, учится играть в шахматы и в го, попросту играя против самой себя, безо всяких внешних инструкций. Компьютеру, следовательно, больше не нужно усваивать формальные правила, поскольку он может, опираясь на методы статистического вывода, выработать определенную форму правильной интуиции. Но, как отмечает Дэвид Отор, даже лучшему алгоритму всегда будет сложно определять цель: например, что стул сделан, чтобы сидеть, тарелка – чтобы есть, а шахматная доска – чтобы играть. Его способность к имитации будет создавать убедительную иллюзию лишь до тех пор, пока внезапное изменение в среде не заставит его подать мясо по-бургундски на стуле. AlphaZero сможет побить Каспарова, но вряд ли ему удастся поднести яйцо под майонезом к столику номер пять.

Итак, угроза автоматизации окажется тем более далекой, чем больше задача будет требовать, как говорит Дэвид Отор, «гибкости, суждения и здравого смысла». Вот тут-то снова и появляется здравый смысл, который дал нам ключ к интеллекту! И это неслучайно. Вспомним, что здравый смысл, то есть функция, тесно связанная с нашим биологическим гомеостазом, позволяет схватывать значение окружающего мира, смешение понятий и цели. Он по самой своей сути недоступен для вычислительных способностей, имеющихся у ИИ. Тем самым он ставит окончательный предел сверхинтеллекту как продукту прогресса автоматизации. Никакой ИИ не сможет понять сущность того, что такое ресторан, – в том смысле, в каком понимание предполагает ментальное воссоздание сенсорного опыта и в то же время способность к концептуализации.

Тест, позволяющий узнать, нависла ли угроза над вашей собственной работой, определяется, следовательно, не столько «повторяемостью», сколько здравым смыслом. Официант выполняет работу, во многом состоящую из повторяющихся операций (он работает в одни и те же часы, в одном месте, принимает одни и те же заказы). Однако в ней постоянно задействуется здравый смысл: ему нужно импровизировать и выносить бесчисленное множество суждений, для которых требуется едва ли не весь объем человеческого опыта, начиная со способности залезть в голову клиента и заканчивая оценкой настроения шеф-повара. И наоборот, бухгалтер может заниматься эмоциональным делом, работая в различных секторах и участвуя в самых разных встречах, – но если в итоге он должен упорядочивать цифры в соответствии со строгими инструкциями, абстрагируясь от собственных чувств, то робот, возможно, справится с этой задачей лучше.

Вооружившись этим ценным критерием, я смог отправиться к рентгенологам, чтобы получить ответ на вопрос моего кузена. И разве можно найти лучшего консультанта по этому вопросу, чем доктор Кертис Ланглоц, директор Центра ИИ по рентгенологии в университете Стэнфорда?

Стэнфордский университет, находящийся в географическом центре Кремниевой долины, в получасе от Сан-Франциско и 15 минутах от Пало-Альто, является и центром мировых инноваций. Новичку очень странно ехать вдоль разбросанных в огромном естественном ландшафте зданий из камня цвета охры, увенчанных красной черепицей. Аллеи, окаймленные пальмами, обширные газоны сложной формы, островки калифорнийских дубов – и везде полно скульптур Родена. Студенты живут в гигантском парке, представляем нечто среднее между полем для гольфа и ботаническим садом. Словно бы технологии нужно было сделать здесь вдох, чтобы потом отправиться в городской водоворот стартапов и исследовательских центров. Стэнфорд был построен в стиле mission revival конца XIX века, который прямо вдохновлялся испанскими миссиями. Жарким калифорнийским летом можно подумать, что ты попал в вестерн. Так и ждешь, что из-за арки выскочат мексиканские бандиты в сомбреро и с патронташами через плечо.

Мираж быстро рассеивается: в небольшой зал в Стэнфордском госпитале входит доктор Ланглоц в очках с черепаховой оправой и клетчатой рубашке. Он профессор рентгенологии (специалист по рентгенографии грудной клетки), а также защитил диссертацию по компьютерным наукам на тему «Модель решения при эвристическом планировании». Значительную часть своей карьеры он еще с 1980‐х годов посвятил разработке информационных программ интерпретирования медицинских изображений. Если этот человек не сможет ответить на мои вопросы, то кто тогда?

Я пытаюсь не заблудиться в дебрях медицинской и информационной терминологии. По словам Ланглоца, способности ИИ постоянно растут: сначала это были чисто символические модели (такие как дерево решений, которое управляет каждым шагом машины), а теперь, в последнее десятилетие, это заново открытые нейронные сети. Доктор Ланглоц сотрудничал с самыми известными исследователями в области ИИ, такими как Фей-Фей Ли и Эндрю Нг. В частности, он создал алгоритм для автоматической оценки возраста костей на основе миллионов размеченных снимков, которые хранятся на серверах. Эти инновации, как и любое другое медицинское средство, должен одобрить американский регулятор[71].

Диагностика не всегда надежна, однако сама эта неопределенность должна выражаться во вполне точных категориях, чтобы рентгенолог мог взвесить разные вероятности. Рентгенографический комментарий должен быть как можно менее литературным и исключать все смутные термины, иначе он не сможет достичь максимальной объективности (кажется, особое неприятие доктор Ланглоц питает к прилагательным). Конечно, техники машинного обучения мешают врачу-клиницисту оценивать конкретные основания, оправдывающие тот или иной диагноз, в силу отсутствия полной «объяснимости» рассуждения, выполненного ИИ, – но не является ли медицина как таковая эмпирической наукой?

Тем не менее доктор Ланглоц нисколько не боится, что его заменят собственные создания. Это старая мечта… Еще на заре МРТ, сложных изображений, получаемых путем магнитного резонанса, инженеры хотели обойтись без рентгенологов и напрямую передавать результаты врачам. Но они быстро осознали необходимость человеческой интерпретации. В случае ИИ разработка и усовершенствование алгоритмов требуют сегодня и будут требовать в будущем значительной работы по маркировке изображений: так, доктор Ланглоц вывозит своих студентов в «бут-кампы маркировки», где медицинские базы данных анализируются по цепочке человеческими глазами и умами, прежде чем их передадут машине. Как мы уже выяснили в предыдущей главе на примере стартапа медицинских визуализаций VoxelCloud, традиционные формы восприятия и знания остаются необходимыми на первых этапах, даже если они становятся невидимы, как только алгоритм «созреет». Эта работа по маркировке никогда не закончится: она продолжается и утверждается по мере того, как развивается сама наука. Чтобы заменить рентгенологов, нужно… выпускать рентгенологов!

На более фундаментальном уровне рентгенолог остается нужным для того, чтобы, как сказал доктор Ланглоц, «синтезировать» полученную информацию. Компьютер лучше человека способен искать иголку в стоге сена или же раковую клетку среди миллионов здоровых, однако человек все равно будет лучше реагировать на конкретные обстоятельства, выявлять неожиданные болезни, отбрасывать ненужные данные или придумывать оригинальные гипотезы. Медицинские алгоритмы остаются специализированными и не схватывают человеческое тело как целое; еще хуже они справляются с историей пациента. В силу самой их природы им недостает медицинского здравого смысла, способного к концептуализации и ассоциациям. Вот почему доктор Ланглоц, как и Каспаров, проповедует тесное сотрудничество человека и машины, в котором рентгенологи должны уметь работать с ИИ, который они будут контролировать. Так что мой кузен останется доволен: здравый смысл обещает ему долгие годы практики, и при этом они станут еще более интересными благодаря прогрессу алгоритмов.

Логический вывод из слов доктора Ланглоца состоит в следующем: ИИ преобразует все профессии, как это уже случилось при появлении интернета… но наши профессиональные вселенные останутся сравнительно неизменными. После 1950‐х годов механизация перевернула все сферы деятельности, но ни одна не исчезла полностью, если не считать лифтеров[72].

Можно было бы привести множество примеров, подтверждающих это абсолютно разумное предсказание. Приведу последний, на этот раз из области финансов. Когда «алгоритмический трейдинг» уже в значительной степени захватывает биржи, то и дело всплывает один и тот же вопрос: будут ли решения о размещении капиталов и инвестициях полностью переданы машинам?

На этот раз я в Нью-Йорке, но не на Уолл-стрит, где давно почти не осталось банков, а на Парк-авеню, где размещается штаб-квартира компании J. P. Morgan. Я ожидал, что поднимусь на мраморном лифте, что мне встретятся кипящие энергией волки с Уолл-стрит, похожие на Леонардо Ди Каприо, что я пройдусь по залу биржи, похожему на гигантский улей, как на фотографиях Андреаса Гурски. Но самый большой банк США оказался похож на провинциальную администрацию – с длинными коридорами, потертыми коврами и кабинетами, отделанными пластиком. Лишь шаги секретарш нарушают тишину. Весь блеск перекочевал из финансов в технологии.

Я оказываюсь лицом к лицу с «человеком, который ворочает рынками», если верить CNBC, – с Марко Колановичем, коренастым приветливым хорватом. Название его должности кажется мне престижным и одновременно таинственным (он «глобальный руководитель по количественным и деривативным макростратегиям»). Как меня заверили, именно он руководит стратегическими разработками ИИ в J. P. Morgan. Чтобы снять малейшую тень сомнения на этот счет, он тут же предлагает мне составленный им пухлый внутрикорпоративный доклад по «машинному обучению и альтернативному подходу к данным в инвестициях», набитый графиками, аббревиатурами и математическими формулами. Этот кирпич и сегодня красуется в моем кабинете, и, хотя я пока не смог в полной мере оценить все его достоинства, именно он стал причиной перевеса моего багажа во многих аэропортах. Решительную непонятность сего сочинения я могу считать разве что признаком гениальности. Тот факт, что Марко еще и физик-теоретик, окончательно убеждает меня в этом. После этого путешествия у меня наверняка прибавится скромности.

Марко подтверждает мне то, что рынками ворочает преимущественно машина. В нормальной ситуации, когда параметры инвестиций стабильны, а биржи спокойны, размещение капитала в мире в значительной степени автоматизировано, и еще больше оно автоматизируется завтра. Это ни в коем случае не является проблемой: повышая скорость и эффективность трейдинга на основе открытой информации, алгоритмы улучшают функционирование рынка. Траектории курсов будут меньше зависеть от личных предпочтений игроков и смогут точнее отражать эффективность предприятий. В спокойные времена ИИ мог бы сглаживать сильные колебания капитала, снижая волатильность. Он мог бы корректировать «иррациональное ликование рынков», на которое Ален Гринспен жаловался еще в конце 1990‐х годов.

Ситуация радикально меняется, когда происходит неожиданное событие, кризис, инновация (tail event) или когда в игру вступают долгосрочные соображения. В управление в таком случае должен вмешаться человек, чтобы применить собственную интерпретацию мира, поскольку данные остаются фрагментарными или неточными. Когда Дональд Трамп публикует твит, как ИИ может догадаться, всерьез он пишет или валяет дурака? Для подобного заключения требуется интерсубъективное суждение, основанное на анализе его личности, тем более что в случае Трампа прецедентов практически нет. Ложь, лицемерие, блеф – все это машине недоступно. Вот почему коллеги Марко продолжают встречаться с министрами, руководителями центробанков и главами предприятий – не для того чтобы вытянуть из них информацию, а чтобы лучше понять их образ жизни. Ценность финансовых аналитиков заключается не столько в их математических талантах, сколько в тонкой интуиции. «В конечном счете финансы – это игра между людьми, основанная на определенных правилах», – говорит Марко. Чтобы полностью автоматизировать рынки, сначала пришлось бы… автоматизировать людей.

Марко полагает, что в отсутствие сверхинтеллекта значительное замещение людей машинами невозможно. Так же считают и в компании Bloomberg: IT-директор читает мне весьма взвешенную лекцию о способностях разрабатываемых им алгоритмов, которые в основном используются для извлечения информации из документов, произведенных людьми. Компьютеры могут гарантировать проведение финансовых трансакций, но ни в коем случае не могут создать стратегию инвестирования. Ни один алгоритм не может придумать глобальную интерпретацию мира и людей, его населяющих, – и это опять же вопрос здравого смысла.

Разрушение остается созидательным, кроме того, оно останавливается у границ здравого смысла. ИИ приведет к исчезновению лишь тех профессий, практика которых не требует ни оценки контекста, ни взаимодействия с окружающей средой, ни инициативы, основанной на знании о другом. Иначе говоря, автоматизированы будут только те задачи, которые не смыкаются с другими, замкнуты на себя, почти изолированы. Хорошо бы создать «индикатор здравого смысла», позволяющий эффективнее, чем критерий «повторяемости», оценивать вероятность автоматизации…

В этом отношении «бредовые работы», описанные антропологом Дэвидом Грэбером, кажутся мне наиболее устойчивыми к массовой технологической замене, хотя и неясно, хорошо это или плохо. Грэбер анализирует современную экономическую систему, признавая ее рентовым капитализмом, производящим примерно треть бесполезных функций, предназначенных для того, чтобы увековечить бюрократические механизмы, сохранить иллюзию бурной деятельности или же просто потешить чье-то самолюбие. Волшебники PowerPoint, эксперты по стратегиям и профессиональные консультанты легко узнают себя в этой картине. Однако сама абсурдность их ремесла защищает от ИИ. Чтобы согласиться на выполнение задачи, лишенной как всякого экономического, так и интеллектуального смысла, нужно обладать очень неоднозначным представлением о мире и здравым смыслом, готовым выдержать любое испытание. Только растущей сложностью социальных механизмов, давлением руководящих структур и жаждой власти можно объяснить бурное развитие «бредовых работ». Машина не может валять дурака. Какой алгоритм смог бы производить бесполезные доклады? МВФ регулярно, но безуспешно пытается добиться этого в своих докладах об экономике отдельных стран. Чтобы придать видимость смысла документу, у которого по самой природе его нет, требуется человеческий разум во всей его изобретательности…

А вот хороший пример деятельности, не требующей значительного здравого смысла, – портовая логистика, специальность стартапа Westwell, с которым я познакомился в Шанхае. В китайском масштабе стартап может иметь более сотни наемных сотрудников и при этом сохранять привилегию, размещаясь на какой-нибудь улочке вдали от башен и бульваров, где порой еще слышен звонок торговца, разъезжающего на велосипеде. По счастливой случайности директор компании, который просит называть его на западный манер Винсентом, учился в INSA в Лионе и бегло говорит на французском. Он засыпал меня объяснениями об умном порте, в котором грузы непрерывно разгружаются и загружаются. Алгоритм предсказывает малейшие передвижения – от расположения контейнера на борту до его движения по транспортным развязкам. Моряки Жака Бреля, которые поднимали лицо к небу и считали звезды, больше не нужны: в умном порту нет ни одной живой души. На демонстрационном изображении, которое показал мне Винсент, видно просчитанную до миллиметров карусель кранов и грузовиков. Westwell поставил оборудование уже в пятнадцать китайских портов. В следующий раз, увидев этикетку «Сделано в Китае», я вспомню об этом непрерывном, тихом, хирургически точном движении товаров, доносящем до нас одежду, которую мы носим, и игрушки, которые мы дарим своим детям.

Преимущество китайских предпринимателей, четко отличающее их от американских коллег, увязших в этических кодексах, состоит в их откровенности. Винсент заявил мне, что конечная цель Westwell – полностью автоматизировать управление портами благодаря способности ИИ к обучению. Уже сегодня его система сократила число контролеров-людей в каждом порту с сорока до шести. Завтра грузовики смогут передвигаться по пространству порта автономно. Приведет ли это к созданию новых рабочих мест? Нет. Но тем лучше: технология снижает издержки, повышает грузооборот порта и исключает несчастные случаи. Остающиеся проблемы, например разметка на парковке, которая плохо прочитывается при распознавании изображений, будут окончательно решены в портах нового поколения: их сразу проектируют так, чтобы обойтись без суждения человека.

Энтузиазм Винсента оказался поистине безграничным. Однако, как он сам признаёт, порт – это закрытая среда. Логистика контейнеров – своего рода огромный кубик Рубика: компьютер всегда сможет найти лучшие комбинации, достаточно оптимизировать потоки. Но все равно это не та задача, которая повторяется в неизменном виде. Параметры все время меняются, в порту не бывает и двух совершенно одинаковых дней. У алгоритма есть способность адаптироваться к постоянно меняющимся сценариям, если только они не требуют внешнего источника знаний. Не нужно знать, откуда поступают товары, для чего они предназначены, на какой стадии находится коммерческая война с США или сколько лет капитану. Автоматизация может увенчаться успехом только в случае крайней изоляции. До ИИ можно было верить, что порт – это место, открытое в мир. На самом же деле это архетип закрытой системы, которая может обойтись без всякого мировоззрения, – редкое исключение в нашем сложном универсуме.

Конструирование автономных портов ex nihilo поднимает, однако, неприятный вопрос о сохранении традиционных профессий. Не возникнет ли искушения увеличить – в целях простоты или из экономического расчета – число подобных пространств, «непроницаемых для здравого смысла», во всех секторах экономики? Иными словами, хотя сегодня официант по-прежнему необходим для парижского бистро, возможно, завтра рестораны будут проектироваться так, чтобы обойтись без него? Что, если потребители постепенно забудут о самом принципе трактира – места общения с весьма сложными целями – и свыкнутся с комфортом таких забегаловок, как кафе Pret A Manger, где я встречался с Чунлонгом? Опасность не столько в появлении ИИ в реальном мире, сколько в такой трансформации этого мира, которая позволит ему приспособиться к ИИ.

Итак, будущее труда зависит не от неизбежной технологической эволюции, а от двойного социально-политического выбора: захотим ли мы сохранить «бредовые работы» и их человеческую, слишком человеческую абсурдность? Хотим ли мы создавать роботизированные, слишком роботизированные среды? Худший из сценариев – тот, в котором все люди посвятили бы себя бесполезным задачам и стали бы при этом жить в абсолютно стерильных пространствах. Я же предпочитаю сценарий, в котором оздоровленный капитализм позволил бы работать меньше, но сохранить несколько хаотичную сложность наших обществ.

Во всех этих сценариях на самом ИИ лежит лишь незначительная ответственность. Паника, связанная с будущим труда, представляется мне в этом случае научно необоснованной, исторически уже отыгранной и сомнительной в моральном плане. Почему пророки автоматизации никогда не ставят под вопрос свою собственную деятельность? Самые известные кассандры, такие как Илон Маск, который регулярно заявляет о замещении и даже уничтожении человечества машинами, – сами настоящие трудоголики[73]. Роботы – это всегда для других, для тех, кто не является незаменимым. Страх автоматизации стал современной формой классового презрения.

Эта двойственность предстала передо мной со всей ясностью в дискуссии с Крейгом Хансоном, основателем инвестиционного фонда NextWorld Capital, во время нашей встречи в Сан-Франциско. Как указывает само название фонда, NextWorld вкладывается в стартапы, занимающиеся проектами на передовой цифровых инноваций. Крейг полагает, что ИИ перевернет все сферы экономики и радикально преобразует общество. Даже если не обращать внимания на громкие заголовки и моду, которые заставляют предпринимателей вставлять отсылки к ИИ в свои презентации, мы вступаем в долгую эпоху «скучного ИИ», когда машинное обучение постепенно захватит все отрасли. Крейг убежден, что такой ИИ сведет роль человека к функции начальника станции, который время от времени дает зеленый свет, а потом и полностью его заменит. По мере того как ИИ будет обучаться принимать все более стратегические решения, наша способность к суждению начнет устаревать.

– Но как обстоит дело с инвестициями? – задал я ему невинный вопрос. – Вас тоже заменит ИИ, способный анализировать бизнес-модели и предсказывать рыночные возможности?

– Нет, ни в коем случае, – тут же вскричал обиженный Крейг. – Инвестиции – это слишком сложно. Этот сектор подвергнется автоматизации последним.

Я предлагаю называть эту реакцию «парадоксом Крейга». Каждый в своей сфере деятельности спонтанно понимает все тонкости своих ежедневных задач, постоянную потребность в суждении, которое не сможет заменить никакой ИИ. Тогда как у других ту же потребность легко игнорировать. Рентгенолог пожелает, чтобы ИИ ради бо́льшей безопасности руководил дорожным транспортом, тогда как дальнобойщик захочет автоматизировать журналистику, которая тем самым станет более объективной, журналист откажется понимать, что такого сложного в инвестициях, а инвестор предпочтет, чтобы машина анализировала его медицинские анализы.

Но я предлагаю каждому опробовать на практике профессию другого, чтобы лучше осознать всю ее сложность. Мы требуем роботизации, поскольку принимаем другого за робота. Немного эмпатии – и эта иллюзия исчезнет. Лучший аргумент против «конца труда» высказал, таким образом, Декарт: здравый смысл – это самая распространенная вещь на свете… однако ее ничем нельзя заменить.

3

Принцип турникета

Почему вам больше не придется делать выбор

В Шанхае шел дождь. Не мелкий дождик Нанта, так вдохновлявший Барбару[74], а муссонный ливень, который стекал с небоскребов и затапливал тротуары, делая любое передвижение невозможным. Я нашел убежище в музее Юз, где проходила коллективная выставка «Random International», поставившая целью исследовать место человечества в технологическом универсуме. Программа обещала «Все или ничего». Я сделал ставку на «ничего» и толкнул дверь, чтобы поскорее попасть внутрь.

Контраст с музеем Янга в Сан-Франциско оказался разительным. Выставка в Шанхае должна была представить машину в гораздо более критическом свете, погрузив посетителя в неприятный опыт разного толка: вот бульдозер, который размалывает человека; вот другой человек отражается на экране в виде облака светящихся точек. От природы посетитель изолируется в Rain Room, где дождь останавливается, когда он входит. Возможно, это было случайно, но мой визит в Китай начался с пугающих предостережений. Посреди главного зала была выставлена вроде бы совершенно невинная инсталляция: несколько десятков горизонтальных турникетов, расположенных на равном расстоянии друг от друга. Посетители рассеянно проходили сквозь них, прокладывая себе путь от одного к другому по мере движения по помещению. Через какое-то время я заметил, что их траектория под действием турникетов слегка меняется. Не осознавая этого, они отклонялись от прямой линии, что изменяло их маршрут по выставке. Я сам попробовал пройти: механически толкая металлические рычаги турникетов, я почувствовал неодолимое влечение перейти от одного к другому, следуя своего рода плану, смысл которого от меня ускользал. Однако в любой момент я мог изменить направление движения или вернуться назад. Никакое физическое препятствие мне не мешало. Но легче было отдаться плавному движению, не встречая никакого сопротивления. Возможно, первоначальный выбор я сделал в тот момент, когда вообще решил пройти через турникеты, хотя легко мог бы их обойти?

Какое у всего этого отношение к технологии? У всех прочих произведений на выставке было совершенно ясное послание, в то время как турникеты оставались немыми. На них не было объяснительной таблички или слогана в виде граффити. Не придав им особого значения, я развлекался в весьма популярной Rain Room.

Шли дни, и я погрузился в реальность социального контроля по-китайски, в котором массовое применение ИИ должно позволить управлять поведением граждан практически во всех сферах жизни, начиная с образования и заканчивая любовью. Рекомендательные системы, основанные на максимизации индивидуальных предпочтений, нацелены на то, чтобы передать право выбора машине. Вот тогда-то я и осознал в полной мере, что означают эти турникеты. ИИ, как и они, ничего не навязывает. Он предлагает, направляет, успокаивает. Достаточно представить, что каждый турникет, точно регулируемый в соответствии с нашими личными качествами, будет незаметно менять траекторию движения каждого человека в зависимости как от его собственных интересов, так и от интересов группы. В таком случае у нас все еще будет ощущение, что мы сами выбираем цель и просто свободно используем доступную технологию. Мы можем успокаивать себя, воображая, что еще можем отказаться, что достаточно просто не кликать. Но в то же время, переходя от одного турникета к другому, привыкая к комфорту и эффективности, мы отказываемся от самого отказа. Если вначале попытаться пойти наперекор системе, недостаточность нашего суждения вскоре заставит нас отказаться от борьбы с компьютерной оптимизацией. А потому мы просто позволим вести нас за ручку… Кто, в конце концов, продолжает сегодня пользоваться картами и компасами, а не Google Maps?

Боюсь, что мы вступаем в общество турникетов. В силу биологических соображений, представленных в предыдущей главе, я не вижу в ИИ метафизической угрозы будущему Homo sapiens. Споры о сверхинтеллекте скрывают от нас реальную социальную проблему, связанную с этой технологией[75], а именно вопрос свободы воли. Дело в том, что стремительно развивающиеся сегодня промышленные приложения ИИ стремятся исключить из нашей жизни индивидуальный выбор. Чтобы лучше служить нам, они освобождают нас от необходимости принимать самостоятельные решения, которые никогда не бывают идеальными из-за нашей предвзятости и недостатка информации. Принося нам все больше и больше благ, они ежедневно доказывают свою полезность и свое превосходство. ИИ знает наши глубинные вкусы лучше нашего поверхностного сознания – почему бы тогда не предоставить ему управление нашим счастьем? И если Токвиль в эпоху только-только появившихся демократий обнаружил, что их главный фактор – «свобода», я закончил свое долгое путешествие с убеждением, что главное качество эры ИИ – «конец свободы воли». Собственно, возможно, это и есть решение, избавляющее человечество от всех его бед. Быть может, свобода воли – просто схоластическая сказка, иллюзия, отказом от которой мы могли бы гордиться. Но все-таки нужно ясно понимать, что именно мы готовимся потерять.

Наука против свободы воли

Канеман, Канеман, Канеман… Этот призрак преследовал меня на протяжении всего моего путешествия. Ян Лекун обедал с ним накануне в Нью-Йорке. Джарон Ланье, историческая фигура в калифорнийской технологической среде, посматривал на него во время нашего обеда в Saul’s, типичном американском дайнере в центре Беркли, с черно-белой плиткой и мягкими банкетками. Уже в первый же день в Бостоне Джим Гласс из MIT сослался на опыты Канемана, чтобы убедить меня (не без труда) в том, что люди не настолько рациональны, как думают сами. В Пекине Эрик Чанг, директор по стратегиям в Microsoft, приводил мне цитаты из его трудов, чтобы я не придавал слишком большого значения свободе воли. Нассим Талеб, обычно не слишком жалующий современников, делает исключение для Канемана, на которого иногда ссылается, причем с воодушевлением[76]. Даже Гарри Каспаров, анализируя взаимодополняемость человека и машины[77], посвящает несколько страниц «замечательным работам» Канемана. Мне рассказывали о Канемане так часто, что в итоге у меня возникло чувство, будто я знал его всегда. Мне казалось, что этот обходительный академик с пушком редких седых волос появлялся на каждой из моих встреч. Если и есть сегодня властелин идей на сцене ИИ, им может быть, как я выяснил эмпирически, подсчитав число цитат в своих записках, только Канеман.

Однако Дэниел Канеман – кто угодно, но только не мыслитель технологии. Этот ученый-психолог посвятил свою карьеру экспериментальному доказательству того, что человеческие решения подвержены многочисленным предубеждениям и «когнитивным иллюзиям». Наши повседневные суждения могут быть какими угодно, но только не рациональными. Эффект гало, эвристика аффекта, впечатления причинности, предубеждение подтверждения, иллюзия обоснованности, ассоциативное мышление, софизм планирования, неприятие потери, регрессия к среднему, эффект заякоривания – все это рефлексы, вписанные в наши нейронные контуры, ментальные оптические иллюзии, которые приводят нас к ложным заключениям. Вот почему мы чувствительны к таким ценам, как «99,99 евро», и не любим отказываться от уже начатых проектов. Наша «система 1», как ее холодно называет Канеман, то есть система быстрого мышления, постоянно порождает ложные вероятности и обрывочные умозаключения, пытаясь свести окружающий нас мир к внешне логичной схеме. Чтобы исправить ее, «системе 2», которая должна применять нашу рациональность и критическое чувство в более спокойном режиме, как правило, просто не хватает времени: она может сосредоточиться лишь на небольшом числе решений и чаще всего лениво соглашается с предложениями «системы 1». Таким образом, наши явные предпочтения оказываются не чем иным, как «безнадежным миражом».

Я приведу лишь один пример из сотен, чтобы дать общее представление о Канемане[78]. Это история Линды, которую я позволю себе адаптировать к реалиям современной Франции. Линда – студентка социологического факультета, активистка, которая борется с несправедливостью и ущемлением прав других видов. Она участвовала в оккупации кампуса Жюсье во время забастовок весны 2018 года. Кем она с бо́льшей вероятностью станет спустя десять лет:

1. воспитательницей в детском саду;

2. преподавателем йоги;

3. банковским работником;

4. социальным работником;

5. банковским работником, борющимся за права животных?

Большинство опрошенных учитывают предположительные личные качества Линды и полагают, что она, скорее всего, станет «банковским работником, борющимся за права животных». Но, если задуматься и провести очень простое логическое рассуждение, становится ясно, что это не так, поскольку вариант 5 является лишь подчиненной категорией варианта 3: вероятность того, что Линда станет «банковским работником, борющимся за права животных», не может быть больше вероятности того, что она станет просто банковским работником. Эта распространенная ошибка иллюстрирует предубеждение «репрезентативности», в силу которого вкус к стереотипу берет верх над элементарным статистическим рассуждением.

Эти психологические открытия, которые кажутся довольно тривиальными читателю, хорошо знакомому с максимами классических моралистов, оказали огромное влияние на экономическую науку, которая до 1970‐х годов опиралась на постулат рационального индивида, то есть Homo economicus, способного оптимизировать собственную полезность. Работы Канемана тесно связаны с возникновением поведенческой экономики, которая рассматривает человека вместе со всеми его изъянами. Так, Ричард Талер, соратник Канемана и ведущая фигура поведенческой экономики, проводит в нашем поведении различие между тем, что относится к «экону» (равноценному «системе 2»), и тем, что относится к «человеку» («система 1»). Эти исследования здравого смысла изменят весь подход к рынку, который отныне должен будет учитывать менее обдуманные решения. Задача не в том, чтобы сделать человека совершенно рациональным (что, к счастью, невозможно), а в том, чтобы минимизировать негативные экстерналии, вызванные предвзятыми решениями. Сегодня эти тезисы в академическом мире считаются вполне подтвержденными: в 2002 году Канеман получил Нобелевскую премию по экономике, а в 2017 году ее вручили и Талеру.

Это привело к перевороту в публичной политике. С точки зрения гипотезы рационального агента, которую можно назвать фридмановской, считалось недопустимым защищать индивида от него самого, поскольку каждый принимает результаты собственного выбора, сделанного с полным знанием дела. И наоборот, человека, склонного к иллюзиям и поспешным суждениям, можно и должно подталкивать к решениям, которые внешний наблюдатель, в данном случае регулятор, сочтет лучшими. Именно это Тайлер и назвал «либертарианским патернализмом»: индивиду надо предоставить весь набор возможных вариантов, но «подталкивая его локтем» (по-английски nudge[79]) к тому варианту, который представляется наиболее желательным. Например, если мы замечаем, что студенты в столовой обычно берут первое блюдо, которое стоит на раздаче прямо перед ними, можно устроить так, чтобы это был салат, а не гамбургер, но не запрещать им целенаправленно выбирать менее здоровую еду. Таким образом, можно использовать те самые механизмы, которые ведут к ошибке, чтобы защититься от наших негативных инстинктов. Эта политика подталкивания стала чрезвычайно популярной среди политиков в начале 2010‐х годов: британский премьер-министр создал в своем правительстве специальный Nudge Policy Unit. Даже Google использует внутри компании такие «подталкивания», чтобы снизить потребление мяса среди сотрудников или повысить производительность за счет системы персональных извещений. В Кремниевой долине даже стали нанимать «специалистов по подталкиванию», nudge scientists…

Но какое отношение все это имеет к ИИ? Канеман сам указывает на это отношение, комментируя опыты Пола Мила. Этот психолог в 1950‐х годах решил доказать превосходство «статистического предсказания» над «клиническим предсказанием». Мил изучил, как профессиональные работники образования предсказывают будущие оценки студентов первого года, основываясь на сданных экзаменах, на тестах способностей, а также на личной беседе. Затем он сравнил эти прогнозы с результатом строгой математической формулы, основанной на некоторых простейших данных. Выяснилось, что формула регулярно давала лучший результат, чем человеческое суждение. Это, по мнению Мила, доказывало, что эксперт всегда находится под влиянием слишком большого числа неточных критериев и субъективных мнений, будь они сознательными или нет. И наоборот, простые правила и анкеты, не зависящие от «системы 1», обладают доказанными преимуществами, которые хорошо известны летчикам и альпинистам: в случае паники лучше полагаться на учебник, чем на интуицию. Отсюда важность приобретения определенных «автоматизмов», которые превращают нас, по сути, в автоматы. Канеман полностью разделяет эти выводы: «Эксперты уступают алгоритмам». Из этого он выводит определенные следствия, имеющие значение для мира ИИ, в котором алгоритмы производят все больше и больше статистических вычислений: надо преодолеть наше естественное предпочтение человеческого суждения (например, врача или адвоката) и научиться доверять машине, чистой «системе 2», свободной от любых предубеждений. «К счастью, – заключает Канеман, – враждебное отношение к алгоритмам, вероятно, будет ослабевать по мере возрастания их роли в повседневной жизни».

Теперь мы лучше понимаем, почему Канеман важен для столь многих поборников ИИ. Иррациональность наших повседневных суждений оправдывает помощь машины, способной определить наши личные потребности и при этом избежать наших когнитивных иллюзий. Поскольку мы сами не смогли бы обрабатывать постоянно поставляемую машиной информацию, почему бы не попросить ее упростить и сам процесс принятия решения, ненавязчиво руководя нами и нашим поведением? А поскольку наша «система 2» дает нам лишь весьма несовершенное представление о самих себе, не могли бы мы возложить на ИИ также и задачу определения наших истинных желаний, чтобы машина помогала в совершенствовании не только эффективности наших решений, но и самой их природы? Таким образом, ИИ мог бы действовать в качестве своего рода универсального nudge, заранее выполняя за нас работу по выбору и надолго помещая нас в общество турникетов[80].

Канеман не отрицает существования свободы воли. Он довольствуется тем, что связывает ее с «системой 2», которая относительно слаба, поскольку не имеет возможности справляться с постоянным потоком информации и может мобилизоваться только в исключительных обстоятельствах и ценой заметных усилий. Будучи психологом, Канеман сосредотачивает свои исследования на ошибках «системы 1», оставляя другим вопросы сознания и свободного выбора, помещенные в черный ящик «системы 2». Множество современных ученых, занимающихся нейронауками, ответили на этот вызов, постаравшись доказать, что само понятие свободы воли является наследием средневековой метафизики. По мере расшифровки работы мозга мы сможем свести способность принимать решения к химическим процессам, которые могут быть раскодированы и подсчитаны. Станислас Деан, один из ведущих ученых в этой области, решил реабилитировать картезианское представление о чисто механическом устройстве мозга[81]. Он хочет раз и навсегда покончить с идеей души, духа или сознания, которое якобы способно абстрагироваться от законов молекулярной биологии и делать «свободный» выбор (то есть выбор в определенном смысле случайный и даже произвольный). То, что философ Дэвид Чалмерс назвал «сложной проблемой» сознания, для Деана сложным не является. Шестьдесят миллиардов нейронов нашего мозга обрабатывают полученную информацию в зависимости от генетической предрасположенности и нашего прошлого опыта. В тот день, когда нейроны будут полностью картографированы, мы сможем предсказывать наши психические процессы с той же точностью, что и рикошет бильярдных шаров. Деан не отвергает, однако, «автономной способности к решению», он только проводит четкое различие между нею и темной непредсказуемостью «свободы воли». «Система 2» может, конечно, принимать сложные решения, разумно взвешивая все «за» и «против», однако в конечном счете эти решения определяются нашей биологической конституцией. Тот факт, что наши действия являются результатом исключительно сцепления причин и следствий, не означает их иррациональности, скорее наоборот. Вполне логично, что Деан не видит никакой причины, по которой ИИ не мог бы обладать такой же «автономной способностью к решению», искусственно воспроизводя нашу способность к внутреннему рассуждению. У машины свободы воли не больше и не меньше, чем у нас, людей. То есть она могла бы с полным основанием поддержать нас в применении нашей собственной рациональности.

Итак, мы видим несколько обескураживающее слияние психологии, поведенческой экономики и нейронаук, которые все в равной мере отвергают свободу воли. Это представление популяризируется такими эссеистами, как Сэм Харрис, который крайне упрощает детерминистское рассуждение, полагая, что наши мысли – плод одних лишь физических законов и что, следовательно, «моя психическая жизнь дана мне в силу специфического устройства космоса»[82]. Столь радикальный тезис влечет весьма значимые следствия для нашего представления о праве, экономике или любви. Если действия людей детерминированы, значит, к ним в целом не применима никакая моральная ответственность. А как же тогда наказывать преступников, вознаграждать достижения или требовать верности? И наоборот, не становится ли каждый ответственным за общее благо, если всякое действие может изменить поведение другого? Сэм Харрис охотно признаёт, что наши общества по-прежнему основаны на постулате автономного индивида, и боится «культурной войны», разворачивающейся вокруг свободы воли. Споры на эту тему наверняка выйдут за пределы здравомыслящих кругов научного сообщества, что приведет к расшатыванию всех наших институтов. Разве уже сегодня мы не требуем от социальных сетей следить за пагубным влиянием, которое способен оказывать на их пользователей определенный контент, и не признаём ли тем самым, что сами пользователи не располагают никакой свободой психического маневра, позволившей бы им избежать своей цифровой судьбы? Ян Лекун подтвердил мне высокую прогнозируемость поведения пользователей Facebook, которые едва ли не систематически поступают в соответствии с предсказаниями данных. В детерминистском мире нужно контролировать поведение гражданина на первых этапах, а не наказывать его за результаты.

Эти теории свободы воли сегодня в моде, они предоставляют сильные аргументы, оправдывающие современное применение ИИ, когда машина все больше заменяет индивидуальное суждение. Модные критики «надзорного капитализма»[83], даже если они правы в констатации общей манипуляции поведением, с моей точки зрения, упускают эпистемологическое основание этих практик. Задача не только в получении прибыли, но и в том, чтобы принести людям добро вопреки их сознательным предпочтениям. Как верно пишет социолог Доминик Кардон, изучающий большие данные, «опираясь в значительной мере на работы по психологии и экспериментальной экономике, архитекторы новых алгоритмов больших данных уверяют, что следует доверять только реальному поведению людей, а не тому, что они, по их собственному мнению, делают, когда рассказывают о себе»[84]. Цель этой работы по сбору данных, позволяющей определить наше реальное поведение, скрытое за явными намерениями, – получить возможность тонкой настройки наших будущих действий и мыслей. Как только индивиды освобождаются от категорий и усредненных величин, они, поскольку их обрабатывают, учитывая их индивидуальность, становятся «механическими мышами в лапах вычислителей»[85]. Мышами, которые не могут выбраться из своего лабиринта, поскольку игра корреляций стремится стабилизировать наши собственные характеристики. Как указывает мне Эммануэль Кандес, статистик из Стэнфорда, корреляция становится нормативной. Невозможно убежать от самого себя.

Было бы слишком просто не принимать всерьез благие намерения технологической сферы. Общество турникетов – это прямое следствие отказа от свободы воли. А раз свобода воли – фикция, почему бы не положиться на сеть хорошо продуманных стимулов? Если наши решения все равно страдают от предвзятости, почему бы не делегировать управление нашими интересами системам, которые знают их лучше нас самих? Не является ли nudge, внедряемый правительствами, а также частными компаниями, решением всех наших проблем?

Универсальный nudge

ИИ в той форме, в какой он ныне понимается цифровой индустрией, в полной мере задействован в этом универсальном nudge, обеспечивая персонализацию и оптимизацию. Каждого подталкивают в зависимости от предоставленных им данных, которые позволяют точно идентифицировать его поведение. Nudge определяют по двум критериям: во-первых, по уровню благосостояния пользователя, во-вторых, по степени коллективной полезности. И в этом он, безусловно, имеет самое прямое отношение к политике.

Эта глубинная функция ИИ предстала передо мной на закате, на террасе в Венис-Бич, где я пил пиво с Рамсеем Брауном, основателем стартапа Boundless AI и одним из самых колоритных людей, с какими мне довелось встретиться. Рамсей со своей ухоженной бородой, расстегнутой до пупка гавайской рубашкой и бритым по бокам черепом представляет собой удивительную смесь православного священника, Бернара-Анри Леви и Джастина Бибера. Он радостно затащил меня на пляж на западе Лос-Анджелеса, в квартал, где тусуются молодые технари, которых из Кремниевой долины прогнали высокие цены на недвижимость. В итоге мы оказались в его скромном бунгало, где пили торфяной виски, курили турецкие сигареты с гвоздикой и проговорили несколько часов. Рамсей поведал мне о своих сомнениях с поистине редкой откровенностью – откровенностью честного человека, погруженного в самую инвазивную технику, которую только знало человечество.

Официально миссия Boundless AI – это «соединение нейронаук и ИИ для простых личных поведенческих решений». То есть речь о такой манипуляции Homo connecticus, которая позволит контролировать его реакции и направлять его выбор. Говоря конкретно, Boundless AI предоставляет приложениям проверенные нейронауками техники, помогающие выработать у пользователей пристрастие к таким приложениям. Иными словами, компания продает зависимость. Рамсей понял это, когда попытался выполнить свое совершенно правильное решение заниматься спортом, принятое им в начале года: почему его приложение для бега не может мотивировать его более проактивно? Boundless AI предлагает довольно простые стимулы, такие как заработанные баллы или поздравления. Рамсей говорит, что четкое сообщение для мозга – как игровой автомат для казино: это самый примитивный, но в то же время самый эффективный инструмент. Тем более что знание схем вознаграждения мозга позволяет проводить весьма тонкую настройку, которая соответствует вкусам и чувствительности каждого. Самое страшное, что это работает: благодаря напоминаниям, настроенным на точно выбранный момент, приправленным правильной дозой подбадривания и укоров, Boundless AI позволила финансовому сектору увеличить прогнозируемый коэффициент погашения кредитов на 14 %, платформе электронной торговли – нарастить средний размер виртуальной корзины клиента на 30 %, а видеоигре – увеличить на 11 % число ежемесячных сессий. Причем этот успех повторяется в любой стране мира, от Калифорнии до Кении, где вела дела компания Boundless AI: мозг, по словам Рамсея, у всех работает одинаково, только форма вознаграждения может меняться в зависимости от культуры. «Но есть же, наверное, – возразил я, – мятежники, оригиналы, которые считают такие сообщения идиотскими и патерналистскими?» «Мы ничего такого не заметили», – говорит Рамсей, теребя бороду, явно гордясь своей компанией, но в то же время стыдясь за человечество. Предлагаю вам самостоятельно поразмышлять о лозунге Boundless AI: «Ваш мозг можно запрограммировать. Вам просто нужен код».

Рамсей, по образованию специалист по нейронаукам, не имеет никаких иллюзий насчет свободы воли. Он цитирует разных авторов – изобретателя кибернетики Норберта Винера и психолога Б. Ф. Скиннера, придумавшего «радикальный бихевиоризм», – чтобы убедить меня в том, что человеческое поведение – это продукт среды, которая является частью постоянно работающей петли действия и реакции. Наука вероятности превращает нас в тех, кого можно предсказать статистически. Технологии ИИ пользуются этим знанием, чтобы, по примечательному академическому выражению Рамсея, «изменить будущее распределение поведения». Почему бы не помочь людям, чтобы они, к примеру, вовремя принимали лекарства? Если мы уже детерминированы, не лучше ли передать себя в руки Boundless AI, которая, естественно, хвастается тем, что выбирает лишь «этичных» клиентов?

Однако в словах Рамсея заметен и определенный гуманизм, противоречащий его собственным научным принципам. Благодаря этой шизофренической двойственности он и кажется таким необычным и привлекательным человеком. «Действительно ли мы этого хотим?» – спрашивает себя Рамсей за третьим пивом. На этот раз он ссылается на Жака Эллюля, французского философа техники, чтобы оправдать некий «технологический фатализм»[86]. Невозможно сопротивляться технологии. В крайнем случае можно попытаться обернуть ее против нее самой. Так нечистая совесть Рамсея довела его до того, что он создал антидот от собственных продуктов – специальное приложение Space, которое можно использовать бесплатно. Space позволяет «передохнуть», установив паузу перед тем, как на смартфоне можно будет открыть новое приложение. Space выдает сообщения, которые должны вернуть пользователю власть над собственными желаниями: «Не наша вина, если мы пристрастились к приложениям, ведь они сделаны именно для этого». А уж это Рамсей знает лучше любого другого… Напоминая нам о том, насколько мы подвержены манипуляции и насколько нами действительно манипулируют, Space пытается организовать сопротивление компании Boundless AI и им подобным. Неудивительно, что приложение было запрещено в App Store компанией Apple, и Рамсею пришлось долго бороться в медиа, чтобы его туда вернули. Но этот провал определялся самой концепцией приложения, поскольку Space призван бороться с рефлексами, крепко укорененными в нашей биологической конституции. На сегодняшний день только 10 тысяч Homo connecticus ежедневно включают Space, тогда как число пользователей услуг Boundless AI в двадцать раз больше. Пристыженный Рамсей признаёт, что его пользователи добровольно предпочитают рабство. Бедный доктор Джекил, разгромленный мистером Хайдом!

Когда глубокой ночью мы наконец расстались, Рамсей подарил мне на прощание DVD-диск с «THX 1138», первым фильмом Джорджа Лукаса. Это антиутопия в стиле Хаксли, в которой изображены люди, живущие под постоянным контролем в странном подземном универсуме, снятом в тысяче оттенков белого. Каждый трудится над коллективным счастьем, высшей целью этого зомбированного общества. Чтобы контролировать и подавлять эмоции граждан, правительство выдает им наркотики в виде маленьких белых и красных таблеток. История начинается с того, что два соседа – LUH и THX – перестают принимать эти лекарства, и между ними возникает любовь, которая преследуется властями. За этим следуют то ли фантастические, то ли сновидческие приключения, предвосхищающие более зрелый стиль Лукаса как режиссера. Мысль Рамсея вполне понятна: предлагая нам счастье и накачивая нас постоянными «подталкиваниями», как наркотиками, ИИ способен создать такую форму массового контроля, которая окажется еще более неумолимой именно потому, что будет приватизирована. В ней не будет даже «центра управления», чтобы можно было с ним бороться, как делает THX 1138. Мы попадемся в сети, которые сами же и соткали, создавая одно приложение за другим.

Мы всегда считаем, что люди с зависимостью – это другие. Возвращаясь в гостиницу, я говорил себе: все это не про меня… Уж я-то, с моей волей к жизни, не проглочу эту таблетку. Я, со своим желанием противоречить, не буду подчиняться сладкоречивым сообщениям, придуманным Boundless AI. Я, со своим критическим духом, не поведусь на грубые эмотиконы. Я автономен.

Но потом у меня тоже случилось откровение. Все началось с чтения последней книги Джарона Ланье, купленной по случаю в одном книжном магазине Сан-Франциско[87]. Ланье, гик-либертарианец с легендарными дредами, – мой ориентир по любым вопросам, связанным с технологией. Настоящая икона контркультуры и в то же время исследователь в Microsoft, он имеет все основания изнутри критиковать развитие цифрового мира, в создании которого сам участвовал. В своей предыдущей работе он уже убедил меня в том, что вознаграждение, получаемое за предоставление личных данных, – моральная и экономическая необходимость, без которой нельзя избежать господства больших платформ[88]. Его краткий и сильный памфлет «Десять аргументов за то, чтобы немедленно выйти из социальных сетей» стал похожим откровением[89]. Ланье разоблачает логику «ангажирования», вписанную в алгоритмы социальных сетей. Их бизнес-модель опирается на накопление данных. Чтобы извлекать данные, надо порождать деятельность. Для этого требуется создавать зависимость. А для создания зависимости необходимо играть на наших основных инстинктах: вознаграждение (лайки), конфликт (война твитов), конкуренция (число фолловеров). Оглупление публичных дискуссий, партийная истерика, диктатура эмоций, возвращение практик публичного порицания и массовая дезинформация – все это прямые следствия того постоянного щекотания наших нейронных цепей, которое выполняют социальные сети[90]. Трамп – это не президент, строчащий твиты, а твит, который был избран президентом самой логикой ретвита. Самые изощренные умы бьются над тем, чтобы выразить окончательные суждения, уместив их в 280 знаков. Палитра человеческих чувств сводится к двум реакциям: «нравится» – «не нравится», двум сторонам одной и той же инфантильной регрессии. Социальные сети, как они понимаются сегодня, подрывают наши демократии. Как говорит Ланье, мы все становимся зомби. Решение простое: отключиться.

На теоретическом уровне меня это убедило. Но я все же не собирался бросать 20 тысяч своих фолловеров в твиттере, которых старательно собирал многие годы и с которыми ежедневно общался. Для меня это был настоящий рабочий инструмент, позволяющий мне распространять собственные идеи, делиться статьями, объявлять о публикациях. Как изменить общественное мнение, если не присутствовать там, где оно, собственно, формируется? Вот это я и объяснил Джарону за завтраком.

Слова не понадобились. Впиваясь зубами в свой четвертый бейгл, Джарон вежливо молчал. Сколько раз он слышал подобные объяснения? В конце концов, они есть у всех коллаборантов.

Это стало для меня делом чести или по крайней мере самолюбия. Сидя в Калифорнии, я набрался храбрости и окончательно уничтожил свои учетные записи в фейсбуке и твиттере, решившись более туда не возвращаться. Вот тогда-то я и почувствовал эффект зависимости, в особенности от твиттера, который использовал ежедневно, ежечасно, практически ежеминутно, то есть в любой свободный момент. Когда я обедал с семьей, в любую секунду мог прозвучать сигнал уведомления. Когда я работал на компьютере, аккаунт был открыт в фоновом режиме и любое сообщение тут же отвлекало меня от работы. Я подсел, сам того не осознавая, на поток лайков и ретвитов, потерял способность жить, не получая все чаще и чаще определенную дозу любви и ненависти. Твиттер поддерживал меня в искусственном состоянии перевозбуждения. Изучив мои вкусы, ИИ предлагал мне в самый подходящий момент такие посты, на которые я непременно должен был среагировать[91]. То есть именно в то время, когда я тешил себя иллюзией, будто отстаиваю свободу, я стал своего рода лабораторной крысой, чьи реакции на посылаемые ей сигналы точно просчитаны, – и все для того, чтобы обогатить теневые венчурные фонды. Разве это не идиотизм?

Отвыкнуть, впрочем, оказалось непросто. Внезапно я остался наедине с самим собой, лишенный постоянного потока взаимодействий, которые, по сути, были совершенно предсказуемы. Я осознал, что добровольно замкнулся в «племенной» логике: потерял способность выйти из своего либерального заповедника, высказывать сомнения и уточнения, чтобы не разочаровать ими своих фолловеров, алчущих твердых мнений. Некоторые называют такой феномен «политической гомофилией»[92]: благодаря игре данных интернет стал пространством, которое, не приветствуя различия, усиливает сходства. Больно осознавать это добровольное рабство, странную манипуляцию, источником и одновременно жертвами которой мы стали…

Постепенно я приучился записывать свои впечатления в блокнот, а не постить их у всех на виду, общаться с друзьями, а не поддразнивать их, радоваться собственной жизни, а не хвалиться ею. Прошло нескольких сложных недель (когда, признаюсь, я часто бывал на грани рецидива), и мой мозг вернулся к нормальной работе, восстановив три важнейших интеллектуальных функции: концентрацию, плотность, сложность. Вскоре я обнаружил, что снова смог читать часами, не отрывая глаз от книги, вернулся к внутреннему диалогу, который давно прервался, и начал следить за мыслями, идущими вразрез с моими привычными навязчивыми идеями. Сегодня искусственный рай социальных сетей внушает мне лишь глубокое отвращение. Подобно Рентону из фильма «На игле», я решил вернуться к трезвой и счастливой жизни, без троллей и перестрелок твитами.

Так я на собственной шкуре понял, какой поразительной силой манипуляции обладает ИИ. Чтобы выйти из-под ее власти, требуется железная дисциплина. А вот вернуться к ней можно за один клик…[93]

Но все-таки, если ИИ помогает нам принимать ежедневные решения, от выбора маршрута до занятий фитнесом, может быть, он позволит нам сэкономить интеллектуальные ресурсы для более важных в нашей жизни решений? Что, если применять nudge только в той сфере, которая ограничивается мелочами?

Однако мелочи – это и есть жизнь. Токвиль когда-то сформулировал глубокую мысль: «Именно в мелочах опаснее всего порабощать людей». Когда нас постепенно избавляют от привычки самостоятельно выбирать музыку, которую мы слушаем, или ресторан, где мы обедаем, – как можно свободно выбрать профессию или партнера? В недавнем нейрологическом исследовании изучалось влияние GPS на наш мозг[94]. Сравнивались две группы, которые должны найти дорогу в Лондоне: одной помогает приложение геолокации, а другая обходится без таких приложений. Исследователи пришли к выводу, что упражнение памяти и чувства ориентации повышает активность гиппокампа, причем эта активность растет пропорционально сложности маршрута. И наоборот: ученые опасаются, что постоянное применение GPS может привести к атрофии определенных зон мозга, что повышает риск болезни Альцгеймера. Каждый видел, как водители такси сервиса Waze колесят по Парижу по десять часов подряд, совершенно не осознавая ни места, в котором они оказались, ни географии города. Конечно, нельзя заставить себя вернуться к дорожным картам. Но нужно понимать, что за комфорт, предоставляемый ИИ, приходится платить определенную когнитивную цену. Если мы полагаемся на машину, когда надо повернуть налево или направо, не начнем ли мы в конце концов спрашивать у нее, с кем заключать брак? На что же будет похоже общество без гиппокампа?

Как это часто бывает, китайская модель – наиболее яркая иллюстрация этого вопроса. Чтобы не отвлекаться от проблемы вождения автомобилей, я отправился в штаб-квартиру компании Didi. Она находится в самом центре района Чжунгуаньцунь, который часто называют китайской Кремниевой долиной. Didi – это китайский эквивалент Uber; водители этого агрегатора выполняют 30 миллионов рейсов… в день. Компания, основанная всего-то пять лет назад, уже оценивается в несколько десятков миллиардов долларов, а ее кампус простирается на несколько километров. Стеклянные здания, украшенные оранжевым логотипом Didi, выстроились в ряд до самого горизонта – живое свидетельство поразительной скорости роста китайской экономики. После долгого блуждания по кампусу мне наконец удалось найти нужный адрес. Я встретился с Ву Гуобином, одним из руководителей исследовательского подразделения, специалистом по компьютерным наукам. Когда мы прошли мимо недовольных охранников департамента коммуникации, он безо всякого стеснения объяснил мне, что GPS – лишь первый этап в автоматизации всех решений, связанных с траекторией движения. Система виртуальной реальности будет точно показывать пассажиру, в каком направлении он должен идти, чтобы найти водителя в месте встречи; ему достаточно будет просто следовать за стрелками на экране. Что касается водителя, Didi в этом вопросе занимает еще более амбициозную позицию. Если в традиционных агрегаторах такси водители выбирают поездки в зависимости от меняющихся цен, Didi предпочитает из офиса назначать им «лучшую» поездку. Но самое интересное еще впереди… Ву Гуобин рассматривает возможность оснащения водителей биометрическими датчиками, способными измерять уровень их стресса и подсказывать им, когда нужно остановиться, выпить стакан воды и т. д. Вероятно, в ближайшем будущем ИИ будет предсказывать и тот момент, когда водитель захочет облегчиться, основываясь на количестве потребленной жидкости и его метаболизме. Система в таком случае сможет выбирать поездки так, чтобы в удобный момент он оказался неподалеку от общественного туалета. Разве это не лучше, чем оказаться в пробке с нетерпеливым пассажиром и нестерпимым желанием сходить в туалет? Разве это не станет заметным улучшением условий труда? Как искренне считает Ву, «ИИ вносит вклад в социальное благосостояние».

Так, водитель в Didi станет лишь скоплением плоти и нейронов, подключенным к сети, а ИИ будет указывать ему, какого пассажира взять, по какой улице поехать, когда сделать паузу и где остановиться. Даже базовое человеческое решение – когда сходить в туалет – тоже может быть делегировано машине. Как противиться этому безусловному приросту благосостояния? Но как в то же время не видеть в нем запланированного уничтожения наших когнитивных функций? Тут можно даже пожалеть об упразднении работы на конвейере, когда разум еще мог взбунтоваться против тупого повторения телесных движений. Но кто станет бунтовать, когда наши ментальные процессы будут выявляться, предсказываться и контролироваться? Какая зона свободы нам останется? Быть может, все мы станем такими водителями из Didi?

Конечно, городское пространство особенно хорошо поддается такого рода оптимизации. Как объяснил мне доктор Мин Ванли, главный программист проекта City Brain, развиваемого в компании Alibaba, в городе устойчивая типология (конечное число улиц, перекрестков, линий метро) сочетается с динамичным потоком действий (повседневные маршруты, которые более или менее повторяются). Это идеальные условия для тренировки ИИ. Доктор Мин одним из первых точно предсказал колебания городского трафика в 2007 году в Сингапуре, а позднее и в южной части Шанхая. Для инициативы компании Alibaba, одного из четырех цифровых гигантов Китая[95], было выбрано удачное название: разработать «мозг города» – значит получить способность предсказывать и контролировать его основные потребности, то есть не только трафик, но также организацию уборки улиц, управление парковочными местами, качество воздуха и даже городское планирование. Alibaba намеревается стать гением городов.

Ладно, пусть так… Устойчивая типология, динамический поток. Наши ежедневные поездки можно предоставить ИИ. В конце концов, все это мелочи: по какой улице поехать, где припарковаться… Однако мелочи служат моделью для всего нашего поведения в целом.

Главное же в том, что ИИ готовится проникнуть в самые важные вопросы нашей жизни. Даже в подвижных типологиях его результаты постепенно становятся все более точными. Так, я с изумлением обнаружил, что машина отныне готова взять на себя наши профессиональные и любовные решения, реализуя процесс, который очень похож на GPS, предлагающий самый быстрый маршрут.

Предпосылки для этого я обнаружил в ZipRecruiter, успешном стартапе из Лос-Анджелеса, который выступает посредником между предложением рабочих мест и спросом на них. Сегодня услугами ZipRecruiter пользуется более миллиона предприятий и 120 миллионов частных лиц. Его основатель Ян Сигел – идеальный представитель калифорнийской экосистемы: это молодой, приятный в общении и несколько торопливый человек, которого можно увидеть то за столом для пинг-понга, то за шахматной доской, то на удобном диване. Разумеется, Ян подтвердил мне, что ИИ помог значительно увеличить качество его продукта. Использование машинного обучения позволило забыть о восьми годах трудоемкой работы по оптимизации, основанной на скучных и всегда приблизительных списках критериев, служивших инструментами распределения кандидатов и работодателей, – критериев, которые в то же время были лучшим способом не заметить кандидата с оригинальным профилем. Благодаря методам машинного обучения и особенно некоторым его вариантам, связанным с глубоким обучением, работодатель сможет, например, попросить машину найти «кандидата, похожего на такого-то», не предоставляя ей никаких других дополнительных сведений. Алгоритмы сами поколдуют с этим запросом и придумают стратегию, которая в силу отсутствия полной «объяснимости» для людей останется в значительной мере непостижимой. С помощью сопоставлений, использования статистики и корреляций машинное обучение сможет найти иголку в стогу сена: идеального кандидата среди миллионов резюме. Идеального в каком смысле? В смысле компетенции, характера, мотивации? Никто не смог бы сказать наверняка. Машина просто перемешивает значительный объем данных, не стремясь концептуализировать тот или иной критерий. Она выносит чисто эмпирическое суждение, основанное на примерах успеха или неудачи в прошлом. После собеседования часто можно услышать: «N подходит нам по всем критериям». Но машина не ставит галочки возле каждого пункта. Ее сила в том, чтобы идентифицировать индивида как такового или по крайней мере выяснить, что он соответствует сумме предоставленных им данных.

«Какое будущее у этого направления?» – спросил я у Яна. Как можно еще улучшить продукты ZipRecruiter? Конечно, интегрируя все больше данных. Сегодня кандидаты предоставляют в основном сведения, связанные с профессиональной карьерой. Но чем больше дополнительной информации они будут предоставлять – от любимых мест отдыха и своей финансовой ситуации до пищевых привычек, – тем точнее машина будет вести поиски. Разве важно, что кому-то придется рассказывать о своей личной жизни, если в конечном счете будет найдена работа мечты?

Впрочем, остается один важный вопрос: как именно определять «свои» мечты? Уверены ли мы в том, что хотим именно того, чего хотим? Вот тут-то и выясняется смысл нового изобретения ZipRecruiter: вместо того чтобы подавать заявку на определенную позицию в каком-то определенном секторе, можно будет просто заявлять, что ты свободен и ищешь работу. Если мы предоставим достаточно данных не только о компетенциях, но и о самих себе, наших вкусах и любовных увлечениях, машина сможет автоматически предложить нам максимально удачное рабочее место, подходящее нашей глубинной природе и ситуации на рынке труда. Можно представить, как банкиру, к примеру, будет предложено место в булочной, поскольку в его постах в фейсбуке машина выявила желание сменить профессию, в его воскресных прогулках, о которых сохранились геоданные, – стремление к полям с пшеницей, в его распорядке дня – привычку рано вставать, в его чтении Жана Жионо – интерес к выпечке хлеба, в его профессиональном досье – особую склонность угождать клиентам… При этом у машины есть информация, что такой-то булочной, перспективной, но с плохим управлением, очень нужен финансовый директор. По счастливой случайности, выявленной алгоритмом, булочная расположена как раз возле школы, где учатся дети нашего банкира, которых он хотел бы видеть почаще (о чем свидетельствует его переписка в Gmail). Кроме того, потеря в заработной плате будет с лихвой компенсирована наследством, ожидающим банкира в ближайшем будущем, если судить по медицинской карте одного его родственника, изученной ИИ. Какой человеческий мозг смог бы выявить это чудесное переплетение обстоятельств, выделив их среди бесконечных возможностей? И какой упрямец смог бы сопротивляться такому предложению, выкроенному по его собственной мерке? Конечно, как подчеркивает Ян, ZipRecruiter ограничивается предложениями; решение принимает клиент. Он волен претендовать на такой же пост в другом банке, в котором останется столь же несчастным. Однако сила nudge, персонализированного и оптимизированного подталкивания, кажется непреодолимой. Машина знает наши мечты лучше нас самих и прилагает все усилия, чтобы их осуществить.

Я так и остался в изумлении сидеть на стуле, тогда как Ян бодро вскочил и убежал на следующую встречу. Возможно, мне надо записаться на эту будущую платформу, которая могла бы найти лучшее применение моей естественной мизантропии, чем журналистика. Я почувствовал головокружительную ясность, осознав, что пророчество Юваля Харари, изложенное в его книге «Homo deus», вот-вот сбудется у нас на глазах. ИИ в своей сложной форме машинного обучения больше не довольствуется удовлетворением наших потребностей. Он будет сам определять их. Да и почему нет, если Канеман и Ко. объяснили нам, насколько наши суждения ущербны?

Трудно представить, насколько уверенным нужно быть в своем решении, чтобы сопротивляться столь соблазнительной логике. Лишим ли мы себя информации и благосостояния исключительно из гордости, стремясь делать «автономный» выбор? И что такое эта автономия, если не иллюзия, вскормленная бессознательными предубеждениями и скрытыми влияниями? Искушение ИИ бесконечно. Допустим, что он может найти рабочее место, основываясь на наших талантах и вкусах. Но откуда берутся сами эти таланты и вкусы? Сейчас они пока еще остаются производным от мира, существовавшего до ИИ, то есть результатом случайных встреч и желаний. Завтра же они станут продуктом алгоритмических рекомендаций, которые будут выдаваться на протяжении всего нашего обучения и личного развития. До чего дойдет эта опережающая детерминация? Будет ли новорожденный направляться, в зависимости от его ДНК и социальной среды, в такой-то или такой-то детский сад? Придет ли на смену ZipRecruiter какой-нибудь ZipBaby, как в городе Кюсю в Японии, где компания Fujitsu запустила программу, позволяющую определять детей в ясли, где созданы лучшие условия для их адаптации? Что, если отказ от таких приложений ради абстрактных «свобод» будет означать лишение своего потомства шансов на успех?

Как-то я застал свою восьмилетнюю дочь за тем, как она пыталась поблагодарить маму, используя мой смартфон. Gmail предлагает персонализированные ответы, и точно так же iMessage подсказывает слова. Вот как начиналось сообщение, напечатанное моей дочерью: «Мама, спасибо за морковный кекс. Он был…» Тут на помощь человеческому мозгу пришел Apple, предложив следующие прилагательные: «превосходный», «очень вкусный», «суперский». Дочь выбрала «превосходный» – первое слово, которое попалось ей под палец. «Ты правда так хотела сказать? – спросил я ее. – Именно „превосходный“, а не „удачный“, „сочный“, „чудесный“, „изысканный“, „сытный“, „плотный“, „с корочкой“ или „вкусный“?..» Она не поняла, в чем смысл моего вопроса. iMessage упростил ей когнитивную задачу, так зачем же ей утруждать себя, разбираясь с нюансами французского языка? Именно так ИИ с самого раннего возраста учит нас не думать. Как люди будут расти в мире, в котором слова выбирают за них? Возможно, однажды iMessage предложит сразу отправлять ответные сообщения, не дожидаясь нашего одобрения? Но кто их будет получать? Друг или ИИ друга? А в чем проблема, спросит моя дочь, если это позволяет упростить коммуникацию и быстрее договориться о встрече?

Что же тогда останется на долю человека 1.0? Если и есть еще какая-то священная область, которую многовековая литература тщательно обезопасила от императива оптимизации, то это любовь. Но действительно ли ИИ не посмеет в нее проникнуть? Куртуазная любовь, романтическая, страстная, невозможная – у нас же не отнимут игру случая и любви, соблазна и разочарования? Даже такая закаленная специалистка по информатике, как Аврелия Жан, которой я поведал свои впечатления, вернувшись в Париж, отказывается в это верить: алгоритмы должны держаться подальше от нашего сердца, последнего прибежища магии характера, алхимии связей.

Вот это я со всей решимостью и попытался проверить. Сначала я отправился в Meetic, один из самых популярных сайтов знакомств в Европе. Ирония в том, что его штаб-квартира находится в двух шагах от Оперы Гарнье, где по-прежнему каждый вечер идут балетные постановки, изображающие превратности любви. В Meetic нет никакой Жизели, но есть Лара, первый чат-бот для знакомств… В этом контексте миссия ИИ – найти золотую середину между заявленными критериями и реальными предпочтениями. Если бы Meetic ограничивался учетом высказанных вкусов пользователей, предприятие быстро бы обанкротилось: мужчины, безнадежно предсказуемые, почти всегда ищут женщин 23 лет, и вряд ли предложение могло бы удовлетворить такой спрос… Вся работа алгоритма сводится к выявлению того, что «может сработать» вопреки мечте; иначе говоря, требуется раскрыть глубинные желания, скрывающиеся под лакировкой страстных влечений. Это и есть условие коммерческого успеха Meetic, если оценивать его по числу качественных взаимодействий. Задача Лары – определить личность пользователя во всей его сложности и предложить ему профили, на которые сам бы он никогда не обратил внимания. Она всегда показывает ему определенную подборку: «Клиент хочет иметь иллюзию выбора». Последняя хитрость nudge. Но, по сути, машина уже знает…

А что же в результате? Пятьсот тысяч пар, образованных на Meetic, в год. В целом треть пар сегодня формируются в Сети, а это значит, что сайты знакомств приходят на смену семье, друзьям и работе. По словам моих собеседников, можно вполне уверенно утверждать, что решения, связанные с любовью, всегда были строго детерминированы, а такие платформы, как Meetic, открывают совершенно новые возможности – например, в Индии позволяют выйти за пределы кастовой системы и освободить пары от социальных барьеров. Тем не менее маски сброшены. Любовная игра обходится ныне без случайности: люди сходятся, поскольку этого хотят данные. Алгоритмическая формула заменяет собой любовь с первого взгляда. Родство душ становится исчислимым. Это был он… это была я… данные совпали.

Чтобы увидеть, как эта логика доводится до предела, нужно, как всегда, отправиться в Китай. Однажды в воскресенье в безликом отеле в Пекине я встретился с Фаном, основателем компании Baihe. Это один из основных сайтов знакомств в стране, на котором зарегистрирована половина ее холостяков. В год на Baihe насчитывается тридцать миллионов пользователей, и эта цифра постоянно растет. Фан по праву гордится успехом. Неудивительно, что глубокое обучение позволило ему два года назад значительно повысить качество своих алгоритмов[96]. Как и в случае Meetic, они работают над удовлетворением бессознательных предпочтений: например, богатого бизнесмена могут привлечь женщины, похожие на его школьную возлюбленную. В целом ИИ не может объяснить свои решения. Главное, что они работают, производя все больше устойчивых пар. Бывают ли исключения? Сильные души, бросающие вызов статистике? Фан отвечает так же, как и Рамсей на Венис-бич: нет. Если французы продолжают представлять физическую встречу как момент загадочной и непредсказуемой интерсубъектности, то китайцы из Baihe об этом уже не беспокоятся: никакой тайны тут больше нет. Я начинаю злиться: а как же мы с женой? Мы разного возраста, разных национальностей, у нас разные профессии, и даже вкусы наши нисколько не совпадают. Мог ли я встретить ее где-то еще, кроме как на случайной дискотеке, куда забрел одним осенним нью-йоркским вечером? «Вопрос технологии». Машина, в деталях изучившая мое поведение, привычки (и даже их отсутствие), должна была бы лучше, чем я сам, знать, что меня действительно привлекало: вполне зрелая женщина, уехавшая из коммунистической страны, чтобы сделать карьеру в капиталистическом мире, столь же привязанная к сериалу «Секс в большом городе», как я – к роману «В поисках утраченного времени». ИИ мог бы избавить меня от некоторых болезненных разочарований с соотечественницами, страдающими вечной меланхолией. «Повесь диджея» – эпизод сериала-антиутопии «Черное зеркало» – показывает систему ИИ, которая создает совершенные пары на основе компьютерных симуляций: наши цифровые аватары должны экспериментировать вместо нас, разыгрывая бесконечное число любовных приключений, прежде чем найти идеального партнера. Больше не нужно зря страдать!

Как усовершенствовать сервис Baihe? Собрав больше данных, конечно. Платформа уже прославилась тем, что цинично высказалась за доступ к объективным сведениям, таким как финансовое положение или уровень образования. Мечта Фана – получить возможность связать с ними данные электронной торговли и данные о состоянии здоровья. Он рад тому, что сегодня все поведение регистрируется и анализируется. Для ИИ нет бесполезных данных, какими бы далекими они ни казались для исходного поиска. Ведь если бы Baihe могла получить доступ ко всем сведениям о личной жизни, ко всем ее закоулкам, рекомендации достигли бы максимальной точности. Мы бы тогда находили родственную душу с первой попытки. Но в таком случае в стране должно действовать одно огромное предприятие, способное предоставлять нам доступ к любви так же, как к кредиту, жилью и образованию… «И таким предприятием было бы правительство», – делает вывод Фан. У меня еще будет повод вернуться к этой заманчивой перспективе.

«В будущем люди станут прозрачными», – уверенно обещает Фан. Вскоре мы поймем, что бессмысленно притворяться, если можно воспользоваться преимуществами оптимизации. «Таким образом, – говорит мне Фан, указывая рукой на холл отеля, – если бы здесь прошла какая-нибудь девушка и вы бы друг другу понравились, приложение сразу бы известило тебя об этом». Больше нет нужды искать предлог для знакомства, соблазнять – короче говоря, врать. Удобно!

Итак, купидон не может ускользнуть от глубокого обучения. Даже в самой нестабильной типологии, типологии чувств, ИИ показывает все большие успехи. Неслучайно, что книга «Датаклизм», в которой описываются мельчайшие детали того, как алгоритмам удается узнать нас лучше нас самих, была написана основателем одного из самых посещаемых сайтов знакомств[97].

Не знаю, придет ли такой день, когда все наши решения будут делегированы ИИ. Существуют, впрочем, физические, материальные ограничения обработки данных. Так, Фредерик Прост, известный математик и специалист по компьютерным наукам из Университета Гренобля, объяснил мне, что если бы мы захотели выстроить в ряд все числа, соответствующие 130 битам (например, от 0 до 2 в степени 130), для этого потребовалось бы больше энергии, чем есть во всей видимой Вселенной. Представление о том, что можно полностью воспроизвести нашу среду в форме единиц и нулей, является, следовательно, слишком энергозатратным. Огня десятка солнц не хватило бы для того, чтобы найти мне идеального партнера среди семи миллиардов людей.

Тем не менее глубинная логика ИИ, теорию которого разработали Канеман и Ко. и которая применяется сегодня на индустриальном уровне, состоит в том, чтобы обойти свободу воли, назойливую иллюзию растерянных западных людей.

Метаутилитаристский ветер

Итак, допустим, что ИИ пытается заранее определять наши решения. Пришло время поставить вопрос: по каким именно критериям? Каковы параметры цифровой оптимизации?

Лучший ответ на этот вопрос дает все тот же Джарон Ланье: по Кремниевой долине гуляет «метаутилитаристский ветер». На самом деле нельзя сказать, что алгоритмы лишены всякой идеологии. Их придумывают для того, чтобы повысить индивидуальное благополучие, измеряемое как разность между удовольствиями и страданиями. Подобный утилитаризм представляет собой философский выбор, для многих пользователей и потребителей определенно соблазнительный, однако он все равно остается одним вариантом из многих (например, можно представить алгоритмы, которые программировались бы так, чтобы нести нам мир, свободу или сомнение…). В этом плане Кремниевая долина – наследница Джереми Бентама, основателя утилитаризма, подспудное влияние которого на современные технологии явно недооценивается. Цифровые гиганты не придерживаются морального нейтралитета. Google, став в 2015 году компанией Alphabet, сменил свой лозунг: раньше он был вполне попперианским – «Не будь злым», а теперь стал более нормативным – «Поступай правильно». Речь уже не о том, чтобы избежать зла, а о том, чтобы творить добро. Но что это за добро в секуляризированном мире, если не максимизация счастья или по крайней мере благополучия, возведенного в высшую ценность? Кстати, могу дать вам пароль от вайфая в аэропорту Лос-Анджелеса: «happy».

Действительно, апелляция к полезности кажется бесспорной. Я осознал это, когда посетил один стартап в центре Пало-Альто, расположенный в районе, где еще сохранилось испанское очарование. Я уже не помнил, как добился встречи, и, к своему стыду, не провел никаких предварительных исследований. Знал лишь название компании, которое показалось мне довольно многообещающим, – Humanize.

Тэми, молодая соосновательница стартапа, приняла меня радушно, на шее у нее была странная белая коробочка, похожая на колокольчики, с которыми коровы и овцы пасутся на альпийских лугах. Вначале я не обратил на эту коробочку особого внимания. Тэми объяснила мне свой подход: он опирается на ее диссертацию в MIT, посвященную проблеме понимания человеческих взаимодействий. Просто замечательно, отличный проект! Сегодня же Humanize внедряет это исследование на предприятиях, чтобы лучше понять динамику взаимодействий между сотрудниками. Ужаснувшись, я начал понимать, в чем тут дело… Речь шла о квантификации времени, потраченного на разговоры с тем или иным коллегой. Никаких сомнений: колокольчик – это и есть продукт компании. В нем размещался аудиодатчик, который включался при каждом разговоре, позволяя, таким образом, оценивать прямые голосовые взаимодействия внутри организации. Благодаря Humanize болтовню возле кофеварки стало возможно учитывать в статистике производительности.

Тэми показалась мне настолько очаровательной и воодушевленной, настолько исполненной благих намерений, что я долго не решался задать ей вопрос: не является ли такая технология, если так можно выразиться, слегка интрузивной?

Она покраснела. Прежде всего, содержание разговоров не записывается. Во-вторых, собранные данные анонимизируются, прежде чем будут обработаны ИИ. В-третьих, подумал ли я об огромных выгодах этой инновации? Сотрудники, которые раньше оставались в тени, теперь могут быть признаны в качестве «связных», к которым все обращаются за помощью, а это зачастую заставляет руководство менять внутренние методы оценки. И наоборот, люди, которых группа отталкивает, очевидно, не раскрывают своего потенциала и рискуют увольнением – не лучше ли в таком случае предупредить разрыв? Также становится возможным оценивать, соблюдается ли паритет на встречах, даже неформальных, – разве это не шаг в сторону равенства мужчин и женщин? Колокольчик – это на самом деле «социометрический бейдж», позволяющий усовершенствовать управление человеческими ресурсами, определить уровень общего доверия и гарантировать, что каждый будет чувствовать себя включенным в работу. Задача в том, чтобы дать голос наиболее скромным сотрудникам и предоставить им справедливую компенсацию за создаваемую ими ценность, пусть она и производится за счет вроде бы совершенно невинного разговора. Впрочем, несогласным Humanize предлагает носить «фальшивый бейдж», в котором нет детекторов, но знать об этом никто не будет. За восемь лет было лишь два таких случая. Что и требовалось доказать…

Признаюсь, после этой страстной тирады я почувствовал, что начинаю колебаться. В конце концов, может быть, я слишком европеец, слишком озабочен правами каждого, но не интересуюсь всеобщим счастьем? Если бы все были готовы повесить на себя такой колокольчик, чтобы лучше понимать динамику стада, от имени какой абстрактной концепции частной жизни я смог бы выступать против этого?

Вот в этом и заключается убедительность утилитаризма. Неудивительно, что Бентам был к тому же сторонником максимальной прозрачности, самой известной и мрачной иллюстрацией которой стала его модель тюремного паноптикона.

Последняя, но довольно важная, составляющая входит в определение функции полезности. По формуле Бентама, предельная цель социальной организации – поиск «максимального счастья для максимального числа людей». То есть полезность всегда рассчитывается одновременно для индивида и группы. Представим четырех людей, у каждого из которых «балл» счастья, определяемый по шкале от 1 до 10, равен 5. Согласно гедонистскому исчислению Бентама, получившему название «felicific calculus», политика или технология, которая бы позволила всем им перейти от 5 баллов к 6, была бы, естественно, желательной. Но представим сценарий, в котором два из наших подопытных достигают 8 баллов счастья, один остается на уровне 6, а последний опускается до 4. Сумма счастья в таком случае была бы выше, чем в двух предшествующих ситуациях: (8 + 8 + 6 + 4) > (6 × 4) > (5 × 4) – даже мне это понятно! А потому такой реформе надо отдать предпочтение, даже если бы она привела бы к страданию одного конкретного человека. Всеобщее счастье не всегда благоприятствует моему личному счастью.

Системы ИИ хорошо усвоили эту логику. Вот почему профессор Тодд Дэвис, которого я встретил в его подвале в Стэнфорде, с некоторым лукавством объясняет мне, что ему удается «обмануть Google Maps», выбирая альтернативные маршруты по пути домой. Дело в том, что Google Maps показывает не самый короткий для вас путь, а лучший компромисс между скоростью вашего путешествия и подвижностью трафика. Предложенный путь должен поддерживать хрупкое равновесие между вашим интересом и интересами всех остальных водителей. Иначе говоря, алгоритм, возможно, примет решение отправить вас по объездному пути, где вы потеряете десять минут, если это позволит разгрузить основную трассу для следующих за вами водителей: в этом сценарии вы оказываетесь в дураках, то есть становитесь тем, чей балл счастья опускается с 5 до 4. Но вы все равно согласитесь – сначала в силу незнания, а потом по той причине, что долгосрочно предоставляемые услуги намного ценнее временных неудобств. Определенная доля индивидуализма возможна лишь на хорошо знакомой дороге, например той, по которой профессор Дэвис многие десятилетия ездит от Стэнфорда до дома. Обманывая Google Maps (конечно, не превышая скорость…), можете быть уверены, что нанесли коллективу автомобилистов лишь незначительный ущерб.

Профессор Дэвис вовсе не чувствует себя виноватым. Тодд Дэвис, психолог и в то же время специалист по ИИ, который носит походные ботинки, словно готов в любой момент сорваться с места, соединяет в себе бунтарский прогрессизм гуманитарных наук с аналитической строгостью информатики. Уж он-то точно знает, как изобличить «социальную оптимизацию», скрывающуюся в современных техниках машинного обучения. Нами не только манипулируют, нас не только подталкивают и лишают самой способности делать выбор – мы к тому же поневоле становимся слугами общества. «Это новое человечество», – говорит профессор. Человечество, более близкое к лучшему из миров Хаксли, в котором святая святых – это счастье, а солипсизм осужден, чем к калифорнийской контркультуре, одним из последних наследников которой и кажется мне Тодд Дэвис. «Это политический вопрос», – подчеркивает он. Но кто его сегодня обсуждает? Возможно, незаметно для себя мы уже согласились с чисто утилитаристской концепцией совместной жизни? Быть может, когда беспилотный автомобиль станет для нас привычным, мы откажемся от самой возможности обманывать Google Maps? Что, если тех, кто пытается его провести, будут наказывать за асоциальное поведение?

Питер Тиль, знаменитый предприниматель из Кремниевой долины и ярый либертарианец, прямо говорит, что «ИИ является коммунистическим». Но в цифровой оптимизации выявляется такое холистическое представление об обществе, которое вступает в противоречие с логикой промышленной эпохи. Если производитель дорожных карт хотел оказать вам лучшую услугу, то создатель навигационного GPS-приложения стремится сделать счастливыми максимальное число пользователей. Это позволяет понять, почему сайты знакомств не довольствуются предложением тех профилей, которые соответствуют открыто заявленным вами критериям. Подобно Google Maps, они пытаются увеличить подвижность трафика, чтобы избежать пробок перед наиболее соблазнительными профилями…

Теперь можно понять, в чем истинный смысл избитого лозунга цифровых предпринимателей: «Make the world better» – «Делай мир лучше». Речь идет не о филантропии, а об императиве, составляющем сердцевину технологии. Во-первых, «мир» – поскольку ни один продукт, связанный с ИИ, не может ограничиваться удовлетворением индивидуальной потребности: в агрегации данных и распределении рекомендаций он должен учитывать максимально широкое сообщество, а в конечном счете и все человечество в целом. Вот почему Марк Цукерберг, которому удалось объединить на фейсбуке около трети всего человечества, в одном из своих редких публичных выступлений поделился желанием создать глобальное сообщество[98]. Во-вторых, слово «лучше». В каком смысле «лучше»? Какова конечная цель? Теперь нам это известно: полезность, то есть максимизация удовольствия для всех. А для количественной оценки счастья и нормирования его распределения, несомненно, нет ничего лучше ИИ – инструмента, о котором мечтали в гедонистическом исчислении Бентама.

Это сочетание nudge и утилитаризма отлично описывает австрийская исследовательница – я встретил ее в Университете Джорджа Вашингтона. Юлия Пуашундер, несмотря на изнуряющую жару одетая в элегантный белый пиджак с цветами, придумала удачный неологизм «наджитал» (nudgital) – смесь nudge и капитала. Это понятие позволяет ей критиковать «современную поведенческую политическую экономию». В этой формуле можно заметить синтаксическую легкость немецкой философии, но на деле она соответствует ставкам ИИ. Если поведение индивида предсказуемо, им можно манипулировать; такая манипуляция принимает форму nudge, производимого ИИ; этот nudge работает в соответствии с одним точным критерием (а потому мы попадаем в область «политической экономии») – полезности для нас и для других. Чем больше мы делимся информацией, чем больше производим данных, тем больше информации поставляем платформам и тем больше nudge получаем взамен; а чем больше нас «подталкивают», тем большего благосостояния мы достигаем. Отныне отношения господства и подчинения устанавливаются между теми, кто осуществляет nudge, и теми, кто его претерпевает, а не между социальными классами. И наоборот: чем меньше мы делимся информацией, тем больше сохраняем фактической свободы и тем больше становимся в собственном смысле слова бесполезными. В эру «наджитала» распространение информации – это рабство, но изоляция – это самоустранение: поистине адская дилемма!

Осталось не так много Тоддов Дэвисов, которые могли бы критиковать социальную оптимизацию и выступать за случайность и индивидуальное изменение. Сегодня общее благо – самая модная штука. Молодые предприниматели и американские мыслители восторгаются перспективой этого безграничного роста эффективности. Но мы ошибемся, если сведем ИИ исключительно к бизнес-модели. Речь идет о настоящем социальном проекте, претворяемом в жизнь совершенно честно и с большим воодушевлением.

Я осознал это, обедая в Сан-Франциско, в районе Мишн, представляющем собой апофеоз культуры бобо. За обедом я встретился с франко-американским другом, представителем моего поколения Адриеном Треем и его молодой семьей. Адриен – программист и уважаемый предприниматель, который набирался опыта в таких легендарных компаниях, как Google X, а потом основал Foldit, видеоигру, пользователи которой, сами о том не ведая, помогают медицинским исследованиям, изучающим структуру белков. На мои тирады о свободе воли он отвечает улыбкой. С его точки зрения, я, должно быть, инквизитор, попавший в наше время из далекого прошлого и до сих пор пережевывающий метафизические понятия, тогда как человечество спокойно движется вперед к лучшему будущему. Адриен уверен, что завтра ИИ позволит оптимизировать вообще все на свете. Он бросает мне вызов – требует, чтобы я нашел контрпример. Я не могу ничего придумать, но делюсь с ним текущей проблемой: мне надо выбрать школу для сына. Сможет ли мне в этом помочь ИИ?

– Легко.

На самом деле я не сомневаюсь в том, что обученные алгоритмы, руководствуясь образцом рынка занятости или сайтов знакомств, могут найти точку схождения между образовательными предпочтениями и доступным предложением, учтя личные качества ребенка, его место проживания и знак зодиака. Однако я пытаюсь найти критерий, который бы сопротивлялся количественной логике ИИ. Представим, например, что я ищу школу, способную развивать критическое мышление.

– Никаких проблем, – отвечает Адриен. – Можно определить и измерить лучшие педагогические техники. И это лучше, чем тыкать пальцем в небо, основываясь… собственно, на чем? На личной интуиции и слухах?

Если отставить вопрос школы, это действительно головокружительная цель: речь о том, чтобы оптимизировать критический дух, последний рубеж интеллектуальной независимости. Встраивая сомнения в собственные критерии обучения, ИИ может сломить последний бастион сопротивления, с которого его можно было судить. Как критиковать ИИ, если он может критиковать сам себя? Неужели мы – вот уж парадокс! – делегируем наше критическое мышление машине, и окажется, что она владеет им лучше нас? Может ли само понятие критики пережить собственную автоматизацию?

Быть может, долг мыслящего человека, если этот термин еще имеет какой-то смысл, в том, чтобы заменить оптимизацию критики критикой оптимизации?

А вот Адриен ни в чем не сомневается. Оптимизация упростится в той мере, в какой стоимость предсказания будет приближаться к нулю[99], открывая путь к невиданным решениям в области здравоохранения, экологии, образования и т. д. Каждый шаг в развитии машинного обучения приближает нас к развязке долгой истории человеческих страданий. И если спутница Адриена, психолог, недавно побывавшая во Франции, похоже, очарована образом жизни Старого Света, сам он – адепт калифорнийской культуры. Он нахваливает мне Burning Man, ежегодное безумное мероприятие, ради которого десятки тысяч участников собираются в пустыне Невады на своего рода грандиозный потлач. Это неделя даров и отдаривания, дионисийского ликования и коллективной религиозности. Илон Маск, как известно, объявил, что Burning Man – это сущность Кремниевой долины. На мероприятии приветствуется каждый, во всем царит принцип инклюзивности, но лучше все же быть миллионером, чтобы обустроить лучший кемпинг, проехаться в лучшей повозке и закатить самый лучший пир. Каждая группа отправляется туда со своими собственными припасами. И знаете, как именно там распределяются места? В ходе сложного процесса оптимизации, в котором учитывается поведение в прошлые годы и будущие обязательства…

Эта нерушимая вера в прогресс вызвала во мне едва ли не ностальгию. Чтобы найти ее эквивалент во Франции, пришлось бы вернуться к промышленной революции, когда было полным-полно изобретателей, а Жюль Верн учил человечество мечтать. Быть может, эта одержимость средневековым понятием свободы воли, которое оспаривалось уже Лютером и Кальвином, превратила меня в реакционера? Что, если я просто не вижу самых фантастических перспектив счастья, какие только были когда-либо у человечества? А вдруг сами мои мысли – всего лишь пережиток промышленной эпохи? Во всем этом действительно можно сомневаться. Тем более, если уж говорить на более теоретическом уровне, на своем пути я встречал немало представителей классического либерализма, моих друзей и братьев, которые не разделяют опасений по поводу ИИ и спокойно продолжают свою борьбу за инновации.

Например, Джон Миклетвэйт – образцовый британский журналист, румяный, с непокорной прядью волос. Моя первая встреча с Джоном произошла около десяти лет назад, когда я лелеял безумную мечту работать для The Economist, моей пятничной библии, – еженедельника, основанного в 1843 году для защиты как свободной торговли, так и индивидуальных свобод и сохранившего свою идеологическую направленность до наших дней. В ту пору Джон Миклетвэйт руководил The Economist и любезно принял меня в своем кабинете в Мэйфер. Я целые сутки работал над статьей о будущем баржевого транспорта и считал, что довел ее почти до совершенства. Высказав ряд тонких understatements, Джон дал мне понять, что The Economist – это новостное издание, а не центр для языковой стажировки… Потом я встретился с ним через пять лет на большой конференции, посвященной Маргарет Тэтчер.

И вот теперь мне показалось, что пришло время для нашей очередной встречи, проходящей, получается, раз в пять лет. На этот раз я поехал к нему в штаб-квартиру новостного агентства Bloomberg News в Нью-Йорке, главным редактором которого он стал. Что именно мог думать об ИИ автор «Четвертой революции», сторонник модели минимального государства, которое в то же время должно оставаться гарантом равенства возможностей? Как этому уму, неумолимо реформаторскому и при этом идеологически размещающемуся в самом центре неолиберальной элиты, удается держать баланс между экономической эффективностью и уважением к людям?

Джон бегом пересек огромное открытое пространство офиса Bloomberg. У него была лишь пара минут, а в нескольких метрах стояла часть его команды, показывавшая знаками, что времени нет. Поскольку он так торопился, ответ оказался замечательно кратким. Конечно, есть некоторая озабоченность, связанная с неприкосновенностью частной жизни, однако в целом ИИ дает миру значительный прирост стоимости и полезности. В компании Bloomberg он позволяет персонализировать информацию, передаваемую клиентам, в зависимости от их вкусов, интересов и наличия свободного времени. А то, что относится к частным предприятиям, однажды должно стать истиной и для правительств, поскольку ИИ даст возможность создать лучше организованные, более быстрые и менее дорогостоящие государственные услуги. Если же я действительно желаю паниковать, я всегда могу прочесть недавно опубликованную в The Atlantic статью старика Киссинджера, который считает ИИ предвестием конца просвещения[100]. Но в конечном счете это все не очень серьезно…

Те же идеи бытуют в Niskanen Center, вашингтонском «мозговом центре», отколовшемся около четырех лет назад от весьма либертарианского Cato Institute. Работы Niskanen Center интересны мне потому, что эта молодая команда пытается найти определение разумного и прагматичного либерализма, стремящегося бороться с бедностью, лучше обращаться с беженцами и решать экологический кризис. В этом я вижу много общего с проблемами, поставленными аналитическим центром GénérationLibre, основанным мной во Франции. Niskanen Center защищает открытое общество, противоположное капитализму заговора, отстаиваемому администрацией Трампа. Правительство они считают «страховой компанией с армией», и мне нравится это определение. Также в наших разговорах затрагивается и гарантированный базовый доход, пусть даже мои собеседники пока еще не вполне к нему готовы. Но что касается ИИ, их позиция ясна: «Полный оптимизм». Нельзя отказаться от прозрачного общества, чьи выгоды, особенно экономические, значительно превосходят отдельные неудобства. Систематический аргумент в пользу частной жизни должен, таким образом, уступить место осмыслению механизмов контроля и регулирования. Но не сомневайтесь, жизнь станет лучше…

Если такова позиция умеренных, подумал я, у меня нет никаких шансов среди настоящих либертарианцев – критиков всякой формы центральной власти, которые обычно оказываются поклонниками радикальной инновации и с нетерпением ожидают наступления «сингулярности», обещанной трансгуманизмом, то есть слияния в вечном экстазе нейрона и силикона. Поэтому я был приятно удивлен тем, с каким вниманием выслушал меня на кампусе Google Патри Фридман. Вопреки всему моему скептицизму, посещение штаб-квартиры Google в Маунтин-Вью оказалось опытом настоящей инициации. Меня необыкновенно взволновала мысль о том, что меня туда приведут Google Maps, словно бы машина нашла свой исходный путь: все дороги ведут в Google. Не оставил меня равнодушным и сам Патри Фридман: внук Милтона Фридмана, основателя Чикагской экономической школы – оплота неолиберализма, и сын Дэвида Фридмана, анархо-капиталиста, создавшего теорию приватизации правосудия. Патри же основал Seasteading Institute, чья цель – построить в международных водах искусственные острова, неподвластные ни одному государству. Итак, в огромном детском саду, который представляет собой кампус Google, среди волейбольных площадок, тобоганов и многоцветных шезлонгов, я пил кофе с радикалом в третьем поколении.

Патри оказался довольно восприимчивым к вопросу автономии. Действительно, ИИ не должен погружать нас в своего рода рыночный коллективизм, в котором индивидуальное поведение определялось бы некоей таинственной алгоритмической формулой.

Неужели кто-то наконец понял мои вопросы?

Но радость моя была недолгой… Вот ответ Патри на эту угрозу: достаточно будет посредством электродов, имплантированных в наши нейронные контуры, увеличить мощность нашего мозга, чтобы обрести еще более сильную свободу воли. Иначе говоря, ИИ, интегрированный прямо в наш мозг, одержит верх над детерминизмом технологии. Трансгуманизм даст нам инструменты свободы. Сам став ИИ, я смогу избежать манипуляции со стороны других ИИ. Но что в таком случае останется от этого «Я», которое, однако, хочется сохранить? Зачем возвращать себе контроль, если сознательный субъект размоется в технологической аугментации? Что мы выиграем, когда наложим на себя ограничения ИИ? Это похоже на самоубийство из страха смерти.

Кроме того, гипотеза Патри кажется мне в научном плане фантастичной. «Достаточно вставить чип в мозг» – это фантазия для технофилов из Кремниевой долины и их китайских единомышленников, последний ответ на любой антропологический вопрос, окончательный аргумент, одновременно неопровержимый и недоказуемый, цифровой эквивалент воли Бога, который, как известно еще со Спинозы, является прибежищем невежества. Вам нужны свобода выбора, счастье, власть, ум или эмпатия? Надо просто подождать, скоро у нас появится подходящий чип. На что он будет похож, на какие нейронные контуры он будет действовать? Неважно, наверняка найдется какой-нибудь стартап, который решит эту проблему. Именно в таких разговорах понимаешь, как далеко технология ушла от научного разума, основанного на доказательности и фальсифицируемости, став в итоге просто верой со своими кредо, ритуалами и заклинаниями.

Сопротивляться таким приступам надежды трудно, особенно если они случаются с людьми, к которым я в интеллектуальном плане близок. Мне было трудно защищать свое луддитство. Однако уважение, которое можно испытывать к достижениям информатики, заставляет продумать их пределы, допуская законность внешней по отношению к самой технологии точки зрения, в частности философской. Я никоим образом не против ИИ, но должен констатировать, что его индустриальные приложения, разрабатываемые сегодня, создают опасность для индивидуальной способности выбора: опираясь на утилитаристское основание, они умножают техники nudge. Либералы всегда были правы, когда расхваливали прогресс, обходя тысячи хитростей консерватизма. Но сегодня им нужно задать себе очень серьезный вопрос: не подрывает ли принцип инновации, за который они так много боролись, само основание их системы?

Сжечь человека

Словно для того, чтобы рассеять мои сомнения, через несколько недель после нашей встречи Адриен отправил мне фото с Burning Man. Вот он в пустыне – веселится среди друзей в смешных костюмах (а некоторые из них и вовсе без костюмов). На заднем плане над толпой навис огромный металлический дракон. Песок грубый, покрытый сетью трещин; синее небо без облаков: лунный пейзаж для новой, радостной и пестрой расы. Но откуда же взялось само это название – «Горящий человек»? Все дело в том, что по завершении празднества там сжигают огромную фигуру человека. Видеозаписи этого действа впечатляют. Ночью кукла в несколько десятков метров высотой, с руками, поднятыми так, словно бы она прославляет какую-то последнюю победу, воспламеняется в грохоте электронной музыки и фейерверков. Толпа, собравшаяся огромным кругом, кричит от радости, видя, как этот человек постепенно разваливается. Части его тела отваливаются друг от друга, он сгибается, становится на колени и обрушивается, поверженный собственной гордыней. Ecce homo: горстка пепла, вокруг которого танцуют полуголые программисты, специалисты по компьютерным наукам, веб-дизайнеры, предприниматели и просто digital natives, охваченные единым порывом этого первобытного умерщвления. «Горящий человек» – это отцеубийство, или скорее «видоубийство», в котором Homo connecticus приносит на заклание прежнего господина – Homo sapiens.

Сложно не увидеть в этом тот большой философский разрыв, о котором предупреждал Фуко в последних строках «Слов и вещей». «Если эти диспозиции [знания] исчезнут так же, как они некогда появились, если какое-нибудь событие, возможность которого мы можем лишь предчувствовать, не зная пока ни его облика, ни того, что оно в себе таит, разрушит их, как разрушена была на исходе XVIII века почва классического мышления, тогда – можно поручиться – человек исчезнет, как исчезает лицо, начертанное на прибрежном песке», – писал Фуко в конце 1960‐х годов[101]. Это событие очень похоже на ИИ и его современные изводы, которые постепенно лишают человека того, чем наделяла его мысль модерна, а именно уникальности, автономии и ответственности. Несмотря на свой показной нарциссизм, Кремниевая долина никоим образом не может считаться индивидуалистичной. Homo connecticus любит наслаждаться собой, о чем недвусмысленно свидетельствуют другие фотографии, отправленные мне Адриеном, на которых демонстрируется чувственность «сжигателей», подчеркиваемая наготой и песчаными бурями. Однако в то же время Homo connecticus не любит быть собой. Он предпочитает теряться в хитросплетениях сетевого сообщества.

Вопрос, поставленный Фуко, – это вопрос просвещения как такового. Мыслители и реформаторы хотели освободить человека от внешних опекунов, которые могли быть политическими, экономическими или интеллектуальными. И они настолько преуспели в этом, что технологии, рожденные свободным обществом, сегодня заняты созданием худшего вида опекунства – опекунства внутреннего, управляющего самыми что ни на есть сокровенными решениями, которые принимаются от имени индивидуального и коллективного благополучия. Именно в этом смысле человек может быть стерт, как лицо, нарисованное на прибрежном песке, – так же, как растворяется в песке лицо «Горящего человека».

Этот вопрос просвещения стал для меня очевидным только тогда, когда я встретился с Лаурой Тэйлор-Кейл, дипломатом и исследователем из Центра международных отношений, которая сегодня занимается в Стэнфорде темой адаптации организаций к технологиям.

Я прихожу на встречу первым и устраиваюсь за столиком на террасе. Когда Лаура садится напротив меня, я не могу скрыть мимолетного удивления. Она оказалась первой и последней чернокожей женщиной из всех, кого я встретил в своих странствиях. Я не особенно озабочен борьбой с дискриминацией, которая, по-моему, в американских дебатах давно вышла за пределы разумного. Но все-таки нужно признать, что одна чернокожая женщина на 125 встреч – это уже говорит о том очевидном отсутствии разнообразия в технологической среде, которое также выражается в предвзятости алгоритмов в моделях ИИ, разрабатываемых молодыми белыми мужчинами. Именно из-за этого алгоритмы распознавания лиц иногда безнадежно путали чернокожих людей с обезьянами, поскольку не обучались на достаточно репрезентативной выборке. Подробнее мы поговорим об этом в следующей главе.

Лаура, несомненно, развивает ангажированную позицию, критическую, но не диссидентскую, которая, однако, резко расходится с позицией ее коллег. Она уехала из Вашингтона, чтобы лучше, на академическом уровне, понять ИИ, которым во властных кругах все так восторгаются. Она понимает реалии повседневной жизни в центре США, где значительные территории до сих пор остаются лишенными доступа к интернету, и в то же время опасности китайской модели технологического надзора. Она жалуется на то, что публичное обсуждение этих вопросов остается крайне поверхностным, что потворствует лицемерию больших платформ и их этических комитетов.

Внезапно, без всякого особого повода, она пересказывает мне разговор со своим бойфрендом. Он спросил, что она думает о просвещении. Очевидно, этот вопрос занимал его уже давно. «Вам стоит поговорить с ним», – сказала она мне. Да, наверное. Но почему именно просвещение?

«Потому что нам придется выбирать между нашими ценностями. Между просвещением и технологией есть определенное противоречие».

Просвещение стало для нас предметом насмешки. Как и большинство ее американских коллег, Лаура не доверяет слишком общим понятиям, слишком громким заявлениям. Однако она осмеливается настаивать на своих вопросах. Должны ли мы опустить забрало? Смириться и пожертвовать своей частной жизнью? Не будет ли удобнее в условиях конкуренции с Китаем и под давлением нашего собственного популизма выбросить просвещение на свалку истории?

Мы расстаемся на этом вопросе, поставленном Лаурой, и не знаем, как на него ответить. Я вспоминаю о статье, рекомендованной мне Джоном Миклетвэйтом, и решаю ее внимательно прочесть – это статья Генри Киссинджера под названием «Как заканчивается просвещение». Легендарный (и весьма неоднозначный) министр иностранных дел времен Никсона рассказывает в ней о своем недавнем знакомстве с ИИ и справедливо сетует на то, что философы не уделяют ему должного внимания, тогда как технические специалисты не слишком озабочены этическими аспектами. Киссинджер не скрывает тревоги, связанной с риском появления неуправляемого сверхинтеллекта, который переопределит опыт сознания. Возможно, он тоже начитался Бострома… Но в то же время Киссинджер ставит более оригинальный и тонкий вопрос о новом отношении к сознанию, создаваемом ИИ. В этом новом цифровом универсуме окончательное суждение об истине теперь выносит вовсе не человеческий разум: именно накопление данных позволяет определить реальность или скорее множество реальностей, адаптированных к нашим заранее сформированным представлениям. Таким образом, «человеческие когнитивные процессы теряют свой личный характер: индивиды преобразуются в данные». Диспозиции знания, как и предсказывал Фуко, пошатнулись: человек больше не является сознательным производителем знаний, он пассивный реципиент информации. Парадокс в том, что гиперперсонализация продуктов ведет к дезиндивидуализации субъекта. Мы потребляем по индивидуальной мерке, но теряем меру себя. Под натиском непрерывного потока извещений, лишившись всякой интроспекции, «цифровой» человек теряет свою интеллектуальную и нравственную автономию.

Такие страхи могут показаться довольно абстрактными, но они постоянно мучили меня во время моего путешествия. Особенно мне вспоминается один вечер, когда я физически ощутил страх жить в мире, где, вопреки миссии, которой Кант охарактеризовал эпоху Просвещения, никто больше не осмелится воспользоваться собственным рассудком, где каждый предпочтет делегировать машине свою способность мыслить и судить. Я обедал в историческом центре Пекина с блестящей специалисткой по компьютерным наукам, шахматисткой-вундеркиндом, стажировавшейся в Колумбийском университете. Она была талантливой предпринимательницей и работала в Китае, где, в частности, основала, а потом продала стартап Law.ai, который автоматизировал вынесение судебных решений. Ее американское имя – Кэти. Какое-то время она занималась видеоиграми и создала компанию Wafa Games, используя ИИ, чтобы больше узнавать о пользователях и успешнее их удерживать. В соответствии с логикой, которая уже должна быть хорошо знакома читателю, алгоритмы позволяют определять поведение игроков и предлагать им то, что соответствует их глубинным желаниям. Машина, например, позволит новичку выигрывать, чтобы он не охладел к игре слишком быстро, а потом подстроится под его стиль игры (оборонительный или агрессивный), удовлетворяя его ровно в той мере, чтобы ему нравилось играть, и в то же время слегка фрустрируя, чтобы он снова и снова начинал игру.

Манипуляция, зависимость, желание – рутина для ИИ. Кэти, впрочем, охотно все это признала. Но если люди находят счастье в постоянных развлечениях, разве это не может считаться формой социального прогресса? Как уверенно заявила Кэти, разве жизнь – не игра, стирающая границу между виртуальным и реальным?

После трапезы, достойной Гаргантюа, мы решили прогуляться вокруг Запретного города. Кэти пожелала во что бы то ни стало угостить меня местным рисовым вином, и мы, немного шатаясь, погуляли в раскаленной китайской ночи. Мы брели вдоль каналов по мощеной дороге, на которой обычно сидят рыбаки. Надежные стены дворца приглушали громкий шум дорожного движения. Можно было даже поверить, что мы в императорском Китае, а в стране, навязчивой идеей которой стала модернизация, это поистине редкая иллюзия.

Преисполнившись спокойной меланхолии и пресыщенного пессимизма, я без стеснения ударился в стенания о будущем человечества – к великой радости Кэти, которой они показались очень french и которая специально меня подзуживала. Хочу воспроизвести вам здесь этот жалостливый монолог, возможно несколько избыточный, поскольку он позволит вам почувствовать, в какую пучину отчаяния вас может погрузить конец просвещения.

Итак, два-три века мы жили, воображая, что у индивида есть права и что его решения принадлежат ему и никому больше. Считая себя разумными, мы на самом деле были безумными. Разум, которым мы бахвалились, свобода, которой мы наслаждались, гражданские права, которые мы отстаивали, искусство, к которому мы взывали, – все это было привилегией элиты. Почему у некоторых было право быть индивидами, полноценными личностями, а у других его не было? ИИ положит конец этому лицемерию. Он срежет под корень наши различия, капризы, нашу уникальность. Мы снова станем хорошо управляемым обществом, однородным племенем, трудолюбивым муравейником, в котором каждый печется об общем счастье и где все вкладываются в счастье каждого.

«Офицер говорит: не рассуждайте, а упражняйтесь! Советник министерства финансов: не рассуждайте, а платите! Духовное лицо: не рассуждайте, а верьте!» – вот как Кант описал темные века покорности и невежества, которые должны были завершиться просвещением, когда каждому будет дана смелость пользоваться своим собственным умом. Sapere aude! Осмелься думать! Вот лозунг, возвестивший лучшее будущее. Но сегодня психолог снова говорит: не рассуждайте, вы ошибаетесь! Специалист по нейронаукам: не рассуждайте, вы во власти иллюзий! Экономист: не рассуждайте, вы разоряетесь! Наконец, специалист по компьютерным наукам твердит нам: не рассуждайте, дайте мне этим заняться… И у каждого из них есть убедительные аргументы. Вот в чем суть парадокса: у машины есть свои резоны, которые больше неведомы нашему разуму.

Мы вот-вот изобретем высшую, изощренную форму добровольного рабства. Во времена Ла Боэси мы были прикованы к тирану – но решитесь не служить ему, и вот вы свободны. Во времена Токвиля мы лениво покорялись грозной опекунской власти, власти государства – но тяги к независимости было достаточно, чтобы выйти из этого состояния оцепенения. Даже во времена, описанные в антиутопии «Дивный новый мир», когда мы отдали власть над собой принципу удовольствия, еще существовало центральное правительство, от которого герои, не подчиняющиеся норме, могли осмелиться потребовать отчета. Но теперь, во времена ИИ, мы подчинены только самим себе, нашим мнениям, вкусам, поведению и нашим любовным историям, которые постоянно воспроизводятся, незаметно модифицируются и безмерно возвеличиваются. Принимая куки и условия пользования, делясь бесконечным числом личных данных, мы сами создаем сковывающие нас кандалы. Мы стали своими собственными деспотами. Кто захочет, освобождаясь от самого себя, рискнуть стать другим?

Что станет с безумцами, гениями, бродягами, небесными странниками, всеми теми, кто был солью человечества? Их тоже затянет в орбиту «полезности». Вначале они будут противиться. Некоторые станут пятиться назад. Но как и, главное, зачем сопротивляться? Уставшей рукой они толкнут первый турникет… А потом сами, по своей воле, пойдут по тому же пути, столь простому и удобному, столь, по сути дела, логичному.

Я посмотрел на Кэти: она просто умирала со смеху…

4

Разные следствия

Почему все меняется

На что будет похоже общество без свободы воли? Я попытался осмыслить его зачатки, встречаясь не только с техническими специалистами по ИИ, но и с учеными, активистами и простыми «цифровыми» гражданами, столкнувшимися с первыми существенными переменами. Моя задача не в том, чтобы предсказать будущее, а в том, чтобы довести до предела саму алгоритмическую логику.

В этом я попытался сохранить верность методу Токвиля. В своей работе «Демократия в Америке» он выделяет структурирующий принцип демократической трансформации – равенство, – а потом занимается описанием его «разных следствий», которые в XIX веке уже были заметны в США. Философский метод, литературный стиль, архитектура, спиритуализм, профессиональная жизнь, заработки, отношения между мужчиной и женщиной, представления о семье, о чести, воинский дух… ничто не может избежать требования равенства. Точно так же в случае ИИ исчезновение свободы воли определяет ряд трансформаций. Мы рассмотрим различные их формы примерно в том же порядке, который был предложен Токвилем: искусство, науки, право, экономика, нравы, политика и философия.

«Именно потому, что я не был врагом демократии, я хотел быть искренним по отношению к ней», – уточняет Токвиль в предисловии к своей книге. Мне бы хотелось сказать то же по поводу ИИ.

Искусство без художников

Чтобы понять, что будет представлять собой искусство XXI века, надо отправиться в Санта-Крус, очаровательное местечко с испанским колоритом на берегу залива Монтерей, где находится Калифорнийский университет. Я потерялся в пригороде, состоящем из коттеджей, но потом наконец нашел нужную дверь – дверь композитора Дэвида Коупа, который уже несколько десятилетий создает музыку на основе кода. Особенно он известен тем, что придумал алгоритм, который может генерировать музыкальные произведения в стиле Баха: уху непосвященного (например, моему) отличить копию от оригинала совершенно невозможно[102]. Ту же технику Дэвид Коуп применил к Вивальди, Моцарту и даже Шопену, но с разным успехом (его «Ноктюрн в стиле Шопена» кажется мне слишком механическим). Главное же, что при помощи компьютерных программ он создал ряд оригинальных произведений; одно из самых известных называется «Эмили Хауэлл».

В своей наивности я связывал ИИ с молодыми разработчиками-аспирантами и предпринимателями в футболках. Но история ИИ сегодня охватывает уже несколько поколений. Человеку, который открыл мне дверь, больше 75 лет. Его сухое и серьезное лицо, потерявшееся за седой бородой, вполне подошло бы бюсту античного философа. Он ведет меня на второй этаж, в свою мастерскую. Там легко представить, как Антуан, композитор из фильма «Дядюшки-гангстеры», блуждает по лесу звуков спустя пятьдесят лет: к потолку подвешены сотни труб, бубенцов, колоколов, треугольников и стекляшек, так что малейшее движение в комнате запускает симфонию, повинующуюся случаю. На полу – завалы книг по математике, стопки бумаг и старые компьютеры, а потому двигаться тут небезопасно. Дэвид прокладывает путь, включает экран, загружает свою программу EMI, и через несколько кликов в мастерской звучит неизвестное произведение Баха. Я первый и последний человек, который его услышал: компьютер постоянно производит все новые и новые аранжировки. Разве не должен был я прийти в трепет от одной мысли о том, что могу таким образом пообщаться с духом Баха? Нет. Скорее наоборот: мы только что истребили Баха как человека, индивида, который существовал и принадлежал к определенной истории, чтобы превратить его в метод производства звуков. И. С. Бах стал названием конкретного алгоритма. А поскольку алгоритмы при должной тренировке всегда могут совершенствоваться, вполне логичным будет предположить, что виртуальный Бах в конце концов превзойдет своего праотца из плоти и крови.

ИИ подрывает отношение к творчеству. Композитор-демиург заменяется простыми музыкальными потоками, которые возникают сами собой из первичной сложности. Программы Дэвида основаны на внедрении нелинейного хаоса, по образцу его собственной мастерской. Важно одно – вывести в форме звуков глубинную фрагментацию универсума, вмешиваясь в нее как можно меньше.

Я спрашиваю у Дэвида, что он думает о свободе воли. Он поднимает глаза к небу: разумеется, мы – машины. И должны принять себя такими, какие мы есть, считая психологию наукой о мозге и радуясь скорой аугментации его способностей электродами, которые будут встроены в наш череп. Дэвида нельзя упрекнуть в том, что он не живет по своим принципам: когда его недавно оперировали, он попросил, чтобы операцию проводил робот, а не человеческие руки, всегда остающиеся неточными.

Если нет свободы воли, то нет и создателя. Если нет создателя, значит, нет и произведения: искусство, по Дэвиду, не отражает личности и не скрывает никакого смысла[103]. В поддержку своих теорий он цитирует Баха, мечтавшего о машине, которая могла бы сочинять музыку[104]. Впрочем, Дэвид предпочитает Баха в компьютерном, а не человеческом исполнении. Жесткость первого кажется ему более верной. Да и что такое интерпретация, если не тщетный поиск смысла?

Те же принципы Дэвид последовательно применяет и к другим искусствам. Если мир алгоритмичен, тогда абстракция – то, что ближе всего к природе. В его салоне развешаны странные картины, композиции из оранжевых сфер, полученных в результате автоматической обработки фотографий космоса. Неудивительно, что любимый художник Дэвида – Джексон Поллок: дриппинг – это человек, выступающий в роли машины, картина, появившаяся случайно, хаос до появления ИИ.

Дэвид, конечно, не единственный, кто выбрал этот путь. Многие применяют коммерческий подход: в октябре 2018 года аукцион Christie’s впервые включил в свой каталог портрет, созданный ИИ, и продал его более чем за 400 тысяч долларов – в пятьдесят раз выше первоначальной цены![105] Это доказывает, даже если не поднимать вопроса об арт-рынке, что публика заворожена автоматизацией художественного творчества.

Что же касается литературной деятельности, то Дэвид, хвастающийся тем, что написал уже двадцать семь книг, в том числе много детективов и несколько сборников хайку, пребывает в радостном ожидании: вскоре он сможет использовать программу, которая будет писать книги вместо него. Собственно, многие ученые сегодня увлечены идеей создания робота-писателя, хотя пока и не добились решительного успеха. Попытки Пабло Герваса, специалиста по компьютерным наукам из Университета Комплутенсе в Мадриде, нацеленные на то, чтобы создавать детские книги при помощи ИИ, пока еще находятся на самом раннем этапе. Но если накормить ИИ миллионами историй, можно представить, как тексты будут сочиняться по мере чтения, по модели «Книга, где герои – вы сами», в зависимости от наших реакций и ожиданий, с учетом тех книг, которыми мы развлекались на летних каникулах.

Что же останется от авторов? Ничего, разве что авторское право на программу (сам по себе алгоритм не является предметом патентного права). Дэвид не пытается быть «кем-то», композитором или писателем: он хочет лишь упрощать появление «чего-то». Как подытожил один друг и коллега Дэвида, прервав прослушивание цифровой музыки: «Так в чем же наша уникальность?»

Творение отныне – не самовыражение художника, а исчезновение его личности. Теперь не художник создает искусство – такое искусство устраняет художника.

Наука без причинности

То, что относится к искусству, распространяется также и на науку. Я встретился в MIT с Маркусом Бюлером, химиком, специализирующимся на материаловедении и нанотехнологиях, главой отделения инженерии. Некоторые прочат этого блестящего ученого, моего ровесника, в будущие ректоры MIT. Я было заикнулся об оптимизации материалов в архитектуре, сославшись на одну из тех немногих статей Маркуса, в которых, кажется, сумел понять хотя бы название… Он лишь отмахнулся от меня: «Это не ИИ, а всего лишь старая добрая алгоритмическая рационализация». Он любезно рассказал мне о том, как истинный ИИ, то есть ИИ машинного обучения и нейронных сетей, готовится революционизировать науку. Мне только и оставалось, что записывать за ним все то, из-за чего ускользала сама основа науки, как я ее себе представляю.

Идеи Маркуса довольно ясны: ИИ позволит обойтись без законов, как физических, так и математических. Главное, чтобы у него было достаточно данных и вычислительной мощности, и тогда машина будет производить точные результаты и предсказания, основываясь на одних лишь корреляциях и моделях, которые сама же и будет строить. Залейте побольше данных, и пусть алгоритм занимается самообучением, вот тогда он сможет вывести из них истину. В этих условиях законы Ньютона, заверяет меня Маркус, уже не понадобятся. Я не могу в это поверить… А как же яблоко? Законы движения? Гравитация? Действие равно противодействию? Всякое тело движется по прямой линии, если не испытывает внешнего воздействия? Маркус только улыбается: все это устаревшие или по крайней мере ненужные принципы. ИИ не опровергнет теории Ньютона, но усвоит их следствия, не имея при этом потребности в их эксплицитной формулировке. Маркус поистине воодушевлен результатами своих экспериментов. ИИ уже сегодня способен, не опираясь ни на какие физические законы, сформулированные в явном виде, решить проблемы растрескивания твердых материалов. Данные заменяют уравнения. Точно так же DeepMind запустил AlphaFold, программу ИИ, которая изучает структуры белков[106]. Да и почему, собственно, останавливаться на законах Ньютона? Евклидовой геометрии уготована та же участь. Тот факт, что два плюс два равно четырем, скрывает в себе всего лишь грубую приблизительность нашего мозга. Наши базовые интуиции станут, таким образом, всего лишь курьезами.

Маркус охотно допускает, что новые методы ИИ могут раздражать ученых, поскольку теперь их роль сводится к функции операторов данных. Проблема «черного ящика», которая не позволяет ИИ исчерпывающим образом разъяснять, каким путем он движется, означает, что человек никогда не поймет рассуждения машины. Иначе говоря, у нас будут результаты, но не будет объяснения. Задача, ожидающая математиков, физиков и химиков будущего, – научиться лучше общаться с алгоритмом. Те же, кто захочет найти «законы», будут вынуждены удовлетворять свое любопытство или тщеславие в ущерб научной строгости. Исследование причинности стало первым эпистемологическим разрывом с Возрождением, и он был всесторонне проанализирован Башляром. Отказ от такого исследования означает новый разрыв, ради которого мы, получается, должны в корне изменить свои представления о науках и мире, ими описываемом.

ИИ открывает путь к радикальному эмпиризму. Это триумф Давида Юма, который первым свел физические законы к простым корреляциям, «истинным» только в силу их повторения[107]: нельзя вывести то, что солнце завтра встанет, на основе наблюдения планет… а потому и из того факта, что до сего момента солнце всегда вставало по утрам. ИИ позволяет экстраполировать эту логику: значение имеют только корреляции триллионов данных и регулярности, которые могут быть из них извлечены. В таком случае понятие причинности должно будет рассматриваться в качестве каприза нашего рассудка, который препятствует прогрессу знаний. Последняя область, отведенная Юмом причинности, а именно математическое рассуждение, также будет сметена потоком данных. Больше нельзя будет провести различие между априорной математикой и апостериорной физикой, между логическими правилами и фактическими наблюдениями: весь наблюдаемый мир будет сведен к сетям данных. Вот и решена одна из величайших загадок метафизики: как законы, выводимые, казалось бы, исключительно в теории, могут применяться к реальности? Почему в законах Ньютона соблюдается наша интуиция, говорящая о том, что два плюс два равно четырем? Благодаря ИИ сам этот вопрос исчезает, поскольку оба его термина сводятся к одной и той же субъективности, которая может ошибаться.

С точки зрения этой гипотезы ничто уже не может противостоять унификации наук, священному Граалю современных исследований. Маркус верит в то, что ИИ сможет разгадать все тайны Вселенной, если только мы «скормим» ему правильные данные. Вот только непонятно, для кого он будет их разгадывать, если нам все равно ничего не понять?..

Встреча с Маркусом заставила меня поставить под вопрос те немногие знания, оставшиеся из курса по естественным наукам. Почему мы вообще так привязаны к идее закона? Почему мы ощущаем эту неистребимую потребность в причинности? Быть может, дело в том, что мы хотим сохранить иллюзию, будто благодаря свободе воли сами являемся первопричиной? Если мы верим в то, что можем начать действие ex nihilo, за которое будем отвечать, возможно, нам нужно точно так же понимать, как любая ситуация проистекает из предшествующей. Но если, наоборот, мы соглашаемся с принципом турникета, если отказываемся от идеи собственного воления, почему тогда важно, что ИИ лишит нас возможности познавать мир? Если только его результаты верны…

Впрочем, мысль о том, что ИИ все чаще помогает нам принимать решения, нисколько не пугает Маркуса. Уравнения и свобода воли – две стороны одного и того же миража.

Маркус Бюлер в этом отношении не одинок. Еще десять лет назад главный редактор технологического журнала Wired Крис Андерсон заявил в своей громкой статье о «конце теории», которая устарела в силу наплыва данных. Однако этот энтузиазм разделяют далеко не все члены научного сообщества. Во многих научных статьях высказываются предостережения по поводу неумеренного применения корреляций в ущерб рассуждениям[108]. Так, Седрик Виллани, математик и лауреат медали Филдса, решительно отвергает представление о том, что данные смогут заменить работу по концептуализации. «Законы Ньютона – это еще куда ни шло, – говорит он мне, когда я задаю ему этот вопрос, – но машинное обучение никогда не сможет прийти к физике Эйнштейна». Нельзя подозревать Седрика Виллани в том, что он недооценивает ИИ, весьма содержательный доклад о котором ученый представил французскому правительству (мы рассмотрим его далее). Но он отказывается превращать его в альфу и омегу нового научного метода. Точно так же специалист по компьютерным наукам Кристиан Игель, которого я встретил в Университете Копенгагена, считает, что ИИ способен помогать астрономам, когда нужны лучшие предсказания, составляемые на основе анализа корреляций. Но такие предсказания делаются в ущерб объяснениям, предоставляемым классическими физическими моделями, которые по-прежнему играют ключевую роль в развитии научной теории[109], поэтому отдельные ученые сознательно отдают приоритет причинно-следственным формулам. Последние менее эффективны в ближайшей перспективе, но зато больше обещают в долгосрочной. Наконец, само представление о том, что корреляция на теоретическом уровне может заменить собой причинность, оспаривается такими специалистами по статистике, как Эммануэль Кандес из Стэнфорда. Он объясняет мне, что предсказания ИИ не опираются на достаточные «основания», а потому остаются фрагментарными (например, ИИ, который должен был определять, закрыты ли ставни окна на фотографии комнаты, обращает внимание на то, занята ли в ней кровать!).

Каковы бы ни были ограничения эмпирического метода, важным остается то, что самые ярые сторонники ИИ не доверяют причинности, которая внедряет в наблюдение человеческий разум. Гуманитарные науки не избежали этого спора. Так, Ян Лекун разволновался, когда в разговоре с ним я упомянул о споре Хомского и Пиаже об обучении языку: «Хомского надо выбросить на помойку», – сказал он. Вспомним, в чем заключался этот знаменитый спор 1973 года. Жан Пиаже, первооткрыватель детской психологии, защищал представление о том, что язык приобретается постепенно, благодаря взаимодействию с внешним миром, тогда как Ноам Хомский, патриарх лингвистики, отстаивал гипотезу врожденной «универсальной грамматики», являющейся продуктом структуры самого мозга и реализующейся во множестве языков, соответствующем числу народов. Ян Лекун, который всецело на стороне Пиаже, подчеркивает «композиционный» характер языка: смысл фразы рождается из взаимозависимости семантики и синтаксиса; иначе говоря, невозможно провести окончательное различие между значениями слов и отношениями, которые их объединяют. То есть нет априорной грамматики, которая бы упорядочивала слова – носители значений, а есть лишь значения, которые, отсылая друг к другу, создают грамматику ровно в той мере, в какой и подчиняются ей. Отвергая статический характер синтаксиса, композиционный подход внедряет в анализ языка ту статистику, которая ищет истинных корреляций. Легко понять, что концепция языка у Хомского соответствует традиционному ИИ (GOFAI), основанному на строгих синтаксических правилах, тогда как представление Пиаже больше соответствует машинному обучению, требующему выявлять повторяющиеся мотивы в отношениях данных. Поэтому нет ничего удивительного в том, какой лагерь выбрал Ян Лекун, который был одним из тех, кто прошел через пустыню медленного развития машинного обучения в 1990‐е годы, сегодня став одним из лучших в мире специалистов в этой области. Из спора Хомского и Пиаже вытекают важные практические следствия: Google Translate, один из самых амбициозных проектов в области машинного обучения, не занимается переносом строгих грамматических правил из одного языка в другой, а основан на миллионах существующих переводов, которые позволяют ему предлагать наиболее вероятные формулировки.

Какое все это имеет отношение к свободе воли? Обращаясь к этому вопросу, Ян Лекун подчеркивает предсказуемость различных форм поведения, которые он может легко наблюдать среди пользователей фейсбука. Но предположим, что применение слов, напротив, может включать определенный произвол. С эпистемологической точки зрения это должно восстановить потребность в причинности, а потому и поиске идеальной грамматики в стиле Хомского. В практическом плане внедрение подобного произвола приведет к нарушению установления корреляций, а это уже двойной урон. Понятно, почему Ян Лекун относится к языковым спорам с такой страстью. Композиционная логика позволяет машинному обучению развить весь свой потенциал, вписавшись в более общую гипотезу общества с высокой предсказуемостью.

Экономика без рынка

ИИ ставит под вопрос принцип рынка, в классическом варианте которого изменение цен должно позволять предложению подстраиваться под спрос. Это хорошо иллюстрирует сектор такси, если сравнивать работу Uber в Калифорнии и Didi в Пекине.

Начнем с Uber. Я не без труда добиваюсь встречи с их главным экономистом Джонатаном Холлом. Штаб-квартира Uber в Сан-Франциско находится в нескольких кварталах от района Тендерлойн с его ничем не прикрытой нищетой. Место вполне соответствует имиджу компании: оно шумное, хаотическое, энергичное. Из лифтов постоянно вываливаются посетители, которым надо брать билетики на десятке стоек у входа. Из всех офисов открытого типа, где я был, этот, несомненно, самый впечатляющий: сотрудники постоянно двигаются от одного пролета к другому. Джонатан Холл, выйдя из стеклянного куба, тут же ударился в пространные объяснения рациональных предсказаний, конкурентных преимуществ и детализации рынка. У меня, в отличие от него, нет докторской степени Гарварда по экономике. Но я попытался, насколько смог, уследить за его мыслью.

Из всех тонкостей алгоритмов Uber мне запомнилась одна: Джонатан, полагаясь на spot market, избегает соблазна dispatch. Если в некоторых зонах спрос выше, платформа повышает стоимость поездки, чтобы привлечь водителей, но не распределяет их в приказном порядке по клиентам. Иначе говоря, Uber относится к водителям как к рациональным индивидам, которые реагируют на цену как на сигнал, и не ставит себе задачи «подтолкнуть» их к определенному выбору. Принципа финансового стимулирования должно хватить для регулирования рынка (поездка, цена которой повышается или понижается для определенного клиента) без необходимости принуждения (надо взять такого-то или такого-то клиента). Конечно, есть и правовые причины для такой политики: независимый водитель, если бы его обязывали выполнять определенные маршруты, мог бы быть переквалифицирован в суде в наемного работника. Однако Джонатан, как убежденный либерал, воодушевлен идеологическими аргументами: необходимо сохранить принцип рынка, основывающийся на свободе воли участников, а потому нельзя переходить к логике плановой экономики, как бы того ни хотели «евангелисты ИИ». Джонатан понимает, что, относясь к людям как к автоматам, мы рискуем атрофией их умственных способностей, что в итоге грозит еще более серьезными рисками. (Он приводит пример авиакатастроф, когда экипаж, слишком привыкший к автопилоту, утратил базовые рефлексы.) Кроме того, опора исключительно на ценовой механизм, регулирующий предложение соответственно спросу, позволяет не собирать приватную информацию, такую как личные качества водителей, которую ИИ ради оптимизации заказов тоже мог бы обрабатывать. «И хорошо, что так», – делает вывод Джонатан: анонимность рынка дает шанс каждому.

Но что же скажут об этом «евангелисты ИИ»? В Didi, которая базируется на другом берегу Тихого океана, сделали сознательный выбор в пользу dispatch, а не стимулов. «Это эффективнее», – объясняет мне Ву Гуобин, с которым мы в этой книге уже встречались. В поддержку своих тезисов он указывает на гигантский экран с «тепловой картой» Пекина, разделенной на сотни микрозон разного цвета. Так называемые прогностические алгоритмы, которые годами питаются всеми данными, собираемыми Didi, и постоянно совершенствуются благодаря сведениям о движении транспорта в реальном времени, позволяют предсказывать состояние трафика и число клиентов в почасовом и поминутном режиме. В закрытой воспроизводящейся системе, каковой является город, степень предсказуемости весьма велика: Ву Гуобин постоянно наращивает точность прогнозов в области спроса и предложений рейсов такси. Если можно с высокой точностью определить, кому понадобится машина, в какое время, в каком месте и для какого маршрута, зачем идти на риск ценового сигнала, который всегда слегка запаздывает и от которого водитель может просто отмахнуться? А раз у нас есть полные данные, зачем вообще обращаться к рынку? Не проще ли в самом деле распределять рейсы заранее, награждая водителей в зависимости от их производительности? ИИ сможет просчитывать стоимость рейса по дифференцированному принципу, основываясь на механизмах, непонятных обычному смертному, таких, к примеру, как «равновесие Нэша, совершенное по подыграм»[110], и ему не нужно будет заявлять цену рейса заранее. От этого все только выиграют: и водитель – он будет менее напряжен, поскольку система сама управляет им; и клиент – у него сократится время ожидания; и, конечно, Didi – она максимизирует число рейсов.

Вот почему знаменитое определение рыночной экономики, данное Фридрихом Хайеком, основателем австрийской экономической школы, весьма влиятельной во второй половине XX века, может устареть. С точки зрения Хайека, рынок – это катализатор разрозненной информации. Благодаря конкуренции он устанавливает связи между людьми, преследующими разные и подчас даже противоположные цели, воздерживаясь при этом от всякого суждения. Флуктуация цены – способ передать информацию, позволяющий удовлетворить каждое из частных желаний наилучшим образом. Рынок представляет не столько требование эффективности или равновесия, сколько непринудительный принцип координации человеческих усилий. Чтобы подчеркнуть это социальное и моральное достоинство рынка, Хайек ввел термин «каталлактика» – от греческого слова katallatein, означающего «меняться», но также «допустить в сообщество»[111]. Каталлактика – способ доверять, не становясь при этом друзьями; объединяться, не зная друг друга; создавать общество, не требуя общих ценностей. Подобно Сократу, рынок знает, что он ничего не знает. То есть он должен способствовать возникновению спонтанного порядка, не пытаясь контролировать или даже фиксировать детали повседневных обменов. И наоборот, управляемая экономика опирается на иллюзию, что центральный институт обладает всеведением, а потому и выстраивает все в форме вертикали, что неизбежно приводит к подавлению индивидуальных решений. Вот почему плановая экономика, с точки зрения Хайека, – начало тоталитаризма[112].

Хайек делает одно теоретическое уточнение: если бы у нас была полная информация, если бы мы знали все индивидуальные предпочтения и все способы их удовлетворения, тогда вопрос оптимального размещения ресурсов был бы чисто логическим, а не экономическим[113]. Таким образом, всеведение становится единственным возможным оправданием плановой экономики. Оно должно позволить не только предсказывать трансакции бесконечного числа агентов, но и узнавать об их намерениях («целях», говоря в терминах Хайека). Не это ли конечная цель ИИ? Разве алгоритм не служит созданию этой гигантской комбинаторики? Если бы мир можно было смоделировать на одной тепловой карте, если бы предсказания всего массива нашего поведения достигли достаточной точности, мы могли бы обойтись без рынка и координировать спрос с предложением централизованным образом. В таком случае логика придет на смену каталлактике. Каждый будет «распределяться» по своим урокам, работодателям или любовным приключениям, точно так же как водитель Didi направляется к своему будущему клиенту. Независимо от того, кем будет управляться алгоритм, частным предприятием или государственным ведомством, какую бы форму ни принимало распределение, «подталкивания» (nudge) или обязанности, главное – в том, что заранее установленная инструкция заменяет процесс личного решения, основанного на соотнесении цены и желания. Вот почему Джонатан, экономист Uber, назвал распределение (dispatch) «советской идеей». Как мы увидим далее, между ИИ и китайским коммунизмом действительно существует глубинная связь.

Контраст между Uber и Didi высвечивает радикальную дилемму: если предположить, что ИИ может обеспечивать почти полной информацией, нужно ли держаться за рынок по принципиальным резонам или следует согласиться, ориентируясь на эффективность, на определенную форму полного планирования? Не согласится ли в итоге Джонатан, все еще не отказавшийся от либеральных идеалов, с практическими преимуществами модели его конкурента?

В этом случае ИИ прямо атакует свободу воли, в данном случае – способность Homo œconomicus принимать собственные решения на свободном рынке.

Правосудие без виновных

Массовое внедрение ИИ в американскую судебную систему стало предметом пристального внимания. Мы поговорим о двух вопросах разной степени важности. Первый, более громкий, но менее фундаментальный, касается автоматизации применения закона. Уже сегодня алгоритмы используются судами для упрощения вынесения решения, поскольку наши своды законов стали слишком сложными[114]. Похожие технологии начали применять и адвокаты. Николь Кларк, с которой я встретился в чайной в Лос-Анджелесе, основала стартап машинного обучения для корреляционного анализа истории решений и корректировки защитных речей. Вполне возможно, что судебные процессы станут состязаниями искусственных интеллектов. Сегодня Николь опирается на решения, вынесенные судьей-человеком, и применяет к ним сложный семантический анализ. Но уже завтра ее машина сможет приступить к интерпретации машины-судьи, причем каждая будет пытаться проникнуть в алгоритмы другого… Проблемы, поднимаемые этими инновациями, хорошо известны и широко обсуждаются. С одной стороны, это риски дискриминации (недавно выяснилось, что алгоритмы, оценивающие риски рецидива, содержали в себе структурное предубеждение против афроамериканцев[115]), с другой – невозможность разъяснить все суждение в целом, обусловленная «черным ящиком» машинного обучения, с которым мы уже сталкивались. Но эти проблемы, какие бы тяжелые следствия они ни влекли, остаются, по сути, техническими, а потому могут быть устранены благодаря прогрессивному развитию ИИ, который сможет скорректировать порожденные им предубеждения и разработать процедуры «объяснимости». Все большее распространение получают принципы ответственности и прозрачности при применении алгоритмов[116]. В той мере, в какой современное правосудие должно отвергать любой элемент личной мести, справедливо и бесстрастно применяя право, автоматизация правоприменения, похоже, не противоречит принципам наших демократических обществ. Как показывает одно часто цитируемое исследование, рассуждения судей-людей зависят от состояния их желудков: выносимые ими приговоры обычно суровее к середине дня, чем после обеда[117]. ИИ мог бы исправить этот очевидный фактор несправедливости. Собственно, разве Чезаре Беккариа, юрист эпохи Просвещения, который преобразовал наше представление о пенитенциарной системе, не требовал «автоматичности» наказаний, поскольку не доверял ни одной интерпретации закона судьей?[118] Уж он-то, наверное, рукоплескал бы развитию ИИ, обещающему полную объективность…

Второй вопрос, с моей точки зрения более важный, – это вопрос автоматизации соблюдения закона. Возможно, не повиноваться закону будет все сложнее и сложнее. Когда алгоритм интегрирует в себя закон, он делает его одновременно невидимым и неумолимым. Я поговорил об этом за обедом в Пало-Альто с Джессом Левинсоном, основателем Zoox, одного из самых известных стартапов в Кремниевой долине, цель которого – создать и внедрить первый парк автономных такси. На что будет похож пресловутый умный город с его автомобилями, связанными сетью? В таком городе можно будет по закону запретить применение «ручных» машин, которые в силу своей непредсказуемости станут источником опасности для всех остальных. С правилами дорожного движения больше не забалуешь, если они вообще останутся, когда съезды и развязки можно будет оптимизировать в реальном времени. Придет конец небольшим превышениям скорости, слишком резкому перестраиванию и проезду на желтый свет. А что, спросил я своего собеседника, если надо ускориться в силу срочной ситуации, например чтобы довезти роженицу до больницы? «Можно придумать тревожную кнопку, которая позволит получить приоритет», – спешит ответить Джесс. Но для этого понадобится обоснование… Джесс, считающий себя либералом в европейском смысле слова (что большая редкость для Кремниевой долины), признаёт, что в этом смысле ИИ ведет к утрате чувства ответственности[119] и в то же время к риску бюрократизации. В самом деле, что это за закон, если ему повинуются в силу необходимости, а не по доброй воле? Разве быть гражданином не значит принуждать самого себя? Что останется от правового государства, если мы просто физически не сможем избегать его власти? Именно это канадский философ права Ян Керр назвал «аутопией» – по названию аттракциона «Евродиснея»: дети считают, что сами управляют маленькой машинкой, тогда как на самом деле невидимый механизм всегда ведет их по самой середине дороги, благодаря чему аварии становятся невозможными. Умный город – практическое воплощение «аутопии». Мы все станем такими детьми, сидящими за декоративным рулем.

Теоретически эта логика может распространиться на всю жизнь общества в целом. Полиция Лос-Анджелеса (LAPD) стала применять принцип «предиктивных полицейских действий», опираясь на прогностические алгоритмы, чтобы превентивно отправлять наряд в те места, где вероятно совершение преступления[120]. Представьте общество, в котором преступление стало невозможным. Чем оно будет – пацифистской утопией или же тоталитарным кошмаром в стиле «Особого мнения», когда полиция может арестовать вас на основании ваших предположительных намерений? Мишель Фуко настаивал на важности «нелегальности», серой зоны между правом и не-правом, в которой сегодняшние девианты формируют завтрашние правила. Речь не о том, чтобы отрицать всякое право, а о том, чтобы признать «равновесие терпимости, взаимной поддержки и интересов», – пишет Фуко в работе «Надзирать и наказывать». Зоны «нелегальности» образуют края трансгрессии, где классовые и социальные различия могут смешиваться друг с другом. Ускользая от нашего картезианского разума, они создают тысячи возможностей для разумного действия, которые никакой текст никогда не мог бы определить. Если не будет нелегальности, не лишится ли сама легальность своего смысла?

Автоматизация соблюдения права рискует превратить субъекта права в покорный объект. Но в то же время, и еще более фундаментальным образом, она передает юридическую ответственность от человека машине. Это как раз и объяснил мне Зак Харнед, юрист и основатель «Искусственного интеллекта и правового общества» в Стэнфордском университете. Кто сегодня отвечает за ошибку при назначении лекарства? Врач, а не фармацевтическая индустрия. Но кого нужно будет винить завтра, если назначение лекарства доверят ИИ? Автоматизация решения подрывает все юридическое поле ответственности в целом. В настоящий момент производителя программного обеспечения нельзя преследовать за плохую рекомендацию. Эта парадигма восходит к индустриальной эпохе, и ее, по словам Зака, придется адаптировать к новым временам. Кто сможет обвинить пассажира беспилотного автомобиля в том, что он проехал на красный свет?

Значит ли это, что создатель программы ИИ становится ответственным с того самого момента, когда ее пользователь перестает отвечать за свои действия? Нет, если считать, что алгоритм работает с определенной долей автономии. Отвергая перспективу появления сверхинтеллекта, мы все равно признаём за машиной способность к обучению. Как обвинить программиста в решении, не запрограммированном им напрямую, если происходило машинное обучение, условия для возможности которого он, однако же, создал? Разумеется, никто не давал беспилотной машине инструкции ехать на красный свет. Но ИИ, учитывая миллионы ранее встреченных ситуаций, мог решить, к примеру, что лучше пойти на такой риск, чем столкнуться с идущей сзади на большой скорости машиной. Это просто подсчет вероятностей!

Отсюда споры о том, можно ли считать роботов субъектами права. О такой возможности говорит, в частности, исследователь из Rand Corporation, включающий эту проблему в ряд других мрачных перспектив – тотального контроля и автономного вооружения: «Потребуется дать роботам право подавать иск, а также допустить, чтобы против них подавались иски, – но на чем именно мы остановимся? Дадим ли мы им право носить оружие в соответствии со Второй поправкой?» Честно говоря, при мысли о такой перспективе я просто теряю дар речи. Роботы перед лицом правосудия? Уходя с этой странной встречи, проходившей в одном из самых старых и влиятельных аналитических центров США, я решил пройтись по пляжу Санта-Моники, чтобы вернуть себе чувство реальности, которое ИИ, похоже, готов разрушить: глубокий песок, прохладные волны Тихого океана, скалистые уступы вдалеке.

Слабое утешение… Французский адвокат Ален Бенсуссан, создатель Ассоциации прав роботов, преподнес идею о юридическом статусе роботов настолько успешно и с таким блеском, что Европейский парламент принял в 2017 году резолюцию, призывающую Еврокомиссию выпустить директиву по этому вопросу. Рассуждение Алена Бесуссана основано на будущей способности самообучающихся ИИ принимать практически автономные решения, так что вину нельзя будет переложить на программиста алгоритма. Следовательно, роботу нужно будет выдавать цифровую регистрацию, удостоверение личности, определенный капитал, зависящий от рисков, и страховку от гражданской ответственности. И если индустриальная эпоха наделила юридическим лицом предприятия, цифровая эра предлагает нам продумать ту же возможность для алгоритма. Так, при несчастном случае или судебном разбирательстве информационные системы смогут напрямую общаться друг с другом, чтобы оценить понесенный ущерб. Вершить правосудие в таких условиях было бы проще: у роботов, по крайней мере пока, есть полезное качество – они не знают ни самообмана, ни лжи. А поскольку отправить алгоритм в тюрьму сложно, главное в такой процедуре – вопросы возмещения ущерба, ради которого, как можно представить, предприятия ИИ создадут специальные фонды. Две беспилотных машины столкнулись друг с другом на перекрестке? Они смогут за несколько секунд проанализировать степень ответственности друг друга и перейти к урегулированию конфликта.

Сегодня эта тема обсуждается юристами во всем мире[121]. Она вызывает бурные реакции. В апреле 2018 года более двух сотен экспертов, в том числе многочисленные юристы, подписали открытое письмо против резолюции Европарламента. С одной стороны, они полагают, что самообучающиеся системы не достигли зрелости, достаточной, чтобы считаться автономными, но это технический аргумент, который вскоре, возможно, будет опровергнут ИИ. С другой стороны, они указывают на своего рода юридическую тавтологию: предоставлять права роботам – значит, по определению, противоречить правам человека, как они определены в различных европейских законодательствах. Поскольку естественные права были придуманы для человека, ими нельзя наделять другие формы существования. Такое рассуждение, основанное на безусловном соблюдении современного статус-кво, отсылающего к естественному праву, в принципе отказывается допускать, что решение может приниматься не только человеком. Однако в нем косвенно признаётся, в какой степени наделение роботов статусом юридического лица потрясло бы фундаментальные структуры наших правовых систем, которые покоятся на принципе индивида, наделенного свободой воли и способного делать выбор между добром и злом или, по крайней мере, между соблюдением закона и его нарушением[122].

Почему все это нужно драматизировать? Если признание беспилотной машины юридическим лицом остается относительно благовидной гипотезой, решающей, по сути, лишь вопрос страхования, то применение того же самого рассуждения к логике nudge привело бы к гораздо более глубокому следствию, а именно к утрате юридического лица людьми. Если нейронауки вкупе с ИИ заставляют нас признать, что наши действия в значительной степени безответственны, не следует ли в самом деле делегировать часть наших прав и обязанностей роботам? Чем более эффективно применяется nudge, тем меньше можно считать индивида ответственным за его поступки. Единственным мотивом для обвинения человека стало бы как раз несоблюдение рекомендаций машины… Чтобы довести логику ИИ до конца, представим, что мы двигаемся в пространстве турникетов, где нас то в одном направлении, то в другом толкает магия nudge. Разве не будет тогда неразумным привлекать нас к суду в том случае, если мы сталкиваемся с кем-то и причиняем ему вред? Мы ведь просто следовали заранее установленной траектории, рекомендованной нам в полном соответствии с наукой, траектории, которая к тому же, в согласии с утилитаристской гипотезой, должна считаться благоприятной для всего остального сообщества. Ошибка могла быть совершена только самим турникетом, который, возможно, был поставлен в неправильном месте, но он наверняка запрограммирован так, чтобы тут же возместить жертве ущерб.

Почему Декларация прав человека, написанная еще до Дарвина, когда человеческая сущность еще считалась составляющей естественного теологического порядка, должна оставаться неизменной? Если системы ИИ способны предвидеть, оказывать влияние и даже руководить нашим поведением, можно ли все с той же уверенностью утверждать, что мы «родились свободными», как считал Руссо и как сказано в первой статье Декларации прав человека 1789 года? Наделить роботов статусом юридического лица – значит закрепить на правовом уровне конец эпохи просвещения.

Итак, больше никто ни в чем не виноват. За все теперь отвечает один лишь алгоритм.

Общество без предрассудков

Борьба с предрассудками стала настоящим наваждением в американских прогрессистских кругах. Там нужно вечно доказывать, что ты не из враждебного лагеря. Так, я был на конференции по демократии в New America, известном аналитическом центре, непартийном и вполне традиционном. Там обсуждалось недостаточное влияние общественного мнения на социально-политические институты. Потом пришло время вопросов аудитории. Одна участница спросила, не связана ли вся проблема с тем, что США были основаны белыми мужчинами. «Именно так», – с энтузиазмом ответил оратор. Остальные участники, университетские преподаватели и исследователи, поспешили покивать, боясь, что их навсегда заклеймят как предателей, привилегированных сторонников идеи превосходства белой расы. Вопрос, возможно, и в самом деле стоило поставить, однако этот единогласный ответ пробудил у меня сомнения… Вот другая история, открывшая мне глаза: воркшоп о «женщинах в технологиях», которых там и вправду мало. Организаторка выстроила нас в ряд и попросила белых сделать шаг вперед. Потом мужчинам предложили сделать еще шаг вперед, а затем отступить, если у нас нет диплома, и т. д. В результате была создана «шкала привилегий», о которой нас и попросили поговорить, когда мы уселись в кружок, как на собрании анонимных алкоголиков. Мне это упражнение показалось совершенно контрпродуктивным: в нем каждому предписывается его гендерная, генеалогическая или «расовая» идентичность, а потому мы сводимся к биологическим или историческим данным, которые наше общество как раз и должно было дать нам возможность преодолеть.

В беседах перед интервью меня много раз спрашивали, почему я, «белый мужчина», интересуюсь ИИ. Раньше я никогда не рассматривал себя в качестве «белого мужчины» (так же как не определяю себя в качестве человека «ростом 185 сантиметров с карими глазами»). Я по-прежнему стараюсь считать, что главная цель антирасизма должна заключаться в том, чтобы лишить цвет кожи значения, а не формировать сообщества, определяемые частными интересами. Как бы там ни было, любое трезвое обсуждение этих вопросов стало совершенно невозможным.

Поэтому неудивительно, что в центре споров об ИИ обнаруживается вопрос «алгоритмического предубеждения», ставший предметом множества публикаций[123] и не меньшего числа заявлений о добрых намерениях со стороны программистов[124]. Предубеждения возникают в основном двумя способами. Во-первых, если программист, а часто это белый цисгендерный мужчина, заражает своими собственными предрассудками параметры, устанавливаемые им для ИИ. Во-вторых, в более опасном случае, если алгоритм машинного обучения тренируется на подборке примеров, которая уже содержит в себе предубеждение. Так, первые программы распознавания лиц не могли идентифицировать чернокожих людей, поскольку эксплицитные критерии не учитывали различия в цвете, а еще потому, что на изображениях, предоставленных машине, в основном были белые[125]. Социолог Анжела Кристен, француженка, которая сейчас преподает в Стэнфорде, исследовала эти явления в ньюсрумах и судах. Она обнаружила, что предсказательные алгоритмы, используемые в системе уголовного правосудия для оценки рисков, создаваемых подсудимыми, предубеждены против чернокожих на всех стадиях процедуры (в частности, когда нужно определить вероятность неявки в суд, рецидива с насилием или нарушения правил условного освобождения). Даже если допустить, что алгоритм был создан в совершенно нейтральном режиме и тренировался на бесспорных выборках, он не может не воспроизводить и не закреплять предубеждения самого американского общества. С этой точки зрения ИИ представляется неизбежно консервативной силой, меряющей будущее аршином прошлого. Говоря проще, если чернокожие люди исторически более склонны к рецидивам (по причинам, которые могут объясняться долгосрочной политикой), значит, всякий чернокожий будет механически оцениваться в качестве источника риска. Алгоритм замыкает индивида в идентичности, которую он сам для себя не выбирал.

Эти предубеждения, независимо от того, создаются они или просто усиливаются алгоритмом, порождают значительное недоверие к ИИ. Анжела Кристен выяснила: многие судьи отказываются использовать доступные им технологии, а социальные работники отбирают данные, сообщаемые ими машине, так, чтобы получить желаемый результат… Алгоритмические предубеждения влекут, таким образом, парадоксальное следствие, заново вводя в игру предубеждения человеческие! Мы предпочитаем доверять собственному суждению, недостатки и достоинства которого нам известны, но не доверять судьбу человека произволу алгоритма.

Для американского общества ставки велики. Поэтому многие исследователи работают над программами, способными сократить или устранить алгоритмические предубеждения. Все в том же Стэнфорде на затененной террасе студенческой столовой я встретился с профессором Джеймсом Зоу, который занимается применением ИИ к биомедицине. В области генетического анализа он столкнулся с предубеждением, связанным с преобладанием европеоидных групп в базах данных. Сам он азиат и стремится этот дисбаланс исправить. «ИИ жаден по своей природе», – объясняет он. Почему жаден? Потому что он оптимизирует данные большинства, чтобы определить явные закономерности, не слишком заботясь об отклонениях. Следовательно, нужно принудить его к бо́льшей инклюзивности, корректируя алгоритм в реальном времени или же внедряя в него просчитанный элемент случайности. «У нас есть некоторые технические решения», – заверяет меня профессор, прежде чем убежать в лабораторию.

Я верю Джеймсу Зоу на слово, тем более что многие исследования оправдывают его оптимизм[126]. ИИ постоянно корректируется. В силу этого совершенствования, делает неожиданный вывод Анжела Кристен, прогрессисты должны поддерживать алгоритмы, и они их на самом деле уже поддерживают. Программисты смогут выявлять собственные предубеждения и защищать от них свои алгоритмы. Тут намечается тонкая диалектика: человек по-прежнему будет нужен для того, чтобы устранять из алгоритмического рассуждения то, что остается слишком человеческим… Таким образом, ИИ может достичь той «слепой» оценки индивидуальной ситуации, которая еще с античных времен выступала идеалом непредвзятости: неслучайно Фемиду, богиню справедливости, изображают с завязанными глазами.

В применении к управлению социальными отношениями ИИ может, следовательно, способствовать преодолению или по крайней мере нейтрализации индивидуальных предубеждений, что вполне соответствует заботам современной американской интеллигенции. Я осознал это глубинное совпадение политической повестки прогрессистов и техник ИИ, посетив офис Румман Чоудхури, расположенный на тридцать пятом этаже. Она занимается разработкой «ответственного ИИ» в рамках Accenture, мультинациональной консалтинговой компании. Сначала я поблуждал по этому запутанному рабочему пространству, где соседствует несколько компаний, и полюбовался панорамным видом на Сан-Франциско. Я уже в третий раз осмотрел горизонт, когда наконец мне удалось заметить Румман, которая готовилась бесследно исчезнуть со своего идеально чистого рабочего места. Румман, с ее зелеными волосами, тысячами подписчиков в твиттере и демонстративным энтузиазмом во всем, что касается социальных вопросов, не могла бы скрыть своей принадлежности к влиятельному сообществу калифорнийских демократов, одевающихся по последней моде, получивших кучу дипломов и готовых бесконечно рассуждать о разных несправедливостях.

Румман, специалист по информатике и одновременно политологии, разрабатывает для Accenture «инструмент справедливости» (fairness tool), который благодаря цифровым средствам должен дать возможность идентифицировать и корректировать потенциальную дискриминацию внутри предприятий. Алгоритмы составлены так, чтобы они могли квантифицировать предубеждения, например неравенство полов в карьерном плане или препятствия, мешающие разнообразию в процедурах набора кадров. В идеале именно ИИ должен будет заниматься наймом. Во-первых, для этого есть техническая причина: Accenture получает несколько тысяч резюме в день, и никакая команда, состоящая из людей, не может их все проанализировать. Но главная причина – в радикальном подходе к справедливости: машина позволяет отбирать кандидатов объективнее, не учитывая нашу личную зону комфорта. Если нам свойственно отбирать профили, похожие на наш собственный, то есть тех людей, которые окончили ту же школу или занимаются тем же спортом (не говоря уже о гендере и цвете кожи), то «инструмент справедливости» ставит всех на одну доску. Не удержавшись, я все-таки задал Румман слегка провокативный вопрос: не лучше ли работать с коллегами, которые вызывают у нас спонтанное доверие? Не необходим ли определенный уровень однородности для хорошей работы предприятия, которое, в конце концов, остается частной компанией, где люди отбирают друг друга по своему усмотрению? Румман с изумлением посмотрела на меня. Меня порекомендовала ей одна общая подруга, которая отвечает за управление данными в Сан-Франциско. Разве могло быть так, что я из чужого лагеря? Быть может, я просто трампист, замаскировавшийся под модного репортера? Что, если это ловушка, которую расставили враждебные силы?

Взяв себя в руки, Румман решает преподать мне урок с разъяснением преимуществ «инструмента справедливости». С ее точки зрения, борьба с «культурным подобием» не является инструментом повышения продуктивности – это самодостаточная цель. Речь не только о внутренней политике компании Accenture, но и о требовании социальной справедливости в целом, которое становится тем более настоятельным, что власть транснациональных компаний такого типа все больше подминает под себя государства. Румман цитирует Джефферсона: чтобы избежать тирании большинства, необходимо неустанно искоренять предубеждения против меньшинств, в том числе против самого малого меньшинства, а именно индивида. Вопрос сейчас – в самих основаниях наших открытых и демократических обществ. Я не стал ей возражать.

Допустим, что технически ИИ на самом деле способен исключить предубеждения, и экстраполируем этот механизм за пределы рынка труда. Представим, что в fooding– или dating-приложениях ИИ поощряет нас выходить за границы предубеждений, экспериментируя с блюдами разных стран или с партнерами разных полов. Речь, конечно, об ИИ, который будут корректировать его программисты: если машинное обучение предоставить самому себе, оно, скорее всего, будет воспроизводить схемы прошлого. Но важнее то, что подобная задача вписалась бы в определенную форму утилитаристского эгалитаризма, характерного для ИИ, поскольку каждый индивид определяется своей потенциальной полезностью, а не своим происхождением или средой. Несомненно, общество без предубеждений стало бы эффективнее, подвижнее, богаче. Но нужно все равно отдавать себе отчет в том, что понятие «предубеждение» не имеет пределов: вначале оно ограничивалось биологическими данными (гендером, цветом кожи), но потом распространилось на сексуальную ориентацию, уровень образования и социокультурную среду. Поэтому можно быть дискриминированным как по своим «естественным» качествам, так и по тому, что вы представляете собой в «культурном» отношении. Значит ли это, что предприятие откажется нанимать лучших, чтобы не дискриминировать тех, у кого ниже IQ или хуже образование? Заключим ли мы брак с тучным партнером, чтобы не поддаться фэтшеймингу? В современных американских компаниях сотрудники парализованы страхом высказать что-нибудь такое, что посчитают дискриминационным[127], или как-то «неправильно» себя проявить[128], поэтому любые искренние отношения между людьми становятся невозможными. Какие чувства и эмоции остаются дозволенными в обществе без предубеждений? Те, которые вам предложит хорошо натренированный ИИ. А где найти себе друзей, спросите у алгоритма…

Эта логика выдает двойной отказ от свободы воли. С одной стороны, предмет выбора считается «не отвечающим» за свои личные характеристики, будь они врожденными или приобретенными. С другой стороны, агент выбора делегирует свое решение машине, опасаясь, что сам он сознательно или бессознательно может уступить глубоко запрятанным в его душе предубеждениям. Какой критерий останется в таком случае у ИИ, раз индивид сводится к схеме самого себя, став простой абстракцией, состоящей из нулей и единиц? Взаимная полезность. Значит, не удовлетворяясь предвидением и раскрытием наших спонтанных предпочтений, ИИ должен дойти до их подавления ради справедливого и оптимального удовлетворения всей совокупности индивидов в целом[129]. С моей точки зрения, это просто две стадии утилитаризма: первая стремится достигать субъективной полезности (как она определяется, в том числе и бессознательно, индивидом), а вторая – полезности объективной (преодолевающей личные предпочтения ради групповой гармонии). Странная диалектика, в которой слуга наших желаний постепенно становится нашим господином.

На что будет похож мир без «культурного соответствия» и без дискриминации? Возможно, на идеал открытого общества. Но, возможно, и на кошмар лучшего из миров, лишенного истории и наследия. Ведь наши культурные связи образуют сегодня живую ткань общества, как бы мы ее ни оценивали. Признавая безусловную философскую ценность общества без предубеждений, я хотел более развернуто представить возражение, которое набросал в разговоре с Румман, и на какое-то время выступить адвокатом дьявола. Для этого я обращусь к Эдмунду Берку, в свое время считавшемуся прогрессистом. В знаменитом отрывке «Размышлений о Французской революции» (1790) Берк воздает редкую похвалу предрассудку (prejudice). Отказываясь верить чистому применению разума, он собирается осудить и стремление вернуться к tabula rasa, свойственное Революции, и скрывающийся за ней проект построения человеческих отношений в чисто логическом порядке. А предрассудок же, напротив, Берк считает неоценимым ориентиром для правильного поведения, берущим свой исток не в индивидуальном расчете, который всегда будет оставаться поверхностным, а в «капитале времени» – в накопленных знаниях и опыте, формирующих культуру. Предрассудок – это конденсат длительной коллективной истории, состоящей из проб, ошибок и поправок. Он передает нам в наследство очевидность, которая испытывалась веками, но теперь доступна непосредственно. Там, где рефлексия увязает в импровизированных рассуждениях, предрассудок дает нам уверенный и быстрый ответ, насыщенный эмоциями, а потому толкающий к действию. Именно поэтому «предрассудок делает из добродетели привычку, а не цепочку не связанных друг с другом поступков». Этот предрассудок в пользу предрассудка не мешает критическому анализу: по Берку, задача мыслителей – исследовать «скрытую мудрость» предрассудков и извлечь из них после краткого исследования, как советовал Декарт, «временную мораль», переданную нам предками.

Было бы соблазнительно сравнить интеллектуальную иллюзию, разоблаченную Берком, с механизмами ИИ. Французские революционеры представляли людей разумными существами, способными договариваться друг с другом, ИИ же констатирует их экстравагантность, но ставит себе задачу их исправить. Требование рациональности было попросту перенесено с индивидуального решения на машину, а принцип полезности заменил собой принцип общей воли к организации социального поля. И наоборот: нельзя ли найти в предубеждениях ряд достоинств, которые Берк за ними признавал? Предубеждения, пусть они и несправедливы по отношению к индивидам, скрывают определенное обещание преемственности. Старый предрассудок гласит: подобное притягивается подобным. «Культурное соответствие», которого так боится Румман, позволяет нам продолжать общую историю.

ИИ играет главную роль в формировании общества без предубеждений. Но будет ли это именно общество, а не просто конгломерат индивидов, страшащихся любого добровольного взаимодействия и движимых волей алгоритма? Останется ли хотя бы малейшее affectio societatis, учитывая, что за каждым аффектом скрывается предубеждение?

Права без демократии

ИИ во многом подрывает традиционную демократическую структуру, где правительство, призванное служить общему благу, применяет законы, проистекающие, как считается, из общей воли. Общественный договор, разработанный просвещением, сегодня под вопросом. Это во многом объясняет политическую ажитацию, наблюдаемую в большинстве западных демократических государств. На наших глазах разваливается целая институциональная модель, но ничего другого на ее месте пока не возникло.

Первая составляющая кризиса является технической: руководители просто не поспевают за стремительным развитием ИИ, они не способны понять текущие изменения. Когда французский премьер-министр заговорил об ИИ в своей общей политической речи в июле 2017 года, комментаторы пришли в восторг от такой продвинутости, тогда как на самом деле эта тема была упомянута им лишь походя и вкратце. Сами его формулировки весьма показательны. «Революция искусственного интеллекта затронет всех во всех областях производства», – справедливо поясняет премьер-министр. Однако все эти области производства в остальной его речи рассматриваются как нельзя более традиционно, а сам ИИ связывается с будущей «национальной стратегией», словно бы речь идет о какой-то отдельной области, новом секторе. Правительство принимает решение составить доклад об ИИ, продолжая делать вид, что его сельскохозяйственные планы, промышленная стратегия или культурные расходы никак не изменятся. Но при этом достаточно пробежать глазами споры парламента времен Июльской монархии, чтобы заметить, насколько глубоко тогдашние ораторы, какую бы партию они ни представляли, понимали промышленную революцию, которая обсуждалась не только сама по себе, но и в связи со всеми прочими вопросами, начиная с детского труда и заканчивая таможенными пошлинами[130]. Вопрос становится по-настоящему важным, когда он перестает считаться чем-то обособленным. В частности, такое развитие можно было наблюдать в экологии. Что же касается ИИ, политика, похоже, безнадежно отстала от технологии.

Впрочем, Франции стыдиться нечего: США, родина ИИ, демонстрируют ту же беззаботность. После скандала с Cambridge Analytica слушания с участием Марка Цукерберга в американском Конгрессе ясно показали некомпетентность законодательной власти, которая была вынуждена задавать общие вопросы, тогда как молодой основатель Facebook смог легко ввести ее в заблуждение. Были предприняты некоторые попытки восполнить этот дефицит в публичной политике, но без особого успеха. В Вашингтоне я встретился с Кей Коидзуми, бывшим вторым сотрудником в Управлении научно-технической политики (OSTP), ведомстве, занимавшемся контролем техники и прямо связанном с Белым домом. Кей не похож на типичного высокопоставленного чиновника: в ухе у него серьга, он носит розовые часы и футболку с крокодилами. При президенте Обаме он руководил составлением трех важных докладов об ИИ, в которых рассматривались фундаментальные исследования, государственное регулирование и социальные последствия. Эти инициативы должны были привести к осознанию проблематики на самом высоком уровне. Президент лично занимался этим проектом, была мобилизована вся федеральная администрация. «Они начали понимать, – вздыхает Кей, – но это больше не повестка правительства». Избрание Дональда Трампа повлекло резкое торможение деятельности OSTP. За беззаботностью Кея заметно глубокое разочарование. Словно зажглась искорка, которая потом была потушена первым партийным дуновением. Теперь единственная надежда Кея, которую он лелеет в рамках престижной Американской ассоциации развития науки, состоит в том, что на смену правительству, не справившемуся со своей задачей, придет гражданское общество.

Государства, стремящиеся не упустить в этих вопросах инициативу, применяют разные инструменты. Вдохновляясь работами старого британского дипломата Тома Флетчера[131], Дания официально назначила «технического посла», ответственного за отношения с крупными технологическими компаниями. Чиновник, занявший этот пост, Каспер Клинге – профессиональный дипломат, сегодня его офис располагается в Кремниевой долине. Когда я встретился с ним, он работал на этой должности уже два года. Сначала можно было подумать, что подобная инициатива лишь подкрепляет самомнение технических гигантов, признавая за ними едва ли не суверенный статус. Но с точки зрения датского правительства все наоборот: оно надеется, что сможет таким образом укрепить на этой территории роль государства. Каспер считает себя классическим дипломатом, который отправляет в столицу телеграммы и представляет интересы граждан своей страны. Признавая беспрецедентную силу GAFA, он в то же время хочет верить в то, что функция национальных государств по защите принципов либеральной демократии будет оставаться центральной. Датская инициатива, впрочем, уже нашла подражателей: во Франции в конце 2018 года был назначен «посол по цифровой сфере» (это более скромная должность). Над такой же возможностью размышляет Германия. Имея дело с цифровыми империями, дипломатия должна адаптироваться и формировать новые коалиции. Где Дании важнее иметь представительство: в Афинах или в Пало-Альто?

Каспер пылко и искренне пытается убедить меня в важности своей миссии. Хотелось бы мне верить… Впрочем, рассказ о его злоключениях не развеивает моего скепсиса. Высадившись в Кремниевой долине, господин посол выяснил, что двери перед ним закрыты. Каспер, отчасти шутя, признаёт, что в пиар-отделы компаний попасть сложнее, чем в лагеря Талибана, где он бывал, когда занимал похожий пост в Афганистане. Однажды Каспер собрал коллег-дипломатов из двадцати двух стран, чтобы провести переговоры в штаб-квартире одной из компаний, входящих в GAFA, но ему предложили встретиться… с самым высокопоставленным стажером! Когда датский премьер хотел встретиться в Давосе с представителями Facebook и Google, его просто выпроводили. Став королями мира, поскольку, если верить девизу Марка Цукерберга, они «шествовали, ломая все на своем пути», бывшие основатели стартапов не сохранили никакого уважения к традиционным государственным институтам и не лишают себя удовольствия дать им это почувствовать. Как бы Каспер ни старался, мне он кажется Дон Кихотом, сражающимся с ветряными мельницами данных.

Если отдельные государства кажутся бессильными, тогда, может, в решении этих проблем, которые по своей природе являются транснациональными, следует обратиться к многосторонним институтам? И почему бы не к главному из них, а именно к ООН?

В штаб-квартиру этой организации, расположенную на берегу Ист-Ривер, я вошел не без некоторой юношеской робости. Я миновал 193 флагов, которые столько раз видел по телевизору. Здесь собирается вся планета, чтобы обсуждать проблемы и разрешать конфликты. Как тут не оставаться верным кантианскому космополитическому идеалу? Как не желать того, чтобы однажды всемирное правительство в той или иной форме завершило объединение человечества, единственного вида, способного думать о себе самом? Не смогут ли наши руководители, собравшись вместе, совладать с идущей сегодня стремительной цифровой перестройкой?

Похоже, Салем Аван, отвечающий за технологические вопросы в администрации ООН, не готов разделить это мнение. Для дипломата он показался мне человеком чрезвычайно откровенным… Нет, на институциональном уровне не было определено никакого направления публичной политики. Нет, государства – члены ООН, похоже, не озабочены этим и не выдвигают никаких соответствующих требований. Нет, идея мирового регулирования кибербезопасности или ИИ не рассматривается.

– Но, к счастью, – добавляет Салем, – у нас есть наши собственные специалисты: цифровые «голубые каски».

– Отлично! И где же они?

– Здесь, – ответил он мне, иронично улыбаясь и указав на коридор за стеклянной стеной нашего конференц-зала.

Я оборачиваюсь. Цифровых «голубых касок» не более десятка. «В основном они играют символическую роль», – признаёт Салем. Будто я очутился в участке унылого шерифа, ожидающего нападения индейцев. Неужели это все силы, которые удалось собрать? Салем не скрывает разочарования. Накануне он принимал команду компании Amazon, с которой они должны были обсуждать возможности технологического сотрудничества. С завистью он упоминает о том, что в Amazon работают тысячи исследователей ИИ самого высокого уровня. Вот до чего мы дошли: 193 государства просят платформу электронной торговли прийти им на помощь, чтобы они могли что-то понять, решить и действовать.

Кризис не является исключительно техническим, государствам не хватает не только бюджета или знаний. Салем напомнил мне, что ООН – организация, основанная на идее национального суверенитета. Но он-то как раз и поставлен под вопрос сетями, которые по самой своей природе детерриториализованы. Речь больше не идет о том, чтобы объединять государства в зависимости от их собственных интересов, но о том, чтобы как-то работать с вопросом, который выходит за их границы. ИИ ведет к устареванию ООН. Организация, некогда способная, несмотря на все ее ограничения, укреплять мир и предупреждать войну, ныне парализована строчками кода. «Нам нужна цифровая ООН, – делает вывод Салем, – то есть организация с другим управлением, другими инструментами контроля, другими формами действия». Но, возможно, появится она только в другой жизни…

Пока же правительства, признающие свою слабость, все чаще и чаще обращаются к гигантам ИИ. Они хотят, чтобы те сами определили нормы, управляющие их пользователями, а потому и всем обществом в целом. Это делегирование суверенной власти частным группам представляет собой удивительный поворот. Под прикрытием «социальной ответственности бизнеса», крайне модного сегодня понятия[132], государство попросило тех, кто управляет нашими данными, фактически заменить собой закон. Когда Facebook применяет свои собственные критерии определения приемлемого контента, он становится главным регулятором свободы слова, попирая тем самым американскую Первую поправку или французский закон 1881 года… Выброшены на свалку столетия юриспруденции, когда юристы пытались определить тонкую границу между защитой и цензурой. То, что еще сохранялось от мифа об общей воле, единственном легитимном законодателе, распылено по строкам кода, создающегося безо всякой огласки. Отныне, когда удаляют ваш пост или по неизвестным причинам банят аккаунт[133], вам приходится обращаться к сотрудникам Facebook. Конечно, государства пока не исчезли и в крайнем случае всегда может вмешаться судья, но чего стоят годы судебных процедур в сравнении с прямым действием алгоритмов? Там, где правосудие еще могло поддерживать видимость правового государства, которое не спешит с выводами, нормы, разработанные частными ИИ, не могут не разделять духа времени, поскольку иначе они вызовут возмущение пользователей. Алгоритмы и социальная ответственность – две стороны пугающего поворота в коллективной морали.

С таким делегированием авторитета многие соглашаются, и многие строят его теории. Марк Цукерберг признал эту миссию – стать фабрикой по производству норм – в большой статье, опубликованной в феврале 2017 года, в которой он говорит о возникновении «глобального сообщества». Facebook и только Facebook – вот кто будет организовывать это сообщество, и именно он возьмет на себя задачу предотвращения зла, то есть будет разоблачать дутые сенсации, публиковать стандарты приемлемого поведения и обеспечивать граждан инструментами управления. Как не увидеть в этом определение суверенитета? Французский президент придумал понятие «сорегулирование», которое должно определить отношения между его правительством и американскими платформами, но никто не возмущается этим явным крахом делиберации[134]. Идея народного суверенитета, сколько бы спорной она ни была в принципе, без лишних разговоров отправляется на свалку истории. Экономист Роберт Аткинсон в тех же категориях выступает за механизмы саморегулирования, включающие всех участников и отражающие определенную форму социального консенсуса[135]. Что касается деятелей самой технологической сферы, то они очень рады получить эти новые полномочия. Ян, энергичный основатель стартапа ZipRecruiter, признаёт, что этические критерии, управляющие рынком труда, определяются внутри самой его компании. Он совершенно не стесняясь мечтает о том, что со своими друзьями-предпринимателями в конце концов подомнет под себя политических представителей, слабых и сплошь бесчестных, в решении всех проблем общества. Несколько более скромно, но не менее решительно гиганты сети создают все новые и новые комитеты по «этике ИИ». На словах протестуя против общей тенденции к приватизации права, на деле они ее полностью разделяют, поскольку самостоятельно определяют как те принципы, которые сами готовы соблюдать, так и те, которым подчиняются их пользователи.

Наиболее структурированная в этом смысле инициатива – «Партнерство ИИ», созданное и финансируемое расширенной группой GAFA: Amazon, Apple, DeepMind, Facebook, Google, IBM, Microsoft. Возможно, к ним присоединится их китайский аналог Baidu. Генерального директора «Партнерства» Теру Лайонс я встретил в большом лофте с кирпичными стенами прямо напротив штаб-квартиры компании LinkedIn в Сан-Франциско. Тера – приветливая, одетая по последней моде женщина, на руке – неброские умные часы. Не отклоняясь ни на секунду от своей профессиональной роли, она объяснила мне задачи «Партнерства»: обсуждать этические вопросы, разрабатывать качественные практики, а также технологические стандарты, определять будущие вопросы и т. д. Алгоритмическая справедливость, объяснимость решений, конкуренция, неприкосновенность частной жизни, анонимность, собственность на данные – в их повестке все эти проблемы, поставленные ИИ. Очень хочется поверить в хорошо отработанную речь Теры, благие намерения которой бесспорны. Но остаются вопросы к ее собственной траектории: до работы на GAFA Тера курировала вопросы, связанные с ИИ, в Белом доме. «Партнерство ИИ» – это на самом деле созданный в частной сфере преемник «Инициативы по будущему ИИ», запущенного президентом Обамой публичного политического проекта, в котором участвовали представители технологической сферы и который в декабре 2017 года предложил действительно значимые рекомендации. То есть получается, что человек, который помогал официальным властям регулировать сферу технологий в сотрудничестве с соответствующими предприятиями, сегодня работает с теми же компаниями, стремясь создать нормы, способные послужить пищей для решений официальных властей… Вряд ли можно найти лучшую иллюстрацию того, как законодатель отказался от своей традиционной роли, – и неважно, хорошо это или плохо. Политическая власть, пусть она хочет «сорегулировать» или же предоставляет компаниям все права на саморегуляцию, избавляется тем самым от фикции общей воли. Точно так же как наша способность личного выбора делегируется машине, создание коллективных норм становится епархией производителей машин. Сегодня фраза «Код – это закон» более верна, чем когда-либо ранее.

Обычные политические дискуссии, например из-за налогов или общественных служб, кажутся смешными, когда традиционные атрибуты суверенитета уничтожаются технологическими компаниями. Валюта «Либра», созданная Facebook, грозит отнять у государства его последнюю привилегию – право чеканки монеты. ИИ, способный точечным образом вмешиваться в наши решения, контролирует людей на более интимном уровне, чем закон, и к тому же эффективнее, чем легитимное применение силы. Мы по-прежнему ведем себя так, словно ничего не произошло, сохраняя видимость коллективного обсуждения там, где истинная нормативная власть уже передана алгоритмам. Сознательно или бессознательно, но граждане отпали от государства, унеся с собой свои данные. Они нашли себе нового хозяина.

Это бессилие государства объясняется не только техническими причинами, но и более серьезным вызовом тому общественному договору, который два столетия поддерживал наши политические системы в концепции, что закон – проявление общей воли. Как и с исчезновением посредников в торговле[136], ИИ создает неприятную ситуацию для самого понятия политического представительства: почему я могу получить заточенные под меня товары и персональные рекомендации, а в политике должен довольствоваться депутатом, избираемым каждые четыре-пять лет? Неудивительно, что это становится основанием для призывов перейти к прямой демократии или императивному мандату. В своих «Рассуждениях о правительстве в Польше» Руссо объясняет, что только практические препятствия, такие как слишком обширная территория или слишком многочисленное население, могут оправдать создание представительного законодательного собрания. Однако эти препятствия исчезают в цифровую эпоху, когда каждый может в любой момент голосовать по любому вопросу. Давайте пойдем еще дальше: определять общую волю по большинству, пусть даже на референдуме, – это слишком простой и неточный подход, если сравнивать с оптимизацией индивидуальных предпочтений, на которую способны алгоритмы. Почему бы тогда не предоставить ИИ, вскормленному мнениями граждан, решение вопросов публичной политики?[137] Какой, собственно, вопрос остается общим в утилитаристском мире, где ИИ распределяет ресурсы (сырье, произведенные товары или интеллектуальный капитал) так, чтобы достичь максимального счастья максимального числа людей? Бентам свел роль правительства к обеспечению физической безопасности граждан, в остальном же рекомендовал ему не вмешиваться («Be quiet!», «Тихо!» – как говорят детям). Конечно, сегодня правительства далеки от спокойствия, они пробуют так и эдак доказать свою легитимность, но разве это не ажитация от отчаяния, разве не лебединая песнь представительской системы? Что еще они могут предложить, со всеми своими запретами и угрозами, гражданину, который с удовольствием подчиняется то одной рекомендации, то другой? Разве сама идея голосования, индивидуального и осведомленного решения, совместима с концом свободы воли?

Эту тему я без особого успеха поднял в разговоре с политологом Ли Дратманом, который сегодня работает с аналитическим центром New America. Ли скептически относится к тому, что ИИ якобы может перевернуть институциональные политические структуры. Этот вопрос, возникший во властных кругах несколько лет назад, представляется ему устаревшим. Ли даже готов оспорить случаи поляризации, связываемые с социальными сетями. Я уже готовился уйти с пустыми руками, когда Ли, внезапно поднявшись со стула, перестал сыпать академическими ссылками и углубился в личные размышления: разве в автоматизированном обществе, в котором за решения граждан все чаще отвечают роботы, мы не выйдем из самого демократического процесса, уступив всю территорию автократам? Ли использует выражение «check out», «выписаться»: не получится ли так, что мы откажемся от политики так же, как сегодня выписываемся из отеля, не оборачиваясь, унося с собой свои чемоданы? Не породит ли пристрастие к благополучию окончательного безразличия? Об этом беспокоился уже Токвиль: в индивидуалистическом обществе, в котором вкус к материальным удовольствиям отдаляет граждан от общественных интересов, коллективные решения можно было бы беззаботно доверить первому, кто готов их на себя взять[138]. «Когда масса граждан желает заниматься лишь частными делами, даже самые мелкие партии не должны терять надежду на то, что станут господами дел публичных».

Мне, однако, кажется, что за вопросом о «выписывании» стоят все те вопросы, которые Ли столь поспешно отверг. Граждане выходят из демократического процесса не из-за лени или беззаботности, а потому что они чувствуют, что могут удовлетворить свои желания иначе. Словно бы ИИ и компании, его распространяющие, обеспечивают им достаточно комфортную жизнь, чтобы они могли избавиться от нужды принимать коллективные решения. Если мое благополучие оптимально гарантируется тысячами приложений и подключенных к сети объектов, зачем голосовать за какого-то представителя? Если Facebook принимает решение о моей свободе слова, зачем избирать Конгресс и спорить о Первой поправке? Если рассчитанная хореография беспилотных автомобилей отвечает моим потребностям, нужен ли общественный транспорт? Поскольку ИИ оказался одновременно персонализированным и коллективистским, поскольку он заботится обо мне как уникальном существе и в то же время обеспечивает успешное функционирование группы, он стремится ограничить область коллективного обсуждения так, чтобы в итоге можно было обойтись вообще без публичной политики.

О появлении такой альтернативы классической демократии мне рассказала в Сан-Франциско Амира Яхьяуи, энергичная предпринимательница. Я был немного смущен нашей встречей: единственная Амира Яхьяуи, которую мне удалось найти в интернете, – молодая активистка, боровшаяся за права человека в Тунисе, где ее преследовал режим Бена Али. Она долго жила во Франции, покинув родину, потом основала НКО Al Bawlasa, оказавшую значительное влияние на разработку новой тунисской Конституции. Какое отношение все это имеет к стартапу Mos.com, цель которого – сократить давление бюрократии в жизни американцев, в частности упростить подачу документов на получение стипендий при поступлении в высшее учебное заведение (это очень важная для США проблема, где плата за обучение часто очень высока)?

Несмотря на все предубеждения, я вынужден признать, что речь об одном и том же человеке – очаровательной разговорчивой женщине в яркой футболке. Ее суждения оригинальны. Мы говорим по-французски. Какая редкость – столкнуться с мыслью в движении! Амира считает, что вместе с ИИ открывается эпоха «прав без демократии». Цифровые услуги, адаптирующиеся к самым тайным нашим потребностям, формируют вполне обоснованное чувство того, что нам все обязаны. Мы не хотим терпеть волокиту, дискомфорт, проволочки? Отлично! Технологии породили в нас такое требование к услугам, которое не смогла бы заменить никакая Декларация прав человека. Не все могут быть активистами, но кто не пользуется смартфоном? Вот и обращаться нужно не столько к гражданину, сколько к потребителю. «Человека надо воспитывать так, чтобы внушить ему чувство, будто у него есть право на все», – провокационно заявляет Амира. Впрочем, это и есть цель mos.com: за американского студента отвечает платформа, а потому он может не блуждать среди тысяч критериев и процедур. Нет нужды знать во всех подробностях тексты, которые нами управляют, или подсчеты, упрощающие наши решения: достаточно отдать себя в руки ИИ. В мире, управляемом принципом полезности, «решение состоит в том, чтобы позволить собой руководить», – ставит точку Амира. Я пытаюсь робко отстаивать свободу воли. Но Амира безжалостно меня обрывает: «Мне на это плевать». Все, в общем, ясно…

Сколько раз мы слушали жалобы какого-нибудь политика на миллениалов, которые выросли в среде цифровых инструментов, а потому требуют прав, но знать не хотят об обязанностях? Может, это и есть свойство поколения, взрослевшего вместе с развитием машинного обучения, – а еще и знак полного упадка избирательной функции. Неудивительно, что эти политики так боятся ИИ, который постепенно отнимает у них всякую легитимность.

Это рассуждение могло бы показаться подозрительным, если бы его не развивала активистка с бесспорным послужным списком. Для Амиры здесь никакого противоречия: она защищала фундаментальные права тунисцев, начиная со свободы слова, и точно так же сегодня пытается вписать дополнительные права, например право на обучение людей со скромным достатком, в повседневную жизнь американцев. В обоих случаях эти права отличаются от демократического выбора. Напротив, они должны сопротивляться всякому политическому воздействию, какова бы ни была актуальная политическая власть. «Правительства – это тормоз», – прямо говорит мне Амира. С ее точки зрения, их исчезновение – не повод для сожаления. В этом ее рассуждения сходятся с тезисами политолога Яши Мунка, с которым я встретился в лондонском офисе Тони Блэра. Яша занимался теорией этого разрыва между, с одной стороны, «правами без демократии», которые гарантируются судьями или бюрократами, а с другой – «демократией без прав», несвободной и плебисцитарной (как та, что развивается в России и Турции, а также в Венгрии и даже США)[139]. Но если центрист Яша Мунк боится кризиса либерализма, Амира радуется победе технологий.

Итак, мы видим, как может родиться определенная форма правления на базе полезности, диффузно обеспечиваемой сетевым ИИ. Платформы подсчитывали бы показатели удовольствия и страдания граждан точнее правительств. Удивительно, что Амира, такая принципиальная индивидуалистка, проповедует сильное чувство сообщества, в данном случае – предпринимателей Кремниевой долины, в котором она, похоже, по-настоящему расцвела. Не образует ли этот мнимый парадокс самого сердца утилитаризма? Максимальное счастье – но для максимального числа людей.

Философия без субъекта

Читатель, возможно, помнит о Евгении, основательнице стартапа Replica, которая в первой главе этой книги носилась на скейтборде. Быть может, причина была в ее русских корнях или в природе ее продукта – странного виртуального компаньона, который способен создавать любовные отношения и воскрешать мертвых, – но так или иначе Евгения не скупилась на метафизические рассуждения. Посреди разговора она вдруг объявила, что первое название ее компании, созданной в 2013 году, – «Тысяча плато».

Приехав изучать ИИ в Сан-Франциско, я совершенно не ожидал, что встречу там Жиля Делёза, лучшего из постмодернистов, кумира моих студенческих лет[140]. Внезапно сомкнулись два универсума: предпринимателей в футболках и философов в шляпах. Не существует ли секретного прохода между Кремниевой долиной и Венсеном, между нейросетями и French Theory?

Делёз убедил Евгению в том, что индивида не существует. Во введении к «Тысяче плато» Делёз и его соавтор Феликс Гваттари вводят понятие «ризома». В отличие от деревьев, корни которых уходят в землю, чтобы найти в ней питание, ризома – это стебель, растущий под землей, по своей собственной логике, произвольно проявляясь в виде крапивы или тростника. Иначе говоря, теперь уже не индивид подключается к сети, а сеть сама порождает иллюзию индивида. Случайно ли, что Делёз описывает развитие ризомы в качестве «машинного» феномена?[141] В тот день, когда Replica сможет угадывать наши сокровенные мысли и направлять их, ИИ докажет, что самая точная персонализация сопровождается безвозвратной дезиндивидуализацией: если мои эмоциональные процессы становятся простыми переменными, агрегированными с миллионами других данных и обрабатываемыми анонимными алгоритмами, что, собственно, останется от «меня самого»? Субъект, уже не составляющий никакой автономной единицы, способной на суждение и решение, становится попросту временной эманацией потоков, которые значительно больше его самого. Мысль о множественности заменяет собой онтологию древообразования.

Таким образом, «Тысяча плато» приписывает положительную ценность смерти человека, которая была объявлена Фуко и инсценирована на Burning Man. Мы наконец сможем отказаться от своего панциря сознательной субъективности, чтобы увлечься революционным, миноритарным, желающим становления, если говорить на языке Делёза. Подчиняя наше тело и дух все новым и новым условиям, позволяя ризоме и ее неожиданным бифуркациям увлекать себя, мы приблизимся к потокам, составляющим единство мира, тот «план имманентности», который Делёз искал во всех своих книгах. В смыкании с беспорядком, хаосом, в который мы погружены, обнаруживается определенная форма аутентичности. Значение имеет уже не субъект, который получает опыт, и не объект как предмет этого опыта, а сам опыт, выходящий за мои пределы, «мир безличных и доиндивидуальных сингулярностей… дионисийская смыслопорождающая машина»[142]. Там, где субъект требовал устойчивых и определимых значений и понятий, ризома выделяет некий «смысл», который не является объяснимым или воспроизводимым, представляясь чем-то вроде «черного ящика» нейросетей. Что касается свободы воли, она отменяется ради в высшей степени случайных желаний, плодов машинной связи точек ризомы. Корни обретают независимость от деревьев.

Этот отказ от субъекта, характерный для постмодернистской мысли, стал предметом обширных комментариев и критики[143]. Однако он обрел силу в качестве естественной параллели к цифровым сетям и в еще бо́льшей степени к ИИ. Конечно, не все в Кремниевой долине читали Делёза. Однако мода на буддизм – это, возможно, более простой в интеллектуальном смысле и более эффективный на практике способ покончить с индивидом, который растворяется в великом целом. В штаб-квартире Google полно залов для медитации, и среди людей, проинтервьюированных мной, многие отмечали, что их привлекают более или менее секулярные формы буддизма (например, Адриен Трей и Амира Яхьяуи). К этому поиску небытия, или скорее универсальной формы существования, освобожденной от оков индивидуальности, нужно относиться крайне серьезно.

Хотя Делёз воспевал сингулярности, он с опаской относился к тому, что прогресс цифровых технологий способен преобразовать субъектов права в «дивидов», сведенных к абстрактным цифрам. С начала 1990‐х годов он пытался выявить в только-только формирующемся языке данных переход от дисциплинарного общества к обществу контроля, которое должно действовать не столько за счет подавления, сколько за счет извращенной системы стимулов[144]. «Мы стоим на пороге чего-то нового», – предупреждал он. В то время как дисциплина оставалась для индивида внешней, контроль проникает в его повседневное поведение. «Человек же общества контроля скорее похож на волну, он словно выведен на орбиту и постоянно находится на связи». Гражданин, став «дивидом», разложенным на столько цифровых координат, сколько существует заинтересованных в нем систем, вопреки своей воле оказывается под колпаком генерализованного наблюдения и логики nudge. Неслучайно, что Юваль Харари в конце своего «Homo deus» позаимствовал у Делёза его понятие «дивида» для обозначения человека как post-sapiens, не способного произвести устойчивую субъективность и полностью определяемого предоставляемыми им данными. Поэтому поставленный Харари вопрос о датаизме, который стал мотивом для этой книги, находит простой и жестокий ответ: отрицая субъекта, мы убили либерализм, открыв путь новой форме постоянного контроля, порочной еще более от того, что она, не будучи центрированной политическими институтами, будет распределяться между тысячами платформ. Против чего восставать, если мы клик за кликом сами строим себе клетку? В своем поэтическом выводе Делёз, проводя различие между эрами контроля и дисциплины, говорит, что «кольца змеи еще более сложны, нежели подземные ходы кротовых нор».

Я упрекаю Делёза в том, что он не установил связь между «ризомой», представляющей собой сплетение событий, исполненных философского веселья, и «дивидом» – зловещей капиталистической поделкой. Мне представляется, что второе понятие является точным политическим отображением первого. Разве не равноценен план имманентности контролю сети? Если мы устранили человека в качестве оселка мысли, не стоит удивляться тому, что в итоге он оказался в руках ИИ. Философия без субъекта ведет к обществу без свободы.

Теология без Бога

Посетив Рене Декарта в Амстердаме, я провел некоторое время в музее Ван Гога. Толпа была такой плотной, что пришлось поработать локтями, чтобы пробиться к картинам. Но не успевал я бросить взгляд на какой-нибудь автопортрет, как человеческая волна уносила меня к следующему. Я всегда был убежден в том, что музеи должны быть организованы в виде отдельных ячеек: надо резервировать слот для того или иного полотна, перед которым можно провести полчаса, развалившись на диване, с бокалом в руке, как в английских театрах. А вот когда ты подумал, помечтал, поплакал или поулыбался перед двумя, максимум тремя картинами, можно из музея уйти. Пусть тебя лучше унесут волны одного-единственного поля пшеницы, чем ты будешь бегать между пятнадцатью автопортретами. Кстати, ИИ мог бы легко распределять слоты в соответствии с предпочтениями каждого посетителя.

Во время визита больше всего меня поразило то, что все или почти все посетители делали фотографии. Не селфи, которые бы еще могли объясняться человеческим тщеславием, а просто фотографии. Посетители практически не смотрели на полотна – просто подходили, держа перед собой камеру с экраном, стараясь сделать как можно больше снимков. Понять это было трудно… В интернете можно найти десятки изображений «Автопортрета художника» в высоком разрешении, идеально освещенных и хорошо оформленных. Какой смысл заполнять свой семейный альбом автопортретами Ван Гога, которые будут размытыми, перекошенными, заслоненными руками других посетителей, их рюкзаками и шевелюрами? Кто вообще будет смотреть эти фото? Но главное здесь – это накапливать, архивировать. Оставить след. Я увидел эту картину, и эта истина должна быть зафиксирована в вечности облака.

Чтобы объяснить столь странное поведение, мне придется сделать экскурс в науку экстраординарного, а именно в теологию. Не был ли изобретен всеведущий Бог для того, чтобы служить свидетелем наших действий, зрителем наших скромных судеб? Конечно, Он нас судит. Но самое главное, Он нас видит. А потому наша жизнь не бессмысленна, ведь малейшее из наших прегрешений, каким бы легкомысленным оно ни было, записано в Книге мира. Где-то на Небе есть совершенная копия нашей жизни, хранимая как драгоценность в ожидании Страшного суда. Библия повторяет одно и то же на разные лады: «И нет твари, сокровенной от Него, но все обнажено и открыто перед очами Его: Ему дадим отчет» (Послание к Евреям 4:13); «Ибо пред очами Господа пути человека, и Он измеряет все стези его» (Притчи 5: 21); «Может ли человек скрыться в тайное место, где Я не видел бы его? – говорит Господь. Не наполняю ли Я небо и землю? – говорит Господь» (Иеремия 23:24) и т. д. Святой Августин хорошо понимал: ему нужно найти Бога в себе, Бога, который наблюдает не только за его действиями, но и за его чувствами, за самыми сокровенными помыслами. Не этим ли объясняется, почему религия так хорошо успокаивает нас? Не столько вечностью души, сколько записью самого нашего существования…

Но давайте вернемся к нашему секулярному миру, в котором Бог если и не исчез, то по крайней мере перестал быть повседневным собеседником. К страху конечности всего добавляется страх небытия. Мы уходим, и ничего не остается. Нет никакой копии или памяти. Время навсегда уничтожает то, чем мы были. Это сознание собственной тщетности способно открыть путь для аутентичного понимания существования и наслаждения им. Так Сартр, любитель онтологии и зимних видов спорта, интерпретирует лыжи в последней главе «Бытия и ничто»: мы скользим, а снег прикрывает наши следы, словно бы ничего не произошло. «Скольжение, – объясняет Сартр, – противоположно укоренению». Корень, прекрасно описанный Сартром в «Тошноте», должен пробиваться сквозь почву, разрывать ее, чтобы навеки в ней закрепиться, тогда как скольжение оставляет мир нетронутым. Это мечта человека без Бога: завоевать материю, не навязывая себя ей; обладать, но не ранить. «Когда, – делает вывод Сартр, – впрочем, мы скатываемся со склона, у нас возникает иллюзия, что мы не оставляем следа; мы требуем от снега поведения как от воды, которой он тайно является»[145]. Жить и исчезать, жить исчезая, как простое сознание, наложенное на мир. Первый страх, вызванный рассеянием, может превратиться в чистую радость исчезновения. Если, оборачиваясь, мы не можем разглядеть собственных следов, дело именно в том, что можно идти куда заблагорассудится. Наше сознание, углубляясь в ничто, которым мы являемся и которым в каждый момент становимся заново, сталкивает нас с нашей ответственностью. Можно выбрать самообман – корень. А можно принять свободу, то есть скольжение.

Посетители музея Ван Гога выбрали корень. Производить данные, как можно больше данных, – значит пытаться оставить след, отказываясь от абсурда существования, предоставленного самому себе. Поскольку Бог больше не смотрит на меня, я заменю его самим собой, создавая виртуальную копию собственной жизни, загружая ее в облако и распространяя по социальным сетям. Я больше никогда не взгляну на фотографию «Автопортрета художника», но тот факт, что я видел эту картину, останется навсегда (или по крайней мере пока хватит энергии для поддержания работы серверов). Машина воспроизводит божественное всезнание. Эта безумная попытка отрицать нашу мимолетность может приобрести болезненный оттенок. Так, движение Quantified Self («Количественное самоизмерение») ставит себе задачу измерять и сохранять все бытие человека в целом, начиная с его артериального давления и заканчивая воспоминаниями об отпуске[146]. ИИ впоследствии сможет обработать все эти данные, чтобы восстановить личность целиком. Если говорить на языке Библии: «И нет твари, сокровенной от ИИ, но все обнажено и открыто перед очами ИИ: Ему дадим отчет».

Мы перестали хранить свои секреты не от хорошей жизни. Стремление к прозрачности – это решение, выбираемое за неимением лучшего, когда мы отказались от надежды на трансцендентное и в то же время не можем согласиться с тем, что уходим из этого мира, не оставив никакого следа. Бог умер, да здравствует ИИ?

5

Геополитика ИИ

Почему Китай завоюет мир

Каждая страна и культура подходит к ИИ на свой манер, в соответствии c тем, как она понимает индивида и общество. Китай подхватил ИИ с особым энтузиазмом и теперь на базе этой технологии строит альтернативу западной модели развития. Размах китайского проекта стал мне ясен, когда солнечным днем я сидел в кафе на Юнион-сквер посреди типичного для Сан-Франциско коловращения бездомных, туристов и стартаперов. Я разговаривал по телефону с Мартином Чорземпой, который написал для исследовательского института Петерсона подробный доклад о «социальном кредите». Эта система персонального рейтинга, введенная китайскими властями, в западной прессе описывается в категориях мрачных фантазий Оруэлла. Что это такое – простой инструмент, облегчающий доступ к банковскому кредиту, как он первоначально и был задуман, или же каталог всего населения страны, в котором алгоритмы приписывают каждому гражданину определенный рейтинг в зависимости от его социального поведения и назначают соответствующее вознаграждение? Научная статья, одним из соавторов которой выступил Мартин Чорземпа, отличилась взвешенным и точным анализом[147]. Прежде чем отправиться в Китай, я хотел разобраться в этой ситуации.

По словам Мартина и его соавторов, цель этого кредита, появившегося в 2014 году, первоначально состояла в усовершенствовании социально-экономического развития за счет оценки доверия граждан друг к другу. Банковский кредит – не более чем один из аспектов системы, призванной также предупреждать уклонение от налогов и повышать прозрачность управления. Задача была в том, чтобы разработать высокотехнологичную систему управления, в которой каждый получал бы признание по его истинной ценности. Мартин допускал, что эти первоначальные благие намерения действительно могли привести к улучшению роста и даже социальной включенности. Однако социальный кредит превратился в беспрецедентный инструмент надзора, так что миллионам китайских граждан теперь запрещено летать на самолете, поскольку они слушали слишком громкую музыку, прогуливали собаку без поводка или же публиковали неприемлемые сообщения в социальных сетях. Развитие этой системы, которая пока находится на стадии тестирования, представляется неизбежным. При этом социальный кредит окутан тайной: позднее в Пекине один журналист из Caixin, наиболее независимой газеты в Китае, расскажет мне, что не знает своего собственного рейтинга и что эта тема заслуживает дополнительного исследования…

Отсюда вопрос, поставленный Мартином во введении к статье: что такое социальный кредит – признак прогресса или угроза частной жизни? Ответ оказался несколько более двусмысленным, чем можно было ожидать. Все еще можно надеяться на то, что кредит вернется к своему первоначальному призванию. Однако сама логика ИИ требует непрерывно расширять область доступных данных. С точки зрения алгоритмов, чтобы точно оценить платежеспособность заемщика, вполне логично учитывать его школьные отметки, семейные отношения и даже политические взгляды. Разве не справедливо, что хороший гражданин, серьезность и надежность которого может быть подтверждена всеми окружающими, с бо́льшей легкостью получит заем, чем мошенник и манипулятор? Если есть средства предсказать поведение помимо простой кредитной истории, почему бы не воспользоваться ими? Не собирается ли Facebook пойти тем же путем, введя свою валюту «Либра»? Надзор в таком случае представляется не столько политическим отклонением, сколько технологическим требованием. Социальный кредит – это одновременно экономический прогресс, средство обеспечения социальной справедливости и угроза частной жизни, и их невозможно отделить друг от друга.

Повесив трубку, я остался в глубочайших сомнениях. В словах Мартина я почувствовал некоторое смущение. Как не усомниться в социальной философии, на которой зиждется социальный кредит? Я сам рос под тенью учения Фукуямы, связывающего экономическое процветание с индивидуальной свободой. Мне всегда говорили, что одно невозможно без другого, и именно по этой причине список либеральных демократий в целом совпадает со списком развитых стран. Интеллектуальная собственность, свобода слова и правовое государство – вот что поощряет инновации и инвестиции, и тогда экономическое развитие порождает средний класс, озабоченный своими правами. Даже сегодня историк Нил Фергюсон связывает успех Запада с такими свободами, как право собственности и принцип конкурентности[148]. Однако социальный кредит доказывает, похоже, прямо противоположное: только подчиняя всех граждан едва ли не тотальному режиму прозрачности и подвергая их постоянному социальному давлению, можно максимизировать результаты, на которые способны алгоритмы. Общее благо имеет свою цену.

ИИ в том виде, в каком его спешат развивать в Китае, разъединяет два члена уравнения, которое я считал вечным: процветание и свободу, экономический рост и права человека. Передо мной, нависая над хаосом Юнион-сквер, стояла двадцатипятиметровая статуя Ники, богини победы. Но, может быть, вскоре она перейдет в другой лагерь? Не соответствует ли триумф США, одержанный в XX веке, той технологической парадигме, которая сегодня устарела? В мире, где прогресс зависит от накопления данных, преимущество, возможно, окажется на стороне авторитарных государств. А раз так, не становится ли частная жизнь, некогда выступавшая залогом креативности, препятствием для оптимизации?

Сталкиваясь с этими ключевыми для будущего нашей цивилизации вопросами, общества и организации, с которыми я познакомился, дают разные ответы, основанные на их собственных ценностях. Для простоты я буду различать конфуцианский Китай, стоическую Европу и протестантскую Америку.

Китай, или Триумф Конфуция

В своих странствиях я потратил на США в три раза больше времени, чем на Китай. Слишком поздно я понял, что надо было сделать наоборот… Хотя центр мировых инноваций по-прежнему находится в Калифорнии, новые китайские гиганты бросают вызов компаниям GAFA и их сателлитам[149]. Например, Didi в одном только Китае ежедневно выполняет больше рейсов, чем Uber во всем мире. Главное же, независимо от споров о реальности сокращения отставания Китая[150], что ИИ в в этой стране стал проектом всего общества в целом, определенным в качестве такового национальной стратегией развития, обнародованной правительством в июле 2017 года.

Чтобы понять китайскую страсть к ИИ, я решил встретиться с Богом – с Кай-Фу Ли, у которого 50 миллионов подписчиков на Weibo (китайском аналоге твиттера). Его выступление на TED, где он объясняет, «как ИИ может спасти человечество» (sic!), набрало более двух миллионов просмотров. О нем регулярно упоминали мои собеседники, которые его едва ли не боготворили. Кай-Фу Ли, специалист по компьютерным наукам, получивший образование в США и прославившийся работами в области распознавания голоса, сделал блестящую карьеру в Apple, Microsoft и Google. Потом, около десяти лет назад, он основал компанию Sinovation Ventures, ставшую основным китайским фондом венчурного капитала, управляющим сегодня более чем двумя миллиардами долларов. Кай-Фу Ли начал инвестировать в предприятия, которые могут составить конкуренцию его бывшим работодателям, и сегодня активно выступает в разных медиа, где защищает ИИ. В штаб-квартире Sinovation Ventures в Пекине есть опенспейс, устроенный по калифорнийскому образцу, с технарями в футболках, которые не отрываются от гигантских экранов. В ближайших к нему залах можно развлечься последними финансовыми инновациями Sinovation Ventures: здесь есть, например, автоматическая касса, которая распознаёт продукты, выложенные на ленту, и пробивает чек; автомат с пивными банками, похожий на простой холодильник, – он может автоматически списывать стоимость напитков со счета клиента (а скоро будет опознавать его по лицу). Проходя мимо экрана, я вижу, что меня разложили на точки и линии, рядом с которыми появилось множество китайских иероглифов, внушающих мне опасение… На доске почета представлены лучшие достижения фонда, с условными обозначениями: два единорога – для стартапа, оцениваемого более чем в пять миллиардов долларов (это Meitu, система обработки фотографий, или Bitmain, производящий чипы, заточенные под биткойны); один единорог – для стартапов, которые преодолели порог в один миллиард (Face++, лидер распознавания лиц); поощрительные знаки – для всех прочих. В целом на долю Китая приходится более сотни единорогов, то есть стартапов, которые преодолели порог в миллиард долларов. Это примерно треть всего мирового числа единорогов и 40 % их общей капитализации. Для сравнения: единственная французская компания, которая может претендовать на этот статус, – Blablacar. Посещение штаб-квартиры Sinovation Ventures позволяет предугадать, какое место в мире уготовано нам, французам.

Перед тем как меня подводят к Богу, я замечаю на полу простую раскрашенную миску, которая служит аквариумом для одинокой рыбки. У края колышется белая кувшинка, постепенно переплывающая с одной стороны на другую. Как неожиданно и трогательно это прикосновение к традиции, которая кажется совершенно забытой во всем этом технологическом водовороте… Вот так и развивается Китай – с головой бросившийся в безумную модернизацию, но при этом пронизанный фрагментарными воспоминаниями о своей многотысячелетней цивилизации.

Бог принимает меня любезно, однако после разговора любезность эта показалась мне не лишенной сострадания, словно бы он старался не ранить чувства представителя далекого и едва ли не дикого народа[151]. Недавно он опубликовал книгу, экземпляр которой тут же мне вручил: «Сверхдержавы искусственного интеллекта». Его сложно сбить с наезженной риторической колеи. Скрижали ИИ неумолимы. ИИ позволит китайскому народу лучше лечиться, учиться, передвигаться и просвещаться. А сам этот народ будет рад поделиться всеми своими данными, природным ресурсом цифровой экономики: частной жизнью здесь практически никто не обеспокоен, поскольку намного важнее культура общего блага, восходящая еще к Конфуцию. Никто не возмутится видеокамерам в школьных классах, если они помогут усовершенствовать техники обучения, раскрыв корреляции между поведением учеников, успеваемостью и методами преподавателя… Если у западного человека или тем более европейца обязательно возникнут сомнения и недоверие, китаец безоговорочно разделяет цели прогресса. Я чувствую, как Бог постепенно распаляется. Ключ к китайскому развитию заключается, конечно, в гибком доступе к данным, а также в способности к стратегическому планированию, которой обладает правительство. Но главное – это вопрос менталитета. Типичный американский предприниматель вырос в буржуазной семье, например тот же Марк Цукерберг, родители которого были врачами. Он играет, развлекается. Он в лучшем случае наивно, а в худшем – лицемерно мечтает «изменить мир». И наоборот, китайский предприниматель – часто выходец из народной среды, то есть его родители все еще помнят о крайней нужде. Лучший пример – Джек Ма, основатель компании Alibaba, который учил английский, работая гидом. Теперь он пашет без передышки, и цель у него одна – прибыль. Это я сразу понял в Westwall, уже упоминавшемся шанхайском стартапе, где мои собеседники вежливо подшучивали над «французами, которые любят жизнь». В Китае можно легко назначать встречи на выходных: работать никто не прекращает. Джек Ма подытожил свой жизненный идеал тремя цифрами: 996. Работать с девяти часов утра до девяти часов вечера шесть дней в неделю. Этот зов прибыли и в самом деле быстро меняет мир – ну или хотя бы Китай. Китайские стартапы, отличающиеся меньшим идеализмом, в то же время более эффективны. «Люди здесь голодны», – утверждает Бог, глядя мне прямо в глаза. В США и тем более в Европе этого голода нет.

Чтобы проиллюстрировать конкурентное преимущество Китая, Бог подчеркивает все большее значение «сенсорного ИИ»: он превратит всех нас, простых смертных, не способных программировать, в маленьких всемогущих божков – это демократизация божественного. Подключенные к сети объекты постепенно сотрут границы между виртуальным универсумом и физическим миром, создав новую конфигурацию, которую Кай-Фу Ли окрестил OMO (online-merge-offline, «онлайн сливается с офлайном»). Уже сейчас сеть ресторанов быстрого питания KFC вместе с компанией Alibaba внедрила в Китае систему платежей на основе распознавания лиц: достаточно посмотреть в камеру, и с тебя тут же спишут деньги. Кай-Фу Ли мечтает о будущем супермаркете, в котором клиент будет сразу же идентифицирован и где ему будут предлагать товары в зависимости от его пищевых привычек, состояния его холодильника и планов на неделю. Западного человека эта перспектива может ужасать, что признаёт и сам Кай-Фу Ли, однако китайца она воодушевляет. Кроме того, промышленные мощности Китая обеспечивают массовое производство предметов, подключаемых к сети. Лидер индустрии, Xiaomi, подключает к сети весь ваш дом, начиная с очистителей воды и заканчивая лампочками и зубными щетками. Китай ежегодно производит намного больше объектов, подключаемых к сети, чем Америка; основной регион их производства – Шеньчжень. В будущем они не будут ограничиваться бытом: Кай-Фу представляет, как будут работать виртуальные преподаватели, настроенные на уровень каждого ученика и способные выявлять его степень внимания благодаря системе распознавания лиц. Сочетание культуры, которая не слишком озабочена частной жизнью, и динамичного производства наделяет китайскую модель определенной структурной силой.

К Богу надо относиться всерьез. Как бы ни оценивать политическую и экономическую систему Китая, радует то, что здесь можно встретить откровенных собеседников с четкими мотивами: после недель риторических блужданий в США настоящей отрадой для меня стали разговоры, которые, хотя иногда и пугали, всегда были честными, свободными от любых табу. Китайские предприниматели, которым незнакомо лицемерие Кремниевой долины, затуманивающее любую попытку понимания пустыми лозунгами, не скрывают своих целей. Не парадокс ли, что надо было отправиться в тоталитарное государство, чтобы получить возможность поговорить свободно, без свинцовых оков политической корректности? Преодолев Тихий океан, внезапно ощущаешь, что попал туда, где история действительно движется вперед. Здесь нет такой инновации, которая считалась бы слишком смелой, и мечты, которая была бы слишком безумной. Предчувствие всего этого у меня возникло еще до отъезда, когда в Париже, в Политехнической школе, я встретился с одной китайской исследовательницей, спокойно объяснившей мне, как воспроизвести всю совокупность наших нынешних ощущений, чтобы в будущем передать их нашим клонам. То, что нас возмущает, их воодушевляет. Впрочем, оптимизм заразителен. Мои соотечественники, которых я встретил в Шанхае или Пекине, часто становятся адептами китайской модели. Они теряют веру в нашу упадническую демократию, построенную на бесконечных разглагольствованиях и избыточной осторожности. Один из них с гордостью описывал мне, как его восьмилетняя дочь, играя в лего, установила в своем пластиковом кукольном домике камеры видеонаблюдения, чтобы распознавать курьеров. Добро пожаловать в будущее!

Китай нашел средства, позволяющие ему добиться своих целей. Согласно плану академических исследований в сфере ИИ, он готовится «догнать и перегнать». Майк Вулдридж, директор факультета компьютерных наук в Оксфорде, показал мне программу одной будущей конференции: более половины участников – с азиатскими именами. «Пятнадцать лет назад их практически не было», – констатировал профессор, убежденный в том, что Китай вот-вот станет господствующей в сфере ИИ силой. Многие китайские исследователи какое-то время работают в США, но, в отличие от своих европейских коллег, обычно возвращаются на родину, по примеру Кай-Фу Ли, который вернулся, чтобы управлять китайским подразделением Microsoft, а потом занялся самостоятельным бизнесом. Кроме того, многие студенты проводят стажировки, не покидая родины. Один из наиболее престижных исследовательских центров – Университет Цинхуа, расположенный на северо-востоке Пекина. Именно там я встретил профессора Юн Чжу, типичного представителя нового поколения китайских специалистов по информатике: он получил диплом в Цинхуа, потом несколько лет провел в аспирантуре в Университете Карнеги – Меллона и в Стэнфорде, а потом вернулся преподавать в своей альма-матер. Юн Чжу принимает меня субботним утром в своем кабинете и усаживает перед огромной доской, покрытой уравнениями. Единственное отличие от будней – в том, что он надел мягкие туфли… Юн Чжу постоянно общается с коллегами со всего света, особенно из США, и совершенно не ощущает того, что возвращение в Китай как-то его унижает. Напротив: в Цинхуа недавно создали Институт ИИ, который щедро финансируется правительством и частным сектором. Там будут работать более пятидесяти исследователей, придерживающихся междисциплинарных подходов. Национальная стратегия поддержки ИИ неумолимо претворяется в жизнь.

Международная конкуренция в области ИИ не ограничивается, однако, академическими вопросами. По словам Юн Чжу, в разработке промышленных приложений преимущество Китая заключается в изобилии данных, которое можно оценивать как по объему, так и по доступности. Его слова смыкаются с тезисом Кай-Фу Ли: ИИ вступает в «эпоху практической реализации». Ему сегодня нужны не столько изобретатели, творцы или провидцы, сколько армии инженеров и предпринимателей, всей душой преданных делу. Цифры говорят сами за себя: в одном только департаменте исследований и разработок компании Huawei занято более 80 тысяч работников! Количество ежегодно регистрируемых в Китае патентов в сфере ИИ, которое составляет более 15 тысяч, позволяет стране конкурировать с США и Японией. В пекинской штаб-квартире Microsoft более 80 % инженеров – китайцы. Китай готов. Весь мир станет его фабрикой, а XXI век будет азиатским.

Этот технологический оптимизм, пронизывающий все общество в целом, сопровождается чувством превосходства и даже реванша. После обеда с руководителями исследовательского института Tencent, одной из крупнейших китайских технологических компаний, я пребывал в полном смятении. Встреча проходила в традиционном ресторане – невероятной пагоде, затерявшейся среди стеклянных башен, с фонарями, коваными подсвечниками и позолоченными идеограммами на ярко-красном фоне. Там была целая делегация, примерно шесть человек. Мой основной собеседник, который попросил звать его Сэмом, ранее работал на правительство и сохранил тесные связи с властями. Он сразу взял меня в оборот, не тратя времени на риторику, что вполне по-китайски. Казалось, Сэм считает меня ответственным за европейское законодательство в области данных (RGPD, «Общий регламент по защите данных»)[152], которое он считал идеалистическим, самоубийственным и в то же время претенциозным. Я пытался объяснить ему, что не представляю Еврокомиссию, но он не отставал: я француз, а потому должен разделять позиции своего правительства. Он все больше распалялся. Ситуация осложнялась наличием посреди стола крутящегося блюда с закусками. Мы с Сэмом крутили это блюдо одновременно, но в противоположных направлениях, увеличивая словесное напряжение незаметной борьбой рук за расставленные на блюде деликатесы странного цвета.

Сэм, казалось, упрекает меня лично в том, что регулирование становится важнее инноваций, а также в том, что мы пытаемся поучать весь остальной мир, тогда как сам я не смог создать ни одной передовой цифровой компании. Поскольку я воплощал в себе Евросоюз и деться от этого мне было некуда, я ощутил укол континентального самолюбия и в итоге все-таки начал защищать принципы RGPD – с тем большим жаром, что не верил ни единому слову, которое сам же и произносил. Так бы мы и двигались по кругу среди неловкого молчания других участников встречи, но тут Сэм раскрыл мне тайный мотив своего негодования. «Я пятнадцать лет назад учился в Париже, – сказал он мне по-английски. – В те времена меня поразило то, насколько это был современный город. На рынке можно было расплачиваться кредитными картами, что в Китае тогда было немыслимым. Но сегодня вы по-прежнему платите своими кредитными картами, тогда как у нас работают прямые электронные платежи со смартфонов!» Это то, что иногда называют leapfrogging, прыжком лягушки: страна перепрыгивает тот или иной этап в своем развитии и сразу переходит к следующему. Мысль Сэма вполне понятна: после многовекового унижения Китай возвращает себе место в мировой экономике. Тогда как Европа со своими нравоучительными правилами постепенно растеряет тот моральный авторитет, который у нее еще остался.

При расставании Сэм подарил мне книгу своего начальника, Ма Хуатена, основателя Tencent[153]. В ней, что неудивительно, обнаруживается та же убежденность в том, что ИИ преобразует все общество в целом. Ма Хуатен придумал понятие «интернет-плюс», которое официально было принято правительством в 2015 году, – оно требует интеграции традиционных отраслей промышленности с цифровым универсумом. Официальная его цель – «повсеместное внедрение ИИ». Иначе говоря, ничто не может остаться вне сети. «Интернет-плюс» должен поощрять умное потребление, социальную жизнь, инклюзивные финансы, государственное управление и даже частную благотворительность. Основной инструмент, разрабатываемый с этой целью компанией Tencent, – мессенджер WeChat, который выполняет почти все функции. WeChat позволяет общаться, но также управлять своими учебными курсами, отправлять сообщения в социальные сети, составлять список покупок или записываться в больницу. Можно представить себе, как в одном приложении объединились WhatsApp, Facebook, PayPal, Skype, Uber, Amazon, Instagram и Tinder. Каждый месяц WeChat пользуется миллиард человек. Мне самому пришлось его загрузить: в Китае он просто необходим, чтобы назначить встречу или заказать такси. В нем связываются с другими людьми и с миром в целом, сканируя QR-коды, генерируемые приложением. Оно используется даже внутри компаний. Больше никто не отвечает на электронные письма и не платит наличными. На Западе я смог закрыть аккаунт в фейсбуке и продолжать жить совершенно нормальной жизнью. В Китае отказаться от WeChat – значит обречь себя на профессиональную, социальную и эмоциональную смерть. Ма Хуатен уверенно заявляет о наступлении новой эпохи, когда маркировка «Сделано в Китае» будет обозначать уже не дешевое производство, а парадигму современности.

Несомненно, Китаю предстоит еще долгий путь. Бывший вице-президент компании Saicmotor, крупнейшего в стране производителя автомобилей, рассказал, что традиционная промышленность пока отстает от роботизации. Однако направление движения ясно, и все общество с нетерпением ждет обещанных перемен. Промышленная революция вытеснила Китай на обочину, в опиумных войнах он был унижен, потерпев военное поражение от Британской империи. Это «великое расхождение» с Европой, которая переживала фазу быстрого роста, привело к тому, что Китай с позиций мировой державы скатился до уровня слаборазвитой страны[154]. ИИ должен дать ему возможность поменяться ролями с Европой.

«В Китае две тысячи лет назад была придумана первая бюрократия, и точно так же сегодня мы создадим общество, основанное на данных», – заявили мне в пекинской штаб-квартире Microsoft. Доверие людей друг к другу, являющееся основным структурным элементом всякого коллектива, будет порождаться сетевыми рейтингами и группами WeChat, а не физическим взаимодействием. На что будет похоже это общество? В Китае уже можно найти своего рода бездоказательные свидетельства – многочисленные гаджеты, основанные на ИИ и предвосхищающие будущее человечества. Так, Microsoft придумал и разработал Xiaoice – способный выдавать информацию и сочинять музыку ИИ, который должен стать интегральным виртуальным компаньоном. Стартап SenseTime разрабатывает инструменты распознавания лиц для идентификации постоянных клиентов магазина и даже для различения коров в стаде. Первое занятие в университете права в Пекине открывает робот, который сам разработал курс. Перед многими пешеходными переходами в крупных китайских городах стоят большие экраны, выявляющие нехороших граждан, переходящих улицу в неположенном месте: на этих экранах выводятся фамилии и фотографии нарушителей, чтобы они устыдились. Полицейские на перекрестках носят очки с камерами распознавания лиц. В провинции Чжэцзян заявили о создании первой подключенной к сети автодороги, которая исходно спроектирована для беспилотных автомобилей: она будет оснащена сенсорами, позволяющими автоматически корректировать трафик, и солнечными батареями для зарядки электромобилей. Двигаясь в том же направлении, Baidu, китайский Google, заключил партнерство с регионом Сюнъань, чтобы построить там с нуля первый «город ИИ». Возможно, сцена из «Особого мнения», где человек проходит в метро по сканированию сетчатки глаза, скоро станет реальностью.

Условие развития этих технологий очевидно: отказ от неприкосновенности личной жизни. Необходимо, чтобы каждый был готов видеть и быть видимым. Сколько раз я слышал, в том числе и от Кай-Фу Ли, что частная жизнь – не китайское понятие и что в Китае нет «права оставаться в стороне»? Гендиректор Baidu Робин Ли подытожил этот взгляд на жизнь в заявлении, упомянутом многими из моих собеседников: «В том, что касается частной жизни, китайцы более открыты, нежели европейцы, они не относятся к ней с такой щепетильностью. Если нужно пожертвовать ею, чтобы достичь большего благосостояния и бо́льшей безопасности, они пойдут на это без всяких колебаний». Эту свою культурную особенность китайцы воспринимают не как слабость, а как определенную форму самоотверженности, необходимую для блага других. Мне вспоминается беседа с создателем Хи-Няни – робота, который наблюдает за состоянием здоровья престарелых людей. Хи-Няня напоминает, когда нужно принять лекарства, измеряет артериальное давление, выявляет опасные симптомы, дает сигнал тревоги в случае падения подопечного, общается со страховой службой и может даже поддерживать минимальный разговор. Чтобы улучшать качество своих алгоритмов, няня собирает данные пользователей. Они могут от этого отказаться, но на практике все соглашаются. Разве не было бы проявлением чудовищного эгоизма отказываться от участия в развитии столь полезного продукта? Хи-Няня – великолепная метафора будущего общества, в котором цифровая няня всегда готова прийти вам на помощь. Давайте не будем ничего от нее скрывать, и она никогда не подведет нас.

Западное понятие «надзор» не вполне подходит для описания этой полной прозрачности. Оно основано на интенциональности, полицейском государстве или капиталистических хищниках, стремящихся манипулировать индивидами. Здесь же каждый наблюдает за собой, успокаивая себя тем, что в его распоряжении имеется няня. В то же время границы между частной торговлей и государственными услугами стираются. Значение имеет только максимальная агрегация данных. Какая разница, кто будет оценивать мою рыночную платежеспособность – компания Alibaba или правительство, которое присваивает мне определенный рейтинг «социального кредита»? Самым полезным окажется для меня тот, кто будет располагать наибольшим количеством данных. Отсюда эта неизбежная тенденция к централизации. Чжингли Ченг, основатель инвестиционного фонда, специализирующегося на ИИ, использовал выражение, которое меня зацепило: «озеро данных». Это место, к которому стекаются реки из бесконечного числа источников в промышленности, правительстве или на платформах (другая собеседница сказала мне: «Данные – это как текущая вода»). «Озеро данных» – основной естественный ресурс, который обеспечивает питание алгоритмов, благосостояние граждан и коммуникацию разных секторов общества. И это «озеро» – единственное. Однажды оно будет поставлять ИИ всему Китаю. Из него смогут черпать ресурсы любые предприятия – при условии, что они будут отдавать в него собственные данные. Да и разве не логично, что эти предприятия постепенно сгруппируются, образовав одно-единственное предприятие, Левиафана данных, способного управлять нашими покупками и находить решение для любовных проблем? По крайней мере, ему не будет мешать никакое право на конкуренцию. В Европе, признаёт Чжингли Ченг, это было бы неприемлемо. Вот в этом и состоит решающее преимущество Китая.

Итак, сотрудничество правительства и платформ воспринимается не как предательство, а наоборот, как скоординированные поиски общего блага. Как мне с некоторыми эвфемизмами объясняет Сиян Гу, глава пиар-отдела китайского подразделения Microsoft, «китайский регулятор весьма открыт в вопросах доступа к данным». В то же время платформы готовы служить государству. Я удивился, узнав в разговоре с послом одной европейской страны, что Джек Ма предложил его премьер-министру доверить компании Alibaba выдачу виз! Кажется, нет такой области суверенитета, которая не была бы открыта гигантам китайского интернета, являющимся одновременно и коммерческими платформами, и правительственными агентами.

Чтобы лучше понять это переплетение публичного и частного, я решил посетить City Brain, созданный компанией Alibaba в Ханчжоу, скромном городке на шесть миллионов человек, расположенном к юго-востоку от Шанхая. Этот «мозг города» представляет собой ИИ, призванный оптимизировать городское управление. Каждая из крупных китайских платформ, согласовав свою роль с правительством, вносит вклад в достижение общего блага, используя для этого свои технологические компетенции. В этом негласном дележе цифрового мира Baidu получила беспилотные автомобили, Tencent – электронную медицину, iFlytek – распознавание голоса, а Alibaba – автономный город… Похоже на то, как если бы американское правительство доверило управление системой медицинского страхования Google, а реорганизацию дорожного транспорта – Amazon. В данном случае City Brain обкатывался в городе, где вырос сам Джек Ма и где по-прежнему располагается штаб-квартира компании Alibaba.

Несколько месяцев я самыми разными способами пытался добиться в Ханчжоу встречи с экспертами Alibaba, способными показать мне, как именно работает City Brain. За несколько дней до моего отъезда из Китая, после бесконечных телефонных переговоров, я уже думал, что близок к цели. Мне сказали, что в Китае обо всем договариваются в последний момент. Потом внезапно все отменили; в качестве компенсации мне предложили невнятное приглашение на какую-то ежегодную конференцию. City Brain мог так и остаться мифической аллегорией, довольно туманно описанной в нескольких статьях на английском языке, которые я разыскал, не сумев проверить их источники. Но благодаря одному личному знакомству мне все-таки удалось связаться с молодым сотрудником Alibaba, который по счастливому совпадению работал в команде Alicloud, занимающейся проектом City Brain. Он пригласил меня в офис Alibaba в Пекине и за час без лишней помпы все мне объяснил. Я слушал его, пытаясь не упустить ни слова.

Главная задача алгоритмов, разрабатываемых в City Brain, – повысить мобильность трафика. Данные о нем поступают из разных источников: геолокализации автомобилей, сенсоров на дорогах, камер видеонаблюдения, изображений, передаваемых компании Alibaba властями. City Brain может также формулировать автоматические рекомендации, которые тут же применяются на местах: так происходит перенастройка светофоров в реальном времени, закрываются или открываются в случае нужды те или иные трассы, направляются постовые, распространяются сообщения о дорожном движении, особенно уведомления, посылаемые прямо водителям через основные навигационные приложения. То есть это система, в которой ради достижения оптимальной эффективности объединены частные и публичные инструменты. После ее внедрения пробки в городе сократились на 11 %. Та же логика используется для уборки улиц, распределения парковочных мест и контроля качества воздуха. City Brain использует данные государственных властей, а сам, получив их, изобретает услуги для потребителей: это полюбовная сделка, которой довольны обе стороны.

Однако другие, менее известные услуги Alibaba вызывают больше опасений. Например, City Brain помогал полиции с интеграцией и модернизацией ее баз данных. Благодаря специальным камерам, установленным по всему Ханчжоу, инженеры Alibaba внедрили систему распознавания лиц, способную учитывать информацию из социальных сетей и интернета в целом. Цель в том, чтобы получить возможность идентифицировать каждого гражданина Ханчжоу, отслеживая в одном стандартном формате его передвижение, поведение, а также социальные связи. За несколько секунд можно узнать, кто вы такой, где находитесь, что делаете и с кем недавно встречались. City Brain позволяет найти в городе машину по ее номеру или преступника по обычному фото. Для предупреждения преступлений полиция может также опираться на предсказательный анализ City Brain. Мой собеседник с гордостью разъяснил мне все эти технические достижения, в которых, с его точки зрения, нет ничего сомнительного. На мои скромные возражения он ответил доводами здравого смысла: разве мы не хотим жить в безопасности? Сегодня муниципальные власти вполне удовлетворены результатами, а гражданин даже не подозревает, что за ним ведется наблюдение. Окрыленная этим успехом, Alibaba готовится внедрить систему City Brain в пятнадцати других городах, в том числе и в соседних странах, например в Малайзии. И ведь это только первые шаги городской оптимизации… В будущем технология City Brain сможет применяться для городского планирования, управления водоснабжением и электрическими сетями: «У граждан не будет другого варианта, кроме как сохранять постоянное подключение к сети». City Brain сможет еще ближе узнать их и еще больше улучшить наши условия жизни, строго присматривая при этом за теми, кто хотя бы на дюйм отклонился от истинного пути.

Мой молодой собеседник говорил с таким воодушевлением и уверенностью, что мне просто не хватило смелости показать ему свое возмущение. Наши точки зрения, вероятно, попросту непримиримы. То, что для него является постепенно создаваемой утопией, мне кажется антиутопией, ставшей реальностью. «Китай – это как пирамида, управляемая сверху», – сказал он в самом начале разговора. Нужно понимать, что центральная власть или силы правопорядка не вызывают у китайцев инстинктивного отторжения. Чтобы убедиться в этом, достаточно провести один час в Музее полиции в Пекине. Кажется, что ты в «перевернутом» берлинском музее «КПП Чарли» – здесь все наоборот: диссиденты представлены не героями, а предателями, репрессии считаются не отвратительными, а вполне законными. Так, арест заговорщиков Гоминьдана стал поводом для чествования, а памятные мероприятия на площади Тяньаньмэнь известны превосходным обеспечением безопасности… Висящая там табличка, во избежание недоразумений, объясняет, как «полиция под руководством Коммунистической партии Китая постепенно завоевала доверие и поддержку Партии и Народа». В стране, где история средств надзора восходит к 221 году до н. э., к императору Цинь Шихуану, критика установленного порядка не приветствуется.

Китайская парадигма проясняется: «озеро данных», питаемое самыми разными источниками, используется гигантами ИИ с благословения правительства и под пристальным контролем полиции. Гражданин, круглые сутки подключенный к сети, выигрывает в благополучии и безопасности. Какой же безумец станет на это жаловаться – в стране, где еще жива память о гражданской войне и голоде?

В качестве объяснения этого тревожного равнодушия к свободам порой можно прочитать, что китайское общество вступило в индивидуалистическую, консьюмеристскую, аморальную эпоху[155]. С моей точки зрения, это слишком поспешная оценка, в которой западная схема интерпретации проецируется на сложное общество. Китай не готов бежать за прогрессом, отказавшись от всякой этики. Наоборот: он поднимает ИИ на щит именно потому, что эта технология соответствует его глубинным ценностям.

Кай-Фу Ли заметил в разговоре со мной, что концепция приватности, неприкосновенности частной жизни не была основной в китайской философской традиции. Впрочем, достаточно сесть в китайский поезд, чтобы заметить: уважение к тому, что мы бы назвали «личным пространством», здесь почти отсутствует… В то же время Кай-Фу Ли расхвалил конфуцианские ценности: дружбу, лояльность, заботу о других, преданность родине. Все эти ценности скорее коллективного характера, и ими якобы и объясняется та легкость, с какой китайцы передают свои данные властям. Я решил проверить это, отправившись в храм Конфуция в Пекине, который недавно, когда началась запущенная властями волна возрождения конфуцианства, был отреставрирован. Это несколько пагод, одна другой величественнее, соединенных мраморными лестницами. Между пагодами можно свободно прогуливаться. Я с удивлением заметил, что балки, поддерживающие крыши, украшены рисунками концентрических кругов, напоминающих человеческий глаз, так что посетитель как бы находится под присмотром тысячи взглядов: может быть, это первые камеры видеонаблюдения? На выходе из храма расположена постоянная экспозиция, выражающая официальную позицию правительства в отношении Конфуция, который реабилитирован в качестве главной фигуры китайской мысли. Речь прежде всего о том, чтобы прославлять достоинства умеренной централизованной власти, объединяющей страну. Кроме того, Конфуций представлен как ученый, доверяющий инновациям. Вот почему, если следовать официальному тексту, «во все времена научно-технологическое развитие совпадало с подъемом конфуцианства». На плакате изображена гигантская круговая диаграмма, представляющая распределение мирового ВВП в 1800 году, когда на долю Китая приходилось 33 %, а на долю европейских держав – только 28 %. Можно предположить, что именно влияние конфуцианства объясняло экономическую мощь императорского Китая. Мысль понятна: возрождение этой доктрины позволит Китаю вернуть себе свой естественный статус. Конфуцианство, технологический прогресс и экономическое господство прямо увязываются друг с другом. Храм Конфуция – это еще и храм ИИ.

Позже я попытался найти в текстах Конфуция, дошедших до нас в форме бесед с учениками, глубинные связи с принципами ИИ, как они понимаются в Китае сегодня. Первый общий элемент – это уважение к власти. Сократ создал европейскую философию, поставив под вопрос правила полиса, и поэтому его приговорили к смерти за развращение молодежи. Конфуций же, его современник (с разницей в несколько десятилетий), всю жизнь бродил от двора одного правителя к другому, предлагая свою кандидатуру на разные официальные посты. Эту обязанность служить властям он оправдывал довольно забавно: «Неужто я горькая тыква, которая так и будет сохнуть, никому не принеся пользы?» Если Сократ разрушал статус-кво, то Конфуций старался поддерживать справедливое равновесие в обществе и свое собственное учение понимал как основу образования, необходимого для исполнения политических обязанностей. Если Платон так и не смог стать советником Дионисия Сиракузского, то Конфуций хвалился тем, что к нему всегда прислушивались министры; он и сам на какое-то время стал хранителем печатей. Эта обязанность подчиняться вышестоящим связывается с сыновней почтительностью: «Быть хорошим сыном, просто хорошим сыном и хорошим братом – значит уже участвовать в правлении». Общество – большая семья, в которой каждый должен занимать свое место. С этой точки зрения nudge – это способ эффективного распределения ролей, и он встраивается в совершенно законную единую систему частных предприятий и государственной власти. Соответственно, компания Alibaba выполняет свой долг, управляя трафиком совместно с муниципалитетом Ханчжоу, и было бы аморальным не следовать ее маршрутным рекомендациям.

Вот еще одна неожиданная деталь, обнаруженная при чтении Конфуция: его недоверие к частной сфере. Индивид, предоставленный сам себе, бессилен. Одиночество вызывает подозрения. Если аристотелевская этика требует работы над собой в форме внутреннего размышления, то «жэнь», конфуцианская версия высшей добродетели, определяется в социальном взаимодействии. Человека судят по тому, как он ведет себя с родителями, друзьями, правителем, а также по доверию, которого он удостаивается. Другим мы обязаны тем, что не замыкаемся в себе, в отличие от отшельников, которых Конфуций осуждает. Разве не постыдно «скрывать свое сокровище в груди своей и обрекать страну свою на погибель»? Точно так же сегодня кажется эгоистичным и безответственным скрывать в своей груди сокровище своих данных и не делиться ими с остальным обществом… Социальное давление – вот источник совершенствования: «Когда прогуливаемся мы даже и втроем, каждый уверен в том, что найдет в другом учителя, подражая ему в добре и исправляя его зло». Именно наблюдая друг за другом, можно совершенствовать себя, различая добро, достойное подражания, и зло, требующее исправления. Как не увидеть в этом предпосылки для философского оправдания социального кредита, внедряемого со значительной опорой на алгоритмы правительством, которое поощряет граждан проставлять друг другу баллы в зависимости от оказанных услуг и их вклада в общее благо?

Основную роль в средствах контроля играет стыд. Так, Конфуций стыдит одного из своих учеников: «Друзья мои, бейте в барабаны, разоблачайте его прилюдно, я с вами». Разоблачать, освистывать, изгонять – вот практики, допускаемые в хорошо упорядоченном обществе. Поэтому не следует удивляться тому, что сегодня изображения должников в некоторых китайских городах выводят на гигантских экранах… Бейте в барабаны и распространяйте данные!

КККК. Вот загадочная аббревиатура, о которой сказал мне Фудам, физик-ядерщик, принявший меня в своеобразном клубе заговорщиков в Шанхае. Это совершенно незаметное снаружи кафе, скрытое в частном доме, где мы – единственные клиенты. Фудам, говорящий на четком и рафинированном английском, не скрывает своего критического отношения к правительству, колоссу на глиняных ногах, сотрясаемому противоречиями. Одетый с ностальгической элегантностью, Фудам выступает передо мной со страстным монологом. Мне кажется, что я оказался в одном из романов Мальро и жду, что в любой момент появятся полицейские в бежевых плащах. Кто такой КККК? Глава секретной службы? Пароль для начала государственного переворота? Нет. КККК – это современный режим: «капиталистический конфуцианский коммунистический Китай». Это очень емкое определение сути современного Китая. Капиталистический – потому что позволяет предпринимателям обогащаться в конкурентной игре. Конфуцианский – потому что ставит коллективное благо выше всего остального. Коммунистический – потому что государство остается высшим гарантом социального порядка. В этом политическом контексте развитие ИИ – настоящая удача. Если Китай, не связанный в этом плане никакими ограничениями, будет внедрять эту технологию, он, вероятно, сможет победить США на их собственной экономической территории, вернуться к своим традиционным ценностям и в то же время укрепить контроль партии над обществом. В новом противопоставлении процветания и свобод Китай сделал свою ставку и ни о чем не жалеет.

Для меня КККК получил воплощение во время обеда в компании десятка молодых предпринимателей из китайских технологических компаний. Они одного со мной поколения и уже успели основать компании в сферах цифрового образования, видеоигр, медицинской визуализации, венчурного капитала, виртуальной реальности и автоматизации юридических услуг. Мы сидели в полуподвале японского ресторана, и среди нас присутствовал только один человек противоположного пола – «организаторша», которой платили за проведение таких регулярных собраний (вот еще доказательство того, что роботы пока не готовы полностью заменить человека!). Вначале каждый формально представился на английском и обменялся со мной парой слов. Но вскоре языки – при помощи саке – развязались. Я успевал выхватывать лишь отдельные фрагменты разговора, любезно переводимые мне соседом по столу, а вмешивался лишь для того, чтобы задать несколько вопросов о технологиях, на которые получал все более рискованные по мере развития беседы ответы. К десерту разговор вращался уже вокруг ближайшей войны с США, и компания разделилась на тех, кто собирался взять в руки оружие, и тех, кто хотел бы уехать за границу. Этот разговор, который не добавил мне геополитического оптимизма, перемежался воинственными криками и громким смехом.

В этой вполне мужской, раскрепощенной, веселой атмосфере исчезли последние риторические предосторожности. Я зачарованно слушал эту единогласную хвалу КККК. Искусственный интеллект вскоре позволит лучше контролировать население, и это хорошо! Вот несколько отрывков из нашего разговора, достойных стать афоризмами цифровой эпохи.

«В древнем споре между контролем и свободой побеждают порядок и эффективность».

«Творческих людей очень мало. Единственный смысл существования подавляющего большинства – вклад в ВВП».

«Люди не способны делать свободный выбор».

«Большинство людей предпочитает не пользоваться своим мозгом, а потому ими проще манипулировать».

«Нас ждет будущее, о котором говорил Азимов. Небольшой процент людей будет контролировать всех остальных».

«В будущем можно будет узнавать о малейшем движении каждого гражданина».

«Чем больше правительство оцифровывает вашу жизнь, тем больше оно ее контролирует».

И, наконец, мой любимый: «ИИ помогает Коммунистической партии увеличивать количество времени, которое люди проводят, тупя за телефоном».

Как это часто бывает в Китае, мои возражения благожелательно выслушивались, но решительно отвергались. Зачем гарантировать свободы, если они ведут к хаосу и несчастьям? Не учит ли нас история тому, что толпе нужен вождь? Если этот вождь прячется в вашем телефоне, если он удовлетворяет все ваши потребности, так что вы даже не успеваете формулировать свои запросы, – это и есть прогресс! Даже один затесавшийся в нашу компанию гуманист, защищавший «ренессансное образование», не видел никаких проблем в том, чтобы использовать камеры распознавания лиц для определения эмоций ребенка.

Какой контраст с калифорнийскими гиками, воспевающими «инновации-которые-меняют-мир»! Однако это могут быть точно такие же предприниматели, обучавшиеся тем же технологиям, работающие с теми же рисками и с такими же продуктами. Но если американский стартапер, занимающийся «геймингом», попытается убедить вас, что видеоигры развивают когнитивные способности, укрепляют социальные связи пользователя и помогают ему обрести уверенность в себе, то его китайский коллега прямо объяснит вам: цифровая аддикция позволяет одновременно создать как зависимость от платформы, так и безусловное подчинение действующей власти – два в одном! Однако такая откровенность не кажется мне ни полезной, ни ободряющей: КККК слишком хорошо позволяет представить предельные политические следствия неограниченного применения ИИ.

Когда китайцы все же признают определенные опасности, создаваемые ИИ (например, связанные с ростом неравенства), их ответ формулируется в рамках того же холистического подхода. Так, Кай-Фу Ли, в частных разговорах о достоинствах ИИ высказывающийся гораздо умереннее, чем на сцене TED Talk, предлагает компенсировать автоматизацию рабочих мест определенной формой универсального дохода, который, однако, привязывается к услугам, оказанным обществу в целом. Этой «социальной зарплатой» следует вознаграждать людей за творческую деятельность, имеющую коллективную ценность… что противоположно «индивидуалистическому» взгляду на универсальный доход, как он понимается в Кремниевой долине. Напомню, вопрос «конца труда» представляется мне переоцененным. Кроме того, китайское решение опирается на интерес группы, которой нужно будет отдавать не только свои данные, но также свое время и свою жизнь. Чтобы компенсировать недостатки КККК, понадобится еще больше КККК!

Если бы я хотел подытожить одной фразой состояние умов, ныне царящее в Китае, то процитировал бы экономиста Чжу Мина, бывшего заместителя директора Международного валютного фонда, который как-то пригласил меня на обед в элитный ресторан рядом с Запретным городом: «Чего нам будет недоставать из эпохи до ИИ? Ничего».

Европа, или Самоубийство по заветам стоиков

В Древней Греции один родосский военачальник попал в плен. Его бросили в яму и кидали туда пищу, как дикому зверю. Проходящий мимо человек посоветовал ему отказаться от еды и умереть от голода. Но военачальник ответил: «Пока человек жив, он может надеяться». В одном из своих писем Луцилию Сенека красноречиво осудил эту позицию, назвав ее «женской слабостью». Нет, жизнь нельзя покупать любой ценой. Нужно быть готовым умереть, но не отказываться от своего достоинства. Самоубийство составляет часть инструментария стоика; это последнее средство самоконтроля, применяемое, когда внешние обстоятельства становятся непреодолимыми. Ведь «судьба не может сделать ничего тому, кто знает, как умереть».

Это, собственно, и есть резюме европейской позиции по вопросу ИИ. Мы решительно отказываемся отрекаться от наших индивидуальных прав, представляющих собой плоды тысячелетней истории. Мы готовы пожертвовать благосостоянием, лишь бы не оказаться в яме, в которой свои данные надо показывать всем и каждому, а пищу получать от ИИ. Берлинские хакеры, с которыми я встречался, когда делал очередной репортаж[156], тратят все силы на борьбу с сетевой слежкой и на распространение средств защиты, таких как зашифрованные мессенджеры и анонимная навигация при помощи системы Tor. Европейские власти сделали удивительные шаги в том же направлении, приняв RGPD, правовой регламент, который призван охранять персональные данные граждан. Логика в том, чтобы включить контроль над данными в фундаментальные права человека, каковы бы ни были индустриальные последствия. Больше прав – меньше ИИ: уравнение совершенно ясно. Открытым остается вопрос о том, можно ли в этих условиях остаться в конкурентной игре мировой экономики. Не придется ли нам смириться с тем, что в ближайшем или далеком будущем мы станем цифровой колонией? Но даже если через несколько десятилетий нам предстоит погибнуть, если Европа станет всего лишь простой остановкой на маршруте нового Шелкового пути, это не важно: по крайней мере, мы будем знать, что жили достойно.

Отказ от прозрачности отвечает глубинным культурным требованиям. В работе «Цивилизация нравов» немецкий социолог Норберт Элиас показал, как в Европе постепенно создавалась частная сфера – от появления вилки и до власти над желаниями. Нам нужно было подавить в самих себе зов племени и животные влечения. Нагота, сексуальные отношения, сон, даже смерть – все они постепенно были «приватизированы», спрятаны от посторонних глаз. Мы перестали есть руками, отказались от насилия как средства урегулирования конфликтов.

Вся суть цивилизованности, основанной на самоограничении и уважении другого, держится на умении физически и эмоционально дистанцироваться от собратьев. Только определенная форма приватности позволяет нам выработать собственную личность. Мы научились не обнаруживать свои настоящие мысли и чувства, когда находимся в обществе, словно для цивилизованности требуется своего рода лицемерие. Так «между индивидами, их телами постепенно воздвигается стена, состоящая из боязливого стыда и эмоционального отторжения». Будет ли она теперь внезапно сломана, чтобы дать ход неограниченному обороту данных самого личного свойства?

Норберт Элиас отмечал, что при королевских дворах плевали на пол, но нравы развивались, и со временем эта практика исчезла. В Китае я видел, как водитель такси опустил окно, чтобы плюнуть на улицу. Хотя это и сомнительное сравнение, но оно вполне отражает радикальный контраст между европейской цивилизацией, гордящейся своим индивидуализмом, и китайской культурой, которая меньше озабочена стыдливой скромностью. Мы не готовы пожертвовать нашими ценностями, завоеванными с таким трудом. Лучше умереть, чем плевать на пол.

Самоубийство – вполне респектабельный выбор как для отдельных людей, так и для цивилизаций. Но вот отказ замечать наш технологический упадок внушает мне опасения. В Сан-Франциско я встретил соотечественников, которые объясняли мне, что у Франции были все козыри, чтобы добиться успешной реализации ИИ: разве не французским был первый микрокомпьютер? Разве не мог Minitel стать тем, чем теперь является интернет? Разве США не завидуют втайне нашей цифровой этике? Разве президент Республики не объявил, что Франция должна стать «мировым лидером» в области ИИ, хотя и выделил на это суммы, которые кажутся смешными в сравнении с инвестициями GAFA, в том числе в фундаментальных исследованиях? Разве президент Иль-де-Франс не решила сделать из своего региона «европейскую Кремниевую долину», под которую выделили целый миллион евро, что, однако, составляет среднюю годовую зарплату хорошего программиста в самой Долине? Сколько бы громких деклараций об ИИ ни делалось, они не имеют значения, если мы не выделяем под них достаточно средств и отказываемся (пусть и не без оснований) принять их культурные последствия.

Встреча с Кристианом Игелем, директором Центра ИИ и профессором Университета Копенгагена, оставила у меня такое же горькое послевкусие. Хотя его факультет и входит в тридцатку лучших в мире по компьютерным наукам, он испытывает огромное давление со стороны американских конкурентов. Лучшие ученые уходят в исследовательские подразделения Google или Facebook, где зарабатывают гораздо больше, пользуются теми же академическими свободами, но не подчиняются университетской бюрократии. Пока борьба остается неравной, сложно нанять даже научного сотрудника, причем еще десять лет назад ситуация была совершенно иной. Конечно, можно пожертвовать зарплатой ради общего блага или качества жизни. Однако средства, которыми могут распоряжаться исследователи в частном секторе, убеждают в итоге даже самых бескорыстных. Профессор Игель недавно писал статью с одним из своих диссертантов, теперь работающим в Microsoft, и вот уже его бывший студент дал ему доступ к базе данных, которую университет никогда не смог бы составить. Точно так же его факультет проиграл конкурс в области компьютерной сегментации изображений мозга, поскольку частные конкуренты имели доступ к большим вычислительным мощностям. Как надеется сам Кристиан Игель, возможно, правительства начнут инвестировать в фундаментальные исследования больше, так что европейская модель ИИ в конечном счете сможет добиться заслуженного уважения. Но сегодня тенденция совсем иная…

Некоторые пытаются осуществить опасный синтез защиты прав и технологического развития. Такой была задача двухсотстраничного доклада Седрика Виллани, который сегодня составляет официальную доктрину французского правительства в области ИИ. Его автор принимает меня на улице Университета, в берлоге с тусклым освещением, представляющей собой нечто среднее между лабораторией Пастера и лавкой антиквара. Булавка в виде синего паука, которую он носит, кажется сбежавшей из обширного бестиария, разместившегося на стенах и полках его кабинета. Я вижу огромного золоченого скорпиона, скульптуры слонов, статуэтку Вишну и другие фигурки животных, которых сложно опознать. Они соседствуют с кепкой с логотипом Ariane 5, научными медалями, миниатюрным барабаном, фотографией Марка Цукерберга, а также стопками книг на французском и английском языках. Седрик Виллани поднимается, проходит широким шагом через комнату, поправляет бант на шее и поднимает палец: сейчас из его уст выйдет истина. Но нет! Телефон вибрирует, он усаживается и начинает разговор о своей следующей книге. Когда спустя десять минут Седрик замечает, что я все еще здесь, с ручкой в руке и несколько вымученной улыбкой, он переносит встречу и отправляет меня восвояси. «Пока, Грегуар!» – с радостью бросает он, выпроваживая меня к лифту.

Сначала я думал о суровой мести с применением ядовитых пауков. Но в итоге смирился с судьбой и вернулся к нему, отбросив самолюбие. На этот раз мы все-таки смогли немного побеседовать.

Седрик Виллани, математик с мировым именем, недавно избранный депутатом Национального собрания Франции, представляется идеальной фигурой для разработки государственной политики в сфере ИИ. Он вполне осознаёт, что музыку сегодня заказывают Китай и США, что Европе не удалось создать никакого крупного предприятия в этой сфере и что наше будущее может от нас ускользнуть. То есть задача в том, чтобы «не оказаться посреди двух огней», при этом времени на сокращение отставания остается все меньше и меньше. В реализме Виллани, далеком от заклинаний его новых коллег по политике, заметна строгая научная методология. Некоторая экстравагантность в одежде и риторике этого денди, который словно бы попал к нам в своем костюме-тройке с карманными часами прямо из XIX века, скрывает за собой холодную и спокойную рациональность. Но, к сожалению, ответ Виллани на нашу технологическую слабость апеллирует, что вполне традиционно, все к тому же государству. В его докладе предлагается создать множество комитетов и ведомств, которые должны добиться успеха там, где частная инициатива потерпела неудачу. Среди предложений я обнаружил там пост межминистерского координатора по трансформации государства, «публичную лабораторию» по трансформации труда, комитет публичных экспертов, призванных заняться «аудитом» алгоритмов, консультативный комитет по этике ИИ, форум данных, единое информационное окно по ИИ, отметку об ИИ, которой должны маркироваться французские технологические компании, агентство прорывных инноваций, сеть междисциплинарных институтов ИИ… В числе задач государственной власти оказывается даже «поддержка встреч между предприятиями, обладающими данными, и стартапами»: очевидно, они не могут говорить друг с другом без посредничества бюрократа, который будет держать свечку.

– А вам не кажется, что это какой-то дирижизм? – спрашиваю я его, перечитывая список.

– Это правильный вопрос, – неожиданно отвечает он.

Он напоминает мне о хорошо известной роли, которую DARPA, американское оборонное агентство, сыграло в финансировании Кремниевой долины. Но в то же время он признаёт неудачи европейских программ создания суверенного облака и поисковой машины, которые остались чисто политическими проектами, не подкрепленными никакой промышленной или экономической реальностью. «Нужно способствовать появлению инновационных предприятий, но не баловать их», – заключает он, склоняясь к аристотелевской идее добродетельной середины.

Но эта надежда на дирижизм 2.0 покажется тщетной, если учесть неспособность европейских демократий организовываться на стратегическом уровне. Я не уверен в том, что Виллани сам верит в свои планы. Если стартаперам нужно предоставить «единое информационное окно по ИИ», разве мы не отказываемся тем самым от шумпетерианского определения предпринимателя как беспокойного и сверхактивного человека, жадного до власти и независимости, стремящегося основать свое собственное маленькое королевство?[157] Еще более важно то, что обращение к государству выдает структурную слабость Европы в области сбора данных – ключевого компонента развития ИИ. Виллани признаёт это, жалуясь, в частности, на страх правительства использовать медицинские данные. Франция – страна централизованная, и в ней создали одну из наиболее полных баз медицинских данных (это знаменитая SNIIRAM, которая управляется системой медицинского страхования). Однако использовать ее позволяется лишь в крайне ограниченном объеме, что обосновывается очевидными резонами конфиденциальности. То есть министерство здравоохранения сознательно тормозит прогресс медицинских исследований, чтобы избежать любого распространения конфиденциальной информации о пациентах. Это и есть пример стоического самоубийства. Мы буквально предпочитаем умереть из-за отсутствия лекарства, но не нанести урон нашей частной жизни.

Виллани хорошо понимает это противоречие. Он хотел бы устранить его магической формулой «Нужно защищать данные и заниматься инновациями в одно и то же время». В одно и то же время – известный лозунг доктрины Макрона. В области доступа к данным нужно гарантировать контроль над личными данными и в то же время побуждать граждан предоставлять их ради совершенствования систем ИИ. Поэтому в докладе Виллани делается акцент на возникновении «общин данных», которые поощряют их добровольное предоставление. Виллани говорит о «доверии» между гражданином и ИИ, особенно в вопросе государственных услуг. Если предположить, что мы можем контролировать наши данные благодаря RGPD и другим нормам, почему бы не использовать их в интересах коллективного блага? Одна фраза из доклада Виллани служит яркой иллюстрацией этого устремления: «Новое право индивидов на управление своими личными данными могло бы быть включено, таким образом, в гражданскую логику, позволяя государствам и территориальным административным единицам получать эти данные для развития приложений ИИ ради достижения целей публичной политики». Особое государственное агентство, chief data officer, как его называет Виллани, должно в таком случае стать посредником, которому гражданин мог бы совершенно спокойно «переуступить» данные. Например, мы могли бы делиться своими геоданными с публичным приложением для улучшения трафика. Так между гражданином, предоставляющим данные, и государственным централизующим ведомством возникла бы «связь авторизации».

«Теперь, когда мы дали вам права, – говорит, по сути, доклад Виллани, – доверьтесь нам и откажитесь от них!» Но разве можно отклонить это предложение, не превратившись во фрирайдера, который пользуется плодами оптимизации, но не вносит в них никакого вклада? На мой взгляд, эта логика предполагает необоснованное доверие государственной власти, словно бы правительства всегда должны оставаться мудрыми и умеренными. Кроме того, не совсем понятно, какие данные можно было исключить из этого императива общей пользы. Мои медицинские данные позволяют развивать науку. Мои данные по потреблению электричества, уже собираемые умными счетчиками, позволяют оптимизировать управление электросетью, а потому сократить производство энергии и спасти планету. Мои данные по поиску в интернете позволяют понимать, как возникают ложные слухи, и предупреждать их распространение. Мои данные, связанные с сексуальным поведением, помогают сдерживать вспышки некоторых заболеваний и лучше выявлять дискриминацию. Наконец, разве мои генетические данные не позволят лучше контролировать развитие популяции в целом? Каково различие между моделью «В одно и то же время» и китайским «Общим благом», если не считать того, что в первом случае рабство становится добровольным?

Попытка Седрика Виллани выработать альтернативу европейскому самоубийству заслуживает всяческих похвал. Однако формула «В одно и то же время», замаскированная успокоительными фразами об обобществлении данных и гражданском долге, остается позицией слишком умозрительной. Либо в конечном счете данные будут собираться авторитарно, в коллективных интересах, либо нужно предположить, что права индивида на его данные создают «неоптимальную» ситуацию, которая тормозит развитие цифровой индустрии, способной составить конкуренцию США и Китаю. Так должна ли Европа, если хочет сохранить верность своим ценностям, обречь себя на исчезновение?

Впрочем, одной стране из европейского семейства (или, лучше сказать, «кузине» европейских стран) удалось соблюсти собственные интересы и в то же время стать мировым центром ИИ: речь идет об Израиле, откуда вышли основатели стартапов, завоевавших всю планету, – Waze, Gett и Moovit. ИИ стал главной технологической отраслью страны-стартапа (start-up nation)[158], на чью долю приходится примерно 800 миллионов долларов ежегодных инвестиций. Университет «Технион», созданный в Хайфе, на севере страны, по компьютерным наукам входит в десятку лучших мировых вузов[159], а недавно совместно с компанией Intel там был открыт Центр искусственного интеллекта. В интервью, которые я проводил, мне постоянно говорили о многочисленных компаниях, чьи разработки в сфере ИИ базировались в Тель-Авиве (начиная со стартапа ZipRecruiter). Однако внутренний израильский рынок невелик, а принятая в стране политика уважения к частной жизни, гарантируемая правительством, похоже, соответствует европейским стандартам: Евросоюз признал Израиль в качестве одной из десятка стран, отвечающих требованиям защиты данных.

Я остановился в Тель-Авиве по пути домой, чтобы понять чудо израильских технологий, развивающихся в весьма специфичном геополитическом контексте. И если на протяжении всего моего репортажа договариваться об интервью было очень сложно, то в Израиле, напротив, о проектах в области ИИ мне рассказывали охотно. Достаточно было одного сообщения на LinkedIn, и я сразу же получил десятки предложений о встречах. Едва я вышел из самолета, мой ежедневник был заполнен. Вечером друзья поводили меня по древнему арабскому городу Яффе, по пляжу Мецицим и барам квартала Флорентин. В день отъезда у меня нашлось время погулять ранним утром по Старому городу Иерусалима, побродить по каменным улочкам, на которые падают тени библейских времен. После многих недель и месяцев, проведенных в пробках Вашингтона, Лос-Анджелеса и Пекина, Тель-Авив вернул мне силы. В этой стране молока, меда, пива и алгоритмов миражи прошлого соединяются с химерами будущего. Так и видишь, как Моисей прокладывает в Waze свой маршрут по пустыне…

Израильские стартапы смогли утвердиться, экспортируя по всему миру уникальные технологии. Опираясь на данные, поступающие из Европы, Китая или США, они придумывают алгоритмы, составляющие передний край инноваций. Иначе говоря, сила Израиля в основном заключается в его интеллектуальном ресурсе. Кажется, есть два объяснения этого удивительного феномена выживания в мире, в котором повсюду происходит «утечка мозгов». Первое – еврейская страсть к интеллекту. Израиль гордится тем, что в стране насчитывается больше всего граждан с научной степенью (1,5 % против 0,7 % в США). Каждый старается быть, как говорят на идиш, besserwisser: то есть тем, кто все знает, но в то же время задает по любому поводу вопросы, ведь он не стеснен ни табу, характерными для американского общества, ни цензурой китайского режима.

Одного из таких besserwissers я встретил в лице Иоава Розенберга, основателя компании Epistema. В его офисе вместо лозунгов о личном развитии, которых полно в Кремниевой долине («Живи своей мечтой»), развешаны портреты Аристотеля, Ханны Арендт и Витгенштейна. Иоав, признанный специалист по науке о данных, который работал с такими американскими гигантами, как Palantir, мимоходом роняет, что вскоре защищает в Кембридже диссертацию о Витгенштейне. Мы выходим из офиса, чтобы выпить кофе на солнечном бульваре Ротшильда, среди толкотни электросамокатов. Миссия компании Epistema – расшифровывать путем анализа данных дискуссии, которые ведутся среди специалистов или в научных статьях, чтобы лучше понимать, структурировать и предвосхищать их аргументы. С этой целью Иоав пытается снова ввести в машинное обучение каузальность и логические правила, выйдя за пределы простых корреляций. В этом стремлении они единодушны с Питером Тилем, инвестором Epistema. Однако предельная цель Иоава – реконструировать в алгоритмическом виде порядок «Этики» Спинозы. Мы говорим об информатике, военной стратегии, философии, теологии… «Вот почему мы народ Книги, – заключает Иоав, – мы любим исследовать».

ИИ отвечает стремлениям еврейской культуры: он бросает новый вызов человеческому интеллекту, раздвигая границы науки. А при этом еще и намечает возможность универсального знания, способного, например, не только решать проблемы автомобильного трафика, но и восстанавливать доказательства Спинозы. Если всякий язык сводится к логике, которая может быть воплощена, как полагал Витгенштейн, только в языке, тогда ИИ вполне мог бы привести человеческое познание к вершине. Это даже круче, чем Тора!

Иоав со своей аккуратной бородкой с проседью и расслабленной походкой настолько похож на стартапера, что легко забыть о том, что в армии он был полковником и руководил знаменитым «Талпиотом», израильской оборонной программой, куда набирали самых талантливых студентов. Вот и вторая, более прагматическая причина успеха Израиля в области ИИ: тесная связь военных и гражданских приложений. Мне это объяснил профессор Исаак бен Израэл, с которым я встретился в его офисе в Университете Тель-Авива. Этому корифею военно-технологической экосистемы, физику, генералу и бывшему депутату премьер-министр недавно поручил подготовить национальную программу ИИ. Он убежден, что ИИ должен в будущем стать главным экспортным сектором Израиля. ИИ удовлетворяет всем критериям: может разрабатываться ограниченной элитой, не требует слишком больших инвестиций и создает инструменты для повышения безопасности страны. Поэтому Исаак бен Израэл подчеркивает значение воинского призыва. В 17 лет молодые израильтяне сдают экзамены, в основном по естественно-научным предметам; незначительное меньшинство (примерно 1 %) попадает в элитные отряды, такие как «Подразделение 8200», и в их обучении допускается определенная гибкость. Им предоставляют доступ к самым современным технологиям, и там же они приобретают незаменимый практический опыт. В рамках такой структуры ИИ используется и для разведки, например для выявления террористов. Когда многие из этих талантов оказываются на рынке труда, они используют знания и дисциплину, приобретенные в армии, для гражданских изобретений. Особое молчаливое соглашение позволяет им использовать технологии, покрываемые законом об интеллектуальной собственности, пока они не разглашают государственную тайну. Таким образом, профессор бен Израэл не сомневается в экономической и в то же время военной ценности ИИ. Затем в разговоре он углубляется в семиологический анализ понятия «интеллект» (intelligence), которое обозначает столь разные реалии – секретные службы и ИИ. Такой вот удивительный характер, сочетание абсолютного прагматизма и любви к умозрительным построениям.

Выйдя из офиса Исаака бен Израэла, по счастливому совпадению я смог тут же убедиться в правоте его слов. У меня была встреча в недавно открывшемся стартапе Run: AI, который ставит себе задачу ускорить процедуры машинного обучения посредством «параллельных вычислений». Меня тепло приняла компания молодых людей, и я сразу же отметил их особую, спортивную подтянутость. «Мы все служили в одних и тех же военных подразделениях», – тут же объяснили они мне. Они входили в тот самый 1 %, который отбирается в качестве научной элиты страны, уникальным образом сочетающей в себе военную дисциплину и академические требования. Чему они учатся в армии? Не только технологическим навыкам, но еще и «чувству ответственности». Стоило мне только посмотреть на них – организованных, невозмутимых, сдержанных как в одежде, так и в речи, – и я тут же оценил их отличие от программистов Кремниевой долины, где эгоистичные, маниакально увлеченные «нерды», похоже, переживают вечный подростковый кризис. Здесь нет ни настольного футбола, ни диванов, на которых можно развалиться… Мои собеседники не старше 25 лет, но я чувствую в них спокойную решимость, окрашенную иронией достопочтимого Исаака бен Израэла. В противоположность американским коллегам, они рано поняли, что жизнь не игра. Впитав – во благо или во зло – ценности предков, они не слишком увлекаются «поисками смысла». В израильском контексте инновация – вопрос не личного развития, а коллективного выживания.

Исаак бен Израэл настаивает на регулировании доступа к данным и на уважении частной жизни. В этом смысле страна-стартап относится к семейству европейских стран. Израиль не Китай, и он не стремится превратить ИИ в закон жизни в обществе. Однако нацеленность страны на экспорт и технологическое совершенство позволяет взращивать настоящую творческую элиту, способную поспорить с мировыми гигантами. Эта модель связана с определенным культурным контекстом, подражать которому, конечно, сложно. Израиль производит алгоритмы для всего остального мира… а потом, как Понтий Пилат, умывает руки.

США и агония протестантской морали

Я ожидал, что встречу гика в очках, но вот передо мной на террасе штаб-квартиры Google сидит активист с собранными в пучок волосами, потягивающий сок из органических фруктов. Джейкоб Узкорейт, известный специалист по компьютерным наукам, – автор значительных теоретических открытий, позволяющих наделить нейронные сети ИИ памятью[160]. Он читает мне страстную проповедь об уважении к частной жизни, и у меня нет никаких оснований ставить под сомнение его искренность. Он выступает против так называемых эхокамер в YouTube или Facebook, уверяя меня, что Google лишь в «незначительной» мере отслеживает мои поисковые запросы и, кроме того, предоставляет возможность деперсонализации. Я знаю о немецком происхождении Джейкоба, и это, вероятно, заставляет меня вспомнить о хакерах, которых я встретил два года назад в Берлине, – они тогда занимались тем, что устраивали марши… против Google. И если Google обвиняют в создании «когнитивных пузырей»[161], которыми может объясняться распространение теорий заговора[162], возможно, Джейкоб – двойной агент, отстаивающий германские ценности в самом центре GAFA?

Я пользуюсь его дружелюбием, чтобы удовлетворить личное любопытство, и спрашиваю, как расставляют приоритеты в результатах поисков. «Задача в том, чтобы поднять не ту информацию, которую ты хотел бы посмотреть, а ту, которую ты на самом деле ищешь», – отвечает Джейкоб. Алгоритмы Google подвергают данные, оставляемые в сети пользователем, глубокой обработке, чтобы попытаться лучше понять сокровенные желания человека, выходящие далеко за пределы его явных предпочтений. Когда я ввожу запрос «купить машину», возможно, мне хочется увидеть «Ягуар», однако Google, зная состояние моего кошелька, поскольку ему известна моя история поисков (или моя переписка в Gmail), скорее всего, предложит «Рено Твинго», чтобы такой поисковый результат был мне полезен. Все это вполне соответствует логике nudge, которая должна обеспечивать наше благосостояние, предлагая нам такой вариант, который мы сами бы не определили. А что же Джейкоб думает о свободе воли? «Люди редко понимают сами себя», – логично объясняет он, поэтому лучше довериться объективным данным, а не субъективному суждению. Но не видит ли он в самом устройстве поисковой машины утилитаристской логики? «Конечно, вне всяких сомнений». Итак, перед Google стоит задача познать меня лучше, чем я знаю себя сам, чтобы удовлетворить всех нас.

Нет ли внутреннего противоречия между защитой частной жизни и технологиями Google (даже если не говорить о его экономической модели)? Джейкоб кивает: «Это парадокс. Для усовершенствования ИИ нужно собирать как можно больше данных». Чтобы оптимизировать мои поиски в Google, в идеале следовало бы знать мое потребление электричества или, к примеру, мое поведение на сайтах знакомств… Можно создавать сколько угодно комитетов по этике, но этот парадокс так и не получит разрешения. Глядя на слегка смущенного Джейкоба, я понимаю, в чем состоит противоречие, присущее американской цифровой экосистеме в целом. Больше данных – выше эффективность. Меньше данных – больше свободы. Никакой золотой середины тут быть не может.

Кай-Фу Ли считает позицию Кремниевой долины, которая хотела бы творить добро, одновременно извлекая из этого прибыль, лицемерием. Более удачным словом мне кажется «шизофрения». В своей знаменитой работе Макс Вебер связал дух капитализма, определяемый как стремление к созданию богатства, с протестантской этикой, которая превращает труд в подлинную миссию, а аскетизм – в правило жизни. Нужно преуспеть в своем бизнесе, но не для того чтобы наслаждаться богатством, а чтобы следовать библейским заповедям. Экономический успех дает уверенность в том, что ты в числе немногих избранных Богом. Накопление капитала – это долг, который хорошо иллюстрирует притча о талантах: хозяин награждает слуг, получивших прибыль с его средств, и наказывает того, кто сохранил их, не пустив в оборот. Соответствующее формирование частной сферы представляет собой условие, необходимое для личных отношений с Богом и в целом для развития морального чувства. Протестантская Америка обязана своим успехом этому хрупкому равновесию между поиском рентабельности и культурой частной жизни. Лучший пример – Бенджамин Франклин, отец-основатель США, новатор и неустанный предприниматель, но также дотошный моралист, который сурово судил свои собственные действия в личном дневнике. Однако Google сегодня не может быть одновременно эффективным и добродетельным: чтобы служить человеку, он должен его обнажить. ИИ заставляет отделить дух капитализма от протестантской этики. Вот почему США утратили свое призвание, и я неоднократно слышал об этом от самых разных людей. Увы, Джейкобу никогда не стать Франклином…

Теперь можно лучше понять страдания моих американских собеседников, которые разрываются между стремлением поступить правильно в моральном смысле и императивом сделать лучше в техническом смысле. Кризис протестантской морали создает реальные проблемы для людей, занятых технологиями, заставляя их искать альтернативную духовность, например буддистскую. Эта шизофрения особенно заметна в методах обучения. На каждый встрече я задавал один и тот же вопрос: какой политики в плане доступа к гаджетам вы придерживаетесь дома? Стив Джобс, например, запрещал своим детям пользоваться iPad, и точно так же большинство людей из моей выборки строго ограничивают время доступности гаджетов, отдавая предпочтение спорту, чтению или встречам с друзьями. Те самые люди, которые постоянно выступают на TED Talks с проповедями о том, как технология спасет мир, внезапно оказываются не такими уж оптимистами, едва речь заходит об их собственном потомстве. Франческа Росси из компании IBM показалась мне крайне расстроенной тем, что ее дети проводят слишком много времени на ютубе, а Лесли Келблинг из MIT жаловалась на то, что они читают мало книг. Однако все эти люди, кажется, обиделись, когда я указал на очевидное противоречие между их речами и поступками. У них, конечно, были очень убедительные доводы. Тем не менее, если смотреть на ситуацию в целом, трудно не заметить, что эксперты ИИ создают техники, которые вызывают зависимость и при этом используются для манипуляции поведением масс, но тщательно оберегают от них своих близких. Я воздержусь от попыток однозначно решить щекотливый вопрос научной ответственности. Яна Лекуна, например, нисколько не волнует, как применяют его открытия в системах распознавания лиц в Китае, и ученого нельзя в этом винить. Но нужно признать, что ИИ «вытолкнул» протестантский капитализм из эпохи невинности и что все американское общество в связи с этим испытывает серьезный дискомфорт.

В частности, часто высказываются опасения в отношении роли ИИ в росте неравенства. Согласно одной распространенной гипотезе, стагнация заработной платы связана с повышением дохода на капитал, которое значительно увеличивает неравенство. Другие экономисты придерживаются более умеренных взглядов – например, Филипп Агион отстаивает шумпетерианский подход, согласно которому инновация позволяет наращивать социальную мобильность, разрушая традиционные иерархии внутри предприятий[163]. Вопрос распределения труда и капитала в эпоху ИИ стал предметом громких споров. Но никто не оспаривает новую значимость когнитивного неравенства и постепенно становящийся непреодолимым разрыв между теми, кто занимается nudge, и теми, кто становится объектом такого «понукания», то есть между господами кода и поставщиками данных. Джерри Каплан позиционирует себя в качестве рупора многих аналитиков, изображая общество, делящееся на хорошо образованных «яппи», которые понимают технологические механизмы и регулярно проходят информационные детоксы, и «хиппи», прилипших к экранам и получающих пособие в рамках той или иной формы универсального дохода. И хотя экономическое неравенство в протестантской концепции личного достоинства оставалось приемлемым, представление о том, что внутренняя ценность разных людей может стать принципиально разной, подрывает эгалитарное основание самой американской демократии. Поэтому Ли Дратман и задавал себе честный вопрос о том, как политическая система могла бы пережить общее «отупение» граждан…

Та же дилемма между процветанием и свободами отражается и в публичной политике. Я выяснил это, встретившись в одном сетевом кафе с Джой Бонагуро, chief data officer, директором по обработке данных в Сан-Франциско. Эта должность была создана в 2014 году для управления данными города и опирается на большую команду программистов. Джой, с мальчишеской стрижкой и бойкими ответами, – твердая сторонница прогресса. Я не стал ей перечить, но, когда через несколько месяцев встретил ее на французской земле, набрался храбрости, и мы живо побеседовали об эксцессах движения #MeToo… Джой вместе с учеными из Гарварда работает над этикой алгоритмов и отстаивает защиту частной жизни. Она хвалит правовые нормы штата Калифорния, позволяющие пользователям лучше контролировать собственные данные, особенно благодаря законам о защите прав потребителя. Джой радует возможность применять ИИ для отслеживания собственников, которые занижают стоимость своих владений, чтобы уклониться от налогов, однако она отказывается публиковать постановления о выселении жильцов, поскольку не хочет стигматизировать неплательщиков. В общем, Джой нельзя заподозрить в том, что она сдалась силам надзорного капитализма. В то же время она громко жалуется на джунгли калифорнийских законов, которые мешают муниципалитету оптимально применять данные. Разные отделы местной администрации не имеют права объединять информацию, хотя было бы, например, полезно сопоставить медицинские данные с данными социальных служб, чтобы понять, имеет ли конкретный психиатрический пациент право на пособие… Мы не должны считать США некоей свободной от законов зоной: в Калифорнии, например, был принят свой вариант европейского RGPD.

Следуя левацкой традиции, Джой считает данные общим благом и мечтает о том, как можно было бы объединить все данные города для улучшения работы общественных служб. Однако она сталкивается с теми же противоречиями, что и GAFA: как обеспечить благополучие пользователей, но при этом не нарушить их право на неприкосновенность частной жизни? Джой уже не использует термин «анонимизация» данных, предпочитая ему слово «дезидентификация» и признавая тем самым, что реальная анонимность в мире ИИ – недостижимый идеал. Золотой середины не существует: и для социальной сети фейсбук, и для города Сан-Франциско добродетель стала врагом эффективности. Они стремятся освободиться от чувства вины, публикуя пухлые доклады об ответственном ИИ, что представляется современной, хотя и весьма обременительной формой искупления.

Цифровой империализм

Правительства и генеральные штабы крайне озабочены вопросом кибербезопасности. Но он скрывает в себе другой, более глубокий вопрос: как три эти модели – конфуцианская, стоическая и протестантская – будут взаимодействовать между собой по мере развития ИИ? Останется ли место для различных форм правления, подчиненных разным ценностям, или нужно готовиться к возникновению новых версий империализма?

Вернемся в ресторан рядом с Запретным городом, где меня принимал Чжу Мин, влиятельный экономист, бывший директор китайского Центрального банка и бывший второй человек в МВФ. В промежутке между комментариями о заказанных им деликатесах кухни региона Юньнань Чжу Мин говорит о своей уверенности в ИИ, технологии, призванной спасти человечество и, главное, вернуть Китаю заслуженное им место, место будущего лидера в этой области. Безмятежное лицо моего визави, аристократичные манеры и лаконичность речи – все это окутывает его своего рода метафизической аурой. Впрочем, он не боится порассуждать о двух сторонах человека, дурной и благородной. Экономист тут же превращается в восточного мудреца. Он не торопится. В этом месте с традиционным декором, выходящем на мощеный двор, мы сидим вдали от пекинской суеты. Мне вспоминаются строки Клоделя – меня среди прочего пичкали им в лицее, готовя к Высшей нормальной школе: «Те места, которые у европейцев служат для развлечений и игр, китайцы посвящают уединению. В городском котле, среди кипящих простым людом улиц, знатный китаец выгораживает для себя просторный участок, отделенный широкой оградой, или одинокую вотчину вместе с духами предков»[164]. У нас не бизнес-ланч, мы сидим в одном из таких праздных мест. Что может родиться в таком месте, если не истина?

Мой собеседник щедро подкладывает мне разные деликатесы, возможно, чтобы лучше подготовить меня к последнему приговору: «Европейцы окончательно отстали – в финансовом, военном, технологическом и одновременно политическом плане». Наше будущее – загрузить приложение Alibaba, чтобы продавать китайцам сыр. Так пророчествует Чжу Мин.

Чтобы обосновать эти тезисы, дремлющий в Чжу Мине экономист просыпается и разъясняет мне гораздо менее поэтическое понятие логистической цепочки (supply chain). ИИ заставит предприятия вернуть производственные мощности поближе к собственным рынкам. Во-первых, кастомизация конечного товара потребует постоянной настройки производства в реальном времени, то есть будет уже невозможно ждать по семь недель товар, отправленный контейнером[165]. Во-вторых, роботизация заводов сведет стоимость рабочей силы к нулю, а потому офшоризация потеряет смысл[166]. С этой точки зрения у Китая идеальные возможности, поскольку он создал весьма значительные производственные мощности на собственной территории.

Чжу Мин спокойно заявляет мне, что это, по сути, конец глобализации. Китай десятилетиями скромно трудился в качестве глобального сборочного цеха, заставив западные страны постепенно подорвать собственную индустриальную базу и обеспечивая их население потребительскими товарами, которые продавались по поразительно низким ценам. Мы подсели на маркировку «Сделано в Китае». Сегодня же ситуация переворачивается с ног на голову. Если ИИ заставляет нас сократить цепочку прибавочной стоимости и производить локально, значит, мы остались ни с чем. Кай-Фу Ли говорит, по большому счету, то же самое: ИИ, переходя от эпохи инноваций к эпохе внедрения, возвращает преимущество тем странам, которые способны быстро производить миллиарды кастомизированных объектов, подключаемых к сети. Страны, занимающие передовые позиции в области ИИ, а именно Китай и пока еще США, естественным образом сосредоточат в себе капитал и инвестиции. Другие же впадут в летаргию. «Еще десерта?» – спрашивает меня Чжу Мин, как мудрый правитель.

Возможно, процесс выравнивания, который происходил при глобализации в индустриальный век, внезапно перевернется. Знаменитая «кривая слона» экономиста Бранко Милановича показала, что с конца 1980‐х годов доходы подавляющего большинства мирового населения сильно росли (спина слона), тогда как доходы средних и высших классов развитых стран стагнировали (хобот, который опускается к земле). Отсюда недовольство стран-метрополий глобализацией, которая приносит гораздо бо́льшую пользу… их бывшим колониям. Тем не менее в целом сокращение неравенства на глобальном уровне бесспорно. Но ИИ ставит под вопрос эту динамику, восстанавливая имперские полюса[167]. Слон превращается, таким образом, в верблюда с двумя горбами, соответствующими Китаю и США. Наконец-то сбудется мечта альтерглобалистов, хотя и несколько неожиданным образом: они сами станут цифровыми колониями.

Чжу Мин безукоризненно учтив со своими европейскими гостями. Китайские руководители постоянно подчеркивают, что их страна никогда не была империалистической, если не считать отношений с соседними регионами. Однако «новые Шелковые пути», то есть программы массовых инвестиций в стратегические инфраструктуры по всему миру, вызывают тревогу Евросоюза, который считает Китай «системным соперником», тогда как такие государства, как Италия и Греция, готовы пойти на поводу у китайских сирен. Помимо этой экономической и, в общем-то, вполне классической конкуренции, возникает новая проблема: на что будет похож цифровой империализм?

Этот вопрос я задаю Уильяму Картеру, специалисту по киберзащите из Центра стратегических и международных исследований (CSIS), вашингтонского аналитического центра, который похож на штаб-квартиру мультинациональной компании. Из-за контраста между по-детски безмятежным лицом Уильяма и серьезностью обсуждаемых нами вопросов разговор принимает такой же нереальный оттенок, как атака дронов в Афганистане, управляемая из комнаты с кондиционером в Пентагоне. Уильям знакомит меня с центральным для американской военной доктрины понятием «компенсация» (или, по-английски, offset). США, отставшие от своих противников в плане обычных вооружений, научились играть на технологическом преимуществе, будь то в ядерной области, в высокоточном оружии, а теперь и в сфере ИИ: это «третья компенсация», которая реализуется прямо сегодня. Алгоритмы помогают усовершенствовать традиционные техники разведки – министерство обороны вкладывает значительные средства в визуальное распознавание[168]. Алгоритмы составляют и ядро кибербезопасности, позволяя, в частности, лучше защищать важную инфраструктуру от информационных атак. Вопрос автономных видов вооружения также вызывает живой интерес, заставляя американские военные власти еще раз со всей ясностью заявить, что в принятии решений об открытии огня обязательно должен участвовать человек. Однако эти инновации, подогревающие фантазии, остаются в рамках классического военного столкновения, где задача состоит в защите определенной территории и уничтожении противника. Но мне как-то трудно представить себе, как армия Народной Республики Китай может захватить Париж или Вашингтон…

Задача цифрового империализма заключается вовсе не в совершенствовании военных техник. Уильям дает мне простую подсказку: «Сегодня, чтобы контролировать людей, уже не нужно контролировать территории». Целью войны редко был захват пустых земель, задача скорее состояла в том, чтобы подчинить себе правителей и поработить население. Это и есть тезис Клаузевица, известного прусского военного стратега, когда он определяет войну в качестве «акта силы, цель которого – принудить противника исполнять нашу волю», или, согласно его знаменитой формуле, «продолжения политики другими средствами». Война – это прежде всего действия определенных людей, нацеленные на то, чтобы властвовать над другими. Вторжение на территорию представляет собой простой способ удовлетворения этой жажды господства. Если благодаря хитрым техникам nudge ИИ позволит нам изучать и контролировать людей удаленно, зачем завтрашним победителям захватывать физические пространства? Не будет ли манипуляция поведением экономнее, эффективнее и более соответствующей нашей мирной культуре? Лучше руководить миллионами покупок, чем грабить города. Результат будет тем же: экономический выигрыш и удовлетворенная гордыня.

Когда Чжу Мин предложил французским производителям продавать сыр на сервисе Alibaba, он имел в виду не столько выживание Европы, сколько ее окончательное порабощение. Передавая свои данные Alibaba, чтобы получить доступ к платформе, производители сельхозпродукции окажутся в руках китайского гиганта электронной торговли. Представим себе историю некоей Берты, которая владеет семейной сыродельней в кантоне Юра, где многие поколения ее семьи производят сыр конте. На рынке Лон-ле-Сонье она продает не очень много, поскольку местное население предпочитает закупаться в крупных супермаркетах. Самый большой доход она получает от экспорта, в основном в Бельгию и Германию, но также все больше и в Китай, где конте считается теперь продуктом «с подтвержденной подлинностью наименования» и готовится стать люксовым товаром. Берта, однако, жалуется на то, что поставщики берут большой процент. Тогда ей предлагают перейти на платформу Alibaba, которая занимается всей логистикой в обмен на довольно скромные комиссионные. Берта в восторге от сервиса и, чтобы упростить интеракции, открывает счет Alipay. Анализ счетов за связь, производимый Alipay, вскоре убеждает ее в том, что надо отказаться от традиционного оператора и перейти на продукцию компании Huawei. Вскоре основная часть ее продукции отправляется в Китай. Однако заказы приходят нерегулярно, что усложняет хранение запасов. Чтобы улучшить прогнозирование спроса со стороны новых агентов, Берта присоединяется к сервису AliGenie, личному ассистенту, способному анализировать поведение сотен миллионов пользователей Alibaba. AliGenie может предлагать новые варианты: так, он рекомендует Берте идентифицировать своих коров методами распознавания лиц; ИИ выявляет таким образом лучших производителей, устанавливает часы дойки и отправляет предупреждения при первых признаках заболеваний. Наконец, чтобы продвигать свою продукцию на рынке, Берта загружает Taobao, социальную сеть Alibaba, которая снабжена автоматическим переводом. Taobao тут же дает ей доступ к информации, разбросанной по китайским медиа, и она постепенно привыкает комментировать их в сети. В разговорах, которые возникают у нее комментариях, она никогда не забывает упомянуть о своем сыре конте.

Через пять лет предприятие Берты процветает. Фермерша только улыбается, выслушивая рассказы коллег, погрязших в запросах субсидий по программе Общей сельскохозяйственной политики (PAC). Теперь ее бизнесом управляет AliGenie: он руководит производственными процессами, определяет уровень производства, контролирует состояние стад и ведет бухгалтерию. То же относится и к личным покупкам: Берта привыкла использовать Alipay, так что бо́льшая часть ее трансакций проходит за пределами европейской банковской системы – производимая ею стоимость пополняет китайский ВВП. На последних выборах Берта голосовала за кандидата Национальной партии: она убеждена, что Евросоюз – диктатура, от которой надо как можно быстрее избавиться. Ее недавнее путешествие в Китай, предложенное AliGenie и организованное Alitrip, убедило ее, напротив, в ценностях китайского коммунизма, отлично организованного и выгодного всему населению. Кроме того, там она встретилась с одним из своих клиентов, рекомендованных Alipay, и у нее завязались с ним многообещающие отношения: алгоритм нашел настоящее сокровище – человека, который учился во Франции, увлекается гастрономией и только что открыл производство одежды в Юре для местного европейского рынка. Единственная забота Берты теперь – сохранить свои 4,6 звезды на Alibaba. С этой целью она тщательно исполняет все советы AliGenie и обязательно отмечает национальные китайские праздники на Taobao. Она даже поставила скромный китайский флажок на конек фермы и сфотографировалась под ним для своего профиля.

Вот так Китай и завоевал Берту – без единого выстрела.

6

Первая директива

Как вернуть контроль

А теперь возвращаемся в исходную точку. Свое путешествие я закончил визитом к тому, кто меня на него сподвиг: Ювалю Ною Харари, всемирно известному историку и мыслителю, чья книга «Homo deus» завершается финальным поражением сознательного и автономного индивида. Здание, в котором он устроил свою тель-авивскую штаб-квартиру, очень похоже на него самого: внешне скромное, внутри бурлящее энергией. В квартире на последнем этаже с десяток молодых людей занимаются графиком, выступлениями и исследованиями для этой звезды поневоле. Я разделяю с ними веганский обед, радушный, но скудный. После недель, проведенных в поисках Homo deus, я снова возвращаюсь в приятное общество Homo sapiens.

Сотни интервью и прочитанных статей только подтвердили первоначальную идею Харари. Словно капитан, доставивший государю пряности Нового Света, я рассказываю ему свои истории о nudge. Расписываю, как китайцы воодушевились моделью общества, построенного на ИИ. Юваль качает головой, ему интересно, но он не удивлен. Да, наука оспаривает свободу воли, а технология отказывается от нее за ненадобностью. Нет, этот новый мир не будет либеральным, крайняя степень персонализации продуктов будет в нем сочетаться с коллективизацией процессов принятия решений. Да, изменится все: от судебной системы, которой придется отказаться от идеи вины, до демократии, которая больше не сможет опираться на выбор большинства. Нет, мы больше не сможем доверяться нашим первобытным инстинктам, поспешным суждениям, бессознательным желаниям. Но так ли это в конечном итоге плохо? Сводя меня к чисто биологическому субъекту, ИИ дает мне возможность осознать мое истинное бытие, в котором есть своя доля отрицания и зависимости. Юваль говорит, что, следуя за движениями его зрачков при взгляде на рекламу, ИИ мог бы открыть ему его гомосексуальность задолго до того, как он сам для себя ее четко сформулировал, и тем самым избавил бы его от мучений в подростковом возрасте. Ему можно было бы возразить, что эти годы мучений и сомнений как раз и позволяют сформировать и обогатить индивидуальность. Но если, как Юваль, мы прежде всего хотим избавить от страданий себя самих и других людей, и не только людей, но и всех живых существ, это слишком высокая цена. Можно обойтись и без самопознания. Почему бы не автоматизировать интроспекцию?

В этом смысле ИИ открывает путь к своеобразному индивидуальному освобождению. Понимая пружины, заставляющие нас думать и действовать, можно освободиться от самих себя. Осознание детерминизма, который нами управляет, позволяет нам установить разумную дистанцию по отношению к нашим желаниям. Их всегда можно будет удовлетворить, но не понадобится делать из них эпицентр наших действий и мыслей. Так, сексуальность из одержимости превратится в простое удовольствие, которым мы будем, не скупясь, баловать нашу столь легковерную плоть. И твиттер уже не будет нас так раздражать, когда мы сможем предугадывать собственные реакции, которые алгоритмы социальной сети предсказывают с такой устрашающей точностью. Мы станем сами для себя чем-то вроде старого товарища, с которым общаются, не питая особых иллюзий на его счет. Это изменит философию либерализма в целом: речь идет уже не о том, чтобы удовлетворить необузданные желания потребителя, а о том, чтобы помочь ему от них дистанцироваться. Я понимаю, что, несмотря на все свои призывы к критическому анализу датаизма, Юваль не собирается возвращаться к индивиду, виновному в стольких грехах как перед себе подобными, так и перед окружающей средой. «Лучший либерализм, – повторяет он свою мысль после моих наскоков, – тот, что избавляет нас от безрассудных желаний».

После этого интервью мне вспоминается Спиноза. Разве не обещал он нам в последней книге «Этики» освобождение через осознание причин и природы наших аффектов? «Нельзя придумать против аффектов никакого другого средства, которое бы находилось в нашей власти, лучше того, которое состоит в истинном познании их»[169], – для Спинозы это третья и последняя стадия познания. Но, чтобы контролировать наши влечения и эмоции, нужно установить их истинность, понять ту крупицу вечности, которая в них заложена, а не пытаться их подавлять. Спиноза не скрывает, что это сложная задача, однако, как он пишет в конце «Этики»: «Но все прекрасное так же трудно, как и редко». Представив нам по требованию подробный отчет о нас самих, со всеми доказательствами, не облегчит ли нам ИИ это познание?

Мне хочется вернуться и продолжать задавать Ювалю вопросы, но я боюсь ему надоесть – представьте, что к вам в дверь звонят и спрашивают: «А как же Спиноза?» Я неуверенно окидываю взглядом последний этаж здания и замечаю радужный флаг, вывешенный на балконе. Этот символ мира и разнообразия, позднее ставший символом ЛГБТ-сообщества, не оставляет у меня никаких сомнений по поводу конечных целей проекта Юваля Харари, которые, судя по успеху его книг, разделяет значительная часть наших современников. Избавленное от самых неудобных желаний, новое человечество будет состоять из пацифистов, экологов и коммунитаристов. В этом конечный смысл Homo deus: не приобретение автономии, а личный путь к «блаженству», как сказал бы Спиноза. Сама способность ИИ нами манипулировать извращенным образом служит нашему освобождению.

На самом деле Юваль Харари отсылает не столько к Спинозе, сколько к буддистской практике, в частности медитации випассана: он практикует ее в ретритах, где проводит по несколько месяцев в году. У каждого свой метод, главное – избавиться от давления аффектов и страстей. Но, приобретая самообладание, мы теряем потребность в своем «Я». Мы расстаемся с неугомонным и взбалмошным индивидом, который в нас сидит. Впрочем, стоит ли сожалеть о постоянной фрустрации, которую приносят наши эгоистические влечения? Если бы человечество походило на команду Юваля, не стали бы мы все более счастливыми, «блаженными»? Хотя конец индивида и создает на некоторое время политические проблемы, но зато предлагает Homo sapiens сильное метафизическое решение, обещая ему помочь преодолеть оставшееся в нем животное начало.

Сражение за индивида

В Ювале Харари воплотился дух нашего времени. Он предлагает ясную и законченную мыслительную схему, не особенно заботясь о рекомендациях для публичной политики. С этой точки зрения книга «21 урок для XXI века», в которой он затрагивает вопросы многостороннего управления, универсального дохода или образования, застряла на полпути: она слишком конкретная и в то же время слишком абстрактная. Но другие ученые и интеллектуалы, сознательно или бессознательно, отвергают эту постиндивидуалистскую повестку в своих областях. Я понял это во время долгой дискуссии в Нью-Йорке с Гленом Вайлом, моим ровесником, блестящим экономистом, получившим международную известность после публикации в соавторстве с Эриком Познером книги «Радикальные рынки». Мне кажется, что его тезисы, которые на первый взгляд могут показаться очень далекими от «Homo deus», отражают ту же самую концепцию нового человечества, порывающую с просвещением и его идеалом автономии.

Коротко говоря, Глен Вайл предлагает отменить частную собственность – последнее воплощение пресловутых монополий – и заменить ее системой постоянных аукционов: каждый бы стихийно устанавливал цену на все свое имущество, обязавшись отдать его первому заявившему о себе покупателю. Кроме того, каждый собственник ежегодно выплачивал бы налог на капитал. Таким образом, чем выше цена, запрошенная за то или иное имущество, тем больше у собственника шансов его сохранить, но тем больший налог ему придется платить. Принцип в том, чтобы выплатить коллективу компенсацию за стабильность, которую хочется сохранить для себя и для своего имущества. Разумеется, опись имущества должна быть публичной и ее следует постоянно корректировать. Таким образом, ничто не сможет уклониться от рынка как синонима эффективности и справедливости, который постоянно будет ставить под вопрос статус-кво. Опираясь на свое понимание Адама Смита и Генри Джорджа, а также на последние публикации по экономике, Глен Вайл пытается обновить либерализм, избавившись от имущественной ренты. Ну, что тут скажешь… Аплодирую его смелости, но решительно не разделяю его выводов.

Глен пригласил меня представить результаты моих исследований в Microsoft, где изложение прудоновских теорий встретило прохладный прием. После этого он потащил меня на прогулку по Уильямсбургу. Этот бруклинский квартал постоянно благоустраивают, но он все еще сохраняет свою историю, где друг на друга наслаиваются разные волны эмиграции, а также очарование некоторой заброшенности. Здесь-то мне и представился случай разобраться в глубинной мотивации Глена, выходящей за рамки его работ по экономике. Воспроизвожу этот разговор по памяти – к моим воспоминаниям примешиваются образы покосившихся домов, слишком широких крытых переходов, железных пожарных лестниц, которые, подобно паутине, оплетают фасады.

– Если применить твои идеи на практике, у меня не будет ничего своего? Мне придется все время работать, чтобы получить привилегию сохранять собственный дом, машину, компьютер? И при этом знать, что какой-нибудь миллионер в любую минуту может все у меня отобрать?

– Да. Но разве ты заслуживаешь право постоянно владеть своим домом, раз оплачен он был лишь однажды, да и то твоими предками? Если ты им не пользуешься, не инвестируешь в него, может быть, другой человек найдет ему лучшее применение?

В самом деле… В своей книге Глен представляет конструктора будущего Hyperloop, который мог бы одним кликом мгновенно купить все участки земли, расположенные на маршруте от Сан-Франциско до Лос-Анджелеса. Я решил, что не стану оплакивать «мой дом, мои тапки» – это слишком буржуазный аргумент, – но ухватился за его довод, касающийся полезности.

– Но когда это произойдет? Как справедливо замечал Прудон, «злоупотребление собственностью – цена, которую вы платите за ее изобретения и усилия: со временем она корректируется. Оставьте ее в покое».

– Какие изобретения? Какие усилия? Собственность замедляет инновации. Она создает ренту. Это вопрос не полезности, а равенства. Я предлагаю тебе капитализм без капитала. Может быть, тебе больше нравится централизованное перераспределение?

Это был удар ниже пояса. Передо мной разверзлись две интеллектуальные бездны: защищать ренту или оправдывать социализм. Но мне все равно кажется, что это перебор – во имя равенства отдавать первому встречному мой дом, с которым связано столько привычек и воспоминаний.

– Чтобы существовало равенство, должны оставаться индивиды, для которых это равенство имеет смысл. Как создать индивидуальность без вещей, в которых она отражается? Привязанность ребенка к своему плюшевому мишке и взрослого к своему барахлу или к родительскому дому – антропологическая данность первостепенной важности. Чтобы быть собой, нужно чувствовать себя как дома.

– Индивид не существует без обменов, которые его формируют. Зачем хотеть сохранить уникальность любой ценой? Взгляни на то, как сегодня с приходом шеринговой экономики опыт становится намного важнее владения. Мы потихоньку избавляемся от «товарного фетишизма», как его называл Маркс.

Вот мы и дошли до сути. В британской прессе регулярно появляются статьи о семьях, веками сохраняющих свои владения. Наследники живут в своих замках в нищете, на очень небольшой доход или вовсе без него, носят твидовые пиджаки дедушек и всю жизнь посвящают тому, чтобы ухаживать за розарием или отреставрировать одну-другую балку. В системе Глена собственность этих разорившихся дворян моментально бы экспроприировали, чтобы передать амбициозному инвестору, который превратил бы имение в коворкинг WeWork. Для меня же она представляет собой сокровище цивилизации.

– Не будет индивида, укорененного в стабильной собственности, – не будет преемственности, истории.

– Не будет индивида, привязанного к своей вотчине, – не будет и насилия, и низких страстей.

Мы выходим на набережную Ист-Ривер. После всех этих забитых машинами шумных улиц вид воды неожиданно меня успокаивает. Мы замедляем шаг. Близится развязка. Еще чуть-чуть – и Глен расскажет мне о своем отношении к буддизму. Он мечтает о мире без страданий, в котором шла бы постоянная оптимизация, строились бы все более сложные сети, становилось бы все больше удовольствий. Неважно, что представляет собой человек, получающий эти удовольствия: главное – эксперимент, а не экспериментатор. Но кто сможет управлять всей этой сложной структурой, нескончаемыми аукционами, проходящими при полной прозрачности? Кто сможет делать выбор за человека, беспомощного и замотанного, вынужденного постоянно переезжать из одного дома в другой по прихоти рынка? Естественно, ИИ. Круг замкнулся. У Харари ИИ превращает индивида в «дивида». У Глена Вайла исчезновение индивида, лишившегося своего ореола собственника, открывает путь к оптимальной организации обменов, которыми управляет ИИ. Это одна и та же концепция, проиллюстрированная двумя дополняющими друг друга перспективами и очень сильно проникнутая буддизмом.

Силами своего фонда RadicalxChange Глен пытается построить общественное движение вокруг своих идей, как это сделал в свое время Генри Джордж. Он затронул больное место нашего времени и привлек большую поддержку. По сути, опираясь на всю строгость экономических теорий, он переводит в практическую плоскость появление «дивида», рассеянного по сети и находящегося под постоянным надзором. ИИ используется для проекта по оптимизации, который, возможно, и не входил изначально в его задачи, но для которого он подходит как нельзя лучше. Таким образом, будущее, с воодушевлением транслируемое ведущими мыслителями, вырисовывается довольно четко. Но то ли это будущее, которого мы хотим?

На всякий случай я захватил с собой противоядие – «Антихрупкость», основную книгу Нассима Талеба. Я урывками читаю ее на протяжении всего моего путешествия, чтобы не терять иммунитет к тому, что Талеб называет «неоманией», иллюзией современности. Финансист, ставший академиком, теоретик рисков, прославившийся своим термином «черный лебедь», Талеб – оригинальный интеллектуал, серьезный и эрудированный. Я без всяких сожалений жертвую финалом Чемпионата мира по футболу, чтобы пообедать с ним в его любимом Ларчмонте, шикарном пригороде на севере Манхэттена.

Нассим Талеб – настоящий колосс. Не только в физическом смысле – он практикует силовые тренировки продвинутого уровня, – но и, конечно, в интеллектуальном: полиглот, увлекающийся чтением античных мыслителей, признанный статистик, знаток как биржевых площадок, так и последних публикаций в области медицины. Нассим – воплощение гуманистического идеала универсального мыслителя. Своими позициями, непривычными и зачастую крайне жесткими, он нажил себе немало врагов. Но его это только радует. Пока мы усаживаемся за стол, он с рассеянным видом заканчивает спор в твиттере, как Обеликс, прихлопнувший последнего римлянина, чтобы затем проглотить своего кабана. Я не решаюсь прерывать бурлящий поток его слов и идей. ИИ ему совершенно не интересен: еще один эпифеномен в серии инноваций, не выдержавших проверки временем. Верный ученик Карла Поппера, Талеб ожидает, что ИИ придется бесконечно отбиваться от атак, которые будут на него производиться. Как технология может изменить человека, со времен Платона так безнадежно похожего на самого себя?

Талеб отвозит меня на вокзал в своей «тесле». В финале Чемпионата мира победила Франция. Прежде чем попрощаться с ним, все-таки решаюсь спросить… Его автомобиль постоянно подключен к GPS и сам паркуется: не меняют ли подобные изобретения наше отношение к риску и случайности, двум ключевым элементам его философии? Нассим пожимает плечами и сквозь зубы произносит: «Данные представляют негативную конвексивность». Чао!

Негативная конвексивность… С точки зрения концепций, разбираемых в «Антихрупкости», это означает, что данные хрупки. Непредвиденный шок может их уничтожить. Малейшее отклонение, спровоцированное на их нормальной траектории, произведет больше потерь, чем было приобретений в знании. Иначе говоря, лихорадочный сбор данных не только не стабилизирует знание, но делает его волатильным. Он порождает «шум», генерирует слишком большой объем важной информации, которая смазывает четкость сигнала. «В большом количестве данные токсичны», – замечает Талеб[170]. Доля неадекватных данных, а значит, риск ложных корреляций растет в геометрической прогрессии по мере их накопления. Вот почему оптимизация наталкивается на естественные пределы. Чем точнее что-то подогнано, тем выше риск, что рано или поздно какая-нибудь случайность нарушит работу всей системы. Талеб приводит в пример организацию аэропортов, которая настолько хорошо продумана, настолько экономит время и пространство, что простое опоздание самолета производит сбой во всей системе и сеет хаос. Говоря шире, сложность и взаимосвязанность порождают хрупкость: один алгоритм не распознал знак пешеходного перехода – и вот уже обрушился весь «умный город»[171]. И наоборот, субоптимальная система, в которой оставлено больше места для ошибки и неожиданности, оказывается «антихрупкой», способной амортизировать удары и позитивно их преобразовывать.

Эти аномальные, непредвиденные, случайные события и есть то, что помогает природе, обществу и знанию двигаться вперед. Это те самые знаменитые «черные лебеди», о которых Талеб писал в предыдущей книге: два тысячелетия человечество верило, что все лебеди белые, пока открытие одного-единственного черного лебедя не разрушило эту якобы бесспорную теорию. Мы должны следить за черными лебедями в Австралии, быть всегда готовыми менять наши теории или знания с учетом непредвиденных факторов. Помимо технических вопросов, недоверие Талеба к ИИ объясняется его любовью к случайности как условию стихийного порядка. Оптимизация создает хрупкость, а хрупкость вызывает паралич. В автономных китайских портах малейшая помеха, даже жвачка, прилипшая к сигнальной ленте, может привести к тяжелым последствиям. Поэтому порт приходится защищать и охранять, держать под колпаком. Но это мешает эволюции и совершенствованию. Верх парадоксальности: оптимизация – противоположность совершенствования! Оптимизация производится с конкретной целью, совершенствование же предполагает постоянную адаптацию к обстоятельствам, конечная цель которых неведома. Мир, строго подчиненный логике ИИ, будет непоправимо подвержен энтропии, будет тяготеть к застывшей стабильности. Повторение обмена товарами, неизменность профессий, неотменяемость любовных связей.

Когда я передаю эти возражения экономисту Роберту Аткинсону, он отвечает: да, нужно оставаться ниспровергателем устоев в мышлении, но только не на практике. Иначе говоря, он бы поощрял расхождения на теоретическом уровне, однако не видит в них пользы, когда речь заходит о медицине или экономике. Но можно ли культивировать критический дух в абстракции, не применяя его в самых насущных областях нашей жизни? Нассим Талеб, впрочем, не стесняется показаться ниспровергателем устоев в области медицины, приписывая достоинства антихрупкости методам, унаследованным из тысячелетнего опыта: например, по интеллектуальным соображениям соблюдает православные посты. Он уверен, что целевые, точечные потрясения – лучшая услуга, которую можно оказать своему организму (и это совпадает с современными теориями о пользе «аутофагии»). Разве без таких экспериментов, выходящих за рамки академического консенсуса, мог бы управляемый ИИ мир произвести хоть что-нибудь, кроме простого повторения одних и тех же выводов и ошибок? Какое чудо поможет нам сохранить способность мыслить иначе, чем принято в группе, если мы подчиняемся ей в нашем бытовом поведении?

Роль случая превосходно иллюстрирует естественная эволюция. Я часто просил моих собеседников представить себе ИИ, которому поручено оптимизировать отношения между первыми бактериями, вышедшими из пребиотического супа три или четыре миллиарда лет назад. Пытаясь улучшить жизнь бактерий и устранить аномалии, не перекрыл бы ИИ путь, ведущий к появлению человечества? Потому что эволюция – это череда ошибок. Биолог Стивен Джей Гульд очень наглядно показал в своей концепции «экзаптации», как естественный отбор, избегающий движения по прямой, занимается бриколажем из подручных материалов. Он не преследует никакой цели, а просто ощупью ищет новое. Так, у некоторых позвоночных, живущих в воде, лапы имелись еще задолго до переселения на сушу, и они были «экзаптированы» для передвижения по ней только во вторую очередь. Рыбы не говорили себе: ну надо же, лапки полезны, чтобы выбраться на сушу. Они использовали умеренно полезный (субоптимальный) орган для инновационных экспериментов. ИИ, вероятно, порекомендовал бы им избавиться от этих неудобных приспособлений, которые мешают быстро плавать и увеличивают риск попасться хищнику. То есть если бы жизнью на глубинном уровне не двигал механизм случайности, человек вообще мог бы не появиться… и кто бы тогда изобрел ИИ?

Вероятно, та же самая логика применима к развитию городов. Планирование создало пространства, в которых невозможно жить, пустые новые города, кварталы из уродливых строительных блоков. Китай сегодня без остановки занимается строительством, стирая последние следы прошлого, строит новые «умные города», функциональные и бесчеловечные. Апогеем этого архитектурного бедствия должен стать Сюнъань – мегалополис, строящийся по распоряжению президента Си Цзиньпина в чистом поле в ста километрах от Пекина. Но куда устремляются китайские туристы, оказавшись в Париже? В Марэ, на Монмартр, на гору Сент-Женевьев, в сплетенье улочек, которые удалось уберечь от монотонного рационализма барона Османа, справедливо прозванного Атиллой. Эстетика как удобство для жизни родилась из истории и череды ее несовершенств. Я спросил у китайского ученого из Alibaba, как бы выглядел Париж, если бы его концепцию разрабатывал City Brain. «Время поездки на транспорте сократилось бы вдвое», – ответил он. Ну надо же!..

Когда я проводил интервью в Uber в Сан-Франциско, к нам присоединился исследователь ИИ Кеннет О. Стэнли, автор статьи, разоблачающей «миф о целях»[172]. Его тезис прост: самые большие открытия – как в истории науки, так и в жизни человека – происходят за рамками поставленных целей и задач. Автор на первых же страницах признает, что в области его компетенции, то есть ИИ, есть какая-то одержимость критериями и процессами оптимизации. «Поскольку в сфере ИИ слишком много целей и задач, рано или поздно ученые, занимающиеся его разработкой, зададутся вопросом о функции целей». Это редкое выступление в защиту серендипности идет вразрез с большинством используемых ныне технологий ИИ. Прогресс невозможно определить заранее: он содержит и внедряет свои собственные нормы. Разумеется, в повседневной жизни цели и задачи необходимы, но нужно уметь отказываться от них, когда открывается более интересный путь. Как и Нассим Талеб, Кеннет пытается рационально объяснить, почему избыток рациональности вредит ей самой. Непредсказуемость – не нехватка знаний, которую нужно восполнить, как это представляют себе нынешние поклонники ИИ[173]. Это фундаментальный элемент эволюции знания.

Если рассматривать через эту призму теории Харари или Вайла, придется признать, что оптимальное общество, в которое «дивиды» собираются ради того, чтобы повышать благосостояние и уменьшать страдания, – это мертвое общество, где инновация, как отклонение, становится структурно невозможной. К тому же это хрупкое общество, которое может распасться при первом потрясении. Возможно, Китаю предстоит убедиться в этом на собственном горьком опыте. Нам же, ради спасения эволюции, продолжения нашей борьбы с энтропией[174], сохранения самой идеи цивилизации, пребывающей в движении, нужно уберечь элемент случайности. А для этого необходимо восстановить форму индивидуальной автономии, которая может переиграть, удивить ИИ, возразить ему. Как же мы можем сопротивляться сладкоголосым сиренам утилитаризма? Как не стать «дивидами»?

Свободный волитель и свобода воли

Чтобы ответить на эти вопросы, нужно вернуться к проблеме свободы воли. Если современная наука, представленная мрачной триадой из психологии, нейронауки и поведенческой экономики, и в самом деле погружает нас в своего рода тотальный детерминизм, любая попытка вернуть способность к индивидуальному принятию решений кажется тщетной. У нас есть все основания для того, чтобы, подобно Шарлю Бовари, отдать себя в руки фатума, ныне воплощенного в ИИ.

Эта проблема стара, как сама философия. Современная наука всего лишь в очередной раз актуализировала вопрос, задававшийся тысячелетиями: как быть свободным и ответственным, если наше мышление – продукт действия сил, которые его превосходят? Лукреций попытался включить сложность живого в коловращение эпикуровских атомов и вывел из этого наличие «клинамена», спонтанного и непредсказуемого отклонения атомов от своей траектории. Эразм Роттердамский постулировал существование свободного выбора в качестве условия Добра и Зла, к великому негодованию Лютера, не выносившего отступлений от божественного всеведения. Анри Бергсон, боровшийся с позитивистами, посвятил бо́льшую часть своих трудов вопросу отделения человеческого сознания от законов физики. Илья Пригожин нашел в квантовой физике обоснование недетерминированности поступков человека. По мере развития науки сохраняются все те же вопросы и появляются новые гипотезы. С учетом этой долгой истории утверждение о том, что современные нейронауки навсегда похоронили свободу воли, кажется крайне самонадеянным. Они лишь возобновили споры, которые так и не смогли разрешить века размышлений.

По-моему, вопрос о свободе воли не только все время повторяется, но еще и содержит противоречие в терминах. Подобно тому как нельзя произнести слова «Я всегда лгу», не противореча себе (парадокс лжеца), нельзя и утверждать, что мы детерминированы. По сути, утверждение истины (в данном случае истины детерминизма) предполагает, что мы полагаемся на мыслительный процесс, которой к ней подводит. Но если сам этот процесс детерминирован, разве может он иметь какую-либо эвристическую ценность? Если неведомые мне внешние факторы побуждают меня поверить в детерминизм, не становится ли он просто-напросто гипотезой, выдвинутой под воздействием случайных связей в мозге? И наоборот, не подразумевает ли сам факт попыток получить определенное знание наличия у нас способности к независимому суждению? Как иронически заметил философ Жюль Лекье, надо признать, что определенность предполагает свободу воли, а не вопросы о том, определенно ли есть свобода воли[175]. Однако эта заочная победа свободы воли не приносит удовлетворения, поскольку индетерминизм упирается в свой собственный паралогизм. Не означает ли превознесение беспричинных поступков или внезапного озарения капитуляцию перед случайностью? Как еще, кроме как по случайному совпадению, может оказаться истинным совершенно произвольное высказывание? Не исключают ли капризы воли любую научную строгость? Утверждение «Я обладаю свободой воли» в действительности означает возможность сказать обратное!

Эти апории разрешаются только путем различения двух концепций свободы воли: первая основана на непредсказуемости, вторая – на делиберации. Первую школу, источник всей этой путаницы, в «свободе воли» интересует прежде всего «свобода»: она подчеркивает способность человека абстрагироваться от цепочки причин и следствий. Этой школе приходится обращаться к внеприродному началу, свойственному нашему виду: к частной воле, гарантированной Богом, как у Декарта, помещающего ее в шишковидную железу[176], или к сознанию, перед которым проходит вся бесконечность возможного, как у Сартра, выводящего из этого абсолютную ответственность нашего выбора[177]. В этом случае есть волевое решение, необъяснимый акт делиберации, противоречащий любому научному объяснению: ссылаясь на шишковидную железу, Декарт обходит весь свод законов физики, который сам помог установить. Сартр же заранее осудил открытия нейронаук, исходящих из «фактичности», физического бытия, а не из загадочного «ничтожения», которое делает возможным сознание. Подобные теории неизбежно противопоставляют свободу воли детерминизму, а философский подход – стремлению к установлению универсальных законов. Они поддерживают своего рода вечное и бесплодное столкновение между природой и знанием, наукой и сознанием, облекая его в характерные для каждой эпохи термины.

Итак, необходимо шире взглянуть на сам вопрос. Почему мы так дорожим свободой воли? Упоминая nudge в конце своей замечательной книги об алгоритмах, Доминик Кардон резко высказывается по этому поводу: «По мере того как культурный капитал растет, чем сильнее люди в социуме встроены в множественные и взаимозависимые миры, тем больше они стремятся к идее самоопределения субъекта и тем больше их беспокоят ограничения, которые могут накладываться извне на их свободу воли»[178]. Одним словом, свобода воли – это буржуазное переживание, роскошь, доступная высшему классу, самовлюбленно озабоченному независимостью собственного духа. Быть может, стремление к свободному действию – это каприз избалованного ребенка?

Это действительно так, если понимать свободу воли как самодовольный разрыв с естественным порядком. Но есть способ рассуждать об ответственности человека, а значит, и об его автономии, не используя подобную подмену понятий. В этом, собственно, и состоит амбиция второй школы, которая в словосочетании libre arbitre делает акцент на arbitre, волителе, способном взвесить все «за» и «против», прежде чем сделать вывод. Во избежание недоразумений назовем его «свободным волителем». Тот факт, что мое суждение предсказуемо с физической или биохимической точки зрения, не мешает ему быть в бо́льшей или в меньшей степени взвешенным после внутреннего обсуждения, позволяющего различать разные уровни истины. Свободу человека ошибочно уподобляли простой случайности, чудесным образом разрывающей причинно-следственную связь. Если я могу продемонстрировать твердость суждения, его происхождение значения не имеет. Этот ответ давал уже Лейбниц, когда критиковал то, что он называл fatum mahometanum, «судьбой по-турецки», поскольку «как говорят, на основании подобного аргумента турки не уходят из мест, опустошаемых чумой» по причине чрезмерного фатализма[179]: если наше будущее в любом случае предопределено Богом, зачем сопротивляться? Лейбниц выступает за особенно жесткую версию детерминизма, в которой наши действия предопределены божественным замыслом, выбравшим лучший из всех возможных миров. Однако он категорически отвергает «судьбу по-турецки», удивляясь тому, сколько времени философы потратили на споры о свободе воли. Ведь «связь причин со следствиями, не будучи причиной суровой необходимости, скорее доставляет средство к ее уничтожению»: осознав, какие законы управляют природой (например, явление распространения болезни), я могу на этом основании принять решение для того, чтобы осуществить собственные цели (в данном случае – выживание). То, что само это решение – результат механического процесса, происходящего у меня в голове, ничуть не умаляет моих заслуг. В терминах Лейбница Бог в своих расчетах лучшего из возможных миров полагается на мою рациональность, на мою природную склонность выбирать наиболее благоприятное для меня решение: Он «предусмотрел», что я «добровольно» покину место, охваченное чумой. Позаимствовав концепцию из нейронауки, можно сказать, что эволюция проложила путь от одного синапса к другому за тем, чтобы я мог удовлетворительным образом выстроить свое суждение. Лейбниц, таким образом, оказывается мыслителем индивидуальности, понятой как «монада»: детерминированность не мешает уникальности – наоборот, череда суждений, которые я произвожу, образует историю моей личности.

Вот почему детерминизм никоим образом не противоречит свободе воли – эту философскую позицию иногда называют компатибилизмом. С одной стороны, следует окончательно включить в число метафизических иллюзий свободу воли, сведенную к чистому произволу, который пренебрегает как миром, так и моей собственной историей, тем самым, как ни странно, избавляя меня от любой ответственности. С другой стороны, способность к автономному выбору может и должна вписываться в игру биохимии. Специалист по нейронаукам Станислас Деан признаёт: «Говоря о свободе воли, необходимо твердо различать две гипотезы, касающиеся наших решений: их фундаментальную недетерминированность (сомнительная идея) и их автономию (почтенное представление)». Чем сложнее мой процесс принятия решения, тем он предсказуемее с точки зрения нейронауки и тем я свободнее. И наоборот: кто может сказать об электроне в ситуации квантовой неопределенности или о сумасшедшем с его неустойчивым поведением, что они «свободны»?

Остается разобраться, что такое этот внутренний процесс делиберации. Философ Дэниел Деннет, важная фигура нового американского атеизма[180], убедительно показал связь вопроса о делиберации с вопросом о намерении[181]. Мы принимаем решения, руководствуясь желаниями, потребностями, короче говоря, интенциональностью. Таким образом, мы имеем веские основания совершить то или иное действие. Но у деревьев тоже есть свои веские основания: они производят цветы, чтобы размножаться, и пускают корни, чтобы получать пищу. Что отличает человека, так это его способность осмыслять эти основания, представлять их себе, то есть делиберация. Свобода воли заключается в рефлексивности намерения. В отличие от деревьев мы контролируем процесс, предшествующий выбору. Мы можем его замедлить или ускорить, исключить одни соображения или добавить другие. «Свободный волитель, – пишет Деннет, – определяется не конечным решением, а предшествующими решениями, влияющими на процесс рассуждения». Так, конечное решение постфактум всегда оказывается предопределенным, то есть объяснимым с точки зрения некоторого намерения (знаменитые «мотивы преступления»). Эта предсказуемость, впрочем, может перекроить чисто биохимический анализ: сегодня постепенно становится возможным восстановить решения на нейронной карте до того, как они выражены в осознанной форме. Но сам процесс, который привел к этим решениям, – место свободного волителя, а значит, формирования личности. Сами нейронауки сегодня выявляют специфическую роль нейронов в реализации выбора, отходя от чисто механистического видения процессов, происходящих в мозге[182].

Можно, конечно, было бы сделать шаг назад в рассуждениях и спросить у Деннета, не подчиняются ли сами «предшествующие решения» каким-то подрешениям и так далее. Почему бы и нет? В конце концов, именно все эти ментальные слои, автоматические и интенциональные, бессознательные и отрефлексированные, формируют идентичность и вызывают слова, поступки, банальное движение или непоправимый жест. Опыты Александра Перскотта с обезьянами, в частности, позволили лучше понять роль подсознания, которое хранит в памяти работу по принятию решения[183]. Идея о том, что мириады решений вкладываются одно в другое и развертываются, скорее всего, понравилась бы Лейбницу, мыслителю бесконечно малого. Точно так же, как мы не слышим все волны, образующие шум моря, мы не можем детально познать все мельчайшие решения, накапливающиеся в нашем мозге. Тем не менее они существуют, они часть нас, они нас формируют.

В каждый миг размышлений мы учитываем самые разные соображения, приходящие на ум, «взвешиваем за и против». И здесь нейронауки предлагают нам точное описание того, как нейроны, ответственные за принятие решений, могут активизироваться или, наоборот, подавляться, влияя на нашу способность сомневаться и размышлять[184]. А затем, как только окончательное решение принято, мы прячем все это в дальний угол подсознания – на будущее. По данным нейронаук, повторение решения смешивается с процессом обучения и модифицирует нейронные пути, переустанавливая связи между нейронами[185]. Пианисты знают, что одна фальшивая нота, повторенная слишком часто, в конце концов автоматически встраивается в движения пальцев, которыми управляет мозг, и потребуются долгие упражнения, чтобы исправить последствия этого неудачного первоначального решения. Любопытно, что чем более обдуманным и взвешенным является решение, тем устойчивее модификации нейронных связей, которое оно производит[186]: интенсивность суждения способна изменять наше будущее поведение. Пластичность мозга позволяет нам, таким образом, встроить наш выбор в само наше тело.

Однажды вы, вероятно, приняли решение, каким маршрутом добираться на работу; мало-помалу он вошел в привычку, позволив вам по дороге обдумывать выбор других вещей. Это первоначальное решение не обязательно было лучшим: забастовки в лондонском метро показали, что многие пассажиры, когда им пришлось заново задуматься о своем маршруте, нашли варианты удобнее[187]. Но это был ваш маршрут. Сегодня он владеет вами так же, как вы им. Повторение одних и тех же улиц, перекрестков и вывесок соответствует определенному моменту вашей жизни, и вполне разумно продолжать придерживаться этого маршрута, даже если вы теряете на нем несколько минут. Если вернуться к терминологии Канемана, можно выдвинуть гипотезу, что «система 2» – это не рациональная сущность, отличная от «системы 1» и ее когнитивных алгоритмов, полных предубеждений. Именно «система 2» подпитывает «систему 1», производя целый ряд решений в глубине наших привычек, тогда как «система 1» временами дает о себе знать «системе 2», требуя от нее все новых размышлений. На самом деле нет двух систем, а есть бесконечное число цепочек принятия решений, производящих когнитивный шум разной степени интенсивности. На что-то в конце концов решаясь, я привношу в это решение весь груз моей истории. Если свобода воли – это фантазия о свободном действии, нарушающем естественный ход вещей в природе и обществе, то свободный волитель, напротив, обладает способностью давать обещание и сдерживать его, задействуя всю свою личность. Как объясняет нейробиолог Джона Лерер, «нас определяют наши решения»[188], будь то бессознательные или нет. Именно эта «фабрика идентичности» позволяет вменять человеку ответственность, невзирая на биохимический детерминизм.

Свобода воли не дается нам от рождения: нет никакой феи, которая склонилась бы над колыбелью человечества. Вопреки неудачной формулировке нашей «Декларации о правах человека», мы не «рождаемся свободными». Зато мы можем взращивать и поддерживать в себе свободного волителя. Это ключ к нашей ответственности, он не дан нам (биологически), не предполагается (интеллектуально), а медленно вырабатывается. Чем сложнее траектории принятия нами решения, тем сильнее мобилизуется способность к рефлексии, тем больше наше действие, даже самое незначительное, отражает то, кем мы являемся. Но чем менее осознанно мы принимаем решения, тем хуже себя контролируем. Деннет справедливо говорит о «моральном образовании», которое помогло бы нам выбирать соображения, участвующие в наших процессах принятия решения. Оно вполне органично вписывается в гуманистическую традицию. Подобно тому как Эразм Роттердамский возражал против «рабства воли» Лютера, сегодняшние гуманисты могут апеллировать к нейронаукам, чтобы доказать возможность личного суждения. Только так мы сможем в итоге разглядеть человека, погребенного под массивами данных, заставив ИИ служить нам.

Такая концепция имеет свои политические последствия. Роль хорошего управления будет заключаться в том, чтобы способствовать этому моральному образованию, развивающему автономию при принятии решения. Именно это особым образом отражается на других теориях политического действия, используемых в этих дебатах. Режим свободы воли предполагает, что мы взрослые и ответственные люди: это свободный рынок, как он понимается Чикагской школой. В теории nudge мы мечемся туда-сюда под воздействием когнитивных предубеждений: это либертарианский патернализм поведенческой экономики. Но в моей гипотезе свободного волителя мы можем постепенно накапливать средства для освобождения, независимо от биохимического детерминизма и даже благодаря ему. Вспомним Лейбница: «Связь причин со следствиями, не будучи причиной суровой необходимости, скорее доставляет средство к ее уничтожению». Именно за счет того, что я пропускаю часть моих предварительных решений через бессознательное нейронных путей, создавая тем самым, если так можно выразиться, собственные когнитивные предубеждения, я могу укрепить свою способность суждения. Можно вообразить целый ряд инструментов публичной политики, которые способствовали бы человеку в его размышлении при принятии решения, не оказывая при этом влияния на его результат и не давая ему оценки[189].

Это не индивид проявляет загадочную свободу воли как суверенный акт (позиция, невозможная с точки зрения современных нейронаук), а свободный волитель, нашедший выражение в делиберации, мало-помалу формирует индивида во всей его оригинальности. Вот почему так важно не передавать эту способность машине! Итак, мы снова вернулись к ИИ. В решении важен не столько результат, сколько процесс, постепенно структурирующий нашу личность. Чтобы не стать «дивидом» в эпоху алгоритмов, чтобы генерировать отклонения, которые являются условием биологической и социальной эволюции, недостаточно совершать «беспричинные поступки», столь эфемерные, сколь и поверхностные. Нужно брать на себя глубинный и сознательный выбор, возможно, не очень эффективный с точки зрения полезности, но без которого невозможно сформировать индивидуальность. При этом мы не идем против себя: мы, наоборот, становимся собой. Деннет говорит о способности противостоять манипуляциям как следствии «моральной ответственности», связанной с делиберацией. Сегодня эта способность играет ключевую роль в сопротивлении комфорту рекомендаций. Я отказываюсь от этой книги, подсказанной мне Amazon, не потому что она мне не нравится или не будет мне полезна, а потому что я – это я. Эта рефлексивная гордость тесным образом связана с волей к автономии. Если Харари объясняет, что ИИ знает нас лучше, чем мы сами, и что за отсутствием свободы воли лучше передоверить решения ему, я, наоборот, считаю, что ИИ мешает нам стать самими собой и сформировать в себе свободного волителя в ходе самого процесса принятия решений. Если Харари кичится тем, что отказывается от индивида и уничтожает «Я» при помощи медитации, то я предлагаю заново утвердить уникальную сущность, каковой мы являемся, или, по крайней мере, дать ей возможность появиться на свет. Если не ради нас самих, то хотя бы ради прогресса нашего биологического вида. Мы видим, как эти почти метафизические соображения могут послужить руководством для наших отношений с технологией.

Вот два примера. Первый – анекдотический: Google Maps. Вы можете принять nudge и позволить вести вас, даже не понимая, где идете, и рискуя тем, что некоторые зоны вашего мозга могут атрофироваться[190]: количество полезности в мире от вашего послушания возрастет. Вы также можете решить свернуть наобум, психанув из-за пробок. Скорее всего, вы окажетесь в еще худшей пробке – и чего вы этим добились, кроме иллюзии свободы воли? Наконец, вы можете предпочесть стать свободным волителем, попытавшись переиграть Google Maps (даже если создадите при этом дополнительные затруднения, но ведь эгоизм, в конце концов, может быть вполне сознательным жизненным выбором) или составив подходящий маршрут при помощи критериев, внеположных алгоритму Google Maps. Эти критерии будут отражать личные предпочтения, накопленные в течение некоторого времени: например, если вас зовут Ван Гог, то вы любите ездить вдоль полей подсолнухов. Конечно, эти критерии тоже могут быть интегрированы в более изощренный навигационный ИИ, который будет вас изучать. Но это означало бы перепутать яд с лекарством: такой ИИ прежде всего помешает вам сформировать эту страсть к полям подсолнухов – она окажется столь редкой, что исчезнет из статистических моделей. Вот и весь Ван Гог…

Такие же рассуждения применимы к более важной области – любви. Читатель, возможно, видел эпизод сериала «Черное зеркало» под названием «Повесить диджея», в котором ИИ при помощи симуляций перебирает все возможные варианты любовных отношений, чтобы свести пользователя с лучшим из возможных партнеров. В мире nudge мы будем блаженно ложиться в постель с родственной душой без каких бы то ни было ухаживаний и соблазнений (это было бы идеалом хозяина Baihe, китайского дейтинг-сервиса). Противник системы откажется от ее предложения и женится на первой встречной, рискуя тут же развестись. Что сделает свободный волитель? Он захочет сам пройти через все этапы, которые так любезно моделирует ИИ. Свободный волитель знает, что процесс важнее результата. Томиться, разрывать отношения, возвращаться… Соблазнять, плакать, играть… Любить не набор данных, а человека из плоти и крови. Не из романтизма, но для того, чтобы построить свои собственные отношения, плод тысяч размышлений и эмоций, постепенно вписывающихся в наши траектории принятия решений.

Современный эквивалент «судьбы по-турецки», над которой иронизировал Лейбниц, – позволить ИИ и рекомендациям полностью управлять нашей жизнью под предлогом того, что, как и Бог когда-то, алгоритмы могут выбрать лучший из возможных миров. Мы должны использовать способность суждения, чтобы быть достойными нашей «монадности» и постепенно прийти к автономии. От механического турка, который в начале этой книги показал нам тот человеческий труд, который скрывается за ИИ, до «судьбы по-турецки», показывающей, что надо бороться с манипуляциями: турки нам очень пригодились!

Что касается политической философии, стремление к автономии лежит в основе критики Джоном Стюартом Миллем Иеремии Бентама, влияние которого на дух Кремниевой долины мы имели случай наблюдать. В своей книге об утилитаризме Милль на первых же страницах предлагает провести качественное различие между удовольствиями, чтобы избавиться от бентамовской модели, в которой польза подсчитывается одинаково для всех. Действительно, к счастью можно стремиться разными способами, ставя перед собой разные цели, – эти стремления, идущие наугад, глубоко частные, их нельзя свести к общей норме. В конечном итоге это личное счастье определяет индивидуальную мораль. Система ценностей возникает не только из обучения в социуме, но и из применения способности суждения. В своем эссе о Джоне Стюарте Милле Исайя Берлин интерпретирует этот вариант утилитаризма как появление «права на заблуждение»[191], следствие способности каждого искать, улучшать и трансформировать себя. Это «право на заблуждение» в контексте ИИ представляет собой право уйти из социальных сетей, право не следовать рекомендациям, отказаться от уведомлений – одним словом, право не подчиняться общим определениям пользы и идти собственным путем, в том числе наперекор самому себе. В этом заключается глубокий смысл так называемой privacy, предмета стольких споров: не защищать индивида от взгляда других (в конце концов, в большинстве случаев данные анонимизированы и обрабатываются слепыми алгоритмами), но позволить ему сформироваться за пределами сети, не подвергаясь воздействию nudge. Надо признать, что право на заблуждение производит негативные эффекты для коллектива в краткосрочной перспективе, хотя и является условием любого будущего прогресса. Никто не знает, к чему приведет отклонение, и никто не может брать на себя риск его искоренения.

Право на заблуждение вполне логично выливается в право на отключение от сети. Право, которое кажется очевидным, но при этом постоянно находится под угрозой. Установка умных электросчетчиков Linky в домах французов – это принудительный сбор данных, пусть даже под похвальным предлогом оптимизации производства электроэнергии и снижения углеродных выбросов. Завтра умный город под тем же предлогом обяжет нас пользоваться только подключенным к сети транспортом, как это призвал сделать на нашей встрече Джесси Левинсон, основатель Zoox. За право на отключение от сети придется расплачиваться замедлением движения и автоавариями, с чем будет нелегко примириться в политике. Но защищать тех, кто хочет перемещаться как ему вздумается, анонимно и случайно, не отмечая заранее пункт назначения и не афишируя свой маршрут, – значит сохранять свободу одиноких прогулок и возможность отклоняться от первоначального плана. Как ни странно, это означает, что городу будет дана возможность выработать свои собственные антитела, оставаться «антихрупким», сохранять способность выдерживать стрессы и развиваться. Как говорит Стюарт Расселл, умный город, как его видят пуристы ИИ, – это мертвый город. Вернуть ему жизнь может только отключение от сети. Его злейшие враги дают ему лучший шанс на спасение. Если мы хотим сохранить индивида в эру ИИ, вопрос стоит очень четко: как сегодня технически реализовать это право на заблуждение, право на отключение от сети?

Сопротивление

Первая опция, самая очевидная, состоит в том, чтобы добровольно уйти из сети, вернуться к методу принятия решений 1.0, неидеальному, но, возможно, более аутентичному. Доменик Кардон говорит о «переходе в режим ручного управления». Чтобы уклониться от nudge, проще всего прекратить передавать данные. Существует настоящая контркультура сопротивления, получившая распространение среди людей, хорошо разбирающихся в современной технологии. В Германии я встречал хакеров, пользовавшихся старой Nokia, желательно с предоплаченной картой и регулярной сменой номера телефона. На «криптовечеринке» в подсобке польского кафе в Восточном Берлине они научили меня азам цифровой защиты: пользоваться Tor, чтобы не оставлять следов в интернете, заклеить камеру компьютера скотчем, отключать геолокацию на смартфоне, установить VPN для общения (совет, пригодившийся мне в Китае) и загружать приложения из пиринговой сети, чтобы данные не попадали к третьим лицам.

В Израиле я познакомился с Ади Йоффе, странным «футуристом», который не хочет, чтобы человечество состояло из зомби, контролируемых большими технологическими компаниями, и выступает за возвращение в «пещерный век». Бороды хипстеров или каникулы с цифровым детоксом, на его взгляд, – первые ласточки этого движения: к тому же разве евреи не переживают регулярно опыт отключения, каждую неделю в Шаббат и раз в год на Йом-Кипур? В Беркли Джерон Ланье, чьи дреды до колен наглядно доказывают его нонконформизм, убедил меня уйти из социальных сетей. В Дании я как-то пил чай с Перниль Транберг, бывшей журналисткой, писавшей о технологиях, которая теперь разрабатывает в своем Институте этики данных средства «цифровой защиты», такие как блокиратор рекламы или фальшивые цифровые идентичности (в Facebook она называет себя Пиа). А в Париже министр образования, запретив пользоваться мобильными телефонами в школе, на свой лад доказал, что можно коллективно отказаться от nudge: ведь цель образования, собственно, и состоит в развитии автономной личности. Жизнь вне сети возможна.

Если просто отключиться или сохранить анонимность на практике не удается, существуют и другие методы обхода алгоритмов. Самый изощренный – «затемнение», метод, разработанный и описанный в маленькой методичке двумя преподавателями Нью-Йоркского университета[192]. Он состоит в том, чтобы «намеренно производить двусмысленную, запутанную или ложную информацию с целью создания помех для сбора данных». Иначе говоря, произвести цифровой шум, который мог бы заглушить собственно сигнал. Такая стратегия уже применялась летчиками во время Второй мировой войны: они выбрасывали полоски фольги, чтобы увеличить число ложных сигналов на вражеских радарах. Тот же метод, представленный в иронической форме, можно встретить в кинофильме «Афера Томаса Крауна»: чтобы скрыться из музея, вор смешивается с толпой из десятка посетителей, одетых в одинаковые костюмы, как на картине Магритта. Если следы нельзя стереть, нужно оставить их как можно больше. В интернете сервисы виртуального клонирования позволяют создавать фальшивые идентичности, сбивающие с толку алгоритмы Facebook и Amazon. Авторы приводят множество подобных примеров вместе с полезными советами. Их цель – маскировка, которая позволит продолжать пользоваться благами интернета, не становясь жертвой «асимметричных властных отношений», создаваемых цифровой слежкой.

Эти альтернативные практики часто дублируются политическим дискурсом откровенно левого толка. В Оксфорде на выступлении публициста Джонни Пенна я познакомился со своего рода марксизмом 2.0, ассоциирующим прогресс ИИ с капиталистическим угнетением (позднее на сайте Пенна я выяснил, что в числе его клиентов HSBC, Amazon и General Motors – «икорных левых» ждут хорошие времена). Но это я еще не встречал настоящих радикалов… В Лос-Анджелесе я связался с активистами, которые разоблачают использование силами правопорядка предсказательных алгоритмов (predictive policing). Они пригласили меня на встречу в офис Stop LAPD Spying Coalition.

– Только предупреждаем, мы находимся в Скид-Роу. Ничего для вас?

– Да, а что в этом такого?

Взглянув на карту, я скорее обрадовался: мне представился случай посмотреть даунтаун Лос-Анджелеса, города, больше известного своими пригородами. Выйдя из метро, я увидел офисных работников вперемешку с наркоманами, к чему уже привык в Сан-Франциско. Чтобы добраться до указанного адреса, нужно было идти двадцать минут пешком по прямой. Квартал был так себе… Я перестал смотреть по сторонам и, надев наушники, шел, думая о своем. Мне оставалось пройти еще шесть кварталов, когда я вдруг встал как вкопанный, бессознательно почувствовав тревогу. Ноги отказывались сойти с перекрестка. Я не сразу понял, в чем дело… Это как внезапно оказаться в виртуальной реальности. Я бывал в трущобах Лимы, в деревнях в Руанде, ходил по улицам индийских мегаполисов, по цыганским таборам в Румынии, но еще нигде не видел такого убожества. Передо мной до самого горизонта простирались хаотически разбросанные матрасы, коробки, тенты, зонты от солнца, палатки и кучи мусора. По улице, на которой образовались эти трущобы, находившиеся в постоянном движении, не ездила ни одна машина. Похожие на скелеты силуэты толкали тележки, орали пошатываясь или просто неподвижно сидели с трубкой с крэком в зубах, погрузившись в кошмары наяву. Многие растянулись прямо на тротуаре. Фотографии, сделанные в этом районе Сюзанной Стейн, показывают ужасающее скопище людей с разбитыми в драках лицами, всеми брошенных, кое-как перетаскивающих свои тела по бетонным пространствам, людей, у которых только один друг – наркота. Подобранное на помойке грязное тряпье, которые они нацепляют на себя, создает впечатление вечного костюмированного бала, сатанинского маскарада со шляпами-котелками, темными очками, брендовыми сумочками и леопардовыми шейными платками. В этом смешении полуголых тел, татуировок и беззубых ртов не было ни расы, ни пола, ни возраста; это было равенство отбросов общества, братство апокалипсиса. Несколько оставшихся вывесок, наполовину стершихся, тщетно напоминали о том, что другая жизнь была возможна. Громко сигналя, проносились скорые, благотворительные организации раздавали еду или одеяла: но кого можно спасти в Скид-Роу, квартале, приютившем самое большое количество бездомных в США, в котором многочисленные программы реабилитации, кажется, заранее обречены на провал? Здесь речь идет уже не о бедности, а о непроглядной нищете, беспрерывно движущейся от одних страданий к другим, как на картинах Босха с изображением ада. Скид-Роу – это вопль безумия под открытым небом, в самом сердце главной мировой сверхдержавы.

С некоторым трудом я уговариваю таксиста отвезти меня по нужному адресу параллельными улицами. Затем пробираюсь между двумя палатками до ворот и захожу в довольно аккуратное здание, центр социального действия в Скид-Роу (Community Action Network). Через несколько минут меня приводят в маленькую комнату, где я, к своему удивлению, встречаю всех руководителей Stop LAPD Spying Coalition: Дженни, Акила, Ахмеда, Тифани, Питера. Они не скрывали своего недоверчивого отношения ко мне, ситуацию смягчило только добродушие их предводителя, Ахмеда, афганца, не столь озабоченного доктринальной чистотой. У «Коалиции» благородная цель – бороться против predictive policing, превентивной стратегии полиции, которая вот уже два года позволяет полицейским Лос-Анджелеса, пионера в этой области, производить аресты на основании «достаточно подозрительного поведения». «Коалиция» выявила две программы, в которые сегодня интегрирован ИИ, оценивающий вероятность совершения преступления: LASER, анализирующий индивидуальное поведение, и PRETROL, выявляющий опасные зоны с точностью до сегмента улицы. Пользуясь услугами Palantir, одного из лидеров в области анализа данных по заказу правительства, полиция Лос-Анджелеса может реконструировать передвижения подозреваемых, а также их обычные контакты. Поскольку алгоритмы учитывают прошлые данные, это логично приводит к стигматизации групп населения, живущих в криминальной среде, тем самым «под видом объективности» подкрепляются и узакониваются расистские предрассудки, как объяснил мне один из собеседников[193].

– Эффективен ли, несмотря ни на что, такой полицейский надзор? – имел несчастье спросить я.

Я не добился встречи в самом LAPD – департамент коммуникации (неудачное название) принудил к молчанию офицера, который был готов со мной пообщаться. Поэтому мне пришлось стать адвокатом дьявола. Это не понравилось Дженни. Она строго напомнила мне, что их проект ставит «аболиционистскую» цель, а именно уничтожение полиции. Воспользовавшись этим напряженным моментом, Акил взялся излагать планетарные перспективы деятельности Коалиции, втирая мне про французский Алжир и судьбу Палестины. Я потерялся в этом концептуальном винегрете из борьбы со структурным расизмом, господством белой расы, неоколониализмом, эхом 11 сентября и пособничеством академиков. Питер, молодой компьютерщик, бросивший профессию, чтобы стать активистом по борьбе со слежкой, заявил, что ИИ – угнетатель по самой своей природе, потому что сбор данных вводит асимметрию в отношения со властью. А кстати, разве не военные придумали ИИ?

Я почти три часа просидел в этой тесной комнате, где кипели умы. Эти туманные теории заговора в конце концов привели к неразличимости между американским правовым государством со всеми его недостатками и худшими диктатурами. В частности, я сделал вывод, что сопротивление надзору и nudge ни в коем случае не должно превращаться в борьбу с самими технологиями. Зачем возвращать себе способность самостоятельно размышлять, если вы так мало ею пользуетесь?

Воля к отключению от сети – форма современного отшельничества, привлекающая несогласных самого радикального толка. Сколь бы здравой она ни была с индивидуальной точки зрения, ей никогда не стать моделью общества.

Поэтому нужно искать пути примирения свободного волителя и ИИ, а именно способы усиления первого за счет второго. В теоретическом плане правильный путь мне указала встреча с Матье Рикаром. Буддистский монах, практикующий медитацию, специалист в области молекулярной генетики, хорошо осведомленный о современных нейроисследованиях, Рикар показался мне идеальным собеседником. Я не остался разочарован: наша беседа в осеннем тумане в замке в Бордо, хотя и была очень короткой, дала мне ключ к тому, что я искал вот уже несколько месяцев. Его концепция ответственности близка к представлениям Деннета: главная особенность свободного действия не в том, что оно порывает с порядком вещей, а в том, что к нему приводит непрерывность нашей личной истории. «Мгновенный, автоматический выбор – результат целой жизни с принятыми в ней решениями», – говорит Рикар. Неважно, что, когда мы решаем броситься в море, чтобы спасти тонущего ребенка, на нас воздействуют биохимические механизмы нашего мозга. Неважно, что наше решение оформляется в сознании через доли секунды после его принятия: к такому результату приводит вся совокупность миллионов осознанных решений, принятых в течение нашей жизни. Эти осознанные решения и отражают нашу истинную личность. Именно потому, что однажды я принял сознательное решение помочь слепому в метро, или потому, что ночи напролет ухаживал за больным ребенком, много лет спустя я смог прыгнуть в воду не раздумывая. Как пишет Матье Рикар: «Спонтанная, инстинктивная мораль – проявление самых глубоких наших достоинств или недостатков»[194]. Эта мораль, далекая от простого рационального или эмоционального расчета, вырабатывается и тренируется, как мускул.

Когда речь заходит об ИИ, Матье Рикар не видит никаких проблем в том, чтобы поручить машине принятие решений в повседневной жизни на основе нашего собственного глубокого выбора. Он не против того, чтобы ему в мозг вживили Википедию, если это позволит ему быстрее получать доступ к знаниям. Он принимает nudge как короткий путь. Но при условии, что мы сможем сами определять этот nudge, включив в него этические составляющие, родившиеся из наших размышлений. В буддистском подходе эти размышления предполагают интроспекцию и медитацию, которые только и способны произвести глубокую трансформацию «Я». Нет никаких причин дать завести себя на путь утилитаризма. Каждый должен иметь возможность устанавливать собственные критерии действия. Точно так же, как мы полагаемся на нейронные связи, моделируемые в течение всей жизни, чтобы принимать хорошие решения или, точнее, решения, которые нас отражают, можно было бы опереться на nudge, чтобы продлить и акцентировать выражение нашей собственной морали. Произведя делиберацию, нужно затем научить делегировать принятие решения как своему бессознательному, так и ИИ. Это тем более важно, что, по оценкам исследований в области нейронаук, человек принимает в среднем по 35 тысяч решений в день![195] Машина вполне могла бы помочь нам разгрузить наши когнитивные способности, чтобы мы могли сконцентрироваться на более важных выборах.

Вот что радикально меняет термины дискуссии. Уже не nudge направляет индивида (или скорее «дивида»), но принимающий взвешенное решение человек сам выбирает, куда его подталкивают. Каким образом это может быть реализовано в технологическом плане?

Именно на этот вопрос пытается ответить Гарри Клур, появившись в затерянном кафе в пригороде Редвуд-сити, между железнодорожным переездом и шиномонтажом. У него в руках чемоданчик, которым он размахивает. Со своей взлохмаченной кудрявой гривой, широкими плечами и восторженностью энтузиаста Клур похож на золотоискателя, только что набредшего на жилу. Он перепробовал все профессии, которые изобрела Калифорния: предприниматель, изобретатель, сценарист, режиссер… Клур, имеющий хорошие связи как с Фондом X Prize, так и с голливудскими продюсерами, не сидит на месте и носится по всему кафе.

На первый взгляд трудно представить себе персонажа, более непохожего на Матье Рикара. Однако с буддийским монахом его роднит солидное научное образование: он первым в мире одновременно защитил две диссертации – первую по физике, а вторую по химии. Наш разговор меня удивил. Оправившись от шока из-за падения акций Facebook на бирже (заголовок в газете, которую он держит в руках), Гарри заговаривает более спокойным тоном. Речь не о том, чтобы изменить мир или отправить наши аватары на Марс. Наоборот, в его словах я нахожу немало моих собственных выводов об ИИ. Нет, не надо бояться сильного ИИ, или сверхинтеллекта, вслед за Илоном Маском – этим большим ребенком, путающим кино с реальностью. Нет, ИИ по природе неспособен к концептуализации, тогда как дошкольник может перенести идею «мытья» с чайной чашки на машину. Да, ИИ воспроизводит результаты человеческого мышления, но не сам процесс. Да, ИИ создает угрозу для свободы воли, управляя нашим выбором, от маршрута поездки на автомобиле до профессиональной жизни. Гарри Клур опасается последствий, которые будет иметь эта когнитивная лень для всего человечества. Когда я говорю ему о делёзовском принципе ризомы, он тут же отвечает: «Это же сорняки, их нужно выполоть». Только деревья с глубокой корневой системой способны принимать решения.

Я поддакиваю, удивленный подобным родством душ. Мы даже планируем вместе написать статью о свободе воли в век машинного обучения. Но, помимо констатации фактов, Гарри еще предлагает решение, которое он назвал «первой директивой», по мотивам «Стартрека». Нужно заметить, что в конце 1990‐х Гарри написал сценарий шести эпизодов этого культового научно-фантастического сериала, что дает ему некоторое право использовать его язык. The Prime Directive, или «первая директива», – это главный закон, регламентирующий поведение экипажа корабля. Хотя в сериале его ни разу открыто не формулировали, можно догадаться, что он устанавливает что-то вроде принципа невмешательства, запрещающего цивилизации, достигшей высокого уровня развития технологий, силой навязывать свои ценности другим (учитывая дух «Стартрека», это может быть намеком на роль США в войне во Вьетнаме). Шире, в представлении Гарри Клура, «первая директива» – это высшее правило морального порядка, ограничивающее использование технологий: правило, которое люди выбирают сами для себя и обязываются соблюдать, не требуя при этом его соблюдения от других и не возводя во всеобщий закон. Это персональная этика, более близкая к индивидуальным целям Милля, чем к категорическому императиву Канта.

Чтобы вернуть смысл ИИ, каждый должен был бы сформулировать собственную «первую директиву», заранее решив, какие нормы он хочет вменить алгоритмам, которые им управляют. Иначе говоря, надо иметь возможность применить свою моральную прерогативу, заранее определив приемлемый для себя nudge, сознательно и добровольно. Так можно вернуть способность к самостоятельному принятию решений, восстановить в себе свободного волителя. Но чтобы воспользоваться оптимизацией предпочтений при помощи ИИ, можно будет поместить свой выбор в глубины кода, как в подсознание, даже если время от времени придется к нему возвращаться. Каждый станет «понукателем» своих «понуканий», nudge: машине можно будет делегировать свои повседневные решения, но не процесс, который к ним привел…

Тотчас же исчезнет бо́льшая часть этических вопросов, встающих в связи с ИИ, которые казались неразрешимыми: дело в том, что они воспринимались как всеобщие, а их следует ставить перед каждым конкретным индивидом. Вернемся к примеру с беспилотными автомобилями, которые якобы должны «сами» выбирать, кем пожертвовать – водителем или пешеходом. Каждый при помощи персональной «первой директивы» мог бы проинформировать автопроизводителя о своем выборе. Эти фундаментальные параметры, прописанные ясно и добровольно, не смогут модифицироваться в процессе машинного обучения, даже если создают неоптимальные ситуации для самого человека или для всей группы. Общество научится, как всегда и происходило, учитывать ограничивающий фактор, каким является существование различных индивидов, более или менее доброжелательных, более или менее альтруистичных. Тогда человек будет принимать на себя моральные последствия своего выбора, будет жить с сознанием того, что он сбил или может сбить пешехода. В этом случае больше не понадобится признавать роботов юридическим лицом: ответственность за их действия естественным образом будет возлагаться на того, кто составил и подписал «первую директиву».

Закон же будет черпать легитимность в том, что определяет поле для маневра в моральном выборе. Например, можно будет, если уж на то пошло, выбирать между своей собственной смертью и смертью другого человека, как это происходит в нашем обществе 1.0, где мало кто из водителей добровольно бросится в кювет, чтобы избежать столкновения с пешеходом. Однако нельзя будет требовать от «первой директивы» разрешения умышленно их убивать. Хотя сегодня и кажется, что алгоритмы оставили далеко позади процесс коллективного урегулирования – «систему сдержек и противовесов», как его называет Гарри Клур, – в этом случае он возродится с новой силой. С одной стороны будут находиться ответственные индивиды, с другой – закон, который надо соблюдать, а между ними – свобода для действия в зависимости от моральных правил, которые каждый устанавливает для себя сам.

Та же самая логика может применяться и в случае медиков, которые бы заранее описывали свою концепцию оптимального лечения, позволяя ИИ комбинировать эту инструкцию с его собственным диагнозом. Когда речь идет о рынке труда, я мог бы четко определить свои предпочтения, прежде чем вручить судьбу алгоритмам ZipRecruiter. На сайтах знакомств все старались бы представить характеристики своего идеального партнера, пусть даже им не раз придется ошибаться. Мы бы вернули способность самостоятельно обдумывать свой выбор, взяв на себя всю ответственность и выразив нашу глубокую индивидуальность через концепцию «первой директивы». В этом случае процесс выработки решения, которым так дорожит Деннет, был бы соблюден. А затем мы позволили бы алгоритмам принимать за нас бытовые решения, возможно, менее эффективно, но с большим уважением к многообразию наших представлений о мире. Речь идет не о том, чтобы отказаться от вычислительной мощи ИИ, но о том, чтобы ее контролировать. Как Улисс, привязавший себя к мачте корабля, чтобы не поддаваться пению сирен, мы будем выполнять работу по делиберации, прежде чем пускаться в сотни ежедневных приключений. В какой-то мере речь о том, чтобы «предустановить» свободного волителя[196].

Разумеется, хитрость Улисса имеет смысл только тогда, когда он может себя отвязать. В «первую директиву» в любой момент можно будет внести изменения, но только при помощи подтвержденного действия ее автора, а не автоматически. Возьмем, например, выбор книг. Здесь следует избегать двух ловушек: с одной стороны, не стоит слепо следовать рекомендациям Amazon; с другой – нельзя довольствоваться лишь ограниченным выбором книг. Параметры, который я сам записал в «первой директиве», позволят мне следовать рекомендациям, сохраняя контроль над собственным вкусом. Поэтому их придется регулярно пересматривать, чтобы они не служили тормозом для моего личностного роста. Если однажды я проявил интерес к аналитической философии, у меня должна остаться возможность в любой момент дополнить его интересом к эротическим романам XVIII века. Однако ни в коем случае нельзя позволять машинному обучению Amazon производить эту модификацию за меня – если машина, например, заметит, что я зачастил на порносайты. Потому что я должен сам морально принять свой интерес к этому предмету (кстати, вполне простительный после перебора с философской литературой). Это условие, которое позволит мне избежать разбросанности «дивида», бездумно порхающего от одного наслаждения к другому, и сформироваться в качестве автономного индивида.

Идеал «первой директивы», таким образом, представляет собой триумф личного выбора над «коллективной полезностью», индивидуальной ответственности – над биохимическим фатализмом, Милля – над Бентамом. Это право на заблуждение, которое мы впишем в самое сердце ИИ.

В защиту права владения персональными данными

Остается узнать, какие инструменты нам нужны для введения в действие «первой директивы». Я бы довольствовался здесь простыми гипотезами: главное – утвердить на прочных философских основаниях ясное видение цели, которой нужно достичь. Специалисты по ИИ, вероятно, могут придумать другие решения.

Впрочем, есть вероятность, что технология сама принесет решение созданных ею проблем. Так, мы наблюдаем разработку методов машинного обучения, пытающихся ввести фактор серендипности. Значит, можно надеяться, что ИИ все-таки не обречен на утилитаризм. Это одно из направлений сегодняшних фундаментальных исследований. Кеннет Стенли, ученый, разоблачающий миф о целях и задачах, разработал процедуру «открытия нового», когда роботу дается единственная инструкция – попытаться произвести необычное действие, избегая любого целеполагания. Как ни удивительно, подобная инструкция может привести к появлению более эффективного поведения, чем в случае классического алгоритма, например при поиске выхода из лабиринта. Мало того, двуногий робот, отправленный искать новое, может в итоге сам научиться ходить! Менее радикальные методы «эволюционного обучения» нацелены на то, чтобы сохранить в новых поколениях алгоритмов 99 % самых эффективных черт предшествующих поколений, введя при этом 1 % произвольных характеристик[197]. Таким образом, как в биологической или социальной эволюции, улучшение может родиться из процесса, специально задуманного как неоптимальный.

Настоящим прорывом стало бы предоставление пользователю возможности самостоятельно воздействовать на параметры, управляющие ИИ. Когда я делюсь этой гипотезой с Александром Лебреном, бывшим руководителем исследований ИИ в Facebook Europe, он вспоминает «функцию оптимизации» – поставленную перед алгоритмом зашифрованную задачу по лучшему выполнению его миссии исходя из всех параметров, которые были ему заданы. Эта функция считается конфиденциальной: никто не знает, как регулируется алгоритм Google, чтобы максимизировать количество кликов, минимизируя при этом чувство дискомфорта. В свете «первой директивы» каждый сможет настраивать функцию оптимизации, чтобы персонализировать свой ИИ. Вот что позволило бы избавиться от утилитаристского императива, поскольку каждый пользователь устанавливал бы свои собственные нормы успеха – в логике Милля. Эта так называемая интерактивная форма машинного обучения, при которой человек возвращает себе контроль над установлением параметров машины, сегодня стала предметом многочисленных теоретических разработок[198]. Можно представить, что упрощенные интерфейсы помогут неофитам легко модифицировать функции оптимизации в алгоритмах[199]. Конечно, производительность таких персонализированных ИИ будет поначалу слабовата и они не всегда смогут отвечать всем требованиям пользователя, но со временем эта идея может привлечь сторонников, показав, что прогресс и оптимизация – разные вещи![200]

Поскольку речь идет о массовом применении, такие методы позволяют создавать системы рекомендаций, допускающие отклонения. В Нью-Йорке я встретился с Алексом Элиасом, основателем стартапа Qloo. Он ставит перед собой задачу скрестить индивидуальные предпочтения в разных областях: если вам нравится такая-то музыка или такой-то фильм, вы должны попробовать такой-то ресторан или пойти на свидание с таким-то человеком… Qloo мог бы стать Netflix для жизни, погружающим своих пользователей в тотальные рекомендации, от которых ничто не ускользает. В этом смысле стремление к «культурной персонализации» представляет собой именно то, что пугает меня в ИИ. Но Алекс – интеллектуал с Восточного побережья, любитель джаза, разбирающийся в достоинствах импровизации. Он знает, что поход в магазин пластинок открывает перед ним неожиданные перспективы, тогда как Spotify дает лишь ограниченный опыт. Проанализировав поиск в Qloo, он констатирует, что большинство американцев указывает в качестве любимой книги Библию, а в качестве любимого фильма – последний блокбастер… Оставленные на милость оптимизирующего алгоритма, они, вероятно, пойдут самым традиционным путем. Вот почему Алекс включил в программу Qloo то, что он называет «фактором диверсификации». С одной стороны, элемент случайности вводится в систему рекомендаций, чтобы устраивать сюрпризы и вызывать вопросы[201]. С другой – пользователь контролирует некоторое число критериев: это «первая директива» в действии! Чтобы пробудить задремавшее сознание, нужна случайность, а чтобы переориентировать алгоритм – наличие четко выраженного выбора.

Алекс признаёт, что предоставленная индивиду власть над собственными предпочтениями, как ни странно, делает Qloo менее эффективным и потому менее прибыльным. В конце концов, лаконично замечает он, «большинство людей хочет раствориться в массе». Но он хотя бы предлагает им альтернативу, утешая себя мыслью о том, что новые поколения будут чувствительнее к разнообразию. Кроме того, нужно рассчитывать на свободный рынок алгоритмов, чтобы вызвать к жизни проекты, более внимательные к свободному волителю, и надеяться на то, что они постепенно завоюют пользователей, привлеченных перспективой освобождения. А пока каждый может попытаться перехитрить машину. Например, пользуясь Google Map, я всегда отключаю геолокацию: извлекая пользу из расчета расстояний, я хочу сам определять улицы, чтобы понимать, куда еду, а не слепо следовать за синим шариком. В Deezer я стараюсь выбирать композиции из списка, критерии которого установил сам (например, «сонаты»), не полагаясь на рекомендации. Я сам отмечаю дни рождения своих (настоящих) друзей в ежедневнике и не жду, пока мне напомнит о них LinkedIn. А еще я ухожу с ютуба, когда заканчивается видео, которое я выбрал, хотя сделать это непросто – ведь так легко и приятно отдаваться потоку образов…

Но все эти уловки смешны, потому что рынок подтасован. Поскольку платформы имеют практически свободный доступ к нашим персональным данным, всю нашу цифровую жизнь мы занимаемся тем, что питаем различные ИИ, которые в ответ нами манипулируют. Nudge повсюду, он не оставляет никакой возможности для взвешенного и самостоятельного решения, появляясь в форме рекламы, уведомлений, рекомендаций, сообщений в социальных сетях или спама в почтовых ящиках. Наш мозг постоянно подвергается хакингу, который стал возможен благодаря тому, что мы везде разбрасываем свои данные. Открыть интернет – это как оказаться без штанов в публичном месте, подобно королю из сказки Андерсена: он считал, что на нем наряд из драгоценной ткани, а на самом деле был совершенно голым. В этом может на деле убедиться каждый. Браузер, разработанный стартапом myCo, например, позволяет визуализировать всех чужаков, присутствующих на сайте, собирает куки и пр. Проверив его на себе, я обнаружил более сотни программ, рассылавших мои данные об истории просмотра страниц, клики и результаты поиска по всему миру, чтобы лучше интерпретировать и направлять мое поведение. Этот грабеж абсолютно законен: в течение дня несколько раз ставя галочку «Я согласен» в пользовательских соглашениях, мы добровольно идем на то, чтобы быть под колпаком у платформ. Хитростям, которые сайты и приложения используют ради того, чтобы собирать наши данные, нет числа, и они широко разоблачались, например, Евгением Морозовым[202]. Так, программа, включающая фонарик на вашем смартфоне, в обмен на эту крошечную услугу забирает все ваши данные по геолокации. Помню, как сидел в ресторане в Париже напротив предпринимателя, который с гордостью объявил о своем новом «инновационном проекте» – следить за передвижениями мыши по экрану, чтобы отточить профилирование пользователей. На мой вопрос, не слишком ли навязчивый характер носит эта технология, он пожал плечами и ответил, что она сослужила бы хорошую службу всем нам, после чего принялся обсуждать со своим соседом по столу проблемы благотворительности. Тартюфы 2.0 явно заслуживают новой пьесы…

Ну и как же тогда «цифровые» граждане могут тщательно отбирать алгоритмы, если каждым своим кликом, каждым открытием приложения они дают ИИ оружие против самих себя? Если нам не удастся держать наши данные при себе, мы попадем под власть могущественных ИИ, которые сделают невозможным любой свободный выбор, а значит, и появление любых альтернатив. Европейский общий регламент по защите данных (RGPD) попытался было ввести своего рода контроль, потребовав бо́льшей прозрачности от интернет-компаний. Однако в результате нам еще чаще приходится кликать на «Я согласен», но при этом мы так и не получили никакой реальной возможности оспаривать условия или вести переговоры.

Главный принцип состоит в том, чтобы переложить обязанность подтверждать что-либо на сами платформы, на входе контролируя данные, которые мы готовы предоставлять. Это платформы должны принимать наши условия, а не наоборот! Анонимность стала бы опцией по умолчанию, тогда как прозрачность – сознательно выбранным исключением. Мы бы перешли от opt-out к opt-in[203]. Перниль Транберг, датская журналистка и активистка, выступает среди прочего за создание инструментов, которые бы централизованно собирали наши персональные данные, защищали их и делились бы ими в зависимости от того, какие критерии неприкосновенности частной жизни мы установили. Тогда вместо того, чтобы искать privacy settings в конце списка функций Facebook, можно было бы автоматически устанавливать свои собственные требования. Перниль допускает, что в краткосрочной перспективе такая система может сделать нас беднее, лишив цифровую индустрию ее сырья, но при этом утверждает, что в конце концов она привела бы к установлению европейской модели, основанной на праве на конфиденциальность, и ИИ пришлось бы работать только с данными, предоставленными добровольно и должным образом анонимизированными.

Это изменение можно было бы провести законодательно (отсюда дебаты вокруг privacy by design в момент принятия GDPR), но также при помощи технологических инноваций. Пьер Валад, блестящий предприниматель, похожий на молодого буддистского монаха, недавно запустил Jumbo, «ассистента частной жизни», который сам в соответствии с пожеланиями пользователя регулирует параметры конфиденциальности на различных платформах. Jumbo – что-то вроде адвоката или страховщика, управляющего нашей частной жизнью от нашего имени. Пьер Валад в отличие от Марка Цукерберга не считает, что западные люди отказались от концепции частной жизни: им только нужно дать простые и адекватные инструменты, чтобы ее защищать. Тем не менее модель Jumbo пока ограничивается параметрами, предложенными самими платформами. Я спрашиваю у Валада, можно ли пойти еще дальше и представить себе, что однажды пользователь сможет заранее ставить условия, которым будут подчиняться различные сайты или приложения. Тогда пользователь в каждом конкретном случае выбирал бы, какими данными делиться, в зависимости от требований и его собственных нужд. Jumbo стал бы уже не адвокатом для наших онлайн-трансакций, а хранителем нашего цифрового имущества. «Да, это был бы отличный лайфхак», – размышляет Валад. Но это произойдет не раньше, чем будет достигнута критическая стадия в использовании данных, которая поставит Jumbo в сильную позицию в отношении технологических гигантов.

Такой взгляд кажется заманчивым, но он так и не отвечает на вопрос о лазейке для «безбилетников»: как я могу бесплатно получать доступ к услугам Facebook и Google, если не отдаю ничего взамен? Ставя под удар всю экономическую модель ИИ, не лишаем ли мы себя ее сильных сторон? Смиримся ли мы с понижением качества обслуживания, вызванного оттоком личных данных, если они все-таки будут анонимизированы? Готовы ли мы пожертвовать эффективностью ради неприкосновенности частной жизни? Профессор Копенгагенского университета Кристиан Игель признался мне, что по умолчанию пользуется поисковиком DuckDuckGo, уважающим личные данные, но при этом часто обращается к его заклятому врагу Google: он все-таки выдает лучшие результаты.

Вот почему я выступаю за введение полноценного права на владение личными данными. Оно установило бы полный и исчерпывающий контроль индивида над своими данными, не препятствуя при этом возникновению рынка. Мой источник вдохновения в данном случае – Джарон Ланье[204], с которым читатель уже встречался в Бостоне при обсуждении более специфического вопроса о социальных сетях. Во избежание манипуляций со стороны тех, кого Ланье называет «слугами-сиренами», необходимо превратить наши данные в имущество, и на пользование им мы будем заключать договор. Этот договор мог бы предусматривать среди прочего выплату вознаграждения за стоимость, которую мы производим и которую у нас сегодня изымают в обмен на некую расплывчатую бесплатную услугу. Этот вопрос вызывает горячие споры. Глен Вайл, когда не занят проектами по растворению индивида в огромном утилитаристском целом, ведет благую борьбу за то, чтобы личные данные считались «трудом»[205]. (Этот подход несколько отличается от моей идеи признания их собственностью, но должен привести к тем же практическим результатам.) Вайла поддерживают многочисленные активисты, начиная с Бриттани Кайзер, первой забившей тревогу по поводу Cambridge Analytica. Теперь она хочет распространить на данные то же право собственности, которое применяется к недвижимому имуществу[206]. Член Верховного суда США Нейл Горсач выступил с особым мнением, потребовав, чтобы на личные данные распространялось действие Четвертой поправки, то есть они должны признаваться собственностью, которую нельзя безнаказанно обыскивать (следовательно, и собирать) на том же основании, что документы или личные вещи[207]. Новый губернатор Калифорнии сделал шаг в том же направлении, пообещав в своем ежегодном послании установить цифровые «дивиденды», которые будут выплачиваться платформами: «Калифорнийские потребители должны иметь возможность получать долю богатств, создаваемых при помощи их данных […], потому что мы признаём, что ваши данные имеют ценность и принадлежат вам»[208]. Хотя употребление термина «дивиденды» внушает опасение, что эта мера пойдет по пути налогов и перераспределения, а не индивидуального контракта, ее логика знаменует существенный прогресс. Уж если Калифорния, колыбель цифровых инноваций, примет такой закон, то остальному миру придется по меньшей мере задуматься о нем.

Помимо юридических, экономических или технических аргументов[209], идея о признании личных данных собственностью отвечает двум фундаментальным требованиям, образующим центральные элементы «первой директивы»: формированию личности и возможности свободы воли.

Учитывая атаки, которым сегодня подвергается собственность, напомним, что частная собственность как таковая имеет важнейшее значение для эмансипации индивида. Как ни удивительно, с самой исчерпывающей апологией собственности в свое время выступил Прудон в работе «Теории собственности», опубликованной уже после его смерти и очень далекой от мимолетных порывов его юности, которые, к сожалению, лучше сохранились в истории («Собственность – это кража»). Для первого мыслителя-анархиста собственность – «самая большая из революционных сил, какие только существуют»: она отсекает любую зависимость от политической власти и поэтому позволяет каждому, чувствующему себя в безопасности у себя дома, развивать собственную личность, даже наперекор духу времени. Владение материальными благами позволяет закрепить свои формальные права на твердом фундаменте. «Для того чтобы гражданин был кем-то в государстве, – пишет Прудон, – таким образом, недостаточно, чтобы он был свободен как лицо; нужно, чтобы его личность, как и само государство, опиралась на долю материального, которой он владеет во всей суверенности». Только собственник может по-настоящему сопротивляться исходящим от центральной инстанции требованиям, сколь бы законными они ни были. Свободно распоряжаясь имуществом, имея возможность не только продать его, но также оставить стоять без дела или даже уничтожить, каждый может предаться самому необузданному творчеству или самой бесплодной лени. «Почему бы не позволить разводить ежевику, чертополох или терновник?» – с иронией спрашивает Прудон. Может быть, из этих сорняков родится новая сельскохозяйственная революция. А может быть, и нет… В этом вся двусмысленность и вся сила того, что связано с правом человека на заблуждение. Новое предполагает отклонение, отклонение требует независимости, независимость опирается на собственность. Кстати, такой подход – полная противоположность подходу Глена Вайла, по которому имущество, не приносящее пользу группе, должно незамедлительно передаваться другому лицу, способному найти ему лучшее применение. Вопрос о равенстве в доступе к коллективному наследию, разумеется, требует осмысления проблемы коллективного управления, не ставя под сомнение собственность как общественную цель на службе у индивидуальности и многообразия.

Этот теоретический аргумент верифицируется историей. Собственность возникла только в результате ожесточенной борьбы против господствующей власти. Если мы хотим понять, как устроен цифровой грабеж, жертвами которого мы сегодня стали, достаточно почитать работы Жоржа Дюби об экономике Средневековья[210]. В начале предшествующего тысячелетия крепостные крестьяне, привязанные к земле, отдавали феодалу основную часть плодов своего труда в обмен на «бесплатные услуги», более или менее реальные: защиту во время войны или пользование деревенской инфраструктурой, принадлежащей феодалу (печью, мельницей, давильным прессом…). Понадобилось очень много времени, чтобы крестьяне постепенно получили право передавать имущество по наследству, свободно торговать плодами своего труда и, наконец, отчуждать их при наличии документов о праве собственности, которое может переуступаться. Великая французская революция положила конец феодальной ленной системе и расширила право на владение землей: крепостной стал свободным человеком. При каждой технической инновации вспыхивают похожие дебаты. Через несколько веков после изобретения книгопечатания Бомарше возглавил борьбу писателей за признание авторских прав. Во время промышленной революции изобретатели добились создания настоящего патентного режима. Человек всегда должен бороться за право свободно распоряжаться своей собственностью и плодами своего творчества, будь они материальными или интеллектуальными.

Сегодня мы стали цифровыми крепостными, передав право на сбор всех наших данных в обмен на бесплатные услуги (ценность которых не всегда однозначна), предоставляемые нашими новыми феодалами. Мы постим по миллиарду фотографий в фейсбук ежедневно. Именно так, по миллиарду. После обработки алгоритмами, в которые интегрировано распознавание лиц, этот кладезь данных приносит Facebook ежеквартальную прибыль порядка нескольких миллиардов долларов. Какой процент от нее попадает к исходному производителю? Никакой. Ну разве что чаевые в виде сети друзей… Мы не только не можем вести переговоры с нашим феодалом по поводу данных, нам запрещено даже продавать их на рынке: в мае 2018 года Оли Фрост, предприимчивый британский миллениал, выставивший на eBay свои посты в фейсбуке за десять лет, был вынужден снять свое предложение как нарушающее условия пользования социальной сетью. Однако ход рассуждений Оли Фроста казался в высшей степени убедительным: «Так как все зарабатывают деньги на моих персональных данных, почему бы мне не зарабатывать их самому?» Ставки на аукционе дошли до 400 долларов, но феодал явно не мог смириться с подобным нарушением его прерогатив. Оно и понятно: по данным Европейской комиссии, стоимость персональных данных в 2020 году приблизилась к триллиону евро, то есть к 8 % ВВП Европейского союза. Кто же захочет делиться этой манной небесной со сбродом, который ее производит?

Удивительно, как пассивно мы принимаем этот цифровой феодализм… Вероятно, крепостные XII века даже не мечтали о том, чтобы оспаривать права сеньора, возлежащего под своим балдахином, – фигуры столь же священной, что и сегодняшний предприниматель из технологического сектора на сцене TED Talk. Но поскольку все ускоряется, революция тоже может произойти быстрее. Право собственности на персональные данные, пока не существующее нигде в мире, положило бы конец этому грабежу. Оно включало бы производителя данных в цепочку производства стоимости в цифровой экономике, позволяя ему монетизировать (или не монетизировать) свои данные согласно условиям договора, которые он выберет и которые посредники от его имени будут обсуждать с платформами. Вопрос о вознаграждении кажется мне второстепенным. Важнее другое: по закону вернув себе собственность на свои данные, человек с новой силой почувствует, что он существует, – как крестьянин, испытывающий удовольствие от того, что возделывает «свою» землю. Он вправе не выращивать на ней ничего, кроме ежевики, чертополоха и терновника, или, в случае данных, вправе отказаться от их предоставления, не отдавая их в обработку ИИ. Каждый сможет выбирать, что он скрывает и на какое время, что отдает без дубликатов и кому, что продает и по какой цене. Создав такое пространство индивидуального суверенитета, мы снова станем самими собой.

Пространство, в котором может установиться свобода воли, – конечная цель этой книги. Сегодня экран нашего компьютера или смартфона напоминает дом без двери, превратившийся в проходной двор: как создавать какое-либо частное пространство, как принимать какое-нибудь осмысленное решение в этой постоянной толчее, где на нас все смотрят? Современная идеология шеринга, сколь бы привлекательной она ни была, маскирует массовый грабеж в интересах агрегаторов данных. Регулирование – такое, какое предусматривает «Регламент по защите данных», – установило в этом доме дверь, но не замок: оно лищь заставляет нас все чаще кликать по «Я согласен». Отныне все эти чужие люди спрашивают у нас: «Я зайду на минутку, если вы не против?» – при этом уже переступив порог. Им трудно отказать. Право собственности на данные наконец-то установит на дверь замки, перевернув властные отношения и создав зону покоя, необходимую для развития независимой личности. Хозяин заранее составит список гостей, поставив договорные условия, на которых он готов сообщать свои данные. Гоббс в «Левиафане» спрашивал: кто, ложась спать, не станет закрывать дверь на ключ? «Однако никто из нас не обвиняет человеческую природу саму по себе. Желание и другие человеческие страсти сами по себе не являются грехом»[211]. Никто не будет обижаться на платформы за то, что они собирают данные, которые мы им дарим от чистого сердца. Но пришло время действовать прагматично и поставить замок, если мы хотим сохраниться как индивиды в эпоху ИИ.

В частности, можно представить, что данные каждого собраны в личном цифровом кошельке. Мы заранее установим в смарт-контракте наши собственные условия пользования, плод личной делиберации. Как, с кем и в обмен на что мы готовы делиться нашими личными данными и какими именно? Различные сайты, приложения и платформы, связавшись с нами, тут же будут проинформированы о наших условиях. Это они должны будут их принимать, а не наоборот. Например, я могу решить бесплатно предоставить данные о своем здоровье для исследовательских целей, но придержать все данные о геолокации, пусть даже мне придется оплачивать сервисы вроде Waze, которые их сегодня используют. Что касается данных о моих электронных покупках, я соглашусь передавать их без особых проблем, чтобы получать рекомендации, заточенные под меня (и по ходу дела иметь за это денежную компенсацию). Что-то вроде блокчейна могло бы обеспечить возможность отслеживания моих данных, чтобы сохранять «память» об исходных условиях моего договора: подобная процедура уже используется в музыкальной индустрии для охраны прав интеллектуальной собственности на музыкальные композиции[212]. Бесконечные финансовые потоки порядка микросантима будут непрерывно создавать дебет и кредит в нашем цифровом кошельке, и при этом обязательно появятся посредники для переговоров о стоимости данных, по образцу обществ по охране авторских прав. На смену цифровому феодализму придет целая экономика бесконечно малого рынка, которая сама будет управляться ИИ.

Финансовый аспект, подразумеваемый правом собственности, ставит закономерные вопросы. С одной стороны, почему мы должны платить, пусть и очень скромную сумму, за услуги, которые до сих пор предоставлялись бесплатно? Разве не достаточно запретить использование личных данных в коммерческих целях, в логике «Регламента об охране данных»? Но тогда развалится вся модель цифровой экономики, лишив нас многочисленных услуг, которые может дать ИИ. Если мы считаем, что за производство стоимости полагается вознаграждение, тогда эта логика торгового обмена должна одинаково применяться и к индивиду, производящему данные, и к платформе-агрегатору. Если Waze выбирает для меня лучший маршрут, но при этом я отказываюсь от рекламы ресторанов, которые находятся на этом маршруте, необходимо найти другие способы возмещения ущерба платформам. В противном случае я стану «безбилетником», который пользуется чужими данными, ничем не делясь взамен. Анонимность имеет свою цену.

С точки зрения индивида, делающего свой выбор в цифровом кошельке, встает вопрос: не будет ли сама эта возможность определяться уровнем богатства, добавляя к неравенству в доходах и имущественному неравенству еще и когнитивное неравенство? Грубо говоря, не станет ли способность к сознательному выбору достоянием тех, у кого есть средства, чтобы ее себе позволить? Не случится ли так, что беднякам не останется другого выбора, кроме как продать себя в рабство nudge? Здесь нужно различать вопрос о характере обменов (блага, которые могут стать предметом договора) и вопрос о возможности совершать обмен (уровень перераспределения). Нельзя решить вопрос бездомных, уничтожив собственность, но можно обеспечить равный доступ к ней для всех. Точно так же собственность на данные вводит их в рамки потребительского выбора, где каждый может выбирать свои приоритеты: жилье, питание, транспорт, развлечения… и частная жизнь. Как на втором шаге сделать так, чтобы этот выбор был максимально свободным и равным? В этом случае снова возникают самые разные варианты, предлагавшиеся политической философией, от равного распределения богатства до самого дикого капитализма. Что касается меня, то я агитирую за введение универсального дохода, покрывающего базовые потребности[213]. Если сочтут, что в их число входит частная жизнь, тогда средняя стоимость личных данных должна быть, по логике, включена в расчет суммы универсального дохода, чтобы каждый мог свободно устанавливать условия своего цифрового контракта и выбирать степень nudge совершенно сознательно. Универсальный доход поможет выкупить свою автономию, позволив при этом продолжать пользоваться технологическим прогрессом.

Суть этого механизма в том, что мы сами устанавливаем собственный nudge, в зависимости от степени открытости, указанной в наших личных условиях пользования. Так мы останемся верны принципу делегирования свободного волителя. Ведь качество nudge зависит от предоставленных данных; контролируя при помощи права собственности использование моих данных на входе, я могу на выходе определять, какую именно долю случайности, принуждения или полезности хотел бы включить в свой выбор. Чтобы сохранить полную интеллектуальную независимость в выборе книг для чтения, я могу отказать в доступе к моей истории покупок на Amazon (даже если придется платить на несколько центов дороже). Чтобы меня любили более бескорыстно – убрать с дейтинговых сервисов данные о моих дипломах и имуществе. Чтобы наверняка получить работу в рыболовстве – заставить ИИ ZipRecruiter включить в мой профиль это предпочтение (даже если сегодня я работаю в банке). Это я продолжаю выбирать, и эти выборы определяют мое «Я». Не уступая давлению утилитаристских ИИ, я сам буду устанавливать параметры манипуляций, которые будут мной управлять. Для этих критериев должна быть предусмотрена возможность изменения в любое время вслед за эволюцией моих вкусов и намерений так, чтобы процесс принятия мной решения не был зафиксирован раз и навсегда, но мог бы корректироваться и развиваться в течение всей жизни. Конечно, этот труд потребует ежедневного внимания. Впрочем, не больше, чем требуется, чтобы не забыть дома ключи.

На стороне ИИ собственность на личные данные приведет к потере эффективности, с чем придется смириться всему обществу. Любого порадует, что прибыли Facebook пострадают из-за потери точности в таргетировании рекламы, однако та же самая неоптимальность затронет и другие общественные услуги. Можно, конечно, представить себе, что отдельные категории особо важных для общества данных будут «национализированы», подобно тому как разрешено изымать землю у частных землевладельцев для строительства жизненно важных объектов инфраструктуры. Но такая процедура может носить только чрезвычайный характер, и решение о ней должно приниматься судом, который установит, в какой мере экспроприация отражает искомый мотив общего интереса. В других случаях придется признать, что умный город или умные счетчики уже не будут настолько умными, а беспилотные автомобили – настолько беспилотными. Допустив возможность индивидуального отклонения, право собственности на данные вызовет аварии, углеродные выбросы и разрывы отношений. Оно помешает обществу стать идеальным, вернув тем самым возможность эволюции… как регрессии. Терпеть подобные случайности, непосредственные и конкретные, ради расплывчатого обещания прогресса – тяжкое бремя для законодателей. Но именно на этой линии разлома происходит борьба между nudge и автономией, счастливым рабством и возвращением эпохи просвещения.

Уже сейчас есть немало стартапов, которые хотели бы поучаствовать в этой войне за возвращение человеку автономии. Такие экосистемы особенно динамично развиваются во Франции – стране, придумавшей авторское право. В Париже, Лионе, Монпелье предприниматели стремятся вдохнуть жизнь в это право собственности, в котором регулятор пока отказывает. Одни разрабатывают data wallet: используя предусмотренное GDPR право на мобильность, он позволяет каждому извлекать свои личные данные и контролировать их предоставление[214]. Другие ищут способ придать персональным данным денежную стоимость, пользуясь правовыми «серыми зонами»[215]. Третьи организуют «цифровые кооперативы», совместно использующие данные своих членов и выплачивающие им дивиденды[216]. Как это уже не раз бывало, технология заставит право подстраиваться под себя. Может быть, объехав всю планету, в итоге я найду решение совсем близко от дома, как капитан Хэддок, нашедший сокровища Ликорна в Муленсаре?[217]

Манифест о Европе

Европа могла бы обеспечить законодательные, экономические и культурные рамки для этой новой модели, позволяющей принять достижения технологии, выстроив при этом надежную альтернативу как американскому утилитаризму, так и китайскому коллективизму. Прежде чем мы окончательно вступим на путь самоубийства по заветам стоиков, это наш последний шанс – и не следует им пренебрегать. Очень хочется верить, что мы сможем сохранить наше просвещение, внедрив «первую директиву» в самую сердцевину публичной политики.

Кто воплотит этот проект в жизнь лучше, чем Маргрет Вестагер, с 2014 года занимающая должность комиссара Евросоюза по вопросам конкуренции? За время своего пребывания в должности она назначила беспрецедентные штрафы Google, Amazon, Apple и Facebook. Вестагер начинала свою карьеру в датской социал-либеральной партии, поэтому убеждена в способности рынка предоставлять людям свободу выбора, а также в необходимости его регулирования во избежание образования монополий, этого вечно возрождающегося символа господства. Предложения Вестагер, связанные с ИИ и данными, перекликаются с моими собственными выводами. Я не был разочарован – слушая ее, мечтаешь о том, чтобы эти страницы исследований и размышлений превратились в политический манифест будущей Европы:

Сегодня мы пушечное мясо для машины. Если бы Facebook был физическим лицом, мы никогда бы не согласились передавать ему нашу самую приватную информацию, как делаем это сейчас. Даже GDPR дает нам очень ограниченный контроль над нашими данными. Условия пользования, которые нам навязывают платформы, предлагают весьма ограниченный выбор: принять все скопом или уйти. Если мы захотим убрать все cookie-файлы с нашего устройства, это равносильно потере доступа в интернет.

Это действительно так. Впрочем, каждый сам должен пережить этот опыт, чтобы понять, до какой степени интернет-халява основывается на грабеже. Мы зря боимся, что ИИ заменит наш труд, – ведь мы работаем на него!

Это форма феодализма, как в датской монархии в Средние века. Тогда труд был обязателен и крестьянин не имел права собственности на свою землю. Сегодня происходит то же самое: вы отдаете произведенные вами данные новым хозяевам. Тогда как свободное общество основано на правах собственности и добровольном обмене. Социальная экономика рынка по-европейски должна поставить рынок на службу человеку.

Эта идея должна быть переведена в самое настоящее право собственности на персональные данные. Каждый будет ставить свои условия. Это платформы должны будут кликать, соглашаясь на наши личные критерии пользования, подготовленные при посредничестве цифровых ассистентов:

Проблема в том, что мы не знаем, по каким ставкам торгуют нашими данными… В будущем нам нужно иметь возможность измерять их стоимость, в том числе в экономическом плане. Те, кто хотел бы защитить их полностью, должны будут платить за услуги. Другие, наоборот, смогут выбрать полную прозрачность и получать за это вознаграждение. Между двумя этими крайностями будут возможны самые разные варианты в соответствии с пожеланиями и решением каждого.

Это способ частично вернуть себе свободу воли. Биохимический детерминизм не мешает применению способности суждения. Нет, nudge – не злой рок, управляемый слепым утилитаризмом: он может и должен формироваться теми, на кого он направлен, в соответствии с их собственными намерениями.

Нам необходима возможность выражать и уважать личные предпочтения. Мы должны сами сохранять контроль. Это вопрос человеческой ответственности и индивидуальной автономии.

Итак, нет никаких причин перекладывать юридическую и моральную ответственность на машину, если «первая директива» позволяет нам принимать собственные решения. Более того, можно различить несколько уровней, образующих концентрические круги: закон, охватывающий поле возможных решений, моральная ответственность согласно предустановленным человеком критериям и, наконец, меры по обеспечению, основанные на юридическом статусе алгоритмов.

Чего же тогда ждать?

«Регламент по защите данных» должен был пойти дальше. Из него нужно было сделать настоящую Хартию цифровых прав. Но на самом деле проблемы не технические и не юридические – это прежде всего культурный и социологический вопрос. Нами манипулируют в беспрецедентных для истории человечества масштабах. Почему мы беспокоимся о присутствии поликарбоната А в напитках, но не о сookie-файлах на айпадах своих детей? К счастью, в общественном осознании этих проблем наметился прогресс после таких скандалов, как с Cambridge Analytica.

Но не нанесет ли подобный сценарий ущерба обществу? Если я могу сохранить свои данные для себя, а при этом пользуюсь плодами прогресса, к которому привели данные других людей, не становлюсь ли я «безбилетником»?

Ну и что? Нельзя пропускать всех подряд через мясорубку алгоритма. Это как с испытаниями лекарств в Дании: участвовать в них решают лишь отдельные люди, но от результатов выигрывают все. Придется смириться с тем, что умный город не будет таким уж умным и что играть в эти игры будут не все. Зато мы сможем сохранить возможность для отклонений и ошибочных шагов, без которых не бывает прогресса.

Да, именно этим прогресс отличается от повальной оптимизации. Но устойчива ли эта модель, учитывая эффективность американских и китайских гигантов?

А разве мы хотим быть на них похожи? Мы сумеем создать ИИ иного качества, превосходящего, учитывая, что он сможет завоевать доверие пользователей. И мы сохраним инновации благодаря политике конкуренции. Китайцы просто смеются над этим, а американцы находятся меж двух огней – по историческим причинам они принимают от частного сектора то, что отвергали бы, если бы оно исходило от государства…

Делая слишком большую ставку на цифровое планирование, Китай становится хрупким в том смысле, в каком понимает хрупкость Нассим Талеб. КНР рискует не справиться с непредвиденными обстоятельствами. В то время, когда одни хотят уйти из Европы, а другие – «переизобрести» ее, быть может, достаточно просто применить фундаментальные, как никогда актуальные европейские принципы к новым технологиям и запустить наконец широкомасштабные инвестиционные программы?

Но каким образом государства могут претендовать на то, чтобы что-то регулировать, если они переложили всю нормативную ответственность на платформы?

Законодательство по самой своей природе отстает от эволюции технологической сферы. Это нормально и заставляет нас становиться на путь добровольной кооперации. Но классические рамки правового государства не теряют своей значимости.

Несколько лет назад Марк Цукерберг мечтал, что «глобальное сообщество» Facebook породит свои собственные нормы. Но под непосильным грузом социальной ответственности Facebook, которому пришлось принимать решения, далекие от его изначального предназначения (о свободе самовыражения, например), сам был вынужден апеллировать к коллективному регулированию[218]. Чтобы выжить, платформы должны смириться с тем, что они несуверенны. Между тем это регулирование не может производиться на уровне отдельной страны. Оно должно быть воплощено во всемирном правительстве, в своего рода цифровом космополитизме. Учредить ООН для данных – один из главных вызовов этого века[219]. Маргрет Вестагер заключает:

Кто говорит о рынке данных, говорит о демократии данных. Только эта демократия не должна сама быть виртуальной. Коллективное решение образуется путем личного взаимодействия. Люди в этом нуждаются: повсюду в Европе выражается одно и то же желание солидарности и вовлеченности. Для того чтобы регулировать цифровое пространство, необходимо, как ни странно, воссоздать конкретные места для обсуждения. У вас, во Франции, где 36 000 коммун, положение гораздо лучше, чем у других!

А что, если бы горизонтом ИИ была местная демократия?

Человек-зверь

Вернувшись в Париж, с целью цифрового детокса я погрузился в «Человека-зверя» Эмиля Золя. С каждой страницы вставала новая цивилизация машин с ее сверкающими вокзалами, диспетчерскими пунктами и струями горячего пара. А при этом сюжет романа – история наших амбиций и слабостей, банальная история о ревности, деньгах и власти. Сначала я спрашивал себя, почему Золя, отталкиваясь от самой передовой современности, навевавшей грезы Жюлю Верну, в итоге написал простой детектив. Академик ответил бы, что он соединил два текста: один – о мире железных дорог, второй – о судебной системе. Но, возможно, Золя хотел показать, что технологии, меняя все в обществе, ничего не меняют в чувствах. Машина – это декорация. Сидя в своем локомотиве, этой самой «Лизон», с которой главный герой возится, как другие сегодня со своими алгоритмами, он хотел бы забыть свои человеческие, слишком человеческие обиды. Но как только он выходит из этого чугунного укрытия, его раны тут же открываются снова, еще более болезненные, чем раньше. Можно сколько угодно убегать в технологии, но дикий зверь, сидящий в нас, все равно не замедлит вернуться.

Итак, я начал с Homo deus, чтобы закончить человеком-зверем. Поместив индивида в сердцевину проблемы искусственного интеллекта, я хотел спасти этого зверя, полного пороков и злобы, но обладающего при этом тайным величием.

Оставляю последнее слово за тетушкой Фази, женой путевого сторожа:

Что и говорить, хитро все это придумано! Ездить стали быстрее, да и учености прибавилось… Но звери как были зверьми, так ими и остались, и пусть даже придумают машины еще хитроумнее, зверей от этого меньше не станет[220].

Список интервью

Благодарности

Эта книга не увидела бы свет без горячей поддержки моей издательницы Мюриэль Бейер и ее команды. Я никогда не смогу в полной мере отблагодарить Себастьяна Лефоля из Point, выманившего меня из моего логова, чтобы забросить в большой мир.

По пути мне встретились чудесные люди, которые великодушно провели меня по лабиринту ИИ, делясь со мной экспертными знаниями и контактами из записной книжки. Я особенно благодарен Чунлонгу Гуо из Пекина, Адриену Трею из Сан-Франциско и Анне Байер из Тель-Авива.

В Париже трое друзей согласились комментировать и критиковать мою книгу по мере того, как она обретала форму. Я благодарю Александра Лебрена за его ценные технические замечания, Драгоса Гордузу – за подготовку материалов, а также Говена Леклерка – за его неизменно проницательный взгляд.

Кроме того, я пользуюсь случаем – изданием моей двенадцатой книги, – чтобы наконец поблагодарить своих родителей, моих первых и самых придирчивых читателей, которые привили мне уважение к фразе и научили искусству подбирать слова.

Избранная библиография

Многочисленные примечания позволят любопытному читателю покопаться в корпусе академической литературы по этой теме, отличающемся большим богатством. Я ограничусь указанием десятка книг, особенно важных, на мой взгляд. Либо в них непосредственно идет речь об ИИ, либо они позволяют приобрести адекватные концепции, которые помогут в нем разобраться.

Jerry Kaplan. Artificial Intelligence: What Everyone Needs to Know

Хорошая научно-популярная книга, позволяющая понять основные цели.

Dominique Cardon. À quoi rêvent les algorithmes?

Для понимания технологии персонализированного таргетирования.

Юваль Харари. Homo deus

Мой отправной пункт: ИИ звонит в колокол по индивидуальной автономии…

Дэниел Канеман. Думай медленно, решай быстро

…по автономии, которая и так серьезно оспаривается современной наукой.

Жиль Делёз. Феликс Гваттари. Тысяча плато. «Ризома»

Вот как могло бы выглядеть общество «дивидов», объединенных в сеть.

Ник Бостром. Искусственный интеллект. Этапы. Угрозы. Стратегии

Мечта о сильном ИИ…

Antonio Damasio. The Strange Order of Things

…и почему интеллект все-таки не может обойтись без тела.

Джарон Ланье. Кому принадлежит будущее?

ИИ питается нашим трудом (бесплатным)…

Дэвид Грэбер. Бредовая работа

…однако будущее труда зависит от нас, а не от ИИ.

Кай-Фу Ли. Сверхдержавы искусственного интеллекта. Китай, Кремниевая долина и новый мировой порядок

Как Китай собирается подчинить себе весь мир.

Нассим Талеб. Антихрупкость

Противоядие от «неомании» (безоговорочной веры в современность)!

Примечания

1

Бродель Ф. Динамика капитализма. Смоленск: Полиграмма, 1993. С. 95. – Здесь и далее примечания автора, если не указано иное.

2

Philosopher kings // The Economist. 2014. Oct 4. URL: https://www.economist.com/business/2014/10/04/philosopher-kings

3

Принадлежит компании Meta, признанной экстремистской в РФ. – Прим. ред.

4

Серендипность (от англ. serendipity) – интуитивная прозорливость, способность делать выводы из случайных наблюдений. – Прим. ред.

5

https://medium.com/@romainserman/silicon-valley-etiquette6934cf6f8f73

6

Valéry P. Le Bilan de l’intelligence [1935]. Allia, 2016.

7

Leibniz W. Nova methodus pro maximis et minimis. 1668.

8

Интеллектуальную историю ИИ см. в: Davis M. The Universal Computer. W.W. Norton, 2000.

9

Эту изящную формулу – «the right to err» – ввел Исайя Берлин, когда комментировал работы Дж. С. Милля.

10

Таковы были плоды коллоквиума Липпмана 1938 года, который в значительной степени определил неолиберальное мышление послевоенного периода. Об этом историческом моменте см. работу: Audier S. Le Colloque Lippmann. Aux origines du «néolibéralisme». Le Bord de l’eau, 2008.

11

Например, в 2017 году Центр исследований экономической политики (Center for Economic Policy Research) в Лондоне определил процент внедрения ИИ в разных секторах экономики – от 42 % в телекоммуникациях до 18 % в туризме.

12

Левин Я. Интернет как оружие. Что скрывают Google, Tor и ЦРУ. М.: Individuum, 2019.

13

Базовые определения этих терминов словаря машинного обучения см. здесь: https://developers.google.com/machine-learning/glossary/

14

Напоминает игру «Сто к одному». – Прим. ред.

15

High R. The Era of Cognitive Systems: An Inside Look at IBM Watson and How It Works. IBM Corporation. Redbooks, 2012.

16

Термин был изобретен Джоном Маккарти в 1955 году. В следующем году на знаменитой конференции в Дартмут-колледже были заложены основания ИИ как академической дисциплины.

17

Краткое введение см. в: Wooldridge M. Artificial Intelligence. Penguin, 2018.

18

Об этой классификации см.: Géron A. Hands-on Machine Learning With Scikit-Learn and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems. O’Reilly Media, 2017.

19

См.: Sutton R. The Bitter Lesson. 2019. March 13. URL: http://www.incompleteideas.net/IncIdeas/BitterLesson.html

20

Кант называл этот процесс «подведением» под общее понятие.

21

ami.withgoogle.com

22

Книга Кёнига вышла на французском в 2018 году. За последние пять лет нейросети, генерирующие картинки, далеко шагнули вперед – и способны уже на создание фотореалистических изображений (см. результаты работы таких алгоритмов, как Stable Diffusion, DALL-E 2, Midjourney и других). – Прим. ред.

23

НЛП, или нейролингвистическое программирование (NLP, или Natural Language Processing) – «обработка естественного языка», весьма активная область исследований в ИИ, в которой компьютер обучают манипуляциям с языком. Помимо диалога, техники NLP включают резюмирование, перевод, извлечение информации, составление текста, ответы на вопросы и т. д.

24

Чат-бот – это «разговорный агент», способный имитировать собеседника-человека (на письме или в устной речи). Особенно часто чат-боты встречаются на линиях поддержки. Вряд ли можно найти человека, которому не довелось бы прийти в бешенство в разговоре с телефонным чат-ботом, который упорно отказывается понимать все тонкости нашей ситуации.

25

Платон. Софист / пер. С. Ананьина // Платон. Собр. соч. в 4‐х т. Т. 2. М.: Мысль, 1993. – Прим. ред.

26

Searle J. Minds, Brains, and Programs // Behavioral and Brain Sciences. 1980. Vol. 3. № 3.

27

Каспаров Г. Человек и компьютер: взгляд в будущее. М.: Альпина Паблишер, 2018.

28

Poe E. Maelzel’s Chess Player // The Southern Literary Messenger. 1836. Vol. 2. № 5.

29

См.: Hofstadter D. Fluid Concepts and Creative Analogies: Computer Models of the Fundamental Mechanisms of Thought. Basic Books, 1995, особенно главу 4, где описывается «Элиза», один из первых чат-ботов.

30

Этот аргумент был развит Майком Элганом, исследователем с факультета технологии Университета Миссури.

31

Sharkey N. The Evitability of Autonomous Robot Warfare // International Review of the Red Cross. 2012. Vol. 94. № 886.

32

Хокинг, знаменитый космолог, в ноябре 2017 года на «Веб-саммите» в Лиссабоне заявил, что ИИ может стать «худшим событием в истории нашей цивилизации». Впоследствии в многочисленных интервью и статьях он не раз заявлял о неминуемости этой угрозы.

33

Исследователи в MIT создали 3D-имитацию черепахи, которую легко узнаёт человеческий глаз, но в случае малозаметных «возмущений» (таких как изменение узора, цвета и т. п.) ИИ путал эту черепаху… с ружьем!

34

Russell S., Norvig P. Artificial Intelligence: A Modern Approach [1995]. 2009.

35

Подобная гипотеза была ярко описана Максом Тегмарком во введении к его книге «Жизнь 3.0» (Tegmark M. Life 3.0. Penguin Books, 2018, см. введение «Рассказ о команде Омега»).

36

Harris M. Inside the First Church of Artificial Intelligence // Wired. 2017. Nov. 15. URL: https://www.wired.com/story/anthony-levandowski-artificialintelligence-religion/

37

Это маловероятно: ученым пока еще не удалось произвести полную копию мозга даже маленького червя Caenorhabditis elegans, в котором насчитывается лишь 302 нейрона…

38

Этот аргумент Гари Маркуса, профессора психологии из Нью-Йоркского университета и специалиста по ИИ, см., например, в его статье: Marcus G. Artificial Intelligence Is Stuck // The New York Times. 2017. July 29.

39

Это так называемое recursive self improvement, «рекурсивное самоулучшение».

40

В математике синглетон – это множество, состоящее из единственного элемента. В этом случае автор подразумевает то, что также можно назвать «абсолютом». – Прим. ред.

41

Это так называемая symbol grounding problem, «проблема обоснования символов»: ИИ не может закрепить символы, постоянно производимые им, в соответствующей реальности. Как и в эксперименте с «китайской комнатой», он сталкивается с неспособностью произвести смысл.

42

Бостром называет это «извращенным исполнением», тогда как философы ИИ описывают эту проблему в целом термином «упорядочивание целей».

43

Это так называемая moral rightness model.

44

Особенно в этом захватывающем дух пассаже: «Можно предположить, что медлительность и нерешительность прогресса человечества в деле решения многих „вечных проблем“ философии обусловлена непригодностью коры головного мозга человека для философской работы» (sic!).

45

Тегмарк доводит эту иллюзию до конца, предлагая понятие «substrate independence», «независимость от субстрата»: наше сознание, получается, является простым устройством, сетью, независимой от всякого материального субстрата, а потому может воспроизводиться в бесконечном числе форм.

46

См., например: Jirak D. et al. Grasping Language – A Short Story on Embodiment // Consciousness and Cognition. 2010. Vol. 19. № 3.

47

См. особенно его последнюю работу: Damasio A. L’Ordre étrange des choses. Odile Jacob, 2017.

48

Damasio A. Spinoza avait raison. Odile Jacob, 2014.

49

Спиноза Б. Этика. Часть 2. Теорема 7. Схолия // Его же. Сочинения в 2‐х т. СПб.: Наука, 1997. Т. 1. С. 294.

50

См. основополагающую статью по этому вопросу: Bonnefon J.-F., Shariff A., Rahwan I. The Social Dilemma of Autonomous Vehicles // Science. 2016. Vol. 352. № 6293.

51

В духе старой «проблемы вагонетки», сформулированной Филиппой Фут в 1960‐х годах.

52

Это знаменитая «сложная проблема сознания», поставленная философом Дэвидом Чалмерсом, для которой пока не найдено общего решения.

53

Спиноза Б. Этика. Часть 2. Теорема 27 // Собрание сочинений в 2‐х т. Т. 1. С. 311.

54

Kurzweil R. How to Create a Mind. Viking, 2012.

55

Здесь я воспроизвожу делёзовскую интерпретацию, представленную, в частности, в его работе «Спиноза: практическая философия».

56

Спиноза Б. Этика. Часть 3. Теорема 2. С. 339.

57

См.: Hoffmann M., Pfeifer R. The Implications of Embodiment for Behavior and Cognition: Animal and Robotic Case Studies // Implications of Embodiment / ed. by W. Tschacher, C. Bergomi. Imprint Academic, 2012.

58

URL: https://www.ibmbigdatahub.com/blog/embodied-cognitionfuture-ai.

59

Делёз Ж. Логика смысла. Серия 12. «О парадоксе».

60

Эта встреча основана на «Рассуждении о методе», «Трактате о человеке» и «Страстях души».

61

Koenig G. Voyages d’un philosophe aux pays des libertés. Éditions de l’Observatoire, 2018, см. главу об универсальном доходе.

62

Йозеф Шумпетер (1883–1950) – австрийский и американский экономист, политолог, социолог и историк экономической мысли. Популяризировал термины «созидательное разрушение» в экономической теории и «элитарная демократия» в политологии. – Прим. ред.

63

Выражение «невидимая рука рынка» во всех трудах Адама Смита встречается только два раза, и точно так же «созидательное разрушение» дважды встречается во вставке на несколько страниц в поздней книге Шумпетера «Капитализм, социализм и демократия». К формулам надо относиться с осторожностью: потомки могут оказаться своенравными…

64

В статье в журнале Wired, обнаруженной уже после написания этой книги, воспроизводится весь комплекс этих аргументов, см. URL: Marshall A. What Does Tesla’s Automated Truck Mean for Truckers? // Wired. 2017. Nov. 17. https://www.wired.com/story/what-does-teslas-truck-mean-for-truckers/

65

Их названия говорят сами за себя: «В защиту роботов» (апрель 2017 года); «Ложный алармизм: технологический подрыв и рынок труда в США» (май 2017 года); «Будущее труда» (декабрь 2018 года).

66

Acemoglu D., Restrepo P. The Race Between Man and Machine: Implications of Technology for Growth, Factor Shares and Employment // American Economic Review. 2018. Vol. 108. № 6.

67

Alden E. The Work Ahead // The Council of Foreign Relations. 2018. April.

68

The Future of Jobs Report // World Economic Forum 2018.

69

Autor D.H. Polanyi’s Paradox and the Shape of Employment Growth. 2014. Эта статья представлена в одном из подкастов EconTalk, см. URL: http://www.econtalk.org/david-autor-on-the-future-of-work-and-polanyisparadox

70

Этот метод «естественной обработки языка» разработан исследователем Джимом Глассом, цель которого – улучшить перевод между 7000 языков, на которых все еще говорят в нашем мире.

71

Федеральное агентство по управлению лекарственными препаратами (FDA).

72

Bessen J. AI and the Role of Demand. 2015.

73

Впечатляющее выгорание Маска летом 2018 года стоило ему президентства в компании Tesla.

74

«Nantes» – песня французской певицы Барбары (Barbara) о девушке, которая приехала в незнакомый город и радуется дождю. – Прим. ред.

75

Как говорит Орен Этциони, руководитель Института искусственного интеллекта Аллена, «одна из причин, по которым мне не нравятся дискуссии о сверхинтеллекте, в том, что они отвлекают от реальности».

76

«Парадокс Линды», играющий важную роль в «Антихрупкости» Талеба, позаимствован из исследований Канемана.

77

В своей книге «Человек и компьютер», где он рассказывает о своем проигрыше компьютеру Deep Blue и делает общие выводы по поводу технологии.

78

Канеман Д. Думай медленно, решай быстро. М.: АСТ, 2014.

79

«Nudge» – название программной работы Ричарда Талера, написанной им вместе с юристом Кассом Санстейном. Понятие nudge настолько важно для понимания механизмов ИИ, что я позволю себе использовать его без перевода.

80

Похожее опасение разделяет и писатель Марк Дюген в своей книге «Голый человек» (Dugain M. L’Homme nu. Plon, 2016), однако его подход тоньше.

81

В своей книге «Сознание и мозг» и особенно в главе «Будущее сознания» (Dehaene S. Consciousness and the Brain. Viking, 2014).

82

См.: Harris S. Free Will. Free Press Paper, 2012.

83

См. Зубофф Ш. Эпоха надзорного капитализма. М.: изд-во Института Гайдара, 2022.

84

Cardon D. À quoi rêvent les algorithmes. Nos vies à l’heure des big data. Seuil, 2015.

85

Там же.

86

В своей главной работе «Техническая система» (1977) Эллюль рассматривает технику в качестве системы, по отношению к которой не может быть ничего внешнего. «Человек в нашем обществе, – пишет он, – не имеет никакого интеллектуального, морального или духовного ориентира, на основании которого мог бы судить и критиковать технику».

87

Lanier J. Ten Arguments for Deleting Your Social Media Accounts Right Now. Henry Holt & Co., 2018.

88

Lanier J. Who Owns the Future? Simon & Schuster, 2014.

89

Lanier J. Ten Arguments…

90

Тенденция интернета изолировать каждого в его собственных мнениях широко исследовалась, например, Кассом Санстейном (в его «Republic.com 2.0» дается одно из первых описаний «эхокамер») и Эли Парисером (который придумал понятие «пузырь фильтров»).

91

Впрочем, Facebook в одном скандальном исследовании сам хвалился тем, что может манипулировать эмоциями пользователей, изменяя порядок постов, отображающихся в их ленте, см. URL: https://www.technologyreview.com/s/528706/facebooks-emotionalmanipulation-study-is-just-the-latest-effort-to-prod-users/.

92

Colleoni E., Rozza A., Arvidsson A. Echo Chamber or Public Sphere? Predicting Political Orientation and Measuring Political Homophily in Twitter Using Big Data // Journal of Communication. 2014. Vol. 64. № 2.

93

Если вы хотите оценить собственный уровень зависимости, исследователи составили специальную анкету Facebook Addiction Scale («Уровень зависимости от Facebook»), которую можно найти в сети.

94

«Hippocampal and Prefrontal Processing of Network Topology to Simulate the Future», это исследование подписано восемью учеными и опубликовано в ведущем научном журнале Nature в 2017 году.

95

Их вместе называют BATX (Baidu, Alibaba, Tencent, Xiaomi), по образцу американских GAFA (Google, Amazon, Facebook, Apple).

96

В частности, перейти от «ранжирования», основанного на заранее установленных правилах, к «совпадению», гарантируемому глубоким обучением.

97

Автор «Датаклизма» – Кристиан Раддер, один из основателей сайта OkCupid.

98

URL: https://www.facebook.com/notes/mark-zuckerberg/building-globalcommunity/10154544292806634 Февраль 2017 года.

99

Это тезис Аджая Агравала, Джошуа Ганса и Ави Голдфарба, представленный в их книге «Машины предсказания» (Agrawal A., Gans J., Goldfarb A. Prediction Machines // Harvard Business Review Press. 2018), весьма популярной в Кремниевой долине, – в частности, ее расхваливал Хэл Вариан, главный экономист Google.

100

Kissinger H. A. How the Enlightenment Ends // The Atlantic. 2018. Jun. URL: https://www.theatlantic.com/magazine/archive/2018/06/henry-kissinger-ai-could-mean-the-end-of-human-history/559124

101

Фуко М. Слова и вещи. Археология гуманитарных наук / пер. с фр. В. П. Визгина, Н. С. Автономовой. СПб., 1994.

102

На сервисе Deezer можно найти три сочинения для фортепьяно под красноречивым названием «Bach by Design», а также оригинальные концерты.

103

Cope D. The Algorithmic Composer. AR Editions, Inc., 2000.

104

Edwards M. Algorithmic Composition: Computational Thinking In Music // Communications of the ACM. 2011. Vol. 54. № 7; очень популярной среди музыкантов в XVIII веке была игра Würfelspiel, своего рода «автоматическое письмо» до того, как оно стало так называться. Композиторы бросали кости и записывали ноты в зависимости от результата.

105

Работа «Edmond de Belamy» коллектива Obvious была получена нейронной сетью, которой скормили 15 тысяч портретов. Как мы уже отмечали в первой главе, такому произведению трудно добраться до «понятия портрета», оно представляет собой малоубедительный размытый эскиз.

106

Evans R. et al. De Novo Structure Prediction With Deep-learning Based Scoring // CASP 13. 2018.

107

Так, мы никогда не можем быть на 100 % уверены в том, что «завтра солнце встанет». Скорее, поскольку оно встает каждый день с тех пор, как человек вообще проводит такие наблюдения, мы можем выводить из этого физические законы.

108

См., например: Calude C.S., Longo G. The Deluge of Spurious Correlations in Big Data // Foundations of Science. 2017. Vol. 22. № 3.

109

Stensbo-Smidt K. et al. Sacrificing Information for the Greater Good: How to Select Photometric Bands for Optimal Accuracy // Monthly Notices of the Royal Astronomical Society. 2016. Vol. 464. № 3.

110

См.: Ma M., Fang F., Parkes D. Spatio-Temporal Pricing for Ridesharing Platforms // TSMO’18. 2018. Feb Эти исследователи доказывают экономическое преимущество dispatch в сравнении со стимулами. Подобный способ оптимизации благосостояния каждого работает в случае гипотезы наличия полной информации.

111

См.: Хайек Ф. Право, законодательство и свобода. М.: ИРИСЭН, 2006.

112

Хайек Ф. Дорога к рабству. М.: Новое издательство, 2005.

113

Хайек развивает это рассуждение в статье «The Use of Knowledge in Society», написанной в 1949 году для American Economic Review.

114

Berman D.H., Hafner C.D. The Potential of Artificial Intelligence to Help Solve the Crisis in Our Legal System // Communications of the ACM. 1989. Vol. 32. № 8.

115

Dressel J., Farid H. The Accuracy, Fairness, and Limits of Predicting Recidivism // Science Advances. 2018. Vol. 4. № 1.

116

Или «подотчетности, ответственности и прозрачности» (Accountability, Responsibility and Transparency, ART). См., например: Dignum V. Responsible Artificial Intelligence: Designing AI for Human Values // ITU Journal: ICT Discoveries. 2017. Special Issue № 1. Sept 25.

117

Danziger S., Levav J., Avnaim-Pesso L. Extraneous Factors in Judicial Decisions // Proceedings of the National Academy of Sciences. 2011. Vol. 108. № 17.

118

См.: Беккария Ч. О преступлениях и наказаниях. М.: изд-во НКЮ СССР, 1939, – особенно главу IV «Толкование законов»: «Власть толковать уголовные законы не может принадлежать судьям по одному тому, что они не законодатели».

119

Оригинальное выражение – «loss of agency»; это труднопереводимое словосочетание можно передать как «утрата возможности действия».

120

К сожалению, несмотря на мои многочисленные заходы и наличие человека, который был готов со мной поговорить, отдел коммуникаций LAPD запретил любые интервью. Поэтому я вынужден довольствоваться встречей с их противниками, как мы увидим в главе 6.

121

См., например: Vladeck D. Machine Without Principals: Liability Rules and Artificial Intelligence // Washington Law Review. 2014. Vol. 89. № 1.

122

Эта гипотеза обосновывает не только европейское, но и американское право, что иллюстрируется решением Верховного суда от 1952 года по делу «Мориссет против США»: «[Личное намерение] является таким же всеобщим и неизбывным принципом зрелых систем права, как и вера в свободу человеческой воли вместе с соответствующей способностью и долгом нормального индивида совершать выбор между добром и злом».

123

Точную типологию различных типов алгоритмических предубеждений см. в работе: Danks D., John A. Algorithmic Bias in Autonomous Systems. London, 2017.

124

«Клятва Холбертон – Тьюринга», этическая хартия, созданная двумя специалистами по информатике, начинается со следующих слов: «Я буду уважать всех людей, их автономию и волю, безо всякой дискриминации по возрасту, физическому состоянию, политическим взглядам, религиозной вере, социальному и этническому происхождению или сексуальной ориентации».

125

Афроамериканская исследовательница Джой Буоламвини стала жертвой этой ошибки. Она показала, что робот узнавал ее лучше, когда она носила белую маску. См.: Buolamwini J., Gebru T. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification // Conference on Fairness, Accountability and Transparency. 2018.

126

He H., Garcia E.A. Learning From Imbalanced Data // IEEE Transactions on Knowledge & Data Engineering. 2008. № 9. Авторы статьи подытоживают различные методы, позволяющие получать значимые результаты для недостаточно представленных в выборке групп.

127

Tan G., Porzecanski K. Wall Street Rule for the #MeToo Era: Avoid Women at All Cost // Bloomberg. 2018. 3 December. Эта статья показывает негативное влияние движения #MeToo на карьерное продвижение женщин.

128

Society for Human Ressource Management 2018. «Harassment Free Workplace Series: The Executive View Topline Report». Опрошенные мужчины объясняют, что избегают «говорить с женщинами», а также «оставаться в закрытом пространстве с женщинами» или «на расстоянии меньше одного метра от женщины».

129

В теоретическом плане это изменение отражает переход от европейской концепции ИИ (ее отстаивало, в частности, общество Макса Планка), согласно которой алгоритм должен моделироваться по нашему собственному поведению, чтобы воспроизвести определенную форму естественной эволюции, к рассуждению, больше связанному с американской школой (такой как Гарвардская бизнес-школа), которая требует, чтобы ИИ внедрял в наши решения определенную форму рациональности. Это различие мне подсказала исследовательница Юлия Пуашундер.

130

В частности, подробно обсуждались доходы, приносимые королевскими мануфактурами.

131

Fletcher T. The Naked Diplomat: Understanding Power and Politics in the Digital Age. William Collins, 2017.

132

Во Франции оно закреплено законом PACTE от 2019 года.

133

Так, в мае 2018 года Facebook закрыл страницу Identitaires, ультраправой организации, которая, безусловно, не вызывает симпатий, но при этом была вполне законной.

134

Эта идея, развитая на открытии XIII Форума управления интернетом в ноябре 2018 года, считается «проработанной» вместе с Facebook в решении задачи «борьбы с дискурсом ненависти».

135

См., например: Atkinson R. D. The Location Privacy Protection Act of 2014. Доклад, представленный на Сенатском юридическом подкомитете по «Неприкосновенности личной жизни, технологии и праву» в июне 2014 года.

136

В области финансов см., например, такую работу: Clot A. L’économie numérique à l’assaut de la finance // Annales des Mines – Réalités industrielles. 2019. Vol. février 2019. № 1. P. 41–44.

137

См.: Mehr H. Artificial Intelligence for Citizen Services and Government // Harvard Ash Center Technology and Democracy Fellow. 2017. Aug: «Даже если современные приложения ИИ в области публичной политики уступают приложениям в частной сфере, – признаёт автор, – эти области действий сопоставимы».

138

Токвиль А. де. О демократии в Америке. Т. II. Ч. 2. Гл. 14.

139

Особенно в его успешной книге «Народ против демократии» (Mounk Y. The People vs. Democracy. Harvard University Press, 2018, французский перевод: Mounk Y. Le Peuple contre la démocratie. Éditions de l’Observatoire, 2018).

140

Я попробовал дать ему мою собственную интерпретацию в книге: Koenig G. Leçons sur la philosophie de Gilles Deleuze. Ellipses, 2013.

141

Об отношении между делёзовской ризомой и цифровыми инструментами см. (укажу, чтобы не повторяться) одну из моих книг: Koenig G. Le Révolutionnaire, l’expert et le geek. Plon, 2015, – в особенности главу под названием «Когда сеть становится ризомой» («Quand le réseau devient rhizome»).

142

Делёз Ж. Логика смысла. Серия 15 «Сингулярности».

143

В частности, Люком Ферри и Аленом Рено в их работе «Мысль 1968» (Ferry L., Renault A. La Pensée 68. Gallimard, 1988), которые видят в нем своего рода антигуманизм.

144

Делёз Ж. Post scriptum к обществам контроля // Переговоры. СПб.: Наука, 2004.

145

Сартр Ж.-П. Бытие и ничто. М.: Республика, 2000. С. 587.

146

Я описал это движение в последней части своей книги «Революционер, эксперт и гик» (цит. ранее), сравнив его с рассказом Борхеса «Фунес, чудо памяти».

147

Chorzempa M. Triolo P., Sacks S. China’s Social Credit System: A Mark of Progress or a Threat to Privacy? // PIIE. 2018. June.

148

См. работу Фергюсона «Цивилизация» (Ferguson N. Civilization. Penguin, 2016), в которой он прославляет шесть «приложений-убийц» Запада: конкуренцию, науку, собственность, медицину, потребление и трудовую этику.

149

См., например: Shu Li, Candelon F., Reeves M. Lessons From China’s Digital Battleground // MIT Sloan Management Review 2018.

150

Более подробный анализ возможностей Китая в области технологического и коммерческого развития ИИ см. в докладе оксфордского Института будущего человечества: Ding J. Deciphering China’s AI Dream. Future of Humanity Institute. 2018. March.

151

Позже в одном интервью я прочел, что, по оценкам Кай-Фу Ли, Европу в сфере ИИ можно вообще не учитывать. Она не заслужила даже и бронзовой медали, поскольку потеряла значение, устарела, да и вообще скоро умрет. См. URL: https://sifted.eu/articles/interviewkaifu-lee-artificial-intelligence

152

Règlement Général sur la Protection des Données; RGPD – «Общий регламент по защите данных»: постановление Европейского союза, с помощью которого Европейский парламент, Совет ЕС и Европейская комиссия усиливают и унифицируют защиту персональных данных всех лиц в ЕС. Постановление также направлено на экспорт данных из ЕС. – Прим. ред.

153

Huateng M. China at Your Fingertips, Wai wen chu ban she. 2018.

154

Причины этого феномена остаются предметом споров историков. См., например: Померанц К. Великое расхождение. Китай, Европа и создание современной мировой экономики. М.: Дело, 2017.

155

См., например, примечательное эссе корреспондента журнала New Yorker Эвана Осноса: Osnos E. Age of Ambition: Chasing Fortune, Truth, and Faith in the New China. FSG, 2014.

156

Koenig G. Les Aventuriers de la liberté. Plon, 2016.

157

Это не слишком политически корректное определение можно найти в «Теории экономического развития» Ф. Шумпетера, в главе «Основной феномен экономического развития».

158

Это выражение, без которого теперь никуда, позаимствовано у Дэна Сенора и Сола Сингера, авторов книги «Страна-стартап»: Senor D., Singer S. Start-up Nation: The Story of Israel’s Economic Miracle. Twelve, 2009.

159

Согласно рейтингу CS Rankings.

160

Это так называемый метод внимания, позволяющий улучшить предсказательную способность.

161

См., например: Bozdag E. Bias in Algorithmic Filtering and Personalization // Ethics and Information Technology. 2013. Vol. 15. № 3.

162

О распространении теорий заговора в силу «каскадного эффекта» см.: Del Vicario M. et al. The Spreading of Misinformation Online // Proceedings of the National Academy of Sciences. 2016. Vol. 113. № 3.

163

Aghion P., Jones B., Jones C. Artificial Intelligence and Economic Growth. 2017.

164

Клодель П. Познание Востока. М.: Эннеагон Пресс, 2010. С. 345.

165

Этот аргумент был развит Латфи Сиддики, профессором Лондонской школы экономики: Siddiqi L. Confronting the macroeconomic challenges of the fourth industrial revolution // LSE Business Review. 2018.

166

Этот феномен изучался Финбаром Ливси, кембриджским исследователем геополитики: Livesey F. From Global To Local: The Making of Things and the End of Globalisation. 2017.

167

Mihaile N. Géopolitique de l’intelligence artificielle: le retour des empires? // Politique étrangère. 2018. № 3.

168

Это так называемый Проект Мавен, уже развернутый в Западной Африке.

169

Спиноза Б. Этика. Часть 4. Теорема 4, схолия // Сочинения в 2‐х т. Т. 1. СПб: Наука, 1999. С. 457.

170

Талеб, который всегда умеет найти нужную формулировку, называет этот феномен «обманутостью эффектом данных», fooled by data effect.

171

Bardi U., Falsini S., Perissi I. Toward a General Theory of Societal Collapse: A Biophysical Examination of Tainter’s Model of the Diminishing Returns of Complexity // Biophysical Economics and Resource Quality. 2019. Vol. 4. № 1.

172

Stanley K.O. Why Greatness Cannot Be Planned. Springer, 2015.

173

См., например: Agrawal A., Gans J., Goldfarb A. Op. cit.

174

Так французский философ Бернар Стиглер защищает «неэнтропическое» отношение к машине.

175

Этот довод был не так давно воспроизведен математиком Николя Жизеном в его статье: Gisin N. Time Really Passes, Sciences Can’t Deny That // Time in Physics / ed. by R. Renner, S. Stupar. Birkhaüser, 2017.

176

См. Декарт Р. Страсти души // Сочинения в 2‐х т. М.: Мысль, 1989. Т. 1. С. 499–500.

177

См. Сартр Ж.-П. Бытие и ничто. Глава «Свобода и ответственность». М.: Республика, 2000. С. 559. «Свойством человеческой реальности является то, что у нее нет оправдания».

178

Cardon D. Op. cit.

179

Лейбниц Г.-В. Теодицея. Первая часть. Параграф 55 // Сочинения в 4‐х т. М.: Мысль, 1989. Т. 4. С. 163.

180

Наряду с Ричардом Докинзом, Сэмом Харрисом и Кристофером Хитченсом, выпустившими книгу: Хитченс К., Деннет Д., Докинз Р. Четыре всадника. М.: Эксмо-Пресс, 2020.

181

Я опираюсь на два текста Деннета. Недавний: Dennett D. From Bacteria to Bach and Back. Penguin, 2018. А также более старый: Dennett D. Brainstorms. MIT Press, 1978, – в частности на главу «On Giving Libertarians What They Say They Want».

182

См.: Lavazza A. Free Will And Neuroscience: From Explaining Freedom Away to New Ways of Operationalizing and Measuring It // Frontiers in Human Neuroscience. 2016. Vol. 10. № 262.

183

Prescott A. et al. Readiness Potentials Driven by Non-Motoric Processes // Consciousness and Cognition. 2016. № 39.

184

Schultze-Kraft M. et al. The Point of No Return in Vetoing Self-initiated Movements // Proceedings of the National Academy of Sciences. 2016. Vol. 113. № 4.

185

Li Sh., Mayhew S. D., Kourtzi Z. Learning Shapes the Representation of Behavioral Choice in the Human Brain // Neuron. 2009. Vol. 62. № 3.

186

Wittmann M., Paulus M. P. Decision Making, Impulsivity and Time Perception //Trends in Cognitive Sciences. 2008. Vol. 12. № 1.

187

Larcom Sh., Rauch F., Willems T. The Benefits of Forced Experimentation: Striking Evidence From the London Underground Network // The Quarterly Journal of Economics. 2017. Vol. 132. № 4. «Один из двадцати пассажиров продолжил пользоваться новым маршрутом, поскольку старый оказался субоптимальным».

188

Лерер Дж. Как мы принимаем решения. М.: Corpus, 2013.

189

Начать можно с универсального дохода, который должен предоставлять каждому конкретную возможность делать свой выбор. Чтобы погрузиться в эти захватывающие дебаты и понять все их аспекты, см.: Van Parijs P., Vanderborght Y. Basic Income: A Radical Proposal for a Free Society and a Sane Economy. Harvard University Press, 2017.

190

Ishikawa T. et al. Wayfinding with a GPS-based Mobile Navigation System: A Comparison With Maps and Direct Experience // Journal of Environmental Psychology. 2008. Vol. 28. № 1. Это японское исследование показывает, что у тех, кто пользуется GPS, атрофируется гиппокамп, а также наблюдается значительное снижение способности ориентироваться на новой территории.

191

«Right to err». См.: Berlin I. Liberty: Incorporating «Four Essays on Liberty». Oxford University Press, 2002. Глава 4, «John Stuart Mill and the ends of life».

192

Brunton F., Nissenbaum H. Obfuscation: A User’s Guide for Privacy and Protest. MIT Press, 2016.

193

Stop the LAPD Spying Coalition. Before the Bullets Hit the Body, Dismantling Predictive Policing in Los Angeles. 2018.

194

См.: Ricard M. Cerveau et Méditation, un dialogue entre Matthieu Ricard et le neurophysiologiste Wolf Singer. Allary éditions, 2016.

195

См. Sahakian B., LaBuzetta J. N. Bad Moves: How Decision Making Goes Wrong, and the Ethics of Smart Drugs. Oxford University Press, 2013.

196

В данном случае хорошо подходит английское выражение «frontloading the free will».

197

См. работу Гэри Маркуса (с которым мы уже встречались в MIT по вопросу о причинности: Marcus G. Innateness, AlphaZero, and Artificial Intelligence. New York University.

198

Andreas Holzinger et al. Towards Interactive Machine Learning (iML): Applying ant Colony Algorithms to Solve the Traveling Salesman Problem With the Human-in-the-loop Approach // Proceedings of the International Conference on Availability, Reliability, and Security. Springer, 2016.

199

Jasper R. J., Blahan L. M. Interface Metaphors for Interactive Machine Learning // Proceedings of the International Conference on Augmented Cognition. Springer, 2017.

200

Amershi S. et al. Power to the People: The Role of Humans in Interactive Machine Learning // AI Magazine. 2014. Vol. 35. № 4.

201

В техническом плане см.: Iaquinta L. et al. Introducing Serendipity in a Content-based Recommender System // 2008 Eighth International Conference on Hybrid Intelligent Systems. IEEE, 2008.

202

Morozov E. To Save Everything, Click Here: The Folly of Technological Solutionism. Public Affairs, 2014.

203

Opt-in/opt-out – маркетинговые стратегии. Opt-in – подписка, возможность законно получить e-mail-адрес пользователя в обмен на скидки, новости, лайфхаки и т. д. Opt-out позволяет подписчикам отказаться от получения писем компании. – Прим. ред.

204

Ланье Дж. Кому принадлежит будущее? М.: Эксмо, 2020.

205

См. эту основополагающую работу Джарона Ланье и трех других ученых из Стэнфорда и Колумбийского университета: Should We Trea Data as Labor? Moving Beyond Free // American Economic Association Papers.

206

См. колонку, опубликованную Бриттани Кайзер в Financial Times: Facebook Should Pay its 2 bn Users for Their Personal Data. 2018. April 9. URL: https://www.ft.com/content/7a99cb46-3b0f-11e8-bcc8-cebcb81f1f90

207

Carpenter v. United States: Justice Gorsuch, dissenting. 2018. June.

208

Governor Gavin Newsom. State of the State Address. 2019. Feb 12.

209

С детальной защитой идеи превращения личных данных в собственность я выступил в предыдущей книге (Les Aventuriers de la liberté, глава о «хакерах»), а также в работах, опубликованных в моем аналитическом центре GénérationLibre (Mes data sont à moi. 2018. Jan).

210

В частности: Duby G. L’Économie rurale et la vie des campagnes dans l’Occident médiéval. Aubier, 1962.

211

Гоббс Т. Левиафан // Сочинения в 2‐х т. М.: Мысль, 1991. Т. 2. С. 96.

212

Crosby M. et al. Blockchain Technology: Beyond Bitcoin // Applied Innovation. 2016. № 2.

213

Касательно философского фундамента см.: Voyages d’un philosophe aux pays des libertés (глава о Бразилии); а касательно технической концепции: LIBER, доклад, написанный в соавторстве с Марком де Баския (GénérationLibre, 2014).

214

Cozycloud, например, или digi.me в Великобритании.

215

Mydataisrich, Pickcio…

216

myCo.

217

Капитан Хэддок – персонаж серии комиксов «Приключения Тинтина» бельгийского художника Эрже. Он повсюду ищет сокровища, но находит их в своей загородной усадьбе – Муленсаре.

218

Выступление Марка Цукерберга в Washington Post: Zuckerberg M. The Internet Needs New Rules. 2019. March 30.

219

Поэтому принципы OCDE об ИИ, подписанные в мае 2019 года сорока двумя странами, представляют собой зародыш такого коллективного управления.

220

Золя Э. Человек-зверь. Собр. соч. М.: Художественная литература, 1964. Т. 13. С. 274.

Content

Гаспар Кёниг
Конец индивидуума. Путешествие философа в страну искусственного интеллекта

Предисловие

Homo deus

1 Механический турок

От барона фон Кемпелена до компании Amazon

Реальность и ее копия

Не благодари робота

2 Миф о суперинтеллекте

Не бывает сверхинтеллекта без сверхорганизма

Здравый смысл – самая редкая вещь в мире (среди роботов)

Парадокс Поланьи

3 Принцип турникета

Наука против свободы воли

Универсальный nudge

Метаутилитаристский ветер

Сжечь человека

4 Разные следствия

Искусство без художников

Наука без причинности

Экономика без рынка

Правосудие без виновных

Общество без предрассудков

Права без демократии

Философия без субъекта

Теология без Бога

5 Геополитика ИИ

Китай, или Триумф Конфуция

Европа, или Самоубийство по заветам стоиков

США и агония протестантской морали

Цифровой империализм

6 Первая директива

Сражение за индивида

Свободный волитель и свобода воли

Сопротивление

В защиту права владения персональными данными

Манифест о Европе

Человек-зверь

Список интервью

Благодарности

Избранная библиография

Примечания