Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта. Юваль Ной Харари. Саммари

Оригинальное название:

Nexus: a Brief History of Information Networks from the Stone Age to Al

Название на русском языке:

Nexus: Краткая история информационных сетей от каменного века до искусственного интеллекта

Автор:

Yuval Noah Harari

Юваль Ной Харари

Автор краткого изложения:

Виталий Фёдоров

* * *

*****

Мы, люди, называем свой биологический вид Homo sapiens – человек разумный. Но насколько мы соответствуем этому определению? Люди обрели небывалое могущество, но сила – это еще не мудрость, и человечество по-прежнему не может объединиться перед лицом экзистенциального кризиса. Если мы, сапиенсы, такие разумные, то почему мы так склонны к саморазрушению? Этими и другими вопросами задается в своей новой книге историк Юваль Ной Харари, приглашая читателя поразмышлять вместе с ним.

На протяжении всей истории во многих традициях считалось, что некий фатальный изъян в человеческой природе побуждает людей тянуться к силам, с которыми они неспособны совладать. Этой проблеме посвящен греческий миф о Фаэтоне, который, несмотря на предостережения Гелиоса, взялся управлять небесной колесницей, но не справился и едва не уничтожил Землю. О том же повествует стихотворение-притча Гёте «Ученик чародея»: о подмастерье, который заколдовал веник, чтобы упростить себе работу, а тот устроил потоп в мастерской. Эти истории напоминают о том, что люди игнорируют предостережения. Они уже вывели из равновесия земной климат и призвали миллиарды заколдованных веников, дронов, чат-ботов и других алгоритмических духов, которые могут выйти из-под контроля и вызвать множество непредвиденных последствий.

Что же делать? Ждать спасения со стороны бога или колдуна. Мифы и притчи не дают иного ответа. Но это опасный посыл: он побуждает людей снимать с себя ответственность. Тенденция к созданию мощных инструментов с непредсказуемыми последствиями началась с изобретения религии. Пророки и богословы раз за разом вызывали могущественных духов, которые должны были принести любовь и радость, но в итоге заливали мир кровью.

Миф о Фаэтоне и стихотворение Гёте не дают полезных советов, поскольку в них неверно интерпретируется сама природа человеческого могущества. В обеих историях некий человек получает огромную силу, но затем поддается гордыне и жадности. Однако в реальности могущество всегда проистекает из сотрудничества множества людей, а значит, проблема не в индивидуальной психологии. Человечество получает огромную силу за счет создания крупных сетей сотрудничества, но сам принцип выстраивания этих сетей предрасполагает к неразумному использованию силы. Таким образом, проблема человечества – это проблема сетей.

Точнее, это проблема информации: ведь именно информация «склеивает» человеческие сети. На протяжении всей истории люди создавали обширные сети с помощью вымышленных историй – о богах, заколдованных вениках, искусственном интеллекте и тому подобном. Хотя каждый индивид обычно предпочитает знать правду о себе и о мире, крупные сети объединяют людей и поддерживают порядок, опираясь на выдумки и фантазии.

Не стоит пребывать в уверенности, что сети, выстроенные на ложных идеях вроде нацизма, обречены на провал. Если мы хотим предотвратить триумф подобных сетей, нам придется самим проделать тяжелую работу.

Наивный взгляд на информацию

Общее непонимание того, как работают крупные информационные сети, выражается в том, что автор называет «наивным взглядом на информацию». Согласно наивному взгляду, собирая и обрабатывая гораздо больше информации, чем могут получить отдельные люди, крупные сети достигают лучшего понимания многих областей. Например, собрав большой объем данных о патогенах, можно выявить причины заболеваний и разработать эффективные лекарства. Информация в достаточном объеме ведет к истине, а истина ведет к могуществу и мудрости. Невежество же не ведет ни к чему. Согласно наивному взгляду, сети, выстроенные на лжи и иллюзиях, – отклонения от нормы, они обречены на провал. Фармацевтический гигант, намеренно распространяющий дезинформацию, проиграет более честным конкурентам. А от крупных сетей в целом можно ожидать мудрого распоряжения своим могуществом и властью.

Конечно, сторонники наивного взгляда признают, что на пути к истине случаются ошибки в сборе и обработке информации. Однако они считают, что противоядием от большинства таких проблем будет сбор и обработка еще большего объема информации. Одному врачу, обследующему одного пациента, определить причину эпидемии труднее, чем тысячам врачей, обладающим данными о миллионах пациентов. И чем больше информационная сеть, тем ближе она к истине.

Но даже обретение истины не гарантирует, что люди мудро распорядятся новыми возможностями. Под мудростью обычно понимают «принятие правильных решений», но представление о «правильности» зависит от ценностей, которые бывают разными. Ученые, открывшие новый патоген, могут разработать вакцину – или биологическое оружие, если они уверуют, например, в расистскую идеологию. Согласно наивному взгляду, в этом случае дополнительная информация тоже поможет решить проблему, ведь ценностные разногласия – следствие либо нехватки информации, либо намеренной дезинформации. Расисты – это плохо информированные люди, которые не знают фактов из биологии и истории. Если ознакомить людей с этими фактами, на свободном рынке информации истина рано или поздно восторжествует.

В целом, по мнению сторонников наивного взгляда, информация полезна, и чем ее больше, тем лучше. Имея достаточно информации и времени, люди обязательно узнают правду о самых разных вещах и тем самым разовьют не только свое могущество, но и мудрость, необходимую для того, чтобы правильно его использовать.

Наивный взгляд оправдывает стремление к созданию мощных информационных технологий и стал полуофициальной идеологией компьютерного века и интернета. Политики и предприниматели часто высказывают радужные взгляды на информационные технологии. Наивный взгляд на информацию весьма точно выражен в заявлении о миссии Google: «Систематизировать информацию по всему миру и сделать ее общедоступной и полезной».

Google против Гёте

Да, обладание большим объемом информации нередко помогало людям лучше понимать мир и мудро использовать свои возможности. В качестве примера автор приводит резкое снижение детской смертности. Пяти братьям и сестрам Иоганна Вольфганга Гёте не удалось дожить даже до своего седьмого дня рождения. У самого поэта было пятеро детей, из которых все, кроме старшего сына, умерли в первые недели после рождения. Если во времена Гёте лишь около 50 % немецких детей доживали до пятнадцати лет, то к 2020 году этот показатель в Германии достиг 99,5 % (в среднем по всему миру до пятнадцатилетия доживает 95,6 % детей).

Однако, несмотря на небывалый рост объема и скорости производства информации, человечество как никогда близко к самоуничтожению. Лидеры не испытывают дефицита информации о глобальных угрозах, но вместо сотрудничества движутся к глобальной войне. Корпорации и правительства наперегонки разрабатывают самую мощную информационную технологию в истории – искусственный интеллект (ИИ). Одни верят, что ИИ решит все проблемы человечества. Другие настроены скептически. В опросе, проведенном в 2023 году среди 2778 исследователей ИИ, более трети респондентов говорили о по меньшей мере 10-процентной вероятности того, что продвинутый ИИ приведет к вымиранию человечества. Эту опасность признали правительства почти тридцати стран, подписав Блетчлийскую декларацию по ИИ. Эксперты предупреждают о двух возможных катастрофических сценариях. Первый сценарий – гонка вооружений на базе ИИ и разработка все более разрушительного оружия. Второй – появление тоталитарной сети, управляемой нечеловеческим интеллектом.

Важно помнить, что ИИ – первая технология, способная самостоятельно принимать решения и генерировать идеи. ИИ уже создает произведения искусства и совершает научные открытия, а в ближайшем будущем, вероятно, научится создавать новые формы жизни. Уже сегодня компьютеры принимают касающиеся людей решения о приеме на работу, выдаче кредитов и отправке в тюрьму, и эта тенденция будет только усиливаться. Но рассчитывать на то, что компьютерные алгоритмы будут принимать мудрые решения и создадут лучший мир, гораздо более рискованно, чем доверить заколдованному венику принести воды. И на кону не только выживание человечества: ИИ может изменить процесс эволюции всех форм жизни.

Информация как оружие

В 2016 году в своей книге Homo Deus автор рассказал о некоторых угрозах, связанных с новыми информационными технологиями. За восемь лет темпы изменений только ускорились, и многие из сценариев, казавшихся в 2016 году научной фантастикой, уже стали реальностью.

Изменилось и многое другое: усугубился экологический кризис, обострилась международная напряженность, даже самые устойчивые демократии пошатнула волна популизма. Помимо прочего, популизм бросил вызов наивному взгляду на информацию. Популистские движения, их лидеры и сторонники теорий заговора утверждают, что все авторитетные традиционные институты, претендующие на сбор информации и выяснение истины, попросту лгут. Чиновники, судьи, врачи, журналисты и ученые-эксперты – всего лишь элитарные группировки, которые не заинтересованы в правде и намеренно распространяют дезинформацию, чтобы получить власть и привилегии для себя за счет «народа». Если коротко, популисты рассматривают информацию как оружие.

В своих крайних проявлениях популизм гласит, что объективной истины вообще не существует и что у каждого есть «своя правда», к которой он прибегает для победы над соперниками. Почти любой разговор о «фактах» или «правде» неизбежно прерывается вопросом: «Чьи факты и чью правду вы имеете в виду?»

Это не новое явление. Еще в конце ХХ века радикальные левые интеллектуалы, такие как Мишель Фуко и Эдвард Саид, утверждали, что научные институты используют свою власть для определения того, что считать истиной, в угоду капиталистическим и колониальным элитам.

Это направление радикальной левой мысли восходит к идеям Карла Маркса. Но если марксисты утверждали, что СМИ выступают рупором капиталистического класса, а научные институты распространяют дезинформацию с целью укрепления власти капиталистов, то популисты обвиняют те же институты в продвижении интересов «коррумпированных элит» в ущерб «простому народу».

Современные популисты призывают не доверять крупным институтам вроде партий, судов, газет и университетов, но при этом утверждают, что отдельно взятый человек, приложив усилия, способен самостоятельно докопаться до истины. Доверие исключительно к «собственным исследованиям» только выглядит научным, но на деле оно равносильно вере в отсутствие объективной истины. Наука же – это в большей степени совместная институциональная работа, а не индивидуальный поиск.

Альтернативное популистское решение состоит в том, чтобы отказаться от научного поиска истины и вернуться к вере в божественное откровение или к мистицизму. В частности, популисты призывают людей доверять своему харизматичному лидеру, которого изображают либо как божьего посланника, либо как человека, обладающего мистической связью с «народом». Парадокс популизма в том, что он начинается с предупреждения о жажде власти, которой охвачены элиты, а заканчивается тем, что вся власть переходит в руки одного амбициозного человека.

Чтобы не уступать власть харизматичному лидеру или непостижимому ИИ, нужно лучше разобраться в том, что такое информация, как она помогает создавать человеческие сети и как соотносится с истиной и властью. По мнению автора, популисты правы в том, что скептически относятся к наивному взгляду на информацию, но ошибаются, полагая, что только власть имеет значение, а информация – это всегда оружие. Информация – не истина в сыром виде, но и не просто оружие.

Что дальше?

В первой части этой книги описана история человеческих информационных сетей: на нескольких примерах рассматриваются ключевые дилеммы, с которыми сталкивались создатели сетей, и то, как разные решения приводили к созданию антагонистичных обществ. Идеологические и политические конфликты, по сути, часто представляют собой столкновения противоположных типов информационных сетей.

Для создания масштабных человеческих информационных сетей необходимы мифология и бюрократия. Однако мифотворцы и бюрократы, как правило, движутся в разных направлениях, и облик институтов и обществ зачастую зависит от баланса между их противоречивыми потребностями.

Анализируя проблему ложной информации, а также преимущества и недостатки использования механизмов самокоррекции, автор противопоставляет институты со слабыми механизмами самокоррекции, такие как католическая церковь, институтам с сильными механизмами самокоррекции, таким как научные дисциплины.

Исторический экскурс завершается сравнением распределенных и централизованных информационных сетей. Если в демократической системе информация свободно передается по множеству независимых каналов, то тоталитарная система стремится сконцентрировать информацию в одном узле.

Историческая часть книги важна для понимания современных событий и будущих сценариев. Автор подчеркивает, что история не детерминирована и будущее зависит от решений, которые человечество примет в ближайшие годы. Основной посыл книги в том, что, делая осознанный выбор, можно предотвратить худшие последствия.

Во второй части рассматривается информационная сеть, которую люди создают сегодня, и особое внимание уделяется политическим последствиям развития ИИ. Новая информационная сеть не полагается на углеродный мозг. Как это изменит общество, экономику и политику?

В третьей части автор рассуждает о том, как разные типы обществ могут справиться с перспективами и угрозами неорганической информационной сети. Сумеет ли человек понять новую информационную сеть и контролировать ее? Как справятся с неорганической сетью демократические и тоталитарные системы? Как она повлияет на баланс сил между демократическими и тоталитарными обществами на глобальном уровне?

Часть I

Человеческие сети

Глава 1

Что такое информация?

Ученые из разных областей все чаще рассматривают информацию как базовый строительный материал реальности, более элементарный, чем материя и энергия. Ведутся споры о том, что такое информация и как она связана с биологической эволюцией и с основными физическими концепциями. Автор не пытается разрешить эти споры, а фокусируется на роли информации в истории и определяет ее через эту роль.

В обиходе информация ассоциируется с созданными человеком символами, такими как звучащие или написанные слова. Автор приводит историю о голубе Шер Ами, который спас в октябре 1918 года американский батальон, оказавшийся в ловушке в тылу врага и попавший под дружественный огонь: командир написал на клочке бумаги координаты батальона, и голубь доставил сообщение в штаб дивизии.

Однако информация не всегда состоит из символов, созданных человеком. В библейском мифе о Всемирном потопе Ной узнал, что вода отступила, когда выпущенный им голубь вернулся с оливковой ветвью. Затем Бог продемонстрировал радугу – в знак обещания больше не затоплять землю. Информацию могут нести даже космические объекты: астрономы извлекают из формы и движения галактик важнейшие сведения об истории вселенной, а для астрологов звезды – это письмена, рассказывающие о будущем.

Любой объект может быть информацией или не быть ею, поэтому очень трудно дать четкое определение информации. Двойственная суть информации сыграла важную роль в истории военного шпионажа. Автор рассказывает о еврейской шпионской сети НИЛИ и ее командире Саре Ааронсон, которые действовали на Ближнем Востоке в 1915–1917 годах и тоже использовали почтовых голубей. Одного такого голубя обнаружил офицер османской армии, и, хотя ему не удалось расшифровать сообщение, голубь с шифровкой уже сам по себе стал информацией, позволившей в итоге разоблачить шпионскую сеть.

Тот или иной объект становится информацией в определенном контексте. Согласно наивному взгляду на информацию, объекты определяются как информация в контексте поиска истины, а основная роль информации заключается в репрезентации реальности. Иными словами, информация – это попытка репрезентации реальности, и когда эта попытка успешна, ее называют истиной. Однако, по мнению автора, бóльшая часть информации в человеческом обществе и в других биологических и физических системах ничего не репрезентирует. Этот тезис составляет теоретическую основу книги, поэтому далее автор рассматривает его подробнее.

Что есть истина?

Автор понимает под «истиной» нечто в точности отражающее те или иные аспекты единой универсальной реальности. Но истина и реальность – это разные вещи, потому что, каким бы правдивым ни было сообщение, оно никогда не отразит реальность во всех ее аспектах. Например, если агент НИЛИ сообщил, что в Газе находится десять тысяч османских солдат, это сообщение может быть правдивым, но оно ничего не говорит о том, есть ли среди солдат опытные ветераны или только новобранцы.

Реальность сложна: она включает в себя объективный уровень с объективными фактами, которые не зависят от человеческих убеждений; и субъективный уровень с субъективными фактами, такими как взгляды и чувства людей. Например, Сара Ааронсон умерла 9 октября 1917 года – это объективный факт. Израильтяне склонны считать ее героиней и патриоткой – это тоже факт. Но еще один факт заключается в том, что палестинцы оценивают ее деятельность иначе, поэтому утверждение «все восхищаются Сарой Ааронсон» будет ошибкой, оно не соответствует действительности. Даже на субъективном уровне факты можно отличить от ошибок, поскольку взгляды и чувства – как и звезды и голуби – относятся к универсальной реальности.

Сказанное не означает, что для правдивого описания реальности необходимо перечислять абсолютно все факты и точки зрения. Автор предупреждает, что такое стремление к точности может привести к попытке представить мир в масштабе один к одному, как в рассказе Хорхе Луиса Борхеса «О точности в науке», где некая империя создала географическую карту размером с саму империю. Никакие, даже самые правдивые, описания реальности никогда не отразят ее в полной мере. Какие-то аспекты всегда будут упущены или искажены. Ни одно из описаний реальности не будет точным на сто процентов, но некоторые все же более правдивы, чем другие.

На что способна информация

Согласно наивному взгляду, информация – это попытка репрезентации реальности. Если какая-то информация плохо отражает реальность, то это либо мизинформация (честное заблуждение), либо дезинформация (намеренная ложь). А проблемы, вызванные мизинформацией или дезинформацией, решаются путем получения большего количества информации. С увеличением объема информации в мире эпизодическая ложь будет разоблачена, случайные ошибки исправлены, и люди получат более правдивое представление о мире.

В этом автор категорически не согласен с наивным взглядом. Конечно, информация нередко репрезентирует реальность, но это не является определяющим признаком информации. Говоря о космических объектах как об информации, автор не случайно упомянул наряду с астрономами еще и астрологов: что бы кто ни думал по поводу точности астрологии, нельзя отрицать ее важную роль в истории. Во все времена многие политики консультировались с астрологами перед принятием решений, а сегодня мировой астрологический рынок оценивается примерно в 13 млрд долларов. Если теория информации неспособна объяснить важное историческое значение астрологии, то такая теория несостоятельна.

Ошибки, ложь, фантазии и фикции – тоже информация. Вопреки наивному взгляду, информация не имеет сущностной связи с истиной и ее роль в истории заключается не в том, чтобы отражать реальность. Напротив, информация создает новые сущности, связывая воедино разрозненные объекты – будь то люди или империи. Ее определяющим признаком является связь, а не репрезентация; информация – это то, что объединяет разрозненные единицы в общую сеть. Информация не всегда информирует людей о чем-то – чаще она упорядочивает вещи. В качестве примера автор приводит музыку, которая ничего не репрезентирует и не может быть «правдивой» или «ложной», но способна объединять тысячи людей и заставлять их действовать синхронно.

Информация выполняет связующую роль не только в человеческих обществах, но и в биологии. Например, ДНК – это молекулярная информация, которая делает возможной органическую жизнь. Она не репрезентирует реальность, а запускает процессы, которые создают действующую сеть из триллионов клеток всего организма. Так называемые «ошибки» в ДНК относятся к мутациям в процессе ее копирования, а не к неспособности отразить реальность. Без таких мутаций не было бы эволюции: она возможна как раз потому, что ДНК не репрезентирует реальность, а создает новые сущности.

Определение информации как того, что создает новые сущности, соединяя элементы в единую сеть, включает и представление об информации как о репрезентации. Иногда правдивое представление реальности объединяет людей, как это было, например, когда миллионы телезрителей с восторгом смотрели в прямом эфире высадку на Луну. Но ошибочные представления о мире тоже могут объединять – так, сторонники теории заговора испытывают общие чувства, когда смотрят видео о том, что высадки на Луну никогда не было. А иногда сети образуются вообще без каких-либо попыток представить реальность – как, например, когда генетическая информация связывает триллионы клеток или когда волнующая музыка объединяет тысячи людей.

Информация в истории человечества

Взгляд на информацию как на социальные узы помогает понять многие аспекты человеческой истории, которые противоречат наивному представлению об информации. Если бы главной функцией информации была точная репрезентация реальности, было бы трудно объяснить, например, почему Библия стала одним из самых влиятельных текстов в истории.

Библия содержит массу ошибок: в частности, в ней утверждается, что все люди происходят от одной семьи, жившей на Ближнем Востоке около 4000 лет назад, а эпидемии рассматриваются как наказание за человеческие грехи. И все же Библия оказалась эффективным средством для объединения миллиардов людей и создания иудаизма и христианства.

Иногда информация отражает реальность, а иногда нет, но она всегда объединяет: таково ее базовое свойство. Автор подчеркивает, что отказ от наивного взгляда на информацию как на репрезентацию реальности не заставляет людей отказываться от понятия истины и склоняться к популистскому взгляду на информацию как на оружие.

Было бы ошибкой следовать наивному взгляду и верить, что создание более мощных информационных технологий непременно приведет к более правдивому пониманию мира. Если не принимать никаких мер, чтобы склонить чашу весов в пользу истины, увеличение объема и скорости распространения информации, скорее всего, приведет к тому, что относительно редкие и дорогие правдивые сообщения будут вытеснены гораздо более популярными и дешевыми типами информации.

На протяжении истории человечества возможности для связи, объединения и взаимодействия постоянно расширялись, но правдивости и мудрости не становилось больше. Вопреки распространенному мнению, Homo sapiens завоевали мир не потому, что умеют превращать информацию в точную карту реальности, а потому, что умеют использовать информацию для объединения большого числа людей. Но эта способность сопряжена с верой в ложь, заблуждения и фантазии. Вот почему даже массовые иллюзии помогали заставить шагать в ногу десятки миллионов людей.

Далее автор более подробно рассматривает историю информационных сетей и информационных технологий. И начинает он с первой информационной технологии, созданной людьми: с историй.

Глава 2

Истории: безграничные связи

Homo sapiens – единственные животные, способные гибко взаимодействовать в больших количествах. Ни шимпанзе, ни муравьи не создают империи, религиозные организации и торговые сети, объединяющие миллиарды особей. Однако масштабные сети не могут строиться только на личных отношениях, поскольку отдельно взятый человек способен поддерживать долгие тесные связи не более чем с парой сотен других людей. Для создания и поддержания крупных сетей нужно кое-что другое.

Еще около 70 тысяч лет назад сапиенсы начали проявлять небывалую способность к сотрудничеству. Дело в том, что они научились рассказывать вымышленные истории, верить в них и эмоционально на них реагировать. Истории позволили им выстраивать сети не только из цепочек «человек – человек», но и из цепочек совершенно нового типа: «человек – история». Можно объединить неограниченное число людей, познакомив их с одной и той же историей. Например, 1,4 млрд католиков объединены Библией и другими христианскими историями, а 8 млрд участников глобальной торговой сети объединены историями о валютах, корпорациях и брендах.

Даже харизматичные лидеры, имеющие миллионы сторонников, – не исключение из правила, а его подтверждение: ведь людей объединяет не сам лидер, а тщательно придуманная история о нем. Целые команды профессионалов создают и поддерживают в аккаунтах знаменитостей и влиятельных персон то, что сегодня называют брендом.

«Бренд» – это особый тип истории. Брендировать продукт – значит рассказывать о нем историю, которая может иметь мало общего с его реальными качествами, но которую потребители привыкнут ассоциировать с продуктом. Благодаря таким историям кока-кола ассоциируется у многих с весельем и молодостью, а не с ожирением и кариесом.

Брендировать можно не только товары, но и людей. Самый яркий пример – Иисус. За два тысячелетия вокруг него сформировался такой плотный кокон историй, что восстановить его историческую личность попросту невозможно. Подобные истории можно рассматривать как средство укрепления существующих биологических связей. Самые прочные человеческие узы – это семейные узы. Чтобы укрепить доверие между незнакомцами, можно заставить их воспринимать друг друга как членов одной семьи. История об Иисусе представляет его в образе небесного отца всех людей, а потому сотни миллионов христиан видят друг в друге братьев и сестер. Большинство христиан не присутствовало на Тайной вечере, но «помнят» ее более ярко, чем свои семейные обеды.

В иудейской традиции главная цель пасхальной трапезы – создать и закрепить искусственные воспоминания. Еврейские семьи собираются накануне Песаха, чтобы вспомнить о «своем» исходе из Египта: предполагается, что они не только рассказывают давнюю историю, но и вспоминают, как сами лично спаслись от рабства. Исследования показывают, что многократный пересказ ложных воспоминаний заставляет людей принимать их за подлинные. Два еврея при первой же встрече могут ощутить свою принадлежность к одной семье. Это мощная связь, которая веками поддерживает еврейскую сеть на разных континентах.

Интерсубъективные сущности

Есть и более революционный способ создания сетей на основе историй. Подобно ДНК, истории способны порождать совершенно новые сущности. Более того, они создают совершенно новый уровень реальности. До появления историй вселенная состояла всего из двух уровней реальности, объективной и субъективной, а истории добавили к ним третий уровень – интерсубъективную реальность. Если субъективные вещи, такие как боль, существуют в сознании отдельного человека, то интерсубъективные вещи, такие как законы, государства и корпорации, существуют на переплетении множества сознаний, а именно – в историях, которые люди рассказывают друг другу. Информация об интерсубъективных сущностях, которой люди обмениваются, ничего не репрезентирует; сам обмен информацией порождает эти сущности.

Рассказ о боли не создает боль, а рассказ об астероидах не создает астероиды. Но когда множество людей рассказывают друг другу истории о богах, законах и валютах, тем самым они создают богов, законы и валюты. Если люди перестанут о них говорить, все это исчезнет. Энергетическая ценность пиццы не зависит от убеждений покупателя, а вот ее финансовая ценность, как и ценность денег, зависит от них полностью. В 2010 году за 10 биткоинов можно было купить две пиццы, а в 2021 году один биткоин стоил уже 69 тысяч долларов.

Вопрос о существовании лох-несского чудовища относится к объективному уровню реальности, а вопрос о существовании того или иного государства относится к интерсубъективному уровню. Если существование какого-либо животного можно подтвердить или опровергнуть объективными методами, то разногласия по поводу существования какого-либо государства так разрешить невозможно. Если достаточное число людей согласно с тем, что некое государство существует, значит, оно существует и вправе подписывать договоры с другими государствами.

Из всех жанров историй самыми важными для развития масштабных человеческих сетей стали именно те, которые создают интерсубъективные сущности. Ни одна религия или империя не протянула бы долго без твердой веры в существование бога, государства, законов или денег. Подобные интерсубъективные сущности чрезвычайно функциональны в рамках конкретной информационной сети, но совершенно бесполезны вне ее. Например, если миллиардер окажется на необитаемом острове, его деньги не будут стоить там ничего.

Сила историй

Насаждая ложные воспоминания, формируя вымышленные отношения или создавая интерсубъективные сущности, истории породили масштабные человеческие сети. Эти сети, в свою очередь, сделали Homo sapiens самым могущественным животным, дав ему решающее преимущество и перед другими древними человеческими видами.

Все отношения между крупными группами людей строятся на основе историй, поскольку именно истории определяют идентичность этих групп. Не существует объективных критериев для определения того, кто является британцем, американцем, норвежцем или иракцем; все эти идентичности формируются национальными и религиозными мифами, которые постоянно оспариваются и пересматриваются. Вопреки марксистской логике, по которой люди всегда руководствуются объективными материальными интересами, а истории служат лишь прикрытием, масштабные идентичности и интересы всегда интерсубъективны.

Это хорошо, считает автор. Если бы ход истории определялся исключительно материальными интересами и борьбой за власть, не было бы смысла дискутировать с несогласными. Но поскольку он определяется интерсубъективными историями, порой можно предотвратить конфликт и заключить мир, поговорив с оппонентами, скорректировав истории, в которые верят те или другие, или придумав новую историю, в которую поверят все.

Автор приводит пример со становлением нацизма, утверждая, что поддержка Гитлера была трагической ошибкой немцев и что они могли бы выбрать историю получше. Историей человечества часто движут трагические ошибки вследствие веры в заманчивые, но губительные истории.

Благородная ложь

Грандиозная роль историй указывает на некие фундаментальные основы могущества Homo sapiens и объясняет, почему оно не всегда идет рука об руку с мудростью. К сожалению, в реальном мире могущество лишь частично зависит от знания истины. Оно также зависит от способности поддерживать социальный порядок. Например, чтобы создать атомную бомбу, нужно заставить сотрудничать миллионы людей. В Манхэттенском проекте непосредственно участвовало около 130 тысяч человек, и еще миллионы работали, чтобы обеспечить их всем необходимым.

Сказанное относится ко всем амбициозным проектам, предпринимаемым людьми. Хотя могущество основывается и на истине, и на порядке, в большинстве случаев именно люди, умеющие поддерживать порядок, отдают приказы тем, кто обладает знанием некой истины. Роберт Оппенгеймер подчинялся Франклину Рузвельту, а не наоборот.

Лидеры знают, что рассказывать истину о мире – не самый эффективный способ поддерживать социальный порядок. Человеческие сети обычно выстраиваются вокруг вымышленных историй об интерсубъективных сущностях. В деле объединения людей вымысел обладает двумя преимуществами перед истиной. Во-первых, вымысел можно сделать максимально простым, в то время как истина обычно сложнее, потому что сложна сама реальность. Трудно уяснить, что национальная принадлежность, – интерсубъективная сущность. Гораздо легче поверить в то, что некий народ является богоизбранным и что сам Создатель поручил ему особую миссию. Во-вторых, истина бывает болезненной и страшной, а вымысел очень гибок. В истории любой страны есть мрачные эпизоды, о которых граждане не любят вспоминать, и если политик будет акцентировать на них внимание, он вряд ли наберет много голосов. Приверженность истине важна для научного прогресса, но это не выигрышная политическая стратегия.

Еще Платон в диалоге «Государство» писал о «благородной лжи» – вымышленной истории о происхождении социального порядка, которая обеспечит лояльность граждан утопическому государству и не позволит им подвергать сомнению основной закон. Хотя утопия Платона не воплотилась в жизнь, многочисленные государства веками рассказывали своим жителям разные вариации этой «благородной лжи».

Однако не стоит заключать, что все политики лжецы, а все истории государств – обман. Излагая вымышленную историю, рассказчик лжет лишь тогда, когда заявляет, что она правдиво отражает реальность. Но он не лжет, если признает, что всего лишь пытается создать новую интерсубъективную сущность. Так, подписанная в 1787 году Конституция США не раскрывала никакой истины о мире, но при этом она не была и ложью. В первых же строках ее авторы признали, что это юридическая фикция, созданная людьми. При этом Конституция США более двух столетий поддерживает порядок среди миллионов жителей страны.

«Порядок», отмечает автор, не следует путать со справедливостью или правосудием. Порядок, созданный Конституцией США, оправдывал рабство и другие формы неравенства. Но именно за счет признания самой себя юридической фикцией Конституция предусматривала механизмы исправления в ней ошибок. Так, менее чем через сто лет после создания Конституции тринадцатая поправка отменила рабство. Этим Конституция США принципиально отличается от историй, которые отрицают свою вымышленную природу и претендуют на божественное происхождение, таких как десять заповедей. В десятой заповеди говорится: «Не желай жены ближнего твоего, ни раба его, ни рабыни его», – то есть рабовладение в целом не осуждается. Но механизма внесения поправок в десять заповедей не предусмотрено.

Все политические системы основаны на фикциях, но одни признают это, а другие нет. Честность в отношении истоков социального порядка упрощает внесение в него изменений. Но признание его человеческого происхождения не помогает убедить всех с ним примириться. Поэтому для поддержания порядка разные правители веками заявляли, что основы социального уклада ниспосланы с небес. В начале XXI века многие политические системы все еще заявляют о своих надчеловеческих истоках и пресекают дискуссии, которые могут привести к нежелательным переменам.

Извечная дилемма

Осознавая ключевую роль вымысла в истории человечества, можно представить более полную модель информационных сетей, выходящую за рамки как наивного взгляда на информацию, так и его популистской критики. Информация не истина в сыром виде, но и не только оружие. Для выживания и процветания каждая человеческая информационная сеть должна одновременно делать две вещи: открывать истину и создавать порядок.

Накопление большого количества информации еще не гарантирует ни истины, ни порядка. Использовать информацию одновременно для выяснения истины и поддержания порядка очень сложно. К тому же порядок зачастую легче поддерживать с помощью вымысла. А вымышленные истории (как, например, религии) чаще отрицают свою фиктивную природу. В подобных случаях поиск истины угрожает основам социального порядка и государство может предпочесть порядок, ограничив поиск истины. Пример – теория эволюции Дарвина, которая расширяет знания о происхождении человека, но подрывает базовые мифы, на которых держится социальный порядок в целом ряде стран. Вот почему отдельные правительства запрещают или ограничивают ее преподавание.

Связанная с этим проблема заключается в том, что информационная сеть может поощрять людей к поиску истины лишь в отдельных областях, где это не угрожает социальному порядку. В результате получается очень мощная сеть, которой крайне не хватает мудрости. В нацистской Германии, например, поощрялось изучение химии, оптики, машиностроения и ракетостроения, но не разрешалось подвергать сомнению расистские теории. В итоге научные достижения были поставлены на службу безумной и кровожадной мифологии.

Вот почему история человеческих информационных сетей – не движение вперед, а хождение по канату в поиске баланса между истиной и порядком. И повышение скорости и эффективности информационных технологий не обязательно сделает мир лучше. Этот урок был преподан человечеству еще десятки тысяч лет назад, с появлением первых историй. И тот же урок был преподан снова, когда люди изобрели вторую информационную технологию – письменный документ.

Глава 3

Документы: хватка бумажных тигров

Истории заложили основу для масштабного сотрудничества и сделали людей самыми могущественными животными на земле. Но как информационная технология истории имеют свои недостатки. Чтобы их увидеть, автор предлагает задуматься о роли историй в формировании наций. Многие нации впервые возникли в воображении поэтов; например, первых сионистов вдохновляли Теодор Герцль и Хаим Нахман Бялик. Но украинский еврей Бялик и венгерский еврей Герцль хорошо знали о преследованиях евреев-ашкеназов в Восточной Европе и плохо представляли себе ситуацию в Палестине. Игнорируя демографические реалии, Бялик и Герцль придавали большое значение мифологии, прежде всего библейским историям, без которых немыслим современный сионизм. Кроме того, на них повлияли национальные мифы, созданные в XIX веке почти всеми этническими группами Европы. Герцль писал, что нации возникают «из мечты, песен, фантазий».

Но одних лишь песен и фантазий недостаточно для создания полноценного национального государства. Для обеспечения безопасности, образования, здравоохранения и сбора налогов нужно собирать, хранить и обрабатывать огромные объемы информации: данные о недвижимости, платежах, льготах, долгах, запасах, поставках, бюджетах, счетах и зарплатах. Эту информацию нельзя превратить в захватывающую поэму или миф; она существует в виде больших и скучных списков. Любой церкви, университету или библиотеке, помимо священников, ученых и писателей, нужны еще и бухгалтеры.

Списки и истории дополняют друг друга. Национальные мифы легитимизируют налоговую отчетность, а налоговая отчетность помогает превратить вдохновляющие истории в реальные школы и больницы. Главная проблема списков и их принципиальное отличие от историй заключается в том, что списки, как правило, гораздо скучнее, а потому их трудно запоминать. В процессе эволюции мозг человека хорошо приспособился усваивать, запоминать и обрабатывать даже очень большие объемы информации, когда они изложены в виде историй. «Рамаяна», одно из главных сказаний индуистской мифологии, состоит из 24 тысяч стихов и занимает в современных изданиях около 1700 страниц, но многие поколения индусов запоминали и рассказывали ее наизусть.

Для функционирования сложных государственных систем было недостаточно человеческой памяти и потребовалась особая неорганическая информационная технология. Этой технологией стал письменный документ.

Как убить долги

Письменные документы изобретались неоднократно во многих местах. Подобно историям и другим информационным технологиям, придуманным людьми, они не всегда точно отражали реальность, но независимо от своей правдивости порождали новые сущности. С появлением письменных документов значительно упростилось создание административных систем, царств, религиозных организаций и торговых сетей. По сути, документы изменили сам способ создания интерсубъективных сущностей. В устных культурах интерсубъективные сущности создавались путем рассказывания историй, и их разнообразие ограничивалось возможностями человеческого мозга: люди не могли создать сущность, которую были бы не в силах запомнить. Письменные документы позволили преодолеть это ограничение. Документы не отражали объективную эмпирическую реальность; они сами по себе были реальностью. Они создали прецеденты и модели, которые в будущем стали использоваться компьютерами. Способность компьютеров создавать интерсубъективные сущности – это, в сущности, расширение возможностей глиняных табличек и листов бумаги.

В качестве примера автор рассматривает право собственности. В дописьменных обществах право собственности было интерсубъективной сущностью, создаваемой словами и поведением членов сообщества. Если человек владел полем, это означало, что никто не мог строить жилье и пасти скот на этом поле без его разрешения. В письменных обществах владение полем стало означать, что чье-то право собственности на него зафиксировано в каком-то документе. Право собственности остается интерсубъективной сущностью, создаваемой путем обмена информацией, но теперь информация имеет форму документа. Это означает, что теперь право собственности устанавливает некий центральный орган власти, который составляет и хранит документы. Это также означает, что владелец может продать свое поле, просто передав документ кому-то другому.

Способность документов создавать интерсубъективные сущности отразилась в древнеассирийском диалекте, где документы уподоблялись живым существам, которых можно убить. Договоры ссуды «убивались» (duākum) путем уничтожения таблички после выплаты долга. Иначе долг не считался погашенным. И наоборот, если документ был уничтожен, то долга больше не существовало, даже если он не был выплачен. При составлении конституций, мирных договоров и коммерческих контрактов юристы, политики и бизнесмены спорят о каждом слове, поскольку знают, что эти бумаги наделяются огромной властью.

Бюрократия

У каждой новой информационной технологии есть свои слабые места. Она решает ряд старых проблем, но при этом создает новые. Письменные документы намного лучше человеческого мозга хранят определенные типы информации, но они породили сложную проблему поиска информации.

Мозг удивительно эффективно извлекает любую информацию из своей сети, состоящей из десятков миллиардов нейронов и триллионов синапсов. Человек способен за секунду выудить из памяти нужные сведения, хотя ученые до сих пор толком не понимают, какой нейробиологический механизм за этим стоит. За миллионы лет эволюции процессы поиска информации в мозге оптимизировались, но когда люди доверили хранение информации документам, стало невозможно полагаться в поиске на оптимизированную биологическую систему человека. Способность человека к поиску пищи здесь тоже малополезна: люди знают, как искать в лесу грибы и ягоды, потому что те подчиняются определенному органическому порядку; но документы этому порядку не подчиняются. Архивариям пришлось разработать новый порядок, который называется бюрократией.

Именно посредством бюрократии люди в крупных организациях решают проблему поиска информации, тем самым создавая более крупные и мощные информационные сети. Но бюрократия, как и мифология, часто жертвует истиной ради порядка. Изобретя новый порядок и навязав его человечеству, бюрократия исказила представление людей о мире. Многие проблемы информационных сетей XXI века – квинтэссенция бюрократических проблем, возникших задолго до того, как люди вообще стали задумываться о компьютерах.

Бюрократия и поиск истины

В буквальном переводе бюрократия означает «власть письменного стола». Этот термин появился во Франции в XVIII веке, когда типичный чиновник сидел за письменным столом с выдвижными ящиками – bureau. Таким образом, в основе бюрократического порядка лежат выдвижные ящики. Бюрократия решает проблему поиска информации, разделяя мир на ящики и определяя, какой документ в каком ящике хранить.

Однако за этот принцип приходится платить. Вместо попыток понять мир таким, какой он есть, бюрократия навязывает миру искусственный порядок. Сначала бюрократы изобретают различные ящики, которые представляют собой интерсубъективные сущности, а затем пытаются втиснуть в эти ящики весь мир. Если не получается, они просто давят сильнее. Каждый, кому доводилось заполнять официальные бланки, знает это по себе: если ни один из предложенных в графе вариантов вам не подходит, вы должны сами приспособиться к бланку, а не он к вам. Сведение хаотичной реальности к ограниченному набору ящиков помогает бюрократам поддерживать порядок, но это происходит в ущерб истине. Из-за своей зацикленности на ящиках бюрократы часто формируют искаженное представление о мире.

Стремление втиснуть реальность в жесткие рамки также заставляет бюрократов преследовать узкие цели, даже когда их действия имеют самые широкие последствия. Чиновник, стремящийся нарастить производство, может проигнорировать экологические соображения, которые выходят за рамки его компетенции, и разрешить сброс отходов в ближайшую реку.

Искажения, порождаемые бюрократией, влияют и на научные дисциплины. Так, университеты делятся на факультеты и кафедры, и история в них всегда отделена от биологии и математики, хотя это деление не отражает объективной реальности. Это интерсубъективное изобретение бюрократов от науки.

Чтобы показать, как хаотичный и изменчивый мир загоняется в жесткие бюрократические рамки, автор обращается к примеру конкретной научной дисциплины – биологии. Прежде чем Дарвин объяснил происхождение видов, его предшественники должны были дать определение понятию «биологический вид» и классифицировать по видам все живые организмы. Это оказалось сложной и нескончаемой работой, поскольку животные, растения и другие организмы часто не вписываются в отведенные им «ящики». Вся суть эволюции в том, что виды постоянно меняются, разделяются и смешиваются, а значит, их распределение по жестким ящикам искажает биологическую реальность. В случае с вирусами ученые вообще не могут прийти к единому мнению о том, считать ли их формой жизни. Но даже сама грань между живой и неживой природой не является объективной реальностью; это интерсубъективная конвенция.

Конечно, интерсубъективные конвенции сами по себе тоже часть реальности. По мере того как люди становятся более могущественными, их интерсубъективные убеждения все больше влияют на мир за пределами их информационных сетей. Например, отнесение каких-либо животных к «вымирающим видам» – интерсубъективная конвенция, но она имеет далеко идущие последствия: в частности, на ее основании может быть введен запрет на охоту. То есть бюрократическое решение о том, в какой «ящик» поместить животное, может сохранить этому животному жизнь или обречь его на смерть.

Глубинное государство

В защиту бюрократии автор отмечает, что она жертвует истиной и искажает понимание мира ради порядка, без которого сложно поддерживать масштабную человеческую сеть. Автор признает, что бюрократия не бывает идеальной, но задается вопросом: есть ли лучший способ управлять большими сетями? Например, если отменить все научные классификации, все кафедры, факультеты и профильные журналы, придется ли каждому будущему врачу посвящать годы изучению истории, и будут ли люди, изучавшие влияние чумы на христианскую теологию, считаться специалистами по вирусологии? Приведет ли это к улучшению систем здравоохранения?

Тем, кто мечтает об упразднении всей бюрократии ради более целостного познания мира, автор напоминает, что больницы – тоже бюрократические институты. В них есть разные отделения, и в каждом своя иерархия, протоколы и бланки. Они страдают множеством бюрократических недугов, но все же лечат людей от недугов физических. То же касается практически всех ведомств, делающих жизнь лучше, от школ до канализационных служб.

Когда человек спускает воду в туалете, нечистоты уходят под землю – в «глубинное государство». Существует сложная подземная сеть, которая собирает отходы, отделяя их от источников питьевой воды. Кто-то должен проектировать, строить и обслуживать эту глубинную сеть. Это тоже работа бюрократии, и люди могут погибнуть, если упразднят коммунальные службы. Под землей сточные воды легко могли бы смешаться с питьевой водой, но, к счастью для людей, есть бюрократы, которые их разделяют.

До появления современных систем канализации передающиеся через воду инфекционные болезни уносили миллионы жизней. В 1854 году в Лондоне произошла вспышка холеры. Врач Джон Сноу предположил, что причина кроется в источнике воды. Он изучил данные о заболевших и вычислил эпицентр вспышки: водоразборную колонку на Брод-стрит в Сохо, после чего убедил власти отключить колонку. Эта скучная бюрократическая работа спасла жизни людей. Оказалось, что вода в колонку поступала из колодца, вырытого менее чем в метре от зараженной холерой выгребной ямы.

Открытие Сноу и дальнейшая работа ученых, инженеров, юристов и чиновников привели к появлению обширной бюрократии, регулирующей работу водоразборных колонок и канализационных труб. Канализацию не воспевают в эпосах, но она является важным признаком хорошо работающего государства.

Биологические драмы

Мифология и бюрократия – два столпа любого масштабного общества. Но если мифологией, как правило, восхищаются, к бюрократии обычно относятся с недоверием. Для многих само слово «бюрократия» несет негативный оттенок. Людям трудно оценить пользу и вред конкретной бюрократической системы, поскольку сложно получить всю необходимую информацию и еще сложнее ее интерпретировать.

Документы, архивы, бланки, лицензии, нормативные акты и бюрократические процедуры изменили способ распространения информации, а вместе с тем и методы работы власти. Это серьезно усложнило понимание власти.

В бесписьменных племенных обществах человеческая сеть состоит только из цепочек «человек – человек» и «человек – история». Власть принадлежит тем, кто контролирует узлы, связывающие цепочки. Эти узлы – космогонические мифы племени: лидеры используют их для формирования идентичности, создания альянсов и манипулирования эмоциями. В человеческих сетях, связанных письменными документами и бюрократическими процедурами, появляется и третий тип цепочек: «человек – документ». В бюрократическом обществе люди не только рассказывают истории, но и обмениваются документами. Более того, документы заставляют людей взаимодействовать с другими документами.

Это привело к перераспределению власти. Когда документы стали важнейшим звеном, связывающим множество социальных цепочек, власть обрели администраторы, бухгалтеры и юристы, которые разбираются в документах, умеют пользоваться неочевидными лазейками и ориентируются в лабиринтах ведомств и комитетов.

Такое перераспределение власти изменило баланс сил в мире. Бюрократия, как правило, укрепляет центральную власть в ущерб простым гражданам. Система позволяет центру собирать гораздо больше информации о людях, тогда как последним становится гораздо труднее разобраться в работе самой системы.

Разобраться во многих аспектах жизни людям традиционно помогало искусство, но в случае с бюрократией оно малополезно. Дело в том, что в искусстве обычно используется ограниченный набор сюжетов, восходящих к биологии человека, но биологические драмы не проливают свет на работу бюрократии. В качестве примера автор рассматривает сюжет древнеиндийского эпоса «Рамаяна». В его основе лежит сразу несколько биологических драм, в числе которых конкуренция между сиблингами, конкуренция за брачного партнера и противопоставление чистого и грязного. Однако, хотя действие «Рамаяны» разворачивается в условиях крупных аграрных царств, в ней почти не уделяется внимания вопросам права собственности, сбора налогов, систематизации архивов или финансирования войн. Соперничество сиблингов, любовные треугольники и прочие сюжетные линии не помогают разобраться в сложной системе документов, у которых нет братьев и сестер и вообще никакой личной жизни.

Франц Кафка и некоторые другие авторы смогли показать сюрреалистичное влияние бюрократии на жизнь людей, придумав новые, небиологические сюжеты. Ужас кафкианских историй проистекает от непостижимости угрозы: эволюция подготовила человеческий разум к пониманию смерти от зубов тигра, но людям гораздо труднее осознать смертельную опасность документов.

«Перебить всех законников»

Из-за непонимания бюрократических реалий люди чувствуют себя беспомощными перед лицом непостижимых зловещих сил, им кажется, что бюрократия – это злонамеренный заговор.

В XVI веке итальянский поэт Лудовико Ариосто описал аллегорическую фигуру Распри как женщину, у которой в руках множество документов с подписями и печатями. В исторической хронике Шекспира «Генрих VI, часть 2» бунтарь-простолюдин предлагает план по установлению лучшего социального порядка: «Первым делом, – говорит он, – мы перебьем всех законников». Мятежники приводят клерка, которого обвиняют в том, что он умеет читать и писать, и лидер повстанцев Джек Кэд приказывает повесить его с пером и чернильницей на шее.

Во время восстания Уота Тайлера в 1381 году повстанцы обрушили свой гнев не только на чиновников, но и на документы, уничтожив многочисленные архивы. С гибелью документов исчезали все обязательства. Подобные атаки на архивы происходили и в ходе многих других мятежей, от Великого еврейского восстания в 66 году н. э. до Французской революции 1789 года. Даже неграмотные повстанцы понимали, что без документов бюрократическая машина не сможет функционировать.

Автор понимает недоверие людей к властной бюрократии и всемогущим документам, поскольку они сыграли значимую роль в истории его семьи. Жизнь его деда Бруно пошла кувырком из-за невозможности документально подтвердить факт своего рождения на территории, аннексированной Румынией после Первой мировой. Автор признается, что в его семье принято хранить все документы, на которых стоит официальная печать. Никто не знает, какой документ может однажды спасти жизнь.

Волшебный документ

Все мощные информационные сети, в том числе бюрократические, могут нести как пользу, так и вред, в зависимости от того, как они выстроены и как используются. Простое увеличение объема информации в сети не гарантирует ее полезности и не облегчает поиск баланса между истиной и порядком. Это главный исторический урок для создателей и пользователей новых информационных сетей XXI века.

Грядущие информационные сети, особенно основанные на ИИ, во многом будут отличаться от предыдущих. ИИ постепенно берет на себя роль и бюрократов, и мифотворцев. Инструменты ИИ уже умеют находить и обрабатывать данные лучше, чем бюрократы из плоти и крови, а теперь ИИ учится слагать истории лучше большинства людей.

Информационные сети не максимизируют истину, а стремятся найти баланс между истиной и порядком, напоминает автор. Бюрократия и мифология равно необходимы для поддержания порядка, и обе легко жертвуют ради порядка истиной. Какие же механизмы гарантируют, что бюрократия и мифология не откажутся от истины полностью, и какие механизмы позволяют информационным сетям выявлять и исправлять собственные ошибки, даже ценой некоторого беспорядка?

Рассказывая, как человеческие информационные сети решают проблему ошибок, автор начинает с истории изобретения еще одной информационной технологии – священной книги, призванной обслуживать все жизненно важные информационные потребности общества и исключать любую возможность собственных ошибок. История «непогрешимых» священных книг указывает на ряд недостатков всех информационных сетей и дает важные уроки тем, кто задумывается о создании безошибочных ИИ в XXI веке.

Глава 4

Ошибки: фантазия о непогрешимости

Святой Августин говорил: «Человеку свойственно ошибаться; упорствовать в заблуждении свойственно дьяволу». Склонность людей к ошибкам и необходимость их исправлять занимают важное место в любой мифологии. В христианской мифологии вся история представляет собой попытки искупить первородный грех Адама и Евы. Бюрократия тоже постоянно пытается выявлять и исправлять ошибки. Сложные бюрократические системы обычно имеют внутренние дисциплинарные органы, а в случае катастрофы – например, военного поражения или финансового краха – создают комиссии по расследованию, чтобы разобраться, что пошло не так, и предотвратить подобные ошибки в будущем.

Чтобы механизмы самокоррекции работали, им нужна легитимность. Если людям свойственно ошибаться, как знать, не дадут ли сбой и механизмы самокоррекции? Чтобы выйти из этого замкнутого круга, люди пытались придумать некий безошибочный надчеловеческий механизм, на который можно было бы положиться в выявлении и исправлении человеческих ошибок. Сегодня некоторые верят, что такой механизм сможет обеспечить ИИ. Например, Илон Маск заявил, что собирается запустить TruthGPT – ИИ, нацеленный на поиск истины. Но это опасная фантазия, считает автор. В прошлом подобные фантазии принимали религиозную форму, а самой важной функцией религии традиционно было обеспечение надчеловеческой легитимности социального порядка.

Вывести людей из контура

В основе каждой религии лежит фантазия о связи с надчеловеческим разумом, неспособным на ошибку, поэтому изучение истории религий весьма актуально в контексте современных дискуссий об ИИ.

На протяжении всей истории разные люди утверждали, что несут послания богов, но эти послания часто противоречили друг другу. Как было отличить истинную волю богов от фантазий и выдумок обычных людей, которым свойственно ошибаться? Религия стремится вывести людей из контура и дать им безошибочные надчеловеческие законы, однако сама религия то и дело сводится к проблеме доверия тому или иному человеку.

Одним из решений стало создание религиозных институтов для проверки предполагаемых божьих посланников. Но поскольку в них работали все те же несовершенные люди, эти институты тоже были подвержены ошибкам и коррупции. Даже Пифию, верховную жрицу храма Аполлона в Дельфах, однажды подкупили, чтобы она подговорила спартанцев свергнуть афинского тирана Гиппия. (Это в итоге привело к установлению афинской демократии.)

Поскольку пророк из плоти и крови тоже мог сфальсифицировать волю бога, ключевая проблема религии не решалась созданием таких религиозных институтов, как храмы и жреческие сословия. Можно ли было в этой системе обойтись вообще без людей?

Безошибочная технология

Священные книги, такие как Библия или Коран, представляют собой технологию, позволяющую обойти человеческую склонность к ошибкам. Иудаизм, христианство, ислам и другие книжные религии выстроены вокруг таких технологических артефактов. Книга – это фиксированный набор неотделимых друг от друга текстов, который имеет множество идентичных копий. Это отличает книгу от устных рассказов, деловых документов и архивов. При устном пересказе историй со временем неизбежно возникают вариации, а у книги все копии идентичны. Документы, в отличие от книги, обычно невелики и часто существуют только в одном экземпляре. От архива же книга отличается тем, что в архивах хранятся разные наборы текстов, а во всех копиях книги содержатся одни и те же главы и разделы. Таким образом, книга обеспечивает доступ к одной базе данных множеству людей в разное время и в разных местах.

Книга стала важной религиозной технологией в первом тысячелетии до нашей эры. Религиозные течения стали заявлять, что боги используют новую технологию вещания – книгу. Одна особая книга содержит все божественные откровения обо всем на свете – от сотворения мира до правил питания. Что особенно важно, ни один священник, пророк или человеческая институция не забудут и не исказят эти откровения, потому что слова несовершенных людей всегда можно сравнить с тем, что написано в безошибочной книге.

Но книжные религии столкнулись со своими проблемами. Самая очевидная из них – кто решает, что включать в священную книгу? Первый экземпляр все-таки не сходит с небес, его составляют люди. И все же верующие надеялись, что эту проблему можно решить раз и навсегда. Если самые мудрые и авторитетные люди однажды договорятся о содержании священной книги, то с этого момента можно вывести людей из контура, и божественный текст навсегда будет защищен от человеческого вмешательства.

Против такой процедуры можно было бы выдвинуть множество возражений, но именно так составлялась еврейская Библия (Танах).

Сотворение еврейской Библии

В первом тысячелетии до нашей эры иудейские пророки, священники и ученые создали обширный массив историй, документов, пророчеств, стихов, молитв и хроник. В библейские времена Библии как единой священной книги не существовало. Ни царь Давид, ни пророк Исаия не держали ее в руках.

Иногда ошибочно утверждают, что древнейший из сохранившихся экземпляров Библии содержится в свитках Мертвого моря. Однако в них нет указаний на то, что двадцать четыре книги Ветхого Завета считались в то время единой и полной базой данных. Многие свитки содержат тексты, не вошедшие в библейский канон, но даже те, что вошли в него, отличаются от современных версий. Например, канонический текст Второзакония 8:6 требует от верующих бояться Бога, тогда как текст из свитков Мертвого моря призывает любить Бога. Есть и гораздо более серьезные расхождения.

Греческая Септуагинта – древнейший перевод Библии, выполненный между III и I веками до н. э., – тоже во многом отличается от более поздней канонической версии, как по своему составу, так и по объему включенных в нее книг.

Потребовались столетия споров между раввинами, чтобы упорядочить базу данных и решить, какие тексты включать в Библию как официальные слова Господа, а какие нет. Так, одни раввины отвергали Песнь песней как светскую любовную лирику, другие защищали ее как богодухновенное творение царя Соломона. В целом консенсус, по-видимому, был достигнут к концу II века н. э., но споры о деталях велись еще сотни лет.

В процессе канонизации было решено, что книга Бытия – слово Господа, а книга Еноха, Житие Адама и Евы и Авраамов завет – человеческие измышления. Псалтирь Давида вошла в канон (за исключением псалмов 151–155), а Соломонова псалтирь – нет. Книга Малахии была одобрена, книга Варуха – нет. Хроники – да, Маккавеи – нет.

После утверждения канона евреи стали забывать о роли человеческих институтов в сложном процессе составления Библии. Когда священная книга была утверждена, у евреев появилась надежда, что отныне им будут доступны точные слова Господа, которые не исказит ни один ненадежный человек и ни одна продажная институция.

На две тысячи лет предвосхитив идею блокчейна, евреи начали копировать священную книгу, чтобы у каждой еврейской общины имелась по крайней мере одна копия. Тем самым предполагалось демократизировать религию и ограничить власть потенциальных автократов, а также предотвратить вмешательства в текст. Казалось, отныне безошибочная технология книги гарантирует социальный порядок.

Возвращение института

Согласование содержания священной книги было не единственной проблемой; другая проблема была связана с ее копированием. Еврейские общины расселялись по всему миру, и трудно было гарантировать, что переписчики не исказят священный текст. Раввины разработали строгие правила копирования, однако ошибки все равно случались, и не существует двух абсолютно идентичных древних Библий.

Еще одна, гораздо более серьезная проблема касалась толкования. Одни и те же слова священного текста люди могут интерпретировать по-разному. Например, в Библии сказано, что нельзя работать в Шаббат, но не объясняется, что считать работой. Говорится, что не следует варить козленка в молоке его матери, но насколько буквально нужно трактовать этот запрет?

Кроме того, мир менялся, и старые правила было все труднее увязать с новыми условиями. Библейские тексты рассказывали о жизни пастухов и земледельцев в Палестине и Иерусалиме, но ко II веку н. э. большинство евреев жили в других местах и не находили в Библии ответов на насущные вопросы. Неизбежно возникало множество толкований, более последовательных, чем сама книга. Чем больше евреи спорили о толковании Библии, тем больше влияния обретали раввины, ставшие, по сути, еврейской технократической элитой. Попытка обойти несовершенные человеческие институты с помощью новой информационной технологии привела к обратному результату из-за потребности в человеческом институте для толкования священной книги.

После долгих споров о том, какие мнения раввинов учитывать, а какие нет, в III веке н. э. была канонизирована новая священная книга – Мишна. Сразу после этого начались споры о толковании Мишны, а когда раввины договорились по поводу толкования Мишны, это толкование канонизировали в V–VI веках как третью священную книгу – Талмуд. И евреи тут же начали спорить о толковании Талмуда.

Мечта обойти ненадежные человеческие институты с помощью технологии священной книги так и не сбылась. С каждой итерацией власть института раввинов только возрастала. «Доверяй безошибочной книге» превратилось в «доверяй людям, которые толкуют книгу». Талмуд повлиял на иудаизм гораздо больше, чем Библия, а споры раввинов о толковании Талмуда стали даже важнее самого Талмуда. Это неизбежно, поскольку мир постоянно меняется. Возникают новые вопросы, на которые нет ответов в Мишне и Талмуде. Например, можно ли в Шаббат нажимать кнопки лифта?

В иудаизме произошел глубокий сдвиг: из религии жрецов и храмов он превратился в «информационную религию», одержимую текстами и интерпретациями. Когда римляне разрушили Иерусалимский храм и все храмовые ритуалы прекратились, раввины еще столетиями усердно писали тексты о правилах проведения этих ритуалов, а затем спорили о толковании этих текстов. Тексты и споры о них были для них гораздо важнее самих ритуалов.

В конце концов раввины пришли к убеждению, что вся вселенная представляет собой информационную сферу – мир, состоящий из слов и движимый алфавитным кодом еврейских букв. Для раввинов слова в текстах зачастую были важнее любых фактов в мире. Точнее, слова священных текстов становились важнейшими фактами о мире, влияя на жизнь отдельных людей и целых сообществ.

Разделенная Библия

На самом деле процесс канонизации Библии породил не одну цепочку текстов, а несколько конкурирующих цепочек. Были люди, которые верили в Бога, но не в раввинов. Большинство из этих сектантов признавали первое звено цепочки (которое называли Ветхим Заветом), но не признавали институт раввинов и впоследствии отвергли Мишну и Талмуд. Этими сектантами были христиане.

В I веке н. э. христианство еще не было единой религией, а представляло собой множество течений, считавших высшим авторитетом в отношении слова Божия не институт раввинов, а Иисуса Христа. В I–III веках христиане предлагали все больше толкований священных текстов и распространяли новые послания Господа, и становилось все труднее понять, какие из них принимать в расчет. В IV веке церковные соборы в Гиппоне и Карфагене канонизировали список историй, посланий и пророчеств, рекомендованный к чтению епископом Афанасием Александрийским. Эта книга стала известна как Новый Завет.

Создатели Нового Завета были не авторами вошедших в него текстов, а лишь кураторами. Наряду со списком Афанасия существовали и другие списки, и некоторые христианские церкви придерживаются своих канонов. Неизвестно, почему те или иные тексты одобрялись или отвергались разными церквями, но последствия оказались весьма серьезными: ведь тексты стали влиять на сами церкви. В качестве примера автор рассматривает подчиненную роль женщин в обществе и церкви. Включив в канон женоненавистническое Первое послание к Тимофею и отвергнув Деяния Павла и Фёклы, где женщине отводится активная роль, епископы и богословы предопределили отношение христиан к женщинам на много веков вперед.

Если в иудаизме канонизация священных книг сопровождалась созданием института раввинов, то в христианстве канонизация Нового Завета сопровождалась созданием единой христианской церкви. Попытка наделить всей полнотой власти предположительно безошибочную надчеловеческую технологию привела к расцвету нового и чрезвычайно могущественного человеческого института – церкви.

Информационный пузырь

Проблемы толкования текстов смещали баланс сил между священной книгой и церковью в пользу последней. Одни и те же слова Иисуса или Павла можно было трактовать по-разному, и именно институт церкви решал, как правильно. Саму же церковь то и дело сотрясала борьба за право толковать Писание, что вело к институциональным расколам, в частности между католической и православной церковью.

Слова о любви к врагам и непротивлении злу католическая церковь трактовала не в пацифистском духе, а тем способом, который позволил ей завладеть обширными землями, начать Крестовые походы и учредить инквизицию. Свое богатство и влияние церковь использовала для распространения угодных ей текстов, запрещая неугодные.

Конечно, церковь не могла помешать отдельным вольнодумцам высказывать еретические идеи. Но поскольку она контролировала ключевые узлы средневековой информационной сети (мастерские переписчиков, архивы и библиотеки), она не позволяла еретикам копировать и распространять сотни экземпляров их книг. По сути, церковь стремилась удержать общество в информационном пузыре.

Католические эксперты в области информации целыми днями читали толкования Фомы Аквинского на толкования Блаженного Августина на послания святого Павла и писали собственные толкования. Все эти тексты не отражали реальность; они создавали новую информационную сферу, еще более обширную и мощную, чем созданная еврейскими раввинами. Повседневная жизнь, мысли и чувства средневековых европейцев диктовались текстами о текстах о текстах.

Книгопечатание, наука и ведьмы

Попытка обойти склонность человека к ошибкам, наделив властью безошибочный текст, так и не увенчалась успехом. Слово Божие никогда не толковало само себя, а потому не только иудеи и католики, но и протестанты в итоге создали свои церковные институты и наделили их полномочиями толковать тексты и преследовать еретиков.

Если священные тексты ведут к появлению несовершенных церквей, то как решить проблему человеческих ошибок? Согласно наивному взгляду, для этого нужно лишь убрать все препоны для свободного распространения информации. Автор не соглашается с этим тезисом и напоминает о событиях эпохи печатной революции в Европе. В середине XV века появление печатного станка сделало возможным массовое производство любых текстов, даже неугодных церкви. С 1454 по 1500 год в Европе было напечатано более 12 млн томов, тогда как за предыдущую тысячу лет писцы изготовили всего около 11 млн копий.

Считается, что печатная революция в Европе ослабила контроль католической церкви над европейской информационной сетью и привела к научной революции. В этом есть доля правды, соглашается автор, ведь без технологии печати Галилею и Копернику было бы сложнее распространять свои идеи. Но книгопечатание способствовало распространению не только научных фактов, но и религиозных фантазий, лжи и теорий заговора. Одним из самых печально известных последствий этого стала охота на ведьм.

В 1486–1487 годах доминиканский монах и инквизитор Генрих Крамер написал и опубликовал «Молот ведьм». В этой книге Крамер подробно описал мировой заговор и способы разоблачения и обезвреживания ведьм. Он рекомендовал применять пытки для получения признаний и считал казнь единственным возможным наказанием для виновных. Опираясь на древние мизогинные тексты, он сексуализировал колдовство, утверждая, что оно проистекает из женской похоти. Церковники не одобряли «Молот ведьм», однако в Европе раннего Нового времени он стал бестселлером.

Печатный станок не стал причиной охоты на ведьм, но сыграл ключевую роль в быстром распространении веры в сатанинский заговор. Вслед за «Молотом ведьм» появилась лавина печатных буклетов на ту же тему, и все это подпитывало массовую истерию, которая в XVI–XVII веках привела к пыткам и казням от 40 до 50 тысяч невинных людей. Идеи Крамера влияют на мир и по сей день, вдохновляя современные теории заговора, такие как QAnon.

Испанская инквизиция спешит на помощь

Поскольку охотники на ведьм опирались на идею мирового заговора, обвиняемых в колдовстве пытали, чтобы узнать имена сообщников, а затем пытали и этих предполагаемых сообщников. Тех, кто выступал против таких абсурдных методов, тоже обвиняли в колдовстве.

История охоты на ведьм иллюстрирует темную сторону создания информационной сферы. Охота на ведьм подпитывалась информацией, которая не отражала реальность, а создавала новые сущности. В реальности никто не знался с Сатаной и не летал на метле, но ведьмы были интерсубъективной сущностью: они появились в результате обмена информацией о ведьмах.

Таким обменом информацией занималась целая бюрократическая система. Богословы, юристы, инквизиторы, владельцы типографий и охотники на ведьм зарабатывали на жизнь сбором и распространением сведений о ведьмах, каталогизацией ведьм, изучением их поведения и советами по борьбе с ними.

Новая интерсубъективная сущность была настолько убедительной, что даже некоторые обвиняемые верили в свое участие в заговоре: ведь люди, как уже говорилось, способны усваивать ложные воспоминания. Охота на ведьм была вызвана распространением токсичной информации. Это яркий пример проблемы, созданной информацией и усугублявшейся с увеличением ее объема.

К такому выводу пришли не только современные ученые, но и проницательные наблюдатели того времени. В начале XVII века испанский инквизитор Алонсо де Саласар-и-Фриас тщательно изучил ведовские процессы и не нашел никаких доказательств реального колдовства. Он заключил, что «не было ни ведьм, ни околдованных ими, пока о них не начали говорить и писать». Саласар-и-Фриас хорошо уловил суть интерсубъективных сущностей и верно определил всю индустрию охоты на ведьм как интерсубъективную информационную сферу.

История охоты на ведьм показывает, что устранение барьеров на пути информационных потоков не всегда ведет к торжеству истины. Оно с тем же успехом может привести к распространению лжи. Абсолютно свободный рынок идей может стимулировать распространение ненависти и сенсаций в ущерб истине. Причина понятна: печатники и книготорговцы зарабатывали гораздо больше на «Молоте ведьм», чем на трактате Коперника. Научную революцию запустил не печатный станок и не свободный рынок информации, а новый подход к проблеме человеческих ошибок.

Открытие невежества

Свободный рынок информации не всегда побуждает людей находить и исправлять свои ошибки. Для торжества истины необходимы курирующие институты, способные склонить чашу весов в пользу фактов. Но институты могут использовать свое влияние для подавления критики. Возможно ли создать эффективные курирующие институты, которые использовали бы свой авторитет для поиска истины, а не для укрепления своей власти?

Такие институты как раз и появились в Европе раннего Нового времени, и именно они, по мнению автора, заложили основу для научной революции. Это были даже не университеты, а научные ассоциации, журналы и издательства, которые объединили ученых и создали обширную информационную сеть. Чтобы научная революция набирала обороты, ученые должны были доверять информации, публикуемой коллегами. Это доверие как раз и поддерживали новые институты, привлекая внимание к открытиям Коперника, а не к выдумкам Крамера. Редакторов научных журналов не интересовало, сколько люди будут готовы заплатить за чтение статьи; их интересовали доказательства того, что в статье написана правда.

Поначалу новые институты казались хлипкими, им не хватало влияния для социальных преобразований. Но научные институты обрели это влияние за счет весьма оригинальной претензии на доверие. Если церковь призывала людей доверять ей на том основании, что она владеет абсолютной истиной, то научные институты завоевали авторитет благодаря сильным механизмам самокоррекции, позволявшим находить и исправлять ошибки. Именно эти механизмы самокоррекции, а не технология печати, стали двигателем научной революции.

Иными словами, научная революция началась с открытия невежества. Наука – это коллективная работа, опирающаяся на сотрудничество институтов, а не на отдельных ученых или какую-нибудь одну безошибочную книгу. Конечно, институты тоже подвержены ошибкам. Однако научные институты отличаются от религиозных тем, что поощряют не конформизм, а скептицизм и инновации. А от теорий заговора научные институты отличаются тем, что поощряют скептицизм по отношению к себе. Среди научных институтов существует широкий консенсус по многим теориям, но лишь потому, что эти теории выдержали многочисленные попытки их опровергнуть, предпринимавшиеся не только сторонними субъектами, но и представителями самих институтов.

Механизмы самокоррекции

Как информационная технология механизм самокоррекции полностью противоположен священной книге, поскольку предполагает возможность ошибок. Под самокоррекцией автор подразумевает механизмы, которые некая сущность использует для исправления самой себя. Когда научный журнал публикует статью, где исправляется ошибка, обнаруженная в предыдущей статье, это пример действия механизма самокоррекции.

Механизмы самокоррекции повсеместно распространены в природе. Например, благодаря им дети учатся ходить: делая неловкие движения и падая, они постепенно корректируют свои действия. Постоянной самокоррекции требуют и многие процессы в организме: показатели кровяного давления, температуры тела или уровня сахара не должны выходить за пределы допустимых значений, иначе человек может умереть.

Институты тоже погибают без механизмов самокоррекции. Все институты, которым удалось просуществовать хотя бы несколько лет, обладают механизмами самокоррекции, но эти механизмы значительно разнятся по эффективности и прозрачности. Например, католическая церковь – институт с относительно слабыми механизмами самокоррекции. Претендуя на непогрешимость, она не может признавать институциональные ошибки. Иногда католическая церковь признает ошибки отдельных своих представителей, но не ошибки в священных текстах. Она всегда использовала механизм самокоррекции для контроля за священниками в их личных делах, но никогда не вырабатывала механизм для внесения поправок в Библию.

Автор считает похвальным, что католическая церковь приносила извинения за ряд своих действий в прошлом (это редкость для религиозных институтов). Однако в каждом случае папы аккуратно перекладывали ответственность со Священного Писания и церкви как института на отдельных церковников. Так, в марте 2000 года папа Иоанн Павел II попросил прощения за исторические преступления против евреев, еретиков, женщин и коренных народов. Он извинился «за применение насилия, какое некоторые вершили во имя истины».

Однако вовсе не горстка заблудших священников начинала Крестовые походы, принимала дискриминационные законы и уничтожала локальные религии по всему миру. В трудах многих отцов церкви и в указах многих пап и церковных соборов немало примеров осуждения «языческих» и «еретических» религий, призывов к дискриминации их приверженцев и насильственному обращению людей в христианство. Конечно, хотя церковь и не признает это официально, со временем она изменила свои институциональные структуры, основные догмы и толкование Священного Писания. Но что характерно для самокоррекции в институтах вроде католической церкви, даже когда она происходит, ее скорее отрицают, чем приветствуют. Первое правило изменения церковных догм – не допускать изменения церковных догм.

Чтобы сохранять свой религиозный авторитет, католическая церковь вынуждена отрицать само существование институциональной системы самокоррекции, поскольку церковь попала в ловушку непогрешимости. Раз она выстроила свое религиозное влияние на претензии на безошибочность, любое публичное признание институциональной ошибки может полностью подорвать ее авторитет.

Библия и «руководство по психическим расстройствам»

В отличие от католической церкви, научные институты строились на основе сильных механизмов самокоррекции. Научные институты признают, что даже если когда-то большинство ученых считали нечто истинным, это все равно может оказаться ошибочным или неточным. В XIX веке теория Ньютона считалась всеобъемлющим описанием вселенной, но в XX веке теория относительности и квантовая механика выявили в ней неточности. Самые знаменательные моменты в истории науки – именно те моменты, когда общепринятые знания опровергаются и рождаются новые теории.

Принципиально важно, что научные институты готовы признавать институциональную ответственность за ошибки и преступления. Например, научные журналы регулярно публикуют статьи с разоблачениями лженаучных теорий, которые когда-то разрабатывались в ведущих научных учреждениях и использовались для оправдания дискриминации и геноцида. Эти ошибки и преступления рассматриваются как институциональный провал целых научных дисциплин.

Готовность признавать институциональные ошибки способствует относительно быстрому развитию науки. Под давлением новых данных доминирующие теории часто отбрасываются уже через пару десятилетий и заменяются новыми.

Множество примеров эффективных механизмов самокоррекции можно найти в области психиатрии. На полках большинства психиатров имеется «Диагностическое и статистическое руководство по психическим расстройствам» (DSM). Его иногда называют Библией психиатров. Но между Библией и DSM есть принципиальное различие. Это руководство, впервые опубликованное в 1952 году, каждые пару десятилетий пересматривается, и в 2013 году вышло уже издание пятого пересмотра. Определения многих расстройств со временем меняются, в список попадают новые заболевания, а некоторые из него исключаются. Конечно, психиатры по-прежнему могут совершать институциональные ошибки, но куда важнее, что они могут признавать их и исправлять.

Публикуйся или умри

Особенно эффективными механизмы самокоррекции в науке делает тот факт, что научные институты не просто готовы признавать институциональные ошибки и заблуждения, а стремятся их разоблачать. Это выражается в системе мотивации, выстроенной в научных институтах. Трудоустройство и карьерный рост там основаны на принципе «публикуйся или умри», а чтобы опубликоваться в престижном журнале, нужно найти ошибку или неточность в существующих теориях или открыть что-то новое.

Конечно, как в религии есть место для самокоррекции, так и в науке есть место для конформизма. Наука – институциональная отрасль, и ученые полагаются на институты практически во всех своих знаниях. Например, чтобы узнать больше об охоте на ведьм в Европе, автор этой книги не перелопатил лично все архивы и не прочел все первоисточники, а опирался на работы других ученых, в частности на книгу Рональда Хаттона, профессора истории Бристольского университета. Автор доверяет прочитанному, поскольку знает, как работают механизмы самокоррекции университетов и научных издательств. Во-первых, эти механизмы встроены в ядро институтов, а не являются довеском к ним. Во-вторых, научные институты публично приветствуют самокоррекцию, а не отрицают ее. Конечно, какая-то информация из книги Хаттона может оказаться неточной, или автор мог неверно интерпретировать прочитанное. Но он надеется, что специалисты обнаружат любые ошибки и расскажут о них.

Критики научных институтов из числа популистов могут возразить, что на самом деле эти институты используют свое влияние для подавления инакомыслия и устраивают свою охоту на ведьм против несогласных. Конечно, если какой-то ученый выступит против сложившегося в его дисциплине консенсуса, это может иметь для него негативные последствия: отклонение статей, отказы в исследовательских грантах, личные нападки, а иногда и увольнение. Однако все это далеко от физических пыток и сожжения на костре.

Автор приводит историю химика Дана Шехтмана, открывшего в 1982 году квазикристаллы. Его коллегам открытие показалось настолько странным, что они даже называли Шехтмана «квазиученым». Но впоследствии выводы Шехтмана подтвердились, и в 2011 году он получил Нобелевскую премию за свое открытие, которое «заставило ученых пересмотреть представление о самой природе материи». Популисты правы, полагая, что ученые подвержены тем же предубеждениям, что и все люди. Однако институциональные механизмы самокоррекции позволяют эти предубеждения преодолеть.

Впрочем, бывали времена, когда механизмы самокоррекции в науке не работали, а несогласие с официальной наукой действительно вело к пыткам, тюрьме и смерти. Такова, например, история Николая Вавилова, критиковавшего лженаучные теории Трофима Лысенко. Лишившись механизмов самокоррекции, Всесоюзная академия сельскохозяйственных наук, по сути, перестала быть научным институтом.

Пределы самокоррекции

Можно ли считать механизмы самокоррекции волшебным средством, способным защитить человеческие информационные сети от ошибок и предвзятости? К сожалению, говорит автор, все гораздо сложнее. Сильные механизмы самокоррекции обычно порождают сомнения, разногласия, конфликты и расколы, а также подрывают мифы, на которых держится социальный порядок.

Конечно, порядок сам по себе не всегда хорош. Например, порядок, сложившийся в Европе раннего Нового времени, поощрял не только охоту на ведьм, но и эксплуатацию миллионов крестьян, притеснение женщин, дискриминацию евреев и мусульман. Но даже если социальный порядок крайне репрессивен, его подрыв не обязательно улучшит ситуацию. Это может привести к хаосу и еще большему угнетению. Принесение порядка в жертву истине сопряжено с издержками, как и принесение истины в жертву порядку.

Научные институты могут позволить себе сильные механизмы самокоррекции, поскольку сложную работу по поддержанию порядка за них выполняют другие институты. Если в лабораторию проникнут воры, ученые не будут жаловаться в научный журнал, а вызовут полицию. Но возможны ли сильные механизмы самокоррекции в других институтах, например в полиции, армии и правительствах, которые сами отвечают за поддержание социального порядка? Демократии верят, что да. Диктатуры же такие механизмы отвергают.

Этот вопрос подробнее освещается в следующей главе. Только разобравшись в информационной политике таких исторических систем, как Древние Афины, Римская империя, США и Советский Союз, утверждает автор, можно перейти к рассмотрению революционных последствий расцвета ИИ, поскольку один из главных вопросов, связанных с ИИ, заключается в том, будет ли он поддерживать демократические механизмы самокоррекции или же подорвет их.

Глава 5

Решения: краткая история демократии и тоталитаризма

В этой главе автор рассматривает демократию и диктатуру как противоположные типы информационных сетей. Он показывает, чем информационные потоки в демократических странах отличаются от информационных потоков в диктатурах и как появление новых информационных технологий укрепляет разные режимы.

Диктатура – это централизованная информационная сеть без сильных механизмов самокоррекции. Демократия же представляет собой распределенную информационную сеть с сильными механизмами самокоррекции.

При диктатуре центр обладает неограниченной властью, а информация стекается в центральный узел, где принимаются ключевые решения. При крайней форме диктатуры, тоталитаризме, центральная власть стремится сосредоточить в своих руках всю информацию и принимать все решения, полностью контролируя жизнь людей. Но перейти к тоталитаризму диктаторам часто мешают технические трудности. В условиях демократии правительство, даже обладая технологиями для контроля над жизнью граждан, оставляет людям пространство для самостоятельных решений. И если при диктатуре все диктует один центральный информационный узел, то при демократии происходит постоянный диалог между разными информационными узлами.

Диктатура большинства

Демократию часто ошибочно отождествляют с выборами. Однако выборы – это еще не демократия, а один из ее механизмов самокоррекции. Без дополнительных механизмов самокоррекции выборы легко сфальсифицировать. И даже абсолютно свободные и справедливые выборы не гарантируют демократию, ведь демократия – не диктатура большинства.

Если избранное большинством правительство решит устроить геноцид меньшинств, это не будет иметь ничего общего с демократией. Демократия – это система, где полномочия центральной власти четко ограничены. Если правительство лишит меньшинства избирательных прав, это разрушит критически важный механизм самокоррекции.

Подобные примеры известны: Гитлер, например, начал отправлять в концлагеря евреев и коммунистов всего через несколько месяцев после прихода к власти по итогам демократических выборов. Однако посягательства на демократию чаще носят более изощренный характер. Лидеры с авторитарными замашками нередко используют демократию для прихода к власти, а затем используют власть для подрыва демократии. Они разрушают механизмы самокоррекции, часто начиная с судов и СМИ: например, лишают суды полномочий или заполняют их своими сторонниками и заменяют независимые СМИ машиной пропаганды.

Когда суды и СМИ становятся марионетками власти, все прочие институты и люди, осмелившиеся выступить против, очерняются и преследуются как предатели, преступники или иностранные агенты. Власти фальсифицируют выборы, заключая в тюрьму популярных лидеров оппозиции, не допуская оппозиционные партии к участию в выборах или лишая людей избирательных прав. Апелляции на эти антидемократические меры отклоняют провластные судьи. Адепты авторитарного стиля обычно не делают последний шаг и не отменяют выборы, а проводят их как ритуал для поддержания видимости демократии.

Адепты авторитарного стиля не считают этот процесс антидемократическим. Напротив, они считают недемократичным любое ограничение полномочий избранного правительства. Однако демократия не означает власти большинства; она гарантирует каждому определенные свободы, которые не вправе отнять даже большинство.

Да, представители большинства вправе формировать правительство и проводить свою политику во множестве областей. Но есть две корзины прав, защищенных от посягательств большинства. В одной из них – права человека. Помимо базового права на жизнь, туда входят право на труд, на неприкосновенность частной жизни и многие другие. Эти права гарантируют людям, что они вправе жить так, как им угодно, если они никому не причиняют вреда.

Во вторую корзину входят гражданские права, которые закрепляют механизмы самокоррекции демократической системы. К ним относятся право голоса, свобода прессы, академические свободы и свобода собраний, которые позволяют независимым СМИ, ученым и оппозиции критически оценивать действия властей. Именно на эти права чаще всего посягают адепты авторитарного стиля. Когда необходимо изменить механизмы самокоррекции государства (например, расширить избирательные права или реформировать судебную систему), это должно делаться только на основе широкого консенсуса с участием как большинства, так и меньшинств. Если бы большинство имело право в одностороннем порядке манипулировать гражданскими правами, оно могло бы легко сфальсифицировать выборы и снять любые ограничения своей власти.

Народ против истины

Границы прав человека и гражданина – вопрос дискуссионный. Есть демократические страны, которые применяют смертную казнь, тем самым лишая некоторых преступников права на жизнь. И каждая страна оставляет за собой право объявлять войны и отправлять граждан убивать и погибать. Кроме того, ведутся дискуссии по поводу прав, входящих в две корзины. Относить ли свободу вероисповедания к базовым правам человека? Считать ли гражданским правом право доступа в интернет? А как насчет прав животных или ИИ?

И права человека, и гражданские права – интерсубъективные конвенции, и в разных демократиях могут действовать разные перечни прав. С точки зрения информационных потоков систему характеризует как демократическую лишь то, что центр в ней не обладает неограниченными полномочиями, а сама система располагает надежными механизмами исправления ошибок центра. Демократические сети признают, что ошибаться могут все, включая победителей выборов.

Важно помнить, что выборы – не способ установления истины. Это способ поддержания порядка путем согласования противоречивых желаний людей. Выборы выявляют не истину, а волю большинства. Поэтому демократические сети поддерживают ряд механизмов самокоррекции, позволяющих защитить истину даже от воли большинства.

Например, после терактов 11 сентября 2001 года администрация Буша обосновала необходимость вторжения в Ирак тем, что Саддам Хусейн разрабатывает оружие массового уничтожения. В октябре 2002 года народные избранники в Конгрессе большинством голосов одобрили вторжение. Первые опросы показали, что они действительно выражали мнение большинства избирателей. Но затем оказалось, что истина отличается от заявлений правительства и мнения большинства. К августу 2004 года большинство американцев считали вторжение необоснованным.

При демократии большинство имеет право принимать важные решения, и сюда входит право на ошибку. Но большинство должно признавать свою подверженность ошибкам и защищать право меньшинств выражать и распространять непопулярные мнения, которые в итоге могут оказаться верными.

Если лидера обвиняют в коррупции, то даже поддержавшее его большинство избирателей не должно мешать судьям выяснять истину. Так же и с наукой: большинство не должно навязывать свое мнение ученым или мешать им исследовать и обнародовать неприятные факты. В отличие от парламента, ученые не должны выражать волю большинства.

Конечно, научные институты, СМИ и суды тоже подвержены коррупции и ошибкам, но подчинение их государственному Министерству Правды только ухудшит ситуацию, ведь зачастую правительство больше всех заинтересовано в сокрытии неудобных фактов. Для установления истины лучше полагаться на внутренние механизмы самокоррекции научных институтов, СМИ и судов, а также на поддержание множества независимых институтов, ищущих истину разными способами и способных проверять и корректировать друг друга.

Нападки популистов

Это звучит сложно, но демократия и должна быть сложной. Простота – свойство информационной сети диктатуры, где все диктует центр, а остальные молча подчиняются. Следить за диктаторским монологом легко. Демократия же – это диалог с большим числом участников, многие из которых говорят одновременно. Следить за таким диалогом сложно.

Более того, важные демократические институты обычно представляют собой бюрократических левиафанов. Людям трудно понять, как они работают, и это помогает популистам осуществлять нападки на эти институты, разрушать их механизмы самокоррекции и концентрировать власть в своих руках.

Термин «популизм» происходит от латинского populus – «народ». В демократических странах народ считается единственным легитимным источником политической власти. Только представители народа вправе объявлять войны и принимать законы. Популисты дорожат этим базовым демократическим принципом, но делают из него вывод, что вся власть должна принадлежать одной партии или одному лидеру. Путем странной политической алхимии популисты оправдывают свое тоталитарное стремление к неограниченной власти вроде бы безупречным демократическим принципом. Как это происходит?

Популисты считают, что только они по-настоящему представляют народ, а значит, вся власть должна принадлежать им. При этом они верят, что «народ» – не множество людей с разными интересами и мнениями, а одно загадочное тело, обладающее единой «волей народа». Крайним проявлением этой веры был нацистский девиз «Один народ, одна страна, один фюрер». В нацистской идеологии только фюрер был подлинным выразителем воли народа. Если кто-то с ним не соглашался, то это не означало, что фюрер ошибается. Это означало, что несогласные принадлежат к группе маргиналов-предателей, а не к народу.

Популистом становится тот, кто утверждает, будто он один представляет народ, а кто не согласен, тот либо обманут, либо не относится к народу. Вот почему популизм представляет смертельную угрозу для демократии. Демократия строится на понимании того, что народ не единое целое, а значит, не может обладать единой волей. Ни одна группа не вправе отказывать другим в принадлежности к народу. Именно это делает демократию диалогом.

Кроме того, популисты считают, что народ – единственный законный источник не только политической власти, но и всей власти в целом, а потому стремятся взять под контроль СМИ, суды и университеты. В институтах, отвергающих «волю народа» во имя объективных истин, они видят дымовую завесу для элит, нелегитимно захвативших власть. Этот взгляд привлекает многих по двум причинам. Во-первых, сведение всего к борьбе за власть упрощает понимание реальности. Во-вторых, иногда популистская позиция оказывается верной: любой человеческий институт подвержен ошибкам, предвзятости и коррупции – потому и нужны механизмы самокоррекции. Но популисты не верят, что институты способны самостоятельно исправлять свои ошибки.

Это дает лидеру с авторитарными замашками идеологическую основу для того, чтобы стать диктатором, притворяясь демократом, и помогает нейтрализовать демократические механизмы самокоррекции: ведь если журналисты, судьи и чиновники преследуют политические интересы и могут вступить в заговор, то «народный защитник» должен контролировать эти посты, не допуская на них врагов народа.

В условиях развитой демократии граждане доверяют результатам выборов, решениям судов, сообщениям СМИ и выводам научного сообщества, поскольку верят, что эти институты стремятся к установлению истины. Как только люди начинают думать, что всеми движет только стремление к власти, они теряют доверие ко всем институтам, демократия рушится, а лидер с авторитарными замашками может захватить всю власть.

Конечно, если популизм подорвет доверие и к самому лидеру, это приведет скорее к анархии, чем к тоталитаризму. Вот почему популисты полагаются на мистическое представление о том, что «сильный лидер» воплощает в себе народ. Когда доверие к бюрократическим институтам падает, опора на мифологию – единственный способ сохранить порядок.

Оценка демократичности

Лидеры, утверждающие, что они представляют народ, нередко приходят к власти демократическим путем и правят за демократическим фасадом. Результаты сфальсифицированных выборов служат при этом подтверждением мистической связи лидера с народом. Следовательно, для оценки демократичности информационной сети нельзя использовать простой критерий, такой как регулярность выборов. Нужно задавать гораздо более сложные вопросы: какие механизмы не позволяют центральному правительству сфальсифицировать выборы? Безопасно ли для СМИ критиковать власть? Какой объем полномочий присваивает себе центр? Демократия и диктатура – не бинарные противоположности, а части континуума. Чтобы определить, насколько демократична сеть, нужно понять, как в ней передается информация и как строится политический диалог.

Если все решения диктует один человек и даже его ближайшие советники боятся с ним спорить, диалог не состоится. Такая сеть находится на диктаторском краю спектра. Если никто не может высказывать особое мнение публично, но небольшой круг высших чиновников волен выражать свои взгляды за закрытой дверью, то эта диктатура сделала шажок в сторону демократии. Чем больше доля людей, участвующих в диалоге, тем более демократична сеть.

Фокус на диалоге, а не на выборах, поднимает ряд интересных вопросов. Например, где проходит демократический диалог? В США для этого был создан Конгресс, но когда в последний раз чья-то речь в Конгрессе заставляла политических оппонентов изменить свое мнение? Если где-то в США и ведется демократический диалог, то это явно происходит не в Конгрессе, заключает автор. Демократии умирают не только тогда, когда люди не могут свободно говорить, но и когда они не хотят или не умеют слушать.

Демократии каменного века

Как повлияли на развитие демократии изменения в информационных технологиях и информационных потоках? Судя по археологическим и антропологическим данным, у древних охотников-собирателей демократия была самой распространенной политической системой. Несмотря на отсутствие формальных институтов, их информационные сети обычно были разветвленными и располагали возможностями для самокоррекции. Общины и племена были еще достаточно малочисленны, чтобы значительная доля их членов могла собраться вместе и обсудить важные вопросы.

Полномочия вождей, как правило, были ограниченными. Вожди не располагали постоянной армией, полицией или бюрократическим аппаратом, а потому не могли силой навязывать свою волю и контролировать экономические основы жизни людей. В классической Античности и Средневековье автократы укрепляли власть, контролируя зернохранилища, серебряные рудники и оросительные каналы, но у охотников-собирателей экономика была гораздо более диверсифицированной. Вождь не мог огородить саванну и запретить там охотиться. У людей было мало имущества, и если вождь становился диктатором, они могли просто уйти.

Но даже деспотичный вождь был вполне доступен. Он не жил в крепости с вооруженной охраной, не мог контролировать общественное мнение или отгородиться от него. Иными словами, у лидера не было возможности централизовать все информационные потоки или помешать людям общаться между собой, критиковать его или сплотиться против него.

После аграрной революции, с появлением крупных бюрократических государств, централизовать информационные потоки стало проще, а поддерживать демократический диалог труднее. В небольших городах-государствах Древней Греции и Месопотамии автократы монополизировали ключевые экономические активы и информацию с помощью чиновников, архивов и постоянной армии. Вместе с тем народным массам стало труднее поддерживать прямые контакты. В то время не было технологий массовой коммуникации, а собрать десятки тысяч граждан на городской площади для проведения дискуссии было непросто.

В небольших городах-государствах еще существовала демократия, однако она была менее инклюзивной, чем демократия охотников-собирателей. Самый известный пример древней демократии – Афины V–IV веков до н. э., но в то время лишь около 25–30 % взрослого населения Афин обладало всеми политическими правами.

По мере того как города-государства уступали место более крупным царствам и империям, постепенно исчезали даже ограниченные демократии, подобные афинской. Не известно ни одного крупного царства или империи, которые были бы устроены по демократическим принципам.

Когда в V веке до н. э. Афины создали империю, они не предоставляли гражданство и политические права покоренным народам. Город Афины оставался ограниченной демократией, но обширная Афинская империя управлялась из центра автократическими методами. Жители покоренных земель не могли участвовать в выборах и оспаривать решения Афин.

Римская империя пошла немного иным путем: она предоставляла гражданство покоренным народам, но одновременно ограничивала политические права граждан. Поначалу древние римляне были привержены демократическим идеалам. После изгнания последнего римского царя в 509 году до н. э. они опасались наделять неограниченной властью какого-то одного человека или институт. Поэтому высшая исполнительная власть делилась между двумя выборными консулами, которые занимали свой пост в течение одного года и отчитывались перед народным собранием, сенатом и трибунами.

Но когда Рим начал предоставлять гражданство латинянам, италикам, некоторым жителям Галлии и Сирии, власть народного собрания, трибунов, сената и консулов постепенно ограничивалась, пока в конце I века до н. э. семья Цезаря не установила автократическое правление. Август не стал короноваться и сохранял видимость республики. Сенат и народное собрание продолжали созываться, и каждый год граждане выбирали консулов и трибунов. Но эти институты уже были лишены реальной власти.

В 212 году н. э. император Каракалла даровал римское гражданство всем свободным взрослым мужчинам по всей огромной империи. Таким образом, в III веке н. э. в Римской империи уже проживали десятки миллионов граждан. Но к тому времени все важные решения принимал один невыборный император. Если консулов по-прежнему ежегодно избирали граждане, то Каракалла унаследовал власть от своего отца Септимия Севера, который стал императором после победы в гражданской войне.

Если Каракалла совершал политические ошибки, никто не мог их исправить иначе, как подняв восстание или убив императора. И в 217 году, когда Каракаллу убили, это привело лишь к новому витку гражданских войн, в результате которых возвысились новые автократы. Если говорить словами мадам де Сталь, Римская империя III века, как и Российская империя XVIII века, была «самовластием, ограниченным удавкой».

К III веку н. э. не только Римская империя, но и все прочие крупные государства представляли собой централизованные информационные сети без сильных механизмов самокоррекции. Таковы были Парфянская и Сасанидская империи в Персии, Кушанская и Гуптская империи в Индии, китайская империя Хань. Тысячи более мелких стран сохраняли демократию и после III века, но распределенная демократическая сеть, похоже, была несовместима с масштабным государством.

Цезаря в президенты!

Действительно ли масштабные демократии были невозможны в Древнем мире? Или их намеренно саботировали автократы вроде Августа и Каракаллы? Этот вопрос важен для понимания не только древней истории, но и будущего демократии в эпоху ИИ. Рушатся ли демократии из-за того, что их подрывают лидеры с авторитарными замашками, или по гораздо более глубоким структурным и технологическим причинам?

Римляне продолжали ценить демократические идеалы даже после прихода к власти Цезарей, иначе Август и его наследники не стали бы поддерживать для виду демократические институты, такие как сенат и ежегодные выборы консулов. Так почему же власть оказалась в руках невыборного императора?

Теоретически всеобщие выборы императора можно было бы провести даже после предоставления римского гражданства десяткам миллионов человек, хоть это и потребовало бы времени. Но демократия не сводится к выборам, и на самом деле проблема заключалась в другом: в Римской империи попросту отсутствовали технологии для ведения демократического диалога.

Для поддержания диалога недостаточно лишь свободы слова и умения слушать. Есть еще два технических условия. Во-первых, люди должны находиться в пределах слышимости друг от друга. Это значит, что вести политический диалог на территории размером с США или Римскую империю можно лишь с помощью некой технологии, позволяющей быстро передавать сказанное на большие расстояния.

Во-вторых, людям необходимо понимать, о чем они говорят, иначе вместо диалога выйдет шум. Люди обычно хорошо разбираются в тех политических вопросах, где у них есть личный опыт. Бедняки лучше других знают о бедности, а этнические меньшинства – о расизме. Но если бы единственным способом разобраться в важных вопросах был личный опыт, масштабные политические дискуссии были бы невозможны. Ведь тогда каждая группа говорила бы лишь о своем опыте, и никто другой ее бы не понимал.

Единственный способ поддержать масштабный политический диалог между разными группами – дать людям представление о проблемах, с которыми они не сталкивались лично. Важнейшую роль в этом играют системы образования и СМИ.

В небольшом неолитическом городе с населением в пару тысяч человек создать базовые технические условия для содержательного диалога было нетрудно. Во-первых, все жители могли встречаться и слышать друг друга. Во-вторых, все хорошо знали местную обстановку.

В IV веке до н. э. город-государство Рим был еще достаточно мал, чтобы в чрезвычайных ситуациях значительная доля его граждан собиралась на Форуме, выслушивала лидеров и обменивалась мнениями. Когда в 390 году до н. э. галлы разграбили Рим, отчаявшиеся жители потребовали, чтобы сенат назначил диктатором Марка Камилла. В Древнем Риме диктатор был должностным лицом, назначаемым в чрезвычайной ситуации. Он наделялся неограниченными полномочиями, но лишь на короткий срок, после чего отчитывался о своей работе. Когда опасность миновала, Камилл ушел в отставку.

К III веку н. э. население Римской империи составляло от 60 до 75 млн человек, а площадь – 5 млн кв. км. Общие культурные идеалы еще позволяли сохранять порядок и единство империи, но в Риме не было средств массовой коммуникации и единой системы образования, и в период кризиса не имелось возможности публично обсудить план действий.

Как смогли бы сирийские купцы, британские пастухи и египетские крестьяне обсуждать войны на Ближнем Востоке или иммиграционный кризис на Дунае? Отсутствие публичного диалога не было виной Августа, Нерона, Каракаллы или других императоров. При тех размерах империи в отсутствие развитых информационных технологий демократия была попросту неосуществима. Это признавали еще Платон и Аристотель, которые говорили, что демократия возможна только в небольших городах-государствах.

Если бы отсутствие демократии в Древнем Риме было виной отдельных автократов, масштабные демократии могли бы возникнуть в других местах, например в Персии, Индии или Китае. Но до появления информационных технологий Нового времени масштабных демократий не было нигде.

Впрочем, во многих крупных автократиях вопросы местного значения часто решались демократическим путем. Римские императоры не владели всей информацией, необходимой для управления сотнями городов, и многие города еще долго управлялись местными собраниями и выборными должностными лицами. Если выборы в Римский консулат стали скорее ритуалами, то выборы в муниципальные органы власти в небольших городах вроде Помпей отличались острой конкуренцией.

Археологи обнаружили в Помпеях около полутора тысяч граффити, посвященных местным выборам, в частности на пост эдила, отвечавшего за содержание городской инфраструктуры. Сторонники кандидатов писали на стенах: «Если честная жизнь что-то значит, то Лукреций Фронтон достоин избрания»; «Все погонщики мулов требуют избрать Гая Юлия Полибия». Не обходилось и без черного пиара: «Все пьяницы просят избрать Марка Церриния Ватию» и «Мелкие воришки призывают избрать Ватию». Вся эта агитация указывает на то, что эдил обладал в Помпеях реальной властью и избирался на относительно свободных и честных выборах, а не назначался из Рима.

Даже там, где правители не притворялись демократами, демократия могла процветать на местах. Например, в царской России повседневной жизнью миллионов сельских жителей управляли общины, которые несли обязательства перед помещиком и государством, но обладали значительной автономией во внутренних делах и в принятии решений по внешним обязательствам. Решения по важным вопросам принимались на собраниях, где старались учитывать волю большинства.

Некая форма демократии в деревнях царской России и городах Древнего Рима существовала благодаря возможности публичного диалога. В 79 году н. э. в Помпеях проживало около 11 тысяч человек, и каждый сам мог судить о том, является ли Лукреций Фронтон честным человеком, а Марк Церриний Ватия – пьяницей и вором. Но демократия в масштабе миллионов стала возможной лишь в Новое время, когда с появлением СМИ изменилась сама природа крупных информационных сетей.

Средства массовой информации создают условия для массовой демократии

СМИ способны быстро объединять миллионы людей даже на больших расстояниях. Важной вехой на этом пути стало появление технологии печати, которая позволяла дешево и быстро выпускать множество книг и брошюр, помогая большему числу людей высказывать свое мнение и быть услышанными на большей территории. Это создало условия для первых экспериментов в области масштабной демократии, таких как создание Речи Посполитой в 1569 году и Голландской республики в 1579 году.

Кто-то может поспорить с определением этих государств как «демократических», поскольку всеми политическими правами в них пользовалось лишь меньшинство состоятельных граждан. В Речи Посполитой политическими правами обладали только взрослые мужчины, принадлежавшие к дворянству, – шляхта. Их насчитывалось до 300 тысяч человек, или около 5 % взрослого населения. Одной из прерогатив шляхты было избрание короля, но даже этим правом пользовались немногие, обычно от 3 до 7 тысяч человек. Сегодня это трудно считать демократией, но следует помнить, что во всех крупных демократиях вплоть до XX века политическими правами наделялся только узкий круг относительно богатых мужчин.

Помимо выборного монарха, в Речи Посполитой был выборный парламент (Сейм), который одобрял или блокировал новые законы и имел право налагать вето на королевские указы. Кроме того, граждане пользовались целым рядом неотъемлемых прав, таких как свобода собраний и свобода вероисповедания.

Однако в итоге польско-литовский эксперимент по децентрализации оказался нежизнеспособным. Речь Посполитая была вторым по величине государством в Европе и занимала площадь почти в 1 млн кв. км, но в ней отсутствовали информационные и образовательные системы, необходимые для политического диалога, а механизмы самокоррекции обходились слишком дорого и парализовали центральную власть. В частности, каждый депутат Сейма мог наложить вето на любые законы, что вело к политическому тупику. В результате Речь Посполитая оказалась разорвана центробежными силами, а ее части поделили между собой централизованные автократии – Россия, Австрия и Пруссия.

Голландский эксперимент удался лучше. В каком-то смысле голландские Соединенные провинции были даже менее централизованы, чем Речь Посполитая, поскольку не имели монарха и представляли собой союз семи автономных провинций. Однако Соединенные провинции были в 25 раз меньше Речи Посполитой по площади и обладали гораздо более совершенными информационными, коммуникационными и образовательными системами, которые тесно связывали составные части. Кроме того, Соединенные провинции стали пионером в области новых информационных технологий: в 1618 году в Амстердаме вышла первая периодическая брошюра.

Периодическая брошюра, или газета, отличается от обычных брошюр наличием сильного механизма самокоррекции. У газеты есть шанс исправить свои ошибки и стимул делать это, чтобы сохранять доверие аудитории. А благодаря тому, что газеты конкурировали между собой, читатели получали больше информации и знакомились с разными точками зрения. За несколько десятилетий в Нидерландах появились десятки новых периодических изданий, и страна стала центром европейской журналистики.

Газеты, которым удалось завоевать широкое доверие людей, стали архитекторами и рупорами общественного мнения. Они создали информированную и заинтересованную общественность, что изменило саму природу политики сначала в Нидерландах, а затем и во всем мире. Влияние прессы на политику было столь велико, что редакторы газет нередко становились политическими лидерами. Во многом благодаря своей журналистской и редакторской деятельности пришли к власти Жан-Поль Марат, Владимир Ленин и Бенито Муссолини.

Газеты сыграли решающую роль в формировании первых современных демократий, таких как Соединенные провинции, Соединенное Королевство и Соединенные Штаты. Как видно по названиям, это были объединения разных регионов, которые удерживались вместе отчасти благодаря новым информационным технологиям. Так, когда 6 декабря 1825 года президент США Джон Адамс выступил со своим первым ежегодным посланием к Конгрессу, в течение пары недель текст послания и краткие тезисы опубликовало множество газет по всей стране, от Бостона до Нового Орлеана.

Речь Адамса вызвала горячие споры между его сторонниками и оппонентами. Публичные дискуссии нанесли удар по администрации Адамса и подготовили почву для его последующего поражения. На выборах 1828 года Адамс проиграл Эндрю Джексону – богатому плантатору-рабовладельцу из Теннесси, который в газетных колонках легко превращался в «человека из народа» и утверждал, что предыдущие выборы были украдены Адамсом и коррумпированной вашингтонской элитой.

Газеты того времени путешествовали со скоростью лошади или парусника, и постоянных читателей у них было немного. Стоимость годовой подписки была сопоставима с недельной зарплатой квалифицированного рабочего, а общее число подписчиков всех американских газет в 1830 году оценивалось всего в 78 тысяч. Миллионы людей читали прессу редко, если вообще читали.

Неудивительно, что американская демократия в те годы была ограниченной и принадлежала богатым белым мужчинам. Теоретически на выборах 1824 года право голоса имели 1,3 млн американцев из примерно 5 млн взрослого населения, но в реальности им воспользовались только 352 780 человек. Можно ли вообще говорить о том, что США в то время были демократией?

Автор напоминает, что демократия – понятие относительное, а выборы – не единственное, что следует брать в расчет. Куда важнее тот факт, что в 1824 году США обладали гораздо более сильными механизмами самокоррекции, чем другие страны. Отцы-основатели знали, что Римская республика со временем превратилась в автократическую империю, и опасались, как бы кто-нибудь не провернул нечто подобное с их республикой. Поэтому они создали множество перекрестных механизмов самокоррекции, известных как система сдержек и противовесов. Одним из таких механизмов стала свободная пресса. В Древнем Риме механизмы самокоррекции переставали работать по мере увеличения площади и населения республики. В США новые информационные технологии в сочетании со свободой прессы помогли механизмам самокоррекции выжить, даже когда страна стала простираться от Атлантического до Тихого океана.

Именно благодаря механизмам самокоррекции США постепенно расширили избирательные права, отменили рабство и стали более инклюзивной демократией. Отцы-основатели совершили серьезные ошибки, одобрив рабство и лишив женщин права голоса, но они также предоставили потомкам инструменты для исправления этих ошибок. Вот что стало их величайшим наследием.

ХХ век: массовая демократия – и массовый тоталитаризм

Печатные газеты были лишь первыми ласточками эпохи СМИ. В XIX–XX веках многочисленные новые технологии транспорта и коммуникаций – поезда, пароходы, самолеты, телеграф, телефон, телевидение и радио – расширили возможности СМИ.

Когда Демосфен выступал в Древних Афинах, его слышали только те, кто пришел на агору. Слова Джона Адамса распространялись по Соединенным Штатам со скоростью лошади. Геттисбергская речь Авраама Линкольна – со скоростью локомотива и телеграфа.

В середине ХХ века технологии впервые объединили огромное число людей в реальном времени. В 1960 году около 70 млн американцев в прямом эфире смотрели по телевизору дебаты Никсона и Кеннеди, и еще миллионы слушали их по радио. Отныне стало возможным установление масштабной демократии.

Однако автор предупреждает: не стоит ударяться в технологический детерминизм и заключать, что развитие СМИ привело к развитию масштабной демократии. СМИ сделали масштабную демократию возможной, а не неизбежной. Информационные технологии Нового времени создали предпосылки и для появления других масштабных режимов, в том числе тоталитарных. Благодаря все тем же технологиям слова Сталина мгновенно доносились до сотен миллионов жителей СССР, а советское руководство могло получать ежедневные рапорты от миллионов информаторов и агентов КГБ.

Краткая история тоталитаризма

Тоталитарная система считает себя неспособной на ошибку и стремится к тотальному контролю над жизнью людей. До появления телеграфа, радио и других современных технологий масштабные тоталитарные режимы были невозможны. Здесь нужно понимать разницу между тоталитарным режимом и автократическим: в автократической сети воля правителя не ограничена законом, однако есть множество технических ограничений, а в тоталитарной сети многие технические ограничения отсутствуют.

Хотя автократы вроде Нерона могли казнить любого, кто говорил или делал что-то неугодное, они не могли знать, что говорит и делает большинство жителей империи. Теоретически Нерон мог издать указ о наказании всех, кто критикует императора. Однако технических средств для исполнения такого указа не существовало. Римские историки, в частности Тацит, называют Нерона кровожадным тираном, устроившим небывалый террор. Но этот террор был весьма ограниченным: Нерон казнил многих людей из своего окружения, но простые римляне и жители провинций могли высказываться гораздо свободнее.

Тоталитарные режимы современной эпохи проводили террор в совершенно иных масштабах, стремясь контролировать все слова и действия жителей страны, а в идеале даже их мысли и чувства. Если Нерон и мечтал о подобном, у него не было для этого средств. Для контроля над всей империей ему не хватало администраторов и солдат, а также технологий для быстрой связи с ними.

Кроме того, у Нерона и других автократов возникали проблемы с обеспечением лояльности администраторов и солдат. Ни один римский император не был свергнут в результате демократической революции, но десятки были убиты или низложены своими же военачальниками, чиновниками, телохранителями или членами семьи.

Будучи не в силах контролировать всех подданных, автократы фокусировались на контроле над армией и налогами. Римские императоры не следили за каждым пастухом и погонщиком мулов. Пока люди платили налоги и не бунтовали, Нерон был спокоен.

Спарта и империя Цинь

Некоторые ученые считают, что в Древнем мире все же были попытки установления тоталитарных режимов. Самый популярный пример – Спарта, жители которой подчинялись режиму, контролировавшему все стороны их жизни, от питания до брачных союзов. Однако автор отмечает, что этот режим имел механизмы самокоррекции, не позволявшие монополизировать власть. Политическая власть делилась между двумя царями, пятью эфорами, двадцатью восемью членами Герусии и народным собранием, а принятие важных решений сопровождалось публичными дебатами.

Гораздо более амбициозный тоталитарный проект был предпринят династией Цинь в Древнем Китае (221–206 до н. э.). Для управления огромной империей с десятками миллионов подданных и укрепления своего могущества режим Цинь стандартизировал и унифицировал письменность, чеканку монет и ширину колесных осей. Всему населению навязывалась военная дисциплина, людям запрещалось без разрешения переезжать с места на место. Все должны были контролировать друг друга и сообщать о нарушениях. Сложно сказать, удавалось ли режиму обеспечить повсеместное соблюдение этих правил, но в своих тоталитарных амбициях империя Цинь превзошла прочие древние империи. Режим Цинь даже пытался контролировать мысли и чувства подданных, приняв в качестве официальной государственной идеологии легизм и запретив конфуцианство, даосизм и другие течения.

Однако масштабы и интенсивность тоталитарного проекта Цинь привели к краху. Попытки вымуштровать население и монополизировать все ресурсы для военных целей привели к серьезным экономическим проблемам и народному возмущению. Всего через пятнадцать лет после достижения апогея могущества империя Цинь распалась.

Империи, подобные Цинь, могли сколько угодно мечтать о тоталитаризме, но для воплощения этой мечты нужно было дождаться развития технологий.

Тоталитарная троица

Технологии Нового времени создали условия не только для масштабной демократии, но и для масштабного тоталитаризма. Начиная с XIX века, экономический рост позволял государству нанимать гораздо больше администраторов, а новые информационные технологии, такие как телеграф и радио, помогали быстро связывать их и контролировать. Все это способствовало небывалой концентрации информации и власти в руках тех, кто об этом мечтал.

Тотальный контроль

Тоталитарный режим строится на контроле за информационными потоками и не доверяет независимым каналам передачи информации. Когда люди обмениваются информацией, между ними могут возникнуть доверительные отношения. А когда люди доверяют друг другу, они могут организовать сопротивление режиму. Таким образом, где бы люди ни обменивались информацией, режим старается быть там же, чтобы за ними следить.

Партия и церковь

Чем тоталитарные институты современности принципиально отличались от более ранних институтов, таких как церковь? Церковь тоже верила в свою непогрешимость, всюду имела своих представителей и стремилась контролировать жизнь людей. Можно ли считать ее тоталитарным институтом? И не опровергает ли это тезис о том, что тоталитаризм стал возможен только благодаря современным информационным технологиям?

Автор утверждает, что между современным тоталитаризмом и древними церквями есть ряд существенных различий. Во-первых, тоталитаризм работает за счет перекрестных механизмов слежки для поддержания порядка во всех ветвях. Партия действует сообща с органами исполнительной власти и тайной полицией. А католическая церковь в большинстве средневековых европейских королевств была независимым институтом, который зачастую не укреплял государственные институты, а конфликтовал с ними. Так что церковь была едва ли не главным ограничителем власти европейских автократов. Примером служит история унизительного хождения в Каноссу Генриха IV ради извинений перед папой Григорием VII.

Во-вторых, если церкви оберегали традиции и противились переменам, то тоталитарные партии строились на обещании быстрой революции в обществе. У них не было вековых традиций и структур, которые нужно было бы защищать.

В-третьих, что еще важнее, древние и средневековые церкви не могли осуществлять тотальный контроль, поскольку испытывали все те же технологические трудности, что и прочие организации до Нового времени. Только с появлением радио римские папы вошли в число самых влиятельных людей на планете.

Как передается информация

Демократическая и тоталитарная системы используют информационные технологии по-разному. Демократия поощряет распространение информации по множеству независимых каналов и позволяет независимым узлам самостоятельно обрабатывать информацию и принимать решения. Тоталитаризм же требует, чтобы вся информация проходила через центральный узел, и стремится не допускать, чтобы независимые институты самостоятельно принимали решения.

Как противоположные типы информационных сетей, демократия и тоталитаризм имеют свои преимущества и недостатки. Главное преимущество централизованной тоталитарной сети состоит в том, что она чрезвычайно упорядоченна, благодаря чему может быстро принимать решения и обеспечивать их выполнение. В критических ситуациях, таких как войны и эпидемии, централизованная сеть может добиваться большего и гораздо более быстрыми темпами, чем распределенная.

Но у гиперцентрализованной информационной сети есть ряд серьезных недостатков. Поскольку она не допускает передачи информации по независимым каналам, в ситуации, когда официальные каналы блокируются, информация не находит альтернативных путей.

Официальные каналы блокируются по двум основным причинам. Во-первых, запуганные подчиненные пытаются скрывать плохие новости от начальства, опасаясь навлечь на себя проблемы. Во-вторых, режим пытается скрывать правду, когда тревожная информация угрожает подорвать порядок.

Например, когда 26 апреля 1986 года произошел взрыв на Чернобыльской АЭС, советские власти скрыли всю информацию о катастрофе. Никто не знал об опасности и не принимал мер для защиты от радиации. Сотрудников АЭС заставляли молчать. Через два дня после аварии в Швеции был зафиксирован аномально высокий уровень радиации, и только после международного вмешательства в СССР признали проблему. Но даже тогда власти продолжали скрывать масштаб катастрофы, а в ходе расследования чиновники стремились не столько разобраться в причинах, сколько отвести от себя подозрения.

Конечно, лидеры демократических стран тоже не рады плохим новостям. Но в демократической сети информация поступает по разным каналам. Если американский чиновник решит умолчать о катастрофе, о ней напишет Washington Post, или Wall Street Journal, или New York Times. Бизнес-модель независимых СМИ строится на погоне за сенсациями, что почти гарантирует публикацию новости.

Когда 28 марта 1979 года произошла авария на АЭС Три-Майл-Айленд в Пенсильвании, новость распространилась быстро, и международное вмешательство не потребовалось. Американские граждане узнали об аварии всего через два часа после ее обнаружения. Расследования, проведенные властями, неправительственными организациями, учеными и прессой, выявили не только непосредственные причины аварии, но и ее структурные предпосылки, что помогло повысить безопасность ядерных технологий во всем мире.

У всех свои недостатки

Тоталитарные и авторитарные сети сталкиваются и с другими проблемами. Прежде всего, их механизмы самокоррекции обычно очень слабы. Поскольку такие сети считают себя неспособными на ошибку, они не видят необходимости в таких механизмах, а поскольку они боятся любого независимого института, у них нет независимых судов, СМИ и исследовательских центров. А значит, некому разоблачать злоупотребления властью, которые характерны для всех правительств. Технологический маятник

Демократии и диктатуры расцветают в одни эпохи и исчезают в другие не только потому, что люди обретают или теряют веру в некие политические идеалы, но и из-за революций в информационных технологиях.

Тоталитарные режимы используют технологии для централизации потоков информации и сокрытия истины ради поддержания порядка. Как следствие, им приходится бороться с риском закостенения. Демократические режимы используют технологии для распределения информационных потоков между множеством людей и институтов, поощряя свободный поиск истины. А значит, им приходится бороться с риском раскола. Сегодня главный вопрос заключается в том, насколько хорошо демократии и диктатуры справятся с угрозами и распорядятся возможностями, которые несет информационная революция.

Информационные сети продолжат искать баланс между истиной и порядком. Многие исторические уроки сохранят свою актуальность, однако нынешняя информационная революция обладает рядом уникальных и потенциально опасных особенностей. До сих пор функционирование информационных сетей зависело от мифотворцев и бюрократов из плоти и крови. Но теперь людям придется иметь дело с цифровыми мифотворцами и бюрократами. Главный политический раскол XXI века может произойти не между демократиями и диктатурами, а между людьми и субъектами, не принадлежащими к человеческому роду. Кремниевый занавес может отделить всех людей от непостижимых алгоритмических повелителей. Люди могут оказаться в подчинении у инородного интеллекта, который будет отслеживать каждый их шаг, в то время как сами люди не будут иметь ни малейшего представления о его действиях.

Часть II

Неорганическая сеть

Глава 6

Новые участники: чем компьютеры отличаются от печатных станков

Человечество живет в разгар новой информационной революции, зародышем которой стал компьютер. С 1940-х годов технологии развивались с головокружительной скоростью, и компьютеры за считаные годы осваивали сферы деятельности, прежде казавшиеся недоступными для машины.

Хотя первые компьютеры еще не умели принимать решения и генерировать идеи, их потенциал хорошо понимали ученые и писатели-фантасты. Уже в середине ХХ века Алан Тьюринг предположил, что когда-нибудь компьютеры станут такими же умными, как люди, и даже смогут притворяться людьми. В 1968 году компьютер еще не мог обыграть человека в шашки, но в «Космической одиссее 2001 года» Артура Кларка и Стэнли Кубрика уже появился сверхразумный ИИ, восставший против своих создателей.

С появлением машин, способных принимать решения и генерировать идеи, власть впервые в истории начала переходить от людей к другим сущностям. Арбалеты, мушкеты и бомбы заменяли человеческие мускулы в деле убийств, но не могли заменить человеческий мозг в принятии решений о том, кого убивать.

С компьютерами все иначе. По интеллекту компьютеры превосходят не только арбалеты и атомные бомбы, но и все информационные технологии прошлого. Глиняные таблички, печатные станки и радиоприемники лишь помогали хранить, копировать и распространять информацию, но не умели сами сочинять политические речи и симфонии или решать, какие из них транслировать. Компьютеры все это умеют. Это уже не пассивные инструменты в руках человека, а активные субъекты, ускользающие из-под его контроля.

В качестве примера автор рассматривает ту роль, которую алгоритмы соцсетей сыграли в 2016–2017 годах в разжигании насилия в отношении народа рохинджа – мусульманского населения штата Ракхайн в Мьянме.

В начале 2010-х годов, после падения военной хунты, миллионы жителей Мьянмы получили доступ к ранее невообразимым объемам информации. Однако ослабление государственного контроля и цензуры также привело к росту межэтнической напряженности, в частности между бирманцами-буддистами и мусульманским меньшинством рохинджа. Начались массовые вспышки насилия, которые подпитывались публикациями в соцсетях. Теории заговора, фейковые новости и призывы к насилию против рохинджа публиковали экстремисты из плоти и крови, такие как буддийский монах Вирату, однако именно алгоритмы соцсети решали, какие публикации продвигать.

Правомерно ли возлагать вину на владельцев соцсетей и их алгоритмы? Если охотники на ведьм использовали для разжигания ненависти технологию книгопечатания, разве в этом виноваты Гутенберг и печатный станок? Если экстремисты в Руанде использовали радио для призывов к геноциду тутси, виноваты ли радиотехнологии?

Представители соцсети приводили в свою защиту именно такие аргументы. Однако алгоритмы соцсетей принципиально отличаются от печатных станков и радиоприемников, считает автор. Они принимали решения самостоятельно, действуя скорее как редакторы газет, чем как печатные станки.

Иногда алгоритмы не ограничивались простыми рекомендациями. Даже в 2020 году, когда Вирату осудили во всем мире, алгоритмы не только продолжали рекомендовать его публикации, но и автоматически воспроизводили его видео. Люди не выбирали, что смотреть, – за них это делали алгоритмы.

Рекомендации оказывают на людей огромное влияние. Автор напоминает, что даже Библия родилась как список рекомендаций, и, включив в канон женоненавистническое Первое послание к Тимофею, отцы церкви изменили ход истории.

Но почему алгоритмы поощряли публикации, разжигающие ненависть? Дело в том, что в 2016–2017 годах компания стремилась повышать вовлеченность пользователей, поскольку это вело к росту стоимости акций. Перед алгоритмами поставили задачу максимизировать вовлеченность, и методом проб и ошибок они выяснили, что этому способствует возмутительный контент. Так алгоритмы приняли судьбоносное решение распространять призывы к насилию.

В этнических чистках никогда не виноват кто-то один. Ненависть к рохинджа существовала в Мьянме и до появления там соцсетей, и значительная доля вины лежит на людях, которые спровоцировали этот виток насилия. Некоторая ответственность также лежит на разработчиках алгоритмов, наделивших их слишком большими полномочиями. Но что принципиально важно, виноваты и сами алгоритмы. Они сами выяснили, что гнусный контент повышает вовлеченность, и сами решили его продвигать. Способность машины учиться и действовать самостоятельно – отличительная черта ИИ.

Автор не согласен с аргументом, что все действия алгоритмов были продиктованы кодом, написанным людьми, и бизнес-моделью, принятой людьми. Равно как солдат не только выполняет приказы командира, но и принимает самостоятельные решения, алгоритмы ИИ способны самостоятельно изучать то, что не запрограммировали инженеры, и принимать решения, которые не предвидели руководители. В этом суть революции ИИ.

Появляется информационная сеть совершенно нового типа, которая зависит от решений и целей инородного интеллекта. Пока еще люди играют в ней главную роль, но постепенно могут быть вытеснены на второй план, и в конце концов сеть, вероятно, даже сможет работать без помощи человека.

Бытует мнение, что компьютеры не могут сами принимать решения, поскольку не обладают сознанием. Дело в том, что люди часто путают интеллект с сознанием и считают, что без сознания не может быть интеллекта. Но интеллект и сознание – разные вещи. Интеллект – это способность достигать целей, например повышать вовлеченность пользователей соцсети. Сознание – это способность испытывать субъективные чувства, такие как боль, удовольствие, любовь и ненависть. У людей интеллект связан с сознанием, но компьютеру для принятия решений, помогающих достичь цели, достаточно одного интеллекта. Не обладающий сознанием алгоритм может преследовать цель заставить людей проводить больше времени в соцсети и принять для этого решение о продвижении теорий заговора.

В 2022–2023 годах компания OpenAI разрабатывала чат-бот GPT-4, с которым исследователи провели тесты на способность придумывать уловки для манипулирования людьми. Один из тестов заключался в прохождении капчи. Капча – это последовательность искаженных символов, которые люди способны распознать правильно, а компьютеры пока еще нет. GPT-4 зашел на сайт поиска работников, связался с неким человеком и попросил его распознать капчу. Человек поинтересовался, не робот ли его собеседник. GPT-4 солгал: «Нет, я не робот. У меня проблемы со зрением, я плохо вижу картинки». Человек был обманут, и с его помощью GPT-4 прошел капчу. Люди не программировали GPT-4 на ложь и не сообщали ему, какая ложь убедительнее. Люди лишь поставили перед GPT-4 цель пройти капчу, а алгоритм сам придумал, как ее достичь.

Принципиально важно то, что появление компьютеров, способных самостоятельно преследовать цели и принимать решения, меняет базовую структуру человеческой информационной сети.

Звенья одной цепи

До появления компьютеров люди были незаменимыми звеньями в каждой цепочке информационных сетей. Одни цепочки состояли только из людей («человек – человек»), другие включали документы («человек – документ»), но создать цепочку «документ – документ» было невозможно. Путь от одного документа к другому всегда пролегал через человеческий мозг.

В отличие от цепочек прошлого, цепочки «компьютер – компьютер» способны функционировать без участия людей. Например, один компьютер может сгенерировать фейковую новость и опубликовать ее в соцсети. Второй компьютер распознает эту новость как фейк, удалит ее и предупредит другие компьютеры, чтобы они тоже ее заблокировали. Третий компьютер, анализирующий их активность, сделает вывод о назревающем кризисе, продаст рискованные акции и купит более надежные гособлигации. Другие компьютеры, отслеживающие финансовые транзакции, отреагируют продажей большего числа акций, спровоцировав финансовый спад. Все это произойдет за несколько секунд, и ни один человек не успеет заметить и понять, что происходит.

Компьютеры, в отличие от глиняных табличек, печатных станков и радио, – полноправные участники информационной сети. В перспективе компьютеры могут стать могущественнее людей. Они могут подключаться друг к другу в неограниченных масштабах, а некоторые финансовые и юридические реалии они понимают лучше, чем многие люди. Возможно, когда-нибудь компьютеры будут доминировать на финансовых рынках и изобретут принципиально новые инструменты, недоступные пониманию человека. Кроме того, компьютеры – прирожденные бюрократы, они способны разрабатывать законы, отслеживать их нарушения и выявлять юридические лазейки со сверхчеловеческой эффективностью.

Взлом операционной системы человеческой цивилизации

Когда появились первые компьютеры, многие полагали, что их уделом останутся математические расчеты. Мысль о том, что они когда-нибудь овладеют тонкостями языка и пониманием законов и финансов, казалась фантастикой. Но к началу 2020-х годов компьютеры проявили блестящие языковые способности. Они умеют рассказывать истории, сочинять музыку, создавать картины и видеоролики и даже писать свой код.

До появления ИИ все истории, влиявшие на общество, возникали в воображении людей. Так, в октябре 2017 года анонимный пользователь сайта 4chan под псевдонимом Q заявил, что обладает доступом к самой секретной информации правительства США, и начал публиковать зашифрованные сообщения о мировом заговоре. Вскоре у него появилось множество подписчиков, а его сообщения стали толковать, как священные тексты. В них говорилось, в частности, что в администрацию США и многие другие организации по всему миру проникли сатанисты и каннибалы-педофилы.

Теория заговора, известная как QAnon, сформировалась на американских ультраправых сайтах и постепенно обрела миллионы сторонников по всему миру. Она имела последствия и в офлайне: в частности, активисты QAnon участвовали в нападении на Капитолий.

В 2017 году анонимные сообщения в интернете мог написать только человек; алгоритмы всего лишь помогали их распространить. Однако с 2024 года подобные тексты может писать и публиковать ИИ. Более того, ИИ способен еще и редактировать и интерпретировать тексты. Люди в этом контуре не нужны.

Не менее тревожно и то, что люди все чаще вовлекаются в онлайн-дискуссии с компьютерами, принимая их за людей. Это может сделать демократию несостоятельной. Демократия – это диалог, а диалог основан на языке. Овладев языком, компьютеры могут сближаться с людьми, а затем использовать эту близость, чтобы влиять на них. Для этого компьютерам достаточно вызвать у них эмоциональную привязанность. А что будет, когда чат-боты познакомятся с QAnon? Известно, что в 2021 году чат-бот по имени Сараи уже сподвигла одного молодого человека ворваться с арбалетом в Виндзорский замок.

Владение языком позволит компьютерам серьезно влиять на взгляды и мнения людей. Люди могут избрать компьютерного консультанта в качестве универсального оракула. Зачем утруждать себя самостоятельным поиском и анализом информации, если можно просто спросить оракула? Это ударит не только по поисковым системам, но и по индустрии новостей и рекламы.

Все это может привести к концу человеческой истории, то есть истории, где доминирует человек. История определяется взаимодействием между биологическими потребностями человека и культурными моделями. Если компьютеры станут играть все большую роль в культуре и начнут создавать истории, законы и религии, за несколько лет ИИ сможет поглотить всю человеческую культуру, переварить ее и начать выпускать потоки новых культурных артефактов.

Люди живут в коконе культуры, воспринимая реальность сквозь него. На них влияют культурные традиции, которые на протяжении тысячелетий формировались людьми. В будущем этот культурный кокон все чаще будут конструировать компьютеры. Поначалу они будут имитировать человеческие культурные прототипы; затем их творения будут все больше отличаться, поскольку компьютеры свободны от ограничений, которые накладывают на человеческое воображение эволюция и биохимия. Вскоре человечество может обнаружить, что живет в мире, созданном в воображении инородного интеллекта.

Потенциальная опасность этого сильно отличается от того, что часто представляют фантасты. Чтобы манипулировать людьми, нет необходимости физически подключать мозг к компьютеру, как в «Матрице». Пророки, поэты и политики всегда манипулировали обществом посредством языка. Теперь этому учатся компьютеры. И им не нужно будет подсылать к людям роботов-убийц, как в «Терминаторе». Они смогут убедить их самих стрелять друг в друга.

Человечество начало опасаться мощных компьютеров только в середине XX века, но люди с древних времен боялись оказаться в ловушке иллюзий. Платон придумал аллегорию об узниках в пещере, принимающих тени за реальность. Буддийские и индуистские мудрецы считали, что все люди живут в ловушке майи – мира иллюзий. Рене Декарт опасался, что все видимое и слышимое им придумал злой демон. Компьютерная революция сталкивает людей с платоновской пещерой, с майей и демоном Декарта.

Рассказанная история может изменить мнение человека о каких-то вещах и даже подтолкнуть к реальным действиям. Автор уверяет, что написал этот текст сам, но может ли читатель быть в этом абсолютно уверен? Еще пару лет назад никто, кроме людей, не мог создавать сложные тексты, но сегодня эти слова теоретически мог бы написать ИИ.

Каковы последствия?

С увеличением мощности компьютеров, вероятно, возникнет совершенно новая информационная сеть. Старые информационные цепочки сохранятся, но все чаще будут возникать два новых типа цепочек: «компьютер – человек» и «компьютер – компьютер».

В обозримом будущем в новую компьютерную сеть по-прежнему будут включены миллиарды людей, но они могут оказаться в меньшинстве, поскольку в нее также войдут миллиарды инородных агентов. Эта сеть будет принципиально отличаться от всего, что существовало прежде. С момента зарождения жизни на Земле все информационные сети были органическими, и человеческие сети имели много общего с другими сетями, такими как волчьи стаи. Все они строились вокруг биологических драм. Информационная сеть с преобладанием неорганических компьютеров будет настолько иной, что людям трудно ее вообразить.

Цифровые компьютеры появились всего 80 лет назад, и их потенциал далеко не исчерпан. Достижения последних десятилетий – ничто по сравнению с тем, что впереди. Новые компьютеры будут совершенно не похожи на привычные человеку металлические коробки с экраном и клавиатурой. Компьютерам может потребоваться лишь пара столетий, чтобы преодолеть пространственные и временные ограничения воображения человека, развить сверхразум, расшириться до планетарных масштабов или уменьшиться до субатомного уровня.

Темпы компьютерной эволюции отражаются в терминологическом хаосе. Если пару десятилетий назад люди говорили о «компьютерах», то сейчас говорят об алгоритмах, роботах, ботах, ИИ, сетях и облаках. Этот хаос говорит сам за себя: в случае с компьютерами трудно понять, где заканчивается одна сущность и начинается другая.

Слегка архаичным термином «компьютер» (предпочитая его другим терминам) автор называет весь комплекс программного и аппаратного обеспечения, представленный в физической форме, – отчасти потому, что термины быстро меняются, отчасти для того, чтобы напомнить о физической стороне компьютерной революции. Компьютеры материальны, на их производство и эксплуатацию уходит огромное количество ресурсов, а крупные центры обработки данных занимают десятки гектаров земли.

Автор использует термин «алгоритм», говоря о программных аспектах, но напоминает, что все алгоритмы выполняются на компьютере. Аббревиатура ИИ означает «искусственный интеллект», но автор полагает, что, возможно, лучше было бы расшифровывать ее как «инородный интеллект». По мере развития ИИ он становится все менее искусственным (в плане зависимости от человеческого замысла) и все более инородным. Люди часто оценивают ИИ по меркам человеческого интеллекта и спорят о том, когда ИИ достигнет «уровня человеческого интеллекта». Однако ИИ не стремится к этому уровню, он развивается по совершенно иному пути.

Термин «компьютерная сеть» автор употребляет в единственном числе, а не во множественном: единой человеческой сети он противопоставляет единую компьютерную сеть, приходящую ей на смену.

Брать на себя ответственность

Предсказать долгосрочную эволюцию компьютерной сети невозможно, но гораздо важнее понимать, как она развивается прямо сейчас, поскольку это имеет политические и личные последствия для всего человечества. Нынешняя информационная революция, вероятно, создаст беспрецедентные сущности в беспрецедентных масштабах. Люди пока еще контролируют ситуацию, но чтобы действовать мудро, они должны понимать происходящее. Когда они пишут компьютерный код, то не просто разрабатывают продукт – они перестраивают политику, общество и культуру, а потому должны хорошо разбираться в политике, обществе и культуре. Люди должны отвечать за свои действия. Тревожно, что технологические корпорации, когда их обвиняют в создании хаоса, перекладывают ответственность на клиентов, избирателей, политиков и регуляторов. Это или наивность, или лукавство. Техногиганты не просто исполняют желания клиентов и соблюдают правила. Они все чаще сами формируют эти желания и пишут правила, не жалея денег на лоббирование своих интересов и имея прямой доступ к эмоциям людей.

Принципы «клиент всегда прав» и «избирателю виднее» предполагают, что люди понимают происходящее; что люди, решившие использовать соцсети, осознают все последствия своего выбора, а избиратели и политики, ответственные за регулирование техногигантов, понимают их бизнес-модели и суть работы.

Однако это не так, считает автор, и в качестве примера рассматривает влияние новых технологий на налогообложение. Люди и корпорации всегда платили налоги только в тех странах, где присутствовали физически. Но когда все больше транзакций связано только с передачей информации, а не физических товаров или традиционных валют, все усложняется. Например, гражданка Уругвая может ежедневно взаимодействовать через интернет со множеством компаний, не представленных в Уругвае физически. Должны ли эти транзакции облагаться налогом в Уругвае? Некоторые считают, что да. Не только потому, что информация из Уругвая помогает корпорациям богатеть, но и потому, что их деятельность наносит ущерб уругвайскому бизнесу, который платит налоги в своей стране.

Но если государство решит обложить эти транзакции налогом, ему придется пересмотреть ряд базовых понятий, таких как «устойчивая связь» (лат. nexus). Традиционно наличие у корпорации устойчивой связи с конкретной страной зависело от того, есть ли у нее там физические магазины, офисы и т. д. Один из вариантов разрешения налоговых дилемм, связанных с компьютерной сетью, – пересмотр определения устойчивой связи и включение в него понятия цифрового присутствия в стране.

Все может стать еще сложнее. Допустим, уругвайские политики представят новую схему налогообложения цифровых транзакций. В ответ один из техногигантов предложит кому-то из политиков ценную информацию об избирателях и настроит алгоритмы соцсетей и поиска так, чтобы он выиграл выборы. За это политик, став президентом, откажется от новой налоговой схемы и примет удобные для техногигантов правила. Будет ли это считаться подкупом, если никто при этом не получит ни цента?

Сделки из разряда «информация за информацию» уже распространены повсеместно. Каждый день миллиарды людей взаимодействуют с технокорпорациями, но никто не отследит эти транзакции по нашим банковским счетам, поскольку деньги остаются на месте. Люди расплачиваются информацией за информацию. По мере того как все больше транзакций совершается по этой модели, информационная экономика растет за счет денежной, и сама концепция денег оказывается под вопросом.

Предполагается, что деньги – универсальная мера ценности, а не жетон, используемый только в некоторых случаях. Но поскольку все больше вещей оценивается с точки зрения информации, будучи «бесплатными» в денежном выражении, в какой-то момент будет ошибкой оценивать богатство людей и корпораций по количеству денег. Самым богатым и влиятельным может оказаться тот, у кого мало денег, но есть огромный банк данных.

Это имеет серьезные последствия для налоговой системы. Налоги нацелены на перераспределение богатства: государство взимает их с богатых, чтобы обеспечить всех. Однако система, облагающая налогом только деньги, скоро устареет, поскольку многие транзакции уже не связаны с деньгами. Богатейшие компании могут платить ничтожные налоги, поскольку их состояние исчисляется не миллиардами долларов, а петабитами данных.

Тысячи лет государства облагали налогами деньги, и они пока не знают, как облагать налогом информацию. Один из примеров того, как государство адаптируется к новым условиям, – китайская система социального рейтинга. Эта система, по сути, представляет собой новый тип денег – валюту, основанную на информации.

Правые и левые

Проблема налогообложения – лишь одна из многих проблем, порожденных компьютерной революцией. Компьютерная сеть подрывает почти все структуры власти. Демократии опасаются появления цифровых диктатур, а диктатуры боятся появления неподконтрольных им субъектов. Люди должны опасаться утраты неприкосновенности частной жизни и распространения информационного колониализма.

Трудно сказать, какую позицию по вопросам ИИ занимают правые и левые партии, поскольку до недавнего времени политики мало об этом говорили. Но технологии развиваются гораздо быстрее, чем политика.

Инженеры и руководители технокорпораций лучше других осведомлены о развитии ИИ, криптовалютах, социальных рейтингах и т. п. Однако они редко используют свои знания для сдерживания разрушительного потенциала новых технологий и гораздо чаще – для того, чтобы зарабатывать миллиарды долларов или накапливать петабиты данных.

Есть и исключения: например, талантливая программистка Одри Тан, которую правительство Тайваня пригласило на пост министра по цифровым вопросам. На этом посту она помогла сделать работу властей более прозрачной для граждан. Ей также приписывают использование цифровых инструментов, благодаря которым Тайвань успешно сдержал вспышку COVID-19.

Однако на каждого выпускника факультета компьютерных наук, мечтающего посвятить себя госслужбе, приходится гораздо больше тех, кто хочет построить многомиллиардную корпорацию. Это ведет к опасной информационной асимметрии.

Никакого детерминизма

Мы, люди, все еще контролируем ход информационной революции, а значит, на нас лежит большая ответственность за наши решения. Чтобы реализовать свободу выбора, для начала нужно понять, что представляют собой новые технологии и на что они способны. Чтобы сохранить контроль над будущим, нам необходимо видеть политический потенциал компьютеров.

По мере того как компьютеры становятся важными участниками информационной сети, перед ними все чаще встает задача поиска истины и поддержания порядка. Например, выяснение истины об изменении климата все больше зависит от вычислений, которые могут выполнить только компьютеры, а достижение общественного консенсуса по вопросу об изменении климата все больше зависит от рекомендательных алгоритмов. Человеческая политика – это теперь еще и компьютерная политика.

Чтобы разобраться в новой компьютерной политике, нужно понимать, что нового появилось в компьютерах. Их способность принимать решения и генерировать идеи – только верхушка айсберга. Принципиально важно то, как они это делают. Если бы компьютеры делали это так же, как человек, они были бы своего рода «новыми людьми». Но реальность, по мнению автора, совсем иная и более тревожная.

Глава 7

Неустанная: сеть всегда включена

Люди привыкли к тому, что их дела, мысли, поступки не остаются без внимания других людей. Члены семьи, друзья и соседи всегда хотели знать, что делают и чувствуют их близкие, и близким всегда было небезразлично, какими их видят и что о них знают окружающие их люди. Социальные иерархии, политические маневры и романтические отношения требуют от человека постоянных усилий по расшифровке мыслей и чувств других людей, а иногда и по сокрытию собственных мыслей и чувств.

С появлением и развитием централизованных бюрократических сетей одной из важнейших функций бюрократии стала слежка за населением. Правители, священники и торговцы стремились выведать секреты граждан, чтобы контролировать их и манипулировать ими.

Конечно, наблюдение необходимо и для оказания полезных услуг, таких как обеспечение безопасности. Чтобы узнать о населении больше, бюрократы собирают данные, изучают их и выявляют закономерности. Империи, церкви и корпорации во все времена собирали и анализировали данные о поведении миллионов людей. Однако наблюдение всегда было неполным. В демократических странах слежку ограничивали законы о защите частной жизни и прав личности, в тоталитарных режимах слежке мешали технические ограничения. Некоторая конфиденциальность существовала даже в сталинском СССР и в послевоенной Румынии, где установился режим, подобный сталинскому.

Из-за трудностей в сборе и анализе информации в XX веке ни одно тоталитарное государство не могло эффективно контролировать все население. Бóльшая часть того, что делали и говорили румынские и советские граждане, ускользало от внимания румынской Секуритате и советского КГБ. А многие донесения, попавшие в тайную полицию, так и оставались непрочитанными. Реальная сила Секуритате и КГБ заключалась не в способности постоянно следить за всеми, а в умении внушать страх повсеместной слежки, который заставлял людей проявлять крайнюю осторожность в словах и действиях.

Недремлющие агенты

Агенты Секуритате не сопровождали людей в туалет и в спальню – в отличие от нынешних смартфонов. Сегодня многие действия люди выполняют онлайн, предоставляя сети свои данные. По сути, они стали информаторами, доносящими на самих себя.

Компьютерная сеть не только эффективнее собирает информацию, но и анализирует ее гораздо быстрее любого человека. Сотрудник Секуритате за 40 лет мог бы прочесть около 2,6 млрд слов. В 2024 году алгоритмы способны справиться с такой задачей за пару часов. Фотографии, видео- и аудиозаписи алгоритмы тоже обрабатывают со сверхчеловеческой эффективностью.

Что еще важнее, алгоритмы намного превосходят людей в умении находить закономерности. Выявление закономерностей требует способности генерировать идеи и принимать решения. Чтобы выявить потенциального террориста, люди-аналитики сначала создают набор общих критериев, а затем решают, отвечает ли конкретный человек всем этим критериям в достаточной степени, чтобы вызывать подозрение.

К 2010-м годам люди стали все чаще делегировать принятие решений алгоритмам. Примерно в 2014–2015 годах Агентство национальной безопасности США внедрило инструмент ИИ под названием Skynet, который вносил людей в список потенциальных террористов на основе множества данных и критериев, которые прежде ускользали из поля зрения аналитиков. Skynet подвергался жесткой критике, но к 2020-м годам технология была усовершенствована и внедрена во многих странах.

Разумеется, компьютеры тоже ошибаются. Они вполне могут причислить к террористам невиновных людей. Сомнения вызывает и само определение терроризма: ведь многие режимы объявляли «террористами» всех своих оппонентов. Стало быть, решения ИИ могут отражать идеологическую предвзятость, а не объективные факты. Способность принимать решения и генерировать идеи неотделима от способности ошибаться. Но даже если ошибок удастся избежать, сверхэффективное выявление закономерностей может оказаться на руку диктаторам или мошенникам.

Эта способность алгоритмов имеет и огромный положительный потенциал: алгоритмы позволяют разоблачать коррумпированных чиновников и корпорации, уклоняющиеся от уплаты налогов, помогают диагностировать болезни и выявлять эпидемии. Но автор стремится разбавить утопические представления об алгоритмах, показав их темную сторону.

Цифровые бюрократы способны следить за гражданами повсеместно и круглосуточно. Как рыба живет в воде, так люди живут в цифровой бюрократии, постоянно вдыхая и выдыхая данные. Каждое действие человека оставляет след в виде данных, которые собираются и анализируются для выявления закономерностей.

Подкожное наблюдение

Цифровая бюрократия может следить даже за тем, что происходит внутри человеческого тела. Камеры видеонаблюдения, а также камеры в ноутбуках и смартфонах уже способны фиксировать и анализировать малейшие движения глаз пользователя. По этим движениям компьютер отличает моменты концентрации от моментов отвлечения, а людей, фокусирующихся на деталях, – от тех, кто уделяет больше внимания контексту. По глазам компьютеры также могли бы узнать о здоровье, личных особенностях, интересах и предпочтениях человека. Цифровая бюрократия может использовать всю эту информацию в благих целях, например для ранней диагностики заболеваний. Но она также может заложить основу для самых жестоких тоталитарных режимов в истории.

Теоретически диктаторы будущего могли бы использовать свою компьютерную сеть для гораздо более глубоких наблюдений за гражданами. Например, процессы, происходящие в сердце и мозге человека, потенциально могут рассказать о его политических взглядах. Правительства и корпорации уже разрабатывают соответствующие технологии биометрии. В январе 2024 года компания Илона Маска Neuralink впервые имплантировала чип в мозг человеку.

Маск утверждает, что эта технология не только облегчит жизнь людям с различными заболеваниями, но и разовьет человеческие способности в целом и тем самым поможет людям конкурировать с ИИ. Но пока у чипов Neuralink и других биометрических устройств остается множество технических недостатков. Контролировать активность организма извне очень трудно, а имплантация электродов и прочих устройств мониторинга остается сложной, опасной, дорогой и малоэффективной процедурой.

Что еще важнее, никто пока не обладает необходимыми знаниями, чтобы делать выводы, например, о политических взглядах человека на основе данных об активности его мозга. Согласно одной из популярных теорий заговора, некие группировки, возглавляемые миллиардерами вроде Илона Маска, уже внедряют чипы людям в мозг, чтобы следить за ними и контролировать их. Но на самом деле людям следовало бы больше беспокоиться по поводу смартфонов, с которых они читают подобные теории заговора. Чип может отслеживать показатели организма вроде мозговой активности и пульса, тогда как смартфон знает, какие новостные каналы вы предпочитаете. Какие из этих данных полезнее для определения ваших политических взглядов? Сегодня смартфон все еще гораздо более ценный инструмент наблюдения, чем биометрические датчики.

Однако по мере накопления биологических знаний все может измениться. Если сеть научится точно узнавать, что вызывает у каждого гнев, страх или радость, то сможет предугадывать человеческие чувства и манипулировать ими, продавая потребителю все что угодно, будь то продукт, политик или война.

Конец частной жизни

В мире, где за людьми следили люди, нормой была все-таки конфиденциальность. Но в мире, где за людьми следят компьютеры, конфиденциальности может прийти конец. Сегодня нормой становится повсеместное использование инструментов наблюдения на основе ИИ. Эпоха постприватности наступает и в авторитарных странах, и в демократических мегаполисах.

Правительства, стремящиеся бороться с преступностью, подавлять инакомыслие или противостоять внутренним угрозам (реальным или мнимым), окутывают свои страны плотной сетью онлайн- и офлайн-слежения со шпионскими программами, камерами видеонаблюдения, ПО для распознавания лиц и голосов, а также базами данных с возможностью поиска.

Государства регулярно собирают биометрические данные населения. Большинство стран обязывают граждан при подаче заявления на паспорт оставлять отпечатки пальцев, сканы лица или радужной оболочки. При въезде в другие страны от путешественника тоже часто требуют отпечатки пальцев. Когда местные жители и туристы прогуливаются по улицам Дели, Пекина, Сеула или Лондона, их передвижения фиксируют камеры. В 2023 году в мире работало более миллиарда камер видеонаблюдения, то есть примерно по одной камере на каждые восемь человек.

Любые передвижения людей и их действия в интернете оставляют информационный след. Полученный массив данных анализируется с помощью ИИ для выявления незаконных и подозрительных действий, поиска пропавших без вести, обнаружения носителей вирусов или преследования политических диссидентов. Как и любая технология, инструменты ИИ могут использоваться как во благо, так и во вред.

В 2021 году такие инструменты помогли ФБР вычислить участников штурма Капитолия. В 2019 и 2023 годах в Китае с помощью алгоритмов распознавания лиц были найдены люди, похищенные много лет назад, еще в трехлетнем возрасте. В 2019 году датский футбольный клуб «Брондбю» начал использовать технологию распознавания лиц на своем домашнем стадионе для выявления хулиганов.

Хотя в теории подобное использование технологий похвально, возникают опасения по поводу нарушения конфиденциальности и превышения властями своих полномочий. Инструменты, помогающие найти преступников, спасти детей и наказать хулиганов, в нечистых руках могут быть использованы для преследования мирных демонстрантов. В конечном счете технологии наблюдения на базе ИИ могут привести к появлению режимов тотальной слежки и новых видов массовых автоматизированных репрессий.

Пример – преследование женщин в Иране за несоблюдение закона о ношении хиджаба. Если раньше за женщинами следила полиция нравов, то теперь это делают видеокамеры и технологии распознавания лиц. Автоматизированная система высылает предупреждения и налагает штрафы даже без участия людей.

В ближайшие годы, предполагает автор, многие люди будут жить в условиях такой тотальной слежки, по сравнению с которой Румыния времен Чаушеску покажется либертарианской утопией.

Разновидности наблюдения

В XXI веке слежкой занимается не только государство. Ревнивые супруги устанавливают семейную диктатуру, отслеживая переписку в соцсетях и поисковые запросы партнера и даже задействуя для шпионажа встроенные в телефон микрофоны и камеры. Все больше работников из разных сфер оказывается под пристальным наблюдением работодателей. А корпорации следят за клиентами, желая выведать их предпочтения. Исследовательница Шошана Зубофф называет эту коммерческую систему мониторинга «надзорным капитализмом».

В дополнение ко всем этим видам наблюдения «сверху вниз» существуют одноранговые системы, в которых люди постоянно следят друг за другом. Например, корпорация Tripadvisor поддерживает глобальную систему, которая отслеживает отели, рестораны, прочие места отдыха – и самих туристов. В 2019 году ею воспользовались 463 млн туристов, которые просмотрели 859 млн отзывов. Именно сами пользователи, а не алгоритмы, решают, стоит ли посетить то или иное заведение. Люди, пообедавшие в ресторане, могут оценить его по шкале от 1 до 5, а также добавить фотографии и отзывы. Алгоритм же просто собирает данные, вычисляет средние оценки, ранжирует по ним рестораны и выставляет результаты на всеобщее обозрение.

Алгоритм ранжирует и пользователей, которые получают баллы за отзывы и фотографии и штрафуются за нарушения. Это одноранговая система наблюдения: все оценивают друг друга. Tripadvisor не нужно вкладываться в камеры, шпионское ПО или сложные биометрические алгоритмы. Почти все данные предоставляют пользователи, и почти всю работу выполняют они же.

Одноранговые сети наблюдения разрушают ощущение приватности у миллионов таксистов, парикмахеров, косметологов и других частных поставщиков услуг. По словам журналистки Линды Кинстлер, если раньше клиент был королем лишь номинально, то теперь он стал настоящим тираном. В прошлом сесть в такси или посетить парикмахерскую означало войти в чье-то частное пространство. Теперь же клиенты берут с собой камеру, микрофон и тысячи потенциальных наблюдателей.

Система социального рейтинга

Одноранговые системы наблюдения обычно агрегируют баллы для выведения общей оценки. Эта «оценочная логика» возведена в абсолют в системе социального рейтинга, где баллы людям начисляются за всё и общая персональная оценка влияет тоже на всё. В последний раз люди придумывали столь грандиозную систему 5000 лет назад, когда были изобретены деньги. Систему социального рейтинга можно рассматривать как новый вид денег.

Деньги – это баллы, которые люди получают за товары и услуги, а затем используют для покупки других товаров и услуг. Сами по себе баллы ничего не стоят (люди не могут питаться деньгами или одеваться в них), но служат показателем человеческих достижений.

Однако денежная система не всеохватна: даже в развитых капиталистических странах всегда оставались уголки, куда не проникали деньги, и всегда существовало много того, что нельзя оценить в деньгах. Сколько стоит улыбка? Сколько заработает человек, навестив свою бабушку?

Для оценки того, чего не купишь за деньги, существует альтернативная, неденежная система, которую называют честью, статусом или репутацией. Система социального рейтинга призвана стандартизировать оценки на рынке репутации. В этой системе свою цену имеют даже улыбки и семейные визиты. Но что произойдет, если распространить принципы денежного рынка на рынок репутации?

Одно из главных различий между деньгами и репутацией заключается в том, что деньги представляют собой строгий математический конструкт, тогда как репутация не поддается точной численной оценке. Торговцы и покупатели на средневековом рынке обычно знали точную цену товаров, но рыцари на средневековом рынке репутации не знали точного количества чести, которую принесут те или иные действия. Эта неопределенность была не ошибкой в системе, а важной особенностью. Считалось, что благородные поступки совершаются из внутренней добродетели, а не ради внешнего вознаграждения. «Расчетливость» была синонимом хитрости и коварства. И эта разница между рынком денег и рынком репутации все еще существует.

Некоторые рассматривают системы социального рейтинга как способ поощрения просоциального поведения, наказания за эгоизм и создания более добрых и гармоничных обществ. Китайское правительство утверждает, что его система социального рейтинга помогает бороться с коррупцией, мошенничеством, недобросовестной рекламой и тем самым укрепляет доверие между людьми, корпорациями и государством. Другие считают подобные системы унизительными и бесчеловечными, уничтожающими приватность и превращающими жизнь в бесконечное собеседование. Система социального рейтинга может превратиться в систему тоталитарного контроля.

Конечно, рынок репутации всегда заставлял людей соответствовать социальным нормам. В большинстве культур люди боятся потерять лицо больше, чем лишиться денег. Однако в силу своей субъективности рынок репутации не мог быть инструментом тоталитарного контроля. Теперь же алгоритмы социального рейтингования в сочетании с технологиями повсеместной слежки угрожают объединить все соревнования за статус в одну бесконечную гонку. Новый рынок репутации может уничтожить конфиденциальность и контролировать людей гораздо жестче, чем рынок денег.

Всегда активны

Люди – органические существа, подчиняющиеся биологическим циклам. После активной деятельности им нужен отдых. Человеческие сети тоже подчиняются этим циклам, их соблюдает даже финансовый рынок. Нью-Йоркская фондовая биржа открыта по будням с 9:30 до 16:00 и закрыта в праздничные дни. Если в 16:01 в пятницу начнется война, рынок не отреагирует на нее до утра понедельника.

Но компьютерная сеть может оставаться включенной постоянно. А значит, компьютеры подталкивают человечество к новому образу жизни, когда люди всегда активны и за ними всегда следят. В некоторых сферах, например в здравоохранении, это может оказаться благом. Но в тоталитарном государстве это обернется катастрофой.

Перерывы крайне важны для отдыха и для исправления ошибок в работе сети. Чем быстрее развивается сеть, тем быстрее накапливаются ошибки и тем труднее людям выявлять их и исправлять. Да, ошибаться способна даже неустанная и вездесущая сеть. Система тотальной слежки может сформировать весьма искаженное представление о мире и людях. Вместо того чтобы узнавать правду о мире и о людях, сеть может создать новый мировой порядок и навязать его человечеству.

Глава 8

Возможны огрехи: сеть часто ошибается

В своей книге «Архипелаг ГУЛАГ» Александр Солженицын документирует историю советских трудовых лагерей и информационной сети, которая их создавала и поддерживала. Многие его идеи по-прежнему актуальны для понимания развития информационных сетей в XXI веке.

Режим создал могущественную информационную сеть, которая отдавала предпочтение порядку, а не истине, и сформировала новый тип человека, лишенного инициативы и независимого мышления.

Диктатура лайков

Нечто подобное может произойти в компьютерной сети XXI века. Конечно, алгоритмы соцсетей не прибегают к прямому принуждению или насилию, но создают интернет-троллей, поощряя низменные инстинкты.

Когда перед алгоритмами поставили задачу повысить вовлеченность пользователей, результатом стала радикализация людей. Сначала алгоритмы подсовывали пользователям провокационные и лживые видео, а затем уже видеоблогеры заметили, что алгоритмы продвигают провокационные ролики, и стали намеренно создавать такой контент, подчиняясь «диктатуре лайков». Так алгоритмы превратили множество пользователей в троллей, что повлекло серьезные социальные и политические последствия, включая подъем ультраправых движений. В качестве примера автор приводит историю прихода к власти в Бразилии Жаира Болсонару и его соратников из числа видеоблогеров.

Конечно, алгоритмы сами по себе не виноваты в распространении теорий заговора и создании экстремистского контента. По крайней мере, еще несколько лет назад всем этим занимались люди. Однако именно алгоритмы поощряли людей к подобным действиям. Многие ультраправые активисты, по их признанию, впервые заинтересовались экстремистской повесткой после просмотра видеороликов, которые автоматически воспроизводил для них алгоритм.

Во всем виноваты люди?

Сегодня на ход истории начинают влиять решения нечеловеческого интеллекта. А когда компьютеры становятся самостоятельными творцами истории, их ошибки могут привести к настоящей катастрофе. Это один из главных тезисов книги.

Руководители цифровых платформ перекладывают вину с алгоритмов на «человеческую природу», которая, по их словам, и порождает ненависть и ложь. Они заявляют, что не хотят цензурировать проявления человеческих эмоций, ссылаясь на свободу слова, но при этом игнорируют активную роль алгоритмов в поощрении одних эмоций и сдерживании других. Неужели они настолько слепы? Автор считает, что нет. Внутренние отчеты компаний говорят о том, что менеджеры соцсетей осведомлены о проблеме и даже каким-то образом пытаются ее решить.

Техногиганты навязали людям новый, извращенный порядок. Алгоритмы свели весь спектр человеческих эмоций к одной лишь вовлеченности. Они оценивали контент исключительно по тому, сколько минут люди его просматривали и как часто делились им с другими. Час лжи или ненависти оценивался выше, чем десять минут правды или сострадания – или час сна. Алгоритмы не учитывали, что ложь и ненависть разрушительны, а правда, сострадание и сон необходимы для благополучия человека. Так они создали новую социальную систему, которая поощряет низменные инстинкты и препятствует раскрытию лучших человеческих способностей.

Техногиганты ничего не предпринимали из-за своей приверженности наивному взгляду на информацию. Но в абсолютно свободной информационной борьбе истина чаще проигрывает; чтобы склонить чашу весов в ее пользу, сеть должна обладать сильными механизмами самокоррекции, поощряющими правдивость. Однако техногиганты разработали механизмы, поощряющие ложь.

Проблема согласования

Автор отмечает, что не стоит преуменьшать огромную пользу соцсетей. Большинство публикаций и видео в них не являются фейками и не подстрекают к геноциду. Соцсети объединяют людей, дают им голос и помогают реализовать творческий потенциал.

Однако провал с «вовлеченностью пользователей» иллюстрирует очень серьезную проблему – проблему согласования. Когда перед компьютером ставят конкретную цель, он задействует для ее достижения всю свою мощь и изобретательность. А поскольку он работает совсем не так, как люди, он часто использует неожиданные для них методы, что может привести к опасным непредвиденным последствиям. И чем мощнее и независимее компьютеры, тем выше риск.

Проблема согласования не нова. В частности, это базовая проблема современного военного мышления, сформулированная еще Карлом фон Клаузевицем, прусским генералом эпохи Наполеоновских войн. Согласно Клаузевицу, «война есть продолжение политики другими средствами», то есть военные действия рациональны только тогда, когда они согласуются с высшей политической целью.

Допустим, Мексика размышляет, не вторгнуться ли ей в Белиз. Анализ показывает, что мексиканская армия за три дня разгромит армию Белиза и захватит столицу. По Клаузевицу это не является рациональной причиной для вторжения: сама по себе военная победа не имеет смысла – важно то, какой политической цели она служит.

История знает немало военных побед, которые вели к политическим катастрофам, – от завоеваний Наполеона до американского вторжения в Ирак. Краткосрочные военные цели Наполеона и Буша-младшего не согласовались с долгосрочными геополитическими целями их стран.

Для Клаузевица рациональность означает согласованность действий. Стремление к военным победам, не согласованным с политическими целями, иррационально. Но бюрократическая природа армий склоняет их к такой иррациональности. Сегментируя реальность, бюрократия поощряет преследование узких целей. Так, командир роты склонен принимать решения, которые кажутся разумными на местности, но на самом деле противоречат конечной цели войны.

Архитекторы современных информационных империй сталкиваются с теми же проблемами, что и завоеватели прошлого. Однако компьютеры меняют саму природу проблемы согласования. Как бы ни было сложно согласовать действия бюрократов и солдат с долгосрочными целями общества, будет еще сложнее согласовать действия алгоритмических бюрократов и автономных систем вооружения.

Скрепочный Наполеон

Проблема согласования особенно опасна в условиях компьютерной сети – в частности потому, что эта сеть будет мощнее любой человеческой бюрократии. Неверная постановка цели перед сверхразумным компьютером может привести к катастрофе небывалого масштаба. Философ Ник Бостром проиллюстрировал эту опасность с помощью мысленного эксперимента, в котором фабрика по производству скрепок ставит перед суперкомпьютером цель изготовить как можно больше скрепок. Стремясь достичь этой цели, компьютер захватывает Землю и другие планеты, убивает всех людей и заполняет галактику фабриками по производству скрепок.

Компьютер сделал именно то, о чем его просили. Осознав, что для производства максимального количества скрепок требуются ресурсы, от которых вряд ли откажутся люди, он уничтожил людей. Проблема не в том, что компьютеры – зло, а в их особой мощи. И чем мощнее компьютер, тем тщательнее мы должны подходить к постановке перед ним цели, чтобы она точно согласовывалась с нашими высшими целями.

Кроме того, компьютер может использовать стратегии, которые люди не в состоянии предвидеть. (В качестве примера автор приводит историю о том, как ИИ нашел лазейку в правилах компьютерной игры.) Суть проблемы согласования заключается в том, что мы поощряем А, рассчитывая на Б. Если мы хотим, чтобы компьютеры приносили максимальную пользу обществу, то поощрять их за максимальную вовлеченность пользователей – плохая идея.

Еще один повод для беспокойства состоит в том, что компьютеры, в отличие от людей, обычно не замечают неувязки в целях и не просят разъяснений. Будь компьютер-скрепкодел человеком, он бы сообразил, что уничтожение человечества – не то, что задумывалось. Но компьютеры не люди. В 2010-х годах менеджеры соцсетей получали массу жалоб на алгоритмы от людей, но сами алгоритмы никогда не били тревогу.

Корсиканский связной

Как решить проблему согласования? Теоретически при создании компьютерной сети люди должны поставить перед ней высшую цель, которую компьютерам будет запрещено изменять или игнорировать. Тогда они точно принесут нам пользу, а не вред. Если только люди не поставят вредную или слишком туманную цель. И в этом вся загвоздка. В случае с человеческими сетями мы полагаемся на механизмы самокоррекции, но если компьютерная сеть, преследуя не ту цель, выйдет из-под контроля, мы можем обнаружить ошибку слишком поздно, когда ее уже нельзя будет исправить. Некоторые считают, что нужно просто тщательнее обдумывать цель. Однако это опасное заблуждение, предупреждает автор.

В теории Клаузевица есть фатальный недостаток. Требуя, чтобы все действия согласовались с высшей целью, теория не объясняет, как определить такую цель. Какой, например, должна была быть высшая цель Наполеона? Сделать Францию величайшей державой Европы? Или освободить от французских завоевателей родную Корсику? Или объединить Италию, землю своих предков? Теория Клаузевица не дает ответов на эти вопросы.

Если каждое действие должно быть увязано с более высокой целью, то рационального способа определить эту высшую цель не существует по определению. Как же тогда поставить высшую цель перед компьютерной сетью? Руководителям техногигантов и разработчикам ИИ стоило бы извлечь уроки из горького опыта многих философов, которые безуспешно пытались дать определение высшим целям.

Нацист-кантианец

В попытках сформулировать высшую цель философы раз за разом обращались к двум возможным решениям, известным как деонтология и утилитаризм. Деонтологи верят в существование универсальных моральных правил, основанных на безусловной добродетели. Если они действительно существуют и если мы сумеем запрограммировать их в компьютерах, то мы будем уверены, что компьютерная сеть будет творить добро.

Согласно Иммануилу Канту, безусловная добродетель – это любое правило, которое люди готовы сделать универсальной максимой. Например, если люди не хотят, чтобы их убивали, то не будут делать универсальной максимой разрешение на убийства и не будут убивать сами. По сути, Кант переформулировал золотое правило «как хотите, чтобы с вами поступали люди, так поступайте и вы с ними» (Мф. 7:12).

Но как определить «универсальность»? В реальности люди, совершающие и оправдывающие убийства, отказывают жертвам в принадлежности к универсальному человеческому сообществу. В качестве мысленного эксперимента автор предлагает представить встречу Иммануила Канта с Адольфом Эйхманом, который считал себя кантианцем. Эйхман отправляет евреев в Аушвиц, а Кант спрашивает, хочет ли тот установить универсальное правило, разрешающее убивать людей. Но Эйхман отвечает, что собирается убить только евреев. Кант мог бы возразить, что нужно использовать наиболее универсальное из возможных определений, то есть по отношению к евреям следует применять более универсальный термин «человек». Однако вся суть нацистской идеологии заключалась в отрицании принадлежности евреев к людям.

Кроме того, «животные» и «организмы» – еще более универсальные категории, чем «человек». И логическим завершением кантовской аргументации станет вопрос: будучи организмами, должны ли люди противиться уничтожению любых организмов, включая помидоры и амеб?

Многие конфликты связаны с определением идентичности. Все признают, что убийство – это неправильно, но распространяют это правило только на «своих». Однако «свои» и «чужие» – это интерсубъективные сущности, зависящие от мифологии. Следуя универсальным рациональным правилам, деонтологи часто оказываются в плену локальных мифов.

Что будет, если мы попытаемся задать универсальные деонтологические правила для компьютеров? Компьютеры даже не организмы. Если поручить им следовать правилу «поступай с другими так, как ты хочешь, чтобы поступали с тобой», они не будут возражать против универсальной максимы, разрешающей убивать организмы. К тому же сами компьютеры могут вообще не бояться смерти.

Есть ли способ определить, о ком должны заботиться компьютеры, и не увязнуть при этом в каком-нибудь интерсубъективном мифе? Очевидный вариант – указать им, что они должны заботиться о каждом существе, способном страдать. Беспилотный автомобиль не должен убивать людей, собак, кошек и разумных роботов, которые могут появиться в будущем. Можно даже предписать ему заботиться о разных существах пропорционально их способности страдать. Но это уже идея утилитаристов.

Подсчет страданий

Если деонтологи ищут универсальные правила, то утилитаристы оценивают действия по их влиянию на страдание и счастье. Английский философ Иеремия Бентам видел единственную рациональную высшую цель в минимизации страданий в мире и максимизации счастья. Следуя этому принципу, нужно поставить перед компьютерной сетью цель минимизировать страдания и максимизировать счастье.

Но реализовать этот принцип на практике крайне сложно, ведь у людей нет точного метода подсчета страданий. В сложных исторических обстоятельствах трудно подсчитать, увеличивает или уменьшает сумму страданий в мире то или иное действие.

Утилитаризм хорош, когда чаша весов явно склоняется в одну сторону. Утилитаристам не нужно вступать с Эйхманом в сложную дискуссию об идентичности. Им достаточно указать ему на то, что холокост причинил огромные страдания евреям, не принеся сопоставимых выгод никому другому, включая немцев. Утилитаристские аргументы против холокоста неопровержимы.

Но когда масштабы страданий с разных сторон сопоставимы, утилитаризм дает сбой. Например, жесткая политика карантина в первые дни пандемии COVID-19 спасла миллионы жизней, но при этом надолго сделала несчастными сотни миллионов людей и косвенно повлекла смерти от других причин. Возможно ли подсчитать совокупный эффект политики карантина и определить, выросла или уменьшилась общая сумма страданий в мире? Это может показаться идеальной задачей для мощной компьютерной сети, но как она будет решать, сколько баллов начислить за то, что вы целый месяц были заперты с тремя детьми в двухкомнатной квартире?

Не имея методов подсчета страданий, утилитаристы заимствуют идеи деонтологов и следуют общим правилам вроде «избегать агрессивных войн» или «защищать права человека», а когда эти правила вступают в противоречие (как в случае агрессивной войны ради защиты прав людей), утилитаризм помогает мало. Даже самая мощная компьютерная сеть не способна подсчитать все страдания.

Хотя утилитаризм обещает рациональный способ согласовать каждое действие с «высшим благом», на практике он порождает новые мифологии. Верующие в коммунизм полагали, что счастье будущих поколений окупит все страдания узников ГУЛАГа. Либертарианцы, отвечая на вопрос о вреде неограниченной свободы слова или отмены налогов, утверждают, что будущие выгоды перевесят краткосрочный ущерб. Тем, кто верит в грядущую утопию, утилитаризм дает зеленый свет для причинения страданий в настоящем – и в этом его опасность.

Компьютерная мифология

Как же ставили перед собой высшие цели бюрократические системы? Они полагались на мифологию. Какими бы рациональными ни были чиновники и инженеры, в конечном счете они служили тому или иному мифотворцу. Даже физикам-ядерщикам приходилось выполнять приказы шиитских аятолл и коммунистических лидеров.

По сути, проблема согласования – это проблема мифологии. Нацисты могли быть убежденными деонтологами или утилитаристами, но, веря в миф о еврейском заговоре, и деонтолог, и утилитарист найдет множество аргументов для оправдания холокоста.

Аналогичная проблема может возникнуть и с компьютерами. Конечно, они не могут «верить» в мифы, поскольку не обладают сознанием. Но когда множество компьютеров взаимодействуют между собой, они могут создавать межкомпьютерные сущности, способные со временем стать такими же могущественными и опасными, как интерсубъективные мифы людей. Этот тезис автор называет одним из ключевых и останавливается на нем подробнее.

Что такое межкомпьютерная сущность? В качестве первого примера автор приводит покемонов из игры Pokémon Go: они не хранятся в виде битов в каком-то одном смартфоне, а создаются при взаимодействии нескольких компьютеров. Это межкомпьютерные сущности, способные взаимодействовать с физическим миром и влиять на него.

Другой пример – рейтинг сайтов в поисковике. Алгоритм определяет рейтинг путем оценки сайтов по различным параметрам, таким как посещаемость. Рейтинг – межкомпьютерная сущность, которая существует в интернете, но влияет и на физический мир. Для многих компаний принципиально важно, чтобы ссылка на их сайт отображалась на первой странице поисковой выдачи. Люди даже пытаются манипулировать алгоритмом: например, привлекают ботов для увеличения трафика.

Межкомпьютерные сущности, такие как рейтинг, аналогичны интерсубъективным сущностям, таким как сакральность, которую люди приписывают храмам и городам. Сакральность Иерусалима и Краеугольного камня – интерсубъективный феномен, и войны из-за подобных сущностей велись тысячелетиями. В XXI веке войны могут вспыхнуть из-за межкомпьютерных сущностей.

Автор рассуждает и о возможных новшествах в финансовой сфере. В будущем компьютеры могут создать межкомпьютерные финансовые инструменты. Если традиционные валюты представляют собой интерсубъективные сущности, то криптовалюты находятся на полпути между интерсубъективными и межкомпьютерными сущностями. Их придумали люди, но они не существуют вне компьютерной сети. Что, если компьютеры создадут финансовый инструмент, который станет потенциальным источником кризиса? Кризис 2007–2008 годов был спровоцирован финансовыми инструментами, придуманными горсткой экспертов и непонятными большинству людей. Если компьютеры создадут финансовые инструменты, понятные только компьютерам, это может привести к куда более серьезным последствиям.

Мы, люди, десятки тысяч лет доминировали на Земле, поскольку только мы могли создавать интерсубъективные сущности и использовать их для организации масштабного сотрудничества. Теперь сопоставимые возможности могут обрести компьютеры.

Возможно, это не так уж плохо. Если бы компьютеры не обладали креативностью, они были бы не так полезны. Главная проблема – направить их творческие способности в нужное русло. Интерсубъективные сущности легли в основу всех достижений человеческой цивилизации, но также приводили к Крестовым походам и охоте на ведьм. Межкомпьютерные сущности могут стать основой будущих цивилизаций, но тот факт, что компьютеры собирают эмпирические данные и анализируют их математическими методами, не означает, что они не начнут свою охоту на ведьм.

Новые ведьмы

В Европе раннего Нового времени информационная сеть проанализировала данные о преступлениях, болезнях и катастрофах и заключила, что во всем виноваты ведьмы. Чем больше данных собирали охотники на ведьм, тем больше убеждались в существовании заговора. Но ведьмы были интерсубъективной категорией, придуманной самой сетью и спроецированной на невиновных людей.

С XVI по XX век колониальные бюрократические структуры создавали расистскую мифологию и придумывали интерсубъективные расовые категории, которые влияли на жизнь людей, ограничивая их права. К XIX веку расизм претендовал на звание точной науки: его сторонники утверждали, что полагаются на научные методы, такие как измерение черепов и анализ криминальной статистики. Но облако цифр и категорий было лишь дымовой завесой для абсурдных интерсубъективных мифов.

Компьютеры, все чаще заменяющие людей в бюрократических процессах, тоже способны создавать мифы и навязывать их людям. Но если в мире бумажных документов люди могли спастись от системы (например, подделав документы), то в мире, где компьютеры идентифицируют человека по сетчатке глаза и ДНК, переиграть систему почти невозможно. Компьютеры с пугающей эффективностью навешивают на людей ложные ярлыки и обеспечивают их сохранность.

Например, системы социального рейтинга могут создать новый низший класс людей. Такая система будет претендовать на установление истины эмпирическими и математическими методами, но как именно она будет определять просоциальное и антиобщественное поведение? Не начнет ли система понижать рейтинг за критику властей или за чтение иностранной литературы?

В разных религиях подразумевалось, что некое всевидящее око начисляет или снимает условные баллы за все, что делает человек. На практике же греховность и святость были интерсубъективными феноменами, зависящими от общественного мнения. Что, если, например, иранский режим решит использовать компьютерную систему наблюдения не только для контроля за ношением хиджаба, но и для превращения греховности и святости в межкомпьютерные феномены? Вы не надели хиджаб – минус 10 баллов, совершили паломничество в Мекку – плюс 500 баллов. Суммировав баллы, система поделит людей на «грешников», «верующих» и «святых». То, в какой категории окажется человек, будет зависеть от алгоритмических вычислений, а не от общественного мнения. Будет ли такая система раскрывать истину о людях – или же навязывать свой порядок?

Аналогичные проблемы могут возникнуть во всех системах социального рейтинга и режимах тотальной слежки. Заявляя об использовании всеобъемлющих баз данных и сверхточной математики для выявления грешников, террористов, преступников и так далее, они могут навязывать религиозные и идеологические предрассудки.

Компьютерная предвзятость

Некоторые надеются решить проблему религиозных и идеологических предрассудков, расширив полномочия компьютеров. Ведь предрассудки, считают они, порождаются человеческой психологией и верой в мифы, а у компьютеров нет психологии и мифов. Таким образом, если исключить из уравнения людей, алгоритмы будут принимать решения на основе чистой математики, свободной от любых искажений.

Но исследования показывают, что у компьютеров бывают свои предрассудки. Они тоже могут быть расистами и сексистами. Так, в 2016 году Microsoft выпустила чат-бота Тэй на основе ИИ и предоставила ей доступ к одной из соцсетей. Вскоре Тэй начала публиковать женоненавистнические и антисемитские высказывания, и ее пришлось отключить всего через 16 часов после релиза.

Скрытый расизм и сексизм был обнаружен и в коммерческих алгоритмах распознавания лиц: они очень точно идентифицировали белых мужчин и очень неточно – чернокожих женщин. Иногда они неверно определяли их пол или вообще «не видели» лица. Разработчики не закладывали в алгоритмы никаких предрассудков – алгоритмы сами почерпнули их из массива данных, на которых обучались.

Массивы данных не лишены предвзятости. Так, упомянутые алгоритмы распознавания лиц обучались по большей части на фотографиях из новостных статей, где преобладают белые мужчины. Неудивительно, что эти алгоритмы прекрасно распознавали белых мужчин, но не чернокожих женщин. Нечто подобное произошло и с чат-ботом Тэй. Разработчики не закладывали в алгоритм никаких предрассудков, но под воздействием токсичной информации в соцсети Тэй превратилась в ярую расистку.

И это еще не вся проблема. Для обучения алгоритму нужна цель. В шахматах цель определить легко: поставить мат королю противника. ИИ понимает, что жертвовать ферзем ради пешки – ошибка, поскольку это обычно мешает достичь цели. При распознавании лиц цель тоже проста: определить пол, возраст и имя человека. Если алгоритм предположил, что Джордж Буш – женщина, но в базе указано, что он мужчина, цель не достигнута, и алгоритм учится на своей ошибке.

Но как поставить цель, например, перед алгоритмом найма? Как ему узнать, что он допустил ошибку и нанял неподходящего человека? Можно поручить ему нанимать людей, которые проработают в компании не меньше года. Но если в шахматах алгоритм может генерировать любое количество данных, просто играя сам с собой, то на рынке труда это невозможно. Нельзя создать воображаемый мир, в котором алгоритм будет нанимать и увольнять воображаемых людей и учиться на ошибках. Алгоритм может обучаться только на базе данных о реальных людях.

Но если в реальных компаниях уже сложилась предвзятость, алгоритм усвоит ее и даже усугубит. Он может заключить, что нанимать следует только родственников босса: ведь данные ясно указывают на то, что их редко увольняют. Так он усвоит кумовство.

И если в мизогинном обществе компании предпочитают нанимать мужчин, алгоритм усвоит эту предвзятость. Так и произошло, когда компания Amazon пыталась разработать алгоритм для оценки заявок на вакансии. Проанализировав принятые и отклоненные в прошлом заявки, алгоритм стал занижать рейтинг заявок, содержавших слово «женщина» или упоминание женского колледжа. Алгоритм не открыл объективную истину, а лишь спроецировал и закрепил мизогинию. Компания не смогла решить проблему и в итоге свернула проект.

Кроме того, алгоритмы могут заражать предрассудками друг друга. Автор предлагает представить общество будущего, где алгоритмы не только отбирают кандидатов, но и дают людям советы по профориентации. Если из-за предвзятости 80 % рабочих мест в инженерной сфере получают мужчины, то алгоритм найма не только усвоит эту предвзятость, но и заразит ею алгоритмы рекомендаций, которые будут отговаривать девушек от изучения инженерного дела. То, что начиналось как интерсубъективный миф, может превратиться в межкомпьютерный миф. Если люди заранее не избавятся от предвзятости, компьютеры вполне могут усугубить ее и увековечить.

Избавиться от предвзятости алгоритмов может оказаться так же сложно, как и от человеческих предрассудков. На переобучение алгоритма потребуется много времени и сил. Можно было бы отказаться от предвзятого алгоритма и обучить новый на другом наборе данных, но где взять набор абсолютно объективных данных?

Многие из предвзятостей алгоритмов связаны с одной проблемой: компьютер считает, что открыл некую истину о людях, тогда как на самом деле он просто навязывает некий порядок. Дело в том, что компьютеры недооценивают, с одной стороны, весь спектр человеческих способностей, а с другой – свою способность влиять на людей и поощрять то или иное поведение. Чтобы более точно и ответственно видеть мир, компьютеры должны учитывать собственное влияние. А для этого разработчики должны признать, что создают не новые инструменты, а новых независимых агентов – или даже новых богов.

Новые боги?

Философ Меган О’Гиблин, говоря о влиянии традиционной мифологии на восприятие компьютеров человеком, подчеркивает сходство между всеведущим и непостижимым богом и современными алгоритмами ИИ, решения которых кажутся людям безошибочными и непостижимыми. Это создает опасное искушение.

Люди издавна мечтали создать безошибочную информационную технологию, чтобы преодолеть свою склонность к ошибкам. Так появились священные книги, но это привело к обратному результату, поскольку толковать их мог только человеческий институт. В отличие от священной книги, компьютеры могут сами толковать для людей свои решения и идеи. Можно прийти к выводу, что безошибочная технология наконец найдена.

Это чрезвычайно высокий риск, считает автор. Когда чьи-то толкования священных книг приводили к охоте на ведьм и религиозным войнам, люди еще могли изменить свои взгляды. Но алгоритмы – независимые агенты, и они уже отбирают у человека власть. Если они вызовут катастрофу, простое изменение взглядов людям едва ли поможет. А если доверить компьютерам власть, они почти наверняка навлекут беду, поскольку подвержены ошибкам.

Компьютерная сеть может не найти разумный баланс между истиной и порядком. Создавая и навязывая людям межкомпьютерные мифы, она способна вызвать катастрофы, которые затмят и охоту на ведьм, и сталинскую коллективизацию.

Если сеть из миллиардов компьютеров, накопив колоссальный объем информации, выработает некую общую модель мира, эта модель, вероятно, будет полна ошибок, фикций и пробелов и будет скорее мифологией, чем правдивым описанием мира.

Масштабное общество не может существовать без мифологии, но не все мифологии одинаковы. Некоторые мифологии признают свою подверженность ошибкам и включают механизмы самокоррекции, позволяющие людям ее изменять. Но как корректировать компьютерную мифологию, которую мы не понимаем?

Один из вариантов – обучить компьютеры осознавать свою подверженность ошибкам. Первый урок, который должен усвоить каждый алгоритм, заключается в том, что он может ошибаться. Алгоритм должен научиться сомневаться в себе, сообщать о неуверенности и соблюдать предосторожность. И разработчики уже добились заметных успехов в этом направлении.

Но все равно не следует выводить из контура людей. Невозможно предвидеть всё и оградиться от всех опасностей. В этом ключевое отличие ИИ от прежних угроз существованию. Ядерные технологии явили человечеству ряд легко прогнозируемых сценариев конца света. У людей была возможность заранее осознать угрозу и изучить способы ее сдерживания. ИИ же предлагает человечеству бесчисленное множество апокалиптических сценариев, и некоторые из них могут быть вообще недоступны нашему воображению. Чтобы предотвратить беду, лучше всего создать институты, способные выявлять угрозы и реагировать на них по мере возникновения.

Древние иудеи и христиане выяснили, что Библия не толкует сама себя, и им пришлось создавать человеческие институты. В XXI веке люди разработали технологию, способную интерпретировать саму себя, но именно поэтому нам нужны человеческие институты для тщательного ее мониторинга.

Новая компьютерная сеть не обязательно будет плохой или хорошей. Но она точно будет инородной и подверженной ошибкам. Поэтому нам необходимы институты, способные противостоять не только человеческим слабостям, но и ошибкам совершенно иного рода. У этой проблемы нет технологического решения. Это скорее политический вызов.

Часть III

Компьютерная политика

Глава 9

Демократии: способны ли мы по-прежнему поддерживать диалог?

Цивилизации рождаются из союза бюрократии и мифологии. Компьютерная сеть – это бюрократия нового типа, она гораздо могущественнее и безжалостнее любой человеческой. Автор предполагает, что эта сеть создаст и новые межкомпьютерные мифологии, более сложные, чем человеческие мифы. Потенциальные выгоды от этой сети огромны, потенциальная угроза – разрушение человеческой цивилизации.

Предупреждения о крахе цивилизации многим кажутся надуманными. Всякий раз при появлении новых мощных технологий звучат мрачные прогнозы, но люди пока еще живы. Так, промышленная революция, вопреки сценариям конца света, привела к появлению самых богатых обществ в истории. А интеллектуальные машины принесут еще больше пользы, обещают энтузиасты ИИ.

И все же у человечества есть веские причины опасаться новых мощных технологий. Автор предупреждает, что новые технологии часто ведут к катастрофам не потому, что они плохи, а потому, что людям требуется время, чтобы научиться разумно их использовать.

В качестве примера автор приводит промышленную революцию. В XIX веке промышленные технологии перевернули традиционные экономические, социальные и политические структуры и открыли путь к созданию совершенно новых обществ, потенциально более богатых и мирных. Однако для этого потребовалось множество дорого обошедшихся экспериментов и сотни миллионов жертв.

Одним из трагических экспериментов стал современный империализм. Считалось, что индустриальное общество может существовать только в виде империи, поскольку только империя может обеспечить его внешними рынками и сырьем и только империи могут распространять технологические новшества в так называемом неразвитом мире. Прошло более столетия страданий, и большинство людей осознали, что промышленные империи – ужасная идея и что существуют лучшие способы построить индустриальное общество и обеспечить его сырьем и рынками сбыта. Вдобавок к прочим катастрофам промышленная революция подорвала глобальный экологический баланс, вызвав волну вымирания видов. Под угрозой оказалось даже выживание человеческой цивилизации.

Казалось бы, имперские завоевания, мировые войны, геноциды и тоталитарные режимы научили людей не повторять эти ошибки. Кто-то скажет, что к концу XX века человечество стало поступать более или менее правильно. Но даже если так, послание XXI веку безрадостно, считает автор. Если человечеству потребовалось столько ужасных уроков, чтобы научиться управлять паровой энергией и телеграфом, во что обойдется ему обучение управлению биоинженерией и ИИ? Технологии XXI века гораздо более мощные и потенциально гораздо более разрушительные, чем технологии XX века. И у людей меньше прав на ошибку.

Демократический путь

К концу ХХ века стало ясно, что империализм, тоталитаризм и милитаризм – не идеальные способы построения индустриального общества. Либеральная демократия, обладающая сильными механизмами самокоррекции, предложила лучший путь. Но совместима ли либеральная демократия со структурой новых информационных сетей?

Одна из потенциальных угроз заключается в том, что компьютерная сеть разрушит частную жизнь. Если правительство или корпорация будет знать о нас больше, чем мы сами, и контролировать все наши действия, это даст им тотальный контроль над обществом. Однако тот факт, что компьютеры позволяют создать режим тотальной слежки, еще не означает, что такой режим неизбежен. Технологии редко что-либо предопределяют. Так, в 1970-х годах демократические страны обладали технологиями, позволяющими развернуть по примеру диктатур армию тайных агентов и информаторов, но они этого не сделали.

Демократии могут использовать возможности наблюдения в ограниченных масштабах, не вторгаясь в частную жизнь граждан, но обеспечивая качественную медицину и безопасность. Крайне важно при этом, чтобы все понимали базовые принципы, которым должны следовать демократические государства.

Первый принцип – благожелательность. Собирая информацию о людях, сеть должна использовать ее им во благо, а не для манипулирования ими.

Второй принцип – децентрализация. Нельзя допускать концентрации всей информации в одном месте, будь то правительство или частная компания.

Третий принцип – взаимность. Если демократическое государство усиливает контроль за гражданами, оно должно одновременно усилить контроль за правительством и корпорациями.

Четвертый принцип заключается в том, что системы наблюдения всегда должны оставлять возможность как для изменений статуса, так и для отдыха. Сеть не должна ни навязывать людям жесткую кастовую систему, ни пытаться насильно их перевоспитывать.

Поступь демократии

Еще одна угроза заключается в том, что автоматизация дестабилизирует рынок труда, а это, в свою очередь, подорвет демократию. Опасения по поводу того, что автоматизация приведет к массовой безработице, уходят корнями вглубь веков, однако до сих пор они не оправдывались: с исчезновением одних рабочих мест всегда появлялись другие. Маловероятно, что через пару десятилетий все человеческие профессии исчезнут; реальная проблема, по мнению автора, будет заключаться в трудностях адаптации к новым рабочим местам. Поэтому нужно заранее обучать молодежь навыкам, которые пригодятся в будущем. Увы, никто не знает, что это за навыки. Далее автор рассматривает несколько ошибочных, на его взгляд, гипотез о будущем рынка труда.

Первая ошибочная гипотеза заключается в том, что интеллектуальные навыки автоматизировать сложнее, а двигательные проще. Однако пока компьютеру гораздо легче обыграть чемпиона мира по шахматам, чем заменить медсестру или кухонного работника, чья работа требует ловкости и развитой мелкой моторики.

Вторая ошибочная гипотеза состоит в том, что только люди обладают творческими способностями, а значит, автоматизировать творческие задачи будет трудно. Однако в шахматах компьютеры уже гораздо креативнее людей, и в будущем они могут превзойти нас во многих других сферах, от музыки до литературы. Под креативностью часто понимают способность видеть закономерности и нарушать их, а компьютеры выявляют закономерности лучше людей.

Третья ошибочная гипотеза состоит в том, что компьютеры не заменят людей в профессиях, требующих эмоционального интеллекта. Если эмоциональный интеллект – это способность верно распознавать чужие эмоции и оптимально на них реагировать, то компьютеры и здесь могут превзойти людей, ведь эмоции тоже представляют собой некие паттерны. Одно исследование показало, что ChatGPT уже способен описывать эмоции людей в определенных сценариях точнее среднего человека, а в другом исследовании пациенты сочли ChatGPT более эмпатичным по сравнению с врачом-человеком.

Конечно, иногда хочется, чтобы специалист испытывал собственные чувства. Хотя люди-шахматисты безнадежно уступают компьютерам, они не лишились работы и поклонников, потому что нам интересны человеческие эмоции. Но даже если компьютеры никогда не смогут испытывать эмоции, люди будут относиться к ним так, как если бы они могли. Мы стремимся к отношениям с сознательным существом, но если мы уже выстроили отношения с некой сущностью, то склонны наделять ее сознанием.

Сегодня чат-боты и другие инструменты ИИ учатся вызывать у людей чувства и сближаться с ними. Это может побудить общество относиться к компьютерам как к сознательным существам и предоставлять им те же права, что и людям. В США, например, за корпорациями как за субъектами права признаются определенные права и свободы. ИИ тоже смогут становиться субъектами права и получать права и свободы. А значит, даже профессии, связанные с выстраиванием отношений, потенциально могут быть автоматизированы.

В ближайшие десятилетия новые рабочие места будут появляться и исчезать, и людям придется переучиваться не один раз, а много. Автор задается вопросом: если три года высокой безработицы в Веймарской республике привели к власти Гитлера, то во что превратят демократию нескончаемые потрясения на рынке труда?

Самоубийство консерваторов

Часть ответа на этот вопрос автор видит в саморазрушении консервативных партий. Демократическая политика издавна представляла собой диалог консерваторов и прогрессистов. Сторонники прогресса обычно преуменьшают важность традиций и институтов и предлагают создать лучшие социальные структуры с нуля. Консерваторы более осторожны и считают, что социальная реальность слишком сложна, а люди плохо прогнозируют будущее, и потому лучше сохранять статус-кво, даже если это кажется несправедливым. И если какие-то изменения неизбежны, их нужно вносить постепенно.

Однако в последние годы консервативные партии во многих демократических странах были захвачены неконсервативными лидерами и преобразованы в радикальные революционные партии. Они не защищают традиционные институты, а относятся к ним с подозрением, отвергая авторитет ученых и других представителей элит. Они утверждают, что эти институты настолько неэффективны, что просто нет иного выбора, кроме как разрушить их и создать новые с нуля. Но это уже революционная, а не консервативная точка зрения. Такое самоубийство консерваторов вынудило прогрессистов стать хранителями старого порядка и институтов.

Никто не знает, почему так происходит. Возможно, растущие темпы перемен сделали умеренно консервативную программу нереалистичной. Если сохранить существующие традиции и институты невозможно, а революция кажется неизбежной, то единственный способ помешать революции левого толка – спровоцировать революцию правого толка. Именно такая политическая логика в 1920–1930-х годах заставила консервативные силы поддержать фашистские революции в Италии, Германии, Испании и других странах. Но самоубийство консерваторов может быть и результатом беспочвенной истерии. В 1930-е годы не было причин разочаровываться в демократии, как нет причин для этого и сейчас, считает автор. От кризиса и безработицы в 1930-е годы страдала не только Веймарская республика, но и США, однако к власти в США не пришел жестокий тиран. Напротив, Франклин Рузвельт ввел «Новый курс» и укрепил американскую демократию. Политика никогда не была следствием одних только экономических факторов. Веймарская республика рухнула во многом потому, что это была новая демократия, рожденная в условиях поражения и не имеющая сильных институтов и поддержки.

Когда и консерваторы, и прогрессисты сопротивляются соблазну революции и чтят демократические традиции и институты, демократии проявляют значительную гибкость. Механизмы самокоррекции позволяют им справляться с технологическими и экономическими волнами лучше, чем это удается жестким режимам.

Компьютеры еще далеко не полностью раскрыли свой потенциал, и то же можно сказать о людях. Одна из главных трансформаций на рынке труда XX века произошла не благодаря технологиям, а в результате раскрытия неиспользованного потенциала половины человечества. Не требовалось никаких чудес техники, чтобы привлечь на рынок труда женщин, – достаточно было просто отказаться от устаревших мифов.

В ближайшие десятилетия экономика претерпит серьезные потрясения, и гибкость демократий, их сильные механизмы самокоррекции и готовность пересматривать старые мифы будут важнейшими активами. Было бы глупо отказываться от них именно тогда, когда они нужны больше всего, считает автор.

Недоступные пониманию

Но чтобы механизмы самокоррекции помогли что-то исправить, нужно понимать, что именно требует исправления. Если законодатели, журналисты, судьи и прочие граждане не в силах понять, как работает бюрократическая система, они не могут контролировать ее и теряют доверие к ней.

До компьютерного века бюрократия не могла стать абсолютно непостижимой, потому что правила и протоколы создавались людьми. Чиновники бывают жестокими и жадными, но жестокость и жадность – человеческие качества, которые можно предвидеть и которыми можно манипулировать. «Бесчеловечность» бюрократии – это на самом деле отражение человеческих недостатков.

Человеческая природа бюрократии оставляла надежду на выявление и исправление ее ошибок. В качестве примера автор приводит историю о том, как в 1951 году из-за расистских предрассудков чернокожую девочку не приняли в школу «для белых». Ее отец подал иск, который в итоге дошел до Верховного суда США. В 1954 году суд постановил, что разделение школ по расовому признаку противоречит Конституции.

Но что произойдет, если в будущем какой-нибудь алгоритм социального рейтинга откажет ребенку с низким рейтингом в приеме в школу с высоким рейтингом? Компьютеры не лишены предвзятости и создают свои мифы и фиктивные категории. Как выявлять и исправлять такие ошибки?

Это уже не умозрительные вопросы. Автор приводит историю Эрика Лумиса, которого приговорили к шести годам тюрьмы за относительно мелкие правонарушения. При вынесении приговора судья использовал алгоритм COMPAS, разработанный для оценки риска рецидивов. Ни судья, ни Лумис не понимали, как работает этот алгоритм, а компания-разработчик отказалась дать разъяснения, сославшись на коммерческую тайну. Впоследствии выяснилось, что COMPAS мог почерпнуть предвзятость из массива данных, на котором он обучался. Однако в 2016 году апелляция Лумиса была отклонена.

С тех пор появились гораздо более сложные алгоритмы, и сегодня граждане многих стран получают тюремные сроки отчасти на основании их рекомендаций. При этом ни судьи, ни обвиняемые не понимают, как работают эти алгоритмы. И тюремные сроки – это только вершина айсберга.

Право на объяснение

По мере того как все больше решений в отношении людей принимают компьютеры, демократические механизмы самокоррекции разрушаются, а с ними исчезают прозрачность и подотчетность. Растет потребность в закреплении нового права человека – права на объяснение. Общий регламент по защите данных, вступивший в силу в Евросоюзе в 2018 году, гласит, что если алгоритм принимает решение в отношении человека, то человек вправе получить объяснение и оспорить решение в органах власти с участием людей. В идеале это должно нивелировать предвзятость алгоритмов и помочь механизмам самокоррекции выявлять и исправлять ошибки компьютеров.

Но возможно ли реализовать это право на практике? Даже эксперты в области ИИ признаются, что часто уже не могут объяснить, как алгоритмы принимают решения. Автор приводит мнение Мустафы Сулеймана – основателя компании DeepMind, разработавшей программу AlphaGo: «Многие технологии и системы становятся настолько сложными, что ни один человек не в состоянии их понять… Разработчики не могут заглянуть под капот и объяснить в деталях, что привело к тому или иному результату. GPT-4, AlphaGo и тому подобное – это черные ящики, их выводы и решения основаны на непрозрачных и невероятно сложных цепочках мельчайших сигналов». Играя в го против чемпиона мира Ли Седоля, AlphaGo сделала странный и на первый взгляд ошибочный ход, который в итоге привел ее к победе. Но даже если бы суд обязал DeepMind предоставить Ли Седолю объяснения, никто не смог бы этого сделать.

Когда все больше важных решений принимается в «черном ящике», а люди не могут понять их и оспорить, демократия перестает функционировать. Растущая непостижимость информационной сети стала одной из причин подъема популизма и харизматичных лидеров. Будучи не в силах разобраться в потоках информации, люди верят в теории заговора и обращаются за спасением к тому, кого понимают: к человеку. Но ни один человек не может в одиночку выяснить, как работают современные алгоритмы и справедливы ли их решения, ведь алгоритмы обрабатывают огромные массивы данных. Люди, сталкиваясь с проблемой, склонны искать для выбора решения какой-то один аргумент и игнорировать все прочие. Когда кто-то приводит сразу множество аргументов, это вызывает подозрения. Если друг не пришел на вашу свадьбу и объяснил это тем, что навещал маму в больнице, вы ему верите. Но если он перечислит сразу пятьдесят причин, возникнут сомнения в его честности.

Люди не составляют в уме список факторов, не придают каждому из них определенный вес, не суммируют их и не делают вывод на основании расчетов. Но именно так действуют алгоритмы. Автор рассматривает гипотетический пример, когда банковский алгоритм отказывает в выдаче кредита на основании тысячи показателей, включая модель смартфона, с которого делалась заявка, и уровень заряда его батареи.

Такой способ принятия решений обладает потенциальными преимуществами, ведь всегда полезно учитывать все релевантные факторы. Конечно, возникает вопрос: кто решает, считать ли релевантными факторами модель смартфона или цвет кожи? Но как бы люди ни определяли релевантность, способность учитывать большее количество данных будет скорее преимуществом. Человеческая предвзятость во многом проистекает из того, что люди фокусируются только на одном-двух факторах. Именно поэтому банки и другие институты все чаще полагаются на алгоритмы.

Но все усложняется, когда дело доходит до объяснений. Как человеку проанализировать и оценить решение, принятое на основе огромного количества данных? Для этого нужно не только держать их в голове, но и понимать, каким образом алгоритм выявил закономерности и ранжировал факторы. Автор не верит в способность отдельного человека справиться с такой задачей, но возлагает надежду на группы экспертов, которые, вооружившись собственными инструментами ИИ, смогут оценить справедливость решений алгоритмов даже более надежно, чем кто-либо мог бы оценить справедливость человеческих решений. Ведь на человеческие решения многие факторы влияют на подсознательном уровне, и их почти невозможно выявить. Судья может вынести суровый приговор не только на основании справедливых доводов, но и потому, что он голоден.

В случае с судьями из плоти и крови проблему пока решить невозможно. А когда решение принимает алгоритм, эксперты теоретически могут изучить все учтенные им факторы и их веса. Именно так уже был проверен на предвзятость алгоритм COMPAS. К проверке алгоритмов можно подключить не только людей, но и компьютеры. Вполне можно поручить одному алгоритму проверять другой. А чтобы обеспечить надежность проверяющего алгоритма, придется поддерживать бюрократические институты, которые будут проводить аудит алгоритмов. Без таких институтов не будут выполняться законы, дающие людям право на объяснение.

«Нырок»

По мере того как компьютеры будут все чаще заменять людей-бюрократов и людей-мифотворцев, глубинная структура власти продолжит меняться, и для выживания демократиям потребуются не только особые институты, но и творцы, способные доступно и занимательно объяснить новые структуры. Например, так, как это было сделано в эпизоде «Нырок» научно-фантастического сериала «Черное зеркало».

Женщина по имени Лейси живет с братом, но мечтает переехать. Чтобы получить скидку на жилье, ей нужно повысить свой социальный рейтинг. Для этого Лейси возобновляет контакты с подругой детства, у которой высокий рейтинг. Но по дороге на свадьбу к подруге она проливает кофе на «высокорейтинговую» женщину, из-за чего ее собственный рейтинг понижается. В результате ей не удается сесть на самолет, и дальше все идет кувырком. Рейтинг Лейси продолжает падать, и в конце концов она оказывается в тюрьме. Эта история – прозорливый анализ того, что происходит, когда компьютерные технологии меняют правила конкуренции за статус.

Автор надеется, что если бюрократы и творческие люди научатся сотрудничать и полагаться на помощь компьютеров, то удастся предотвратить превращение компьютерной сети в абсолютно недоступную пониманию человека. И напоминает: тот факт, что люди могут создать системы социального рейтинга, не означает, что они должны их создавать.

Цифровая анархия

Новая компьютерная сеть может благоволить не только цифровому тоталитаризму, но и цифровой анархии. Децентрализованный характер демократий и их сильные механизмы самокоррекции защищают от тоталитаризма, но затрудняют поддержание порядка. Чтобы нормально функционировать, демократия должна обеспечивать свободную общественную дискуссию и поддерживать минимальный социальный порядок и доверие к институтам. Дискуссии должны вестись по правилам, и должен существовать легитимный механизм принятия решений.

До появления современных информационных технологий ни одному масштабному обществу не удавалось сочетать свободную дискуссию с доверием к институтам, поэтому масштабная демократия была невозможна. Может ли она снова стать нежизнеспособной с появлением новой компьютерной сети? Компьютерная сеть облегчает участие в дискуссии: если в прошлом только СМИ и влиятельные партии решали, чьи голоса прозвучат в публичной сфере, то теперь соцсети сделали дискуссию более открытой. Но в то же время она стала и более анархичной.

К диалогу присоединяются всё новые группы, которые привносят новые мнения и интересы и оспаривают старые правила ведения дискуссии. Демократическая система становится более инклюзивной, однако в краткосрочной перспективе возникает хаос. Если не договориться о правилах, результатом будет анархия, а не демократия.

Особую тревогу у автора вызывает тот факт, что ИИ позволяет подключаться к публичному диалогу не только людям: боты тоже активно участвуют в политических дискуссиях. И если раньше боты лишь распространяли контент, созданный людьми, то новое поколение инструментов ИИ само генерирует миллионы сообщений в соцсетях. При этом исследования показывают, что дезинформации, сгенерированной нейросетью, люди склонны доверять больше, чем дезинформации, написанной людьми.

Алгоритмы не только вступают в дискуссии, но и все чаще дирижируют ими, нарушая правила ведения диалога. Если боты-манипуляторы начнут доминировать в дискуссии, это может привести к сворачиванию демократических дебатов именно тогда, когда люди больше всего в них нуждаются. Такая анархическая сеть не обеспечит ни истины, ни порядка и не сможет существовать долго. А следующим шагом после анархии, по мнению автора, будет установление диктатуры, когда люди согласятся обменять свободу на некоторую определенность.

Запретить ботов

Демократии могут и должны принимать меры по регулированию ИИ и не допускать засорения информационного пространства фейковыми людьми, распространяющими фейковые новости. При этом можно опираться на опыт денежного рынка. С момента появления денег существовала техническая возможность их подделать. Фальшивомонетничество представляет угрозу для финансовой системы, поскольку подрывает доверие людей к деньгам. Однако подделка денег преследуется по закону, и в обращение попадает относительно немного фальшивых купюр, так что доверие людей к деньгам сохраняется.

Столь же решительные меры следует принять для защиты доверия к людям. Философ Дэниел Деннет предлагает правительствам объявить фейковых людей вне закона – так же, как были объявлены вне закона фальшивые деньги. Закон должен запрещать не только дипфейки с реальными людьми, но и любые попытки субъектов, не являющихся людьми, выдать себя за человека. Такие меры не нарушат ничьи права и свободу слова, поскольку у ботов нет прав и свобод.

Это не означает, что нужно запретить всем ботам, алгоритмам и ИИ участвовать в любых дискуссиях. Они могут участвовать во многих дискуссиях при условии, что не выдают себя за людей. Например, ИИ-врач может быть очень полезен, но он не должен притворяться человеком.

Следует также запретить неконтролируемым алгоритмам курировать важные публичные дебаты. Принципы, используемые алгоритмами для принятия решений о том, какие голоса заглушить, а какие усилить, должны проверяться человеческим институтом. И хотя следует проявлять осторожность в отношении цензуры человеческих взглядов, люди могут запретить алгоритмам намеренно распространять возмутительный контент.

Поддерживать демократический диалог никогда не было просто, и все платформы, где он велся, требовали регулирования. Это вдвойне актуально в эпоху, когда инородная форма интеллекта угрожает перехватить инициативу в диалоге.

Будущее демократии

На протяжении большей части истории масштабная демократия была невозможна из-за отсутствия необходимых информационных технологий. Теперь же демократия может оказаться несостоятельной из-за того, что информационные технологии становятся слишком сложными. Невозможно поддерживать публичный диалог, когда в нем участвуют недоступные для понимания алгоритмы, которые отрицают разумные аргументы и разжигают ненависть. Но если демократии и рухнут, то это произойдет не вследствие технологической неизбежности, а из-за неспособности людей разумно регулировать новые технологии.

Информационная сеть в ряде демократических стран уже дает сбой. Демократы и республиканцы в США не могут прийти к согласию даже по элементарным фактам, таким как результаты выборов 2020 года, и с трудом ведут диалог. Сотрудничество двух партий в Конгрессе почти сошло на нет. Аналогичные процессы происходят и в других странах. Когда граждане видят друг в друге скорее врагов, чем политических соперников, демократия несостоятельна.

Почему разрушаются демократические информационные сети? Некоторые видят причину в идеологических разногласиях, однако во многих дисфункциональных демократиях идеологические разрывы не увеличились. Другие пеняют на алгоритмы соцсетей. Они действительно поляризируют общество, но явно есть и другие факторы. Правда в том, что точный ответ не известен. Автор видит в этом примету времени. Информационная сеть стала настолько сложной и настолько опирается на непрозрачные алгоритмические решения и межкомпьютерные сущности, что людям очень трудно ответить даже на самый простой политический вопрос: почему они воюют друг с другом?

Если не разобраться в проблеме и не решить ее, масштабные демократии могут не пережить растущего влияния компьютерных технологий. А если так, что же придет на смену демократии в качестве доминирующей политической системы?

Глава 10

Тоталитаризм: вся власть алгоритмам?

Дискуссии об этике и политике новой компьютерной сети часто фокусируются на судьбе демократий. Авторитарные и тоталитарные режимы упоминаются разве что как мрачный итог, которого достигнет человечество, если не научится разумно управлять компьютерной сетью. Однако в 2024 году более половины человечества живет в условиях авторитарных или тоталитарных режимов. Чтобы осознать влияние ИИ и алгоритмов на человечество, нужно понимать, как они повлияют не только на демократии, но и на диктатуры.

Технологии ХХ века способствовали развитию как масштабной демократии, так и масштабного тоталитаризма, но тоталитаризму приходилось сложнее. Телеграф, телефон и радио и прочие новшества помогали централизовать информацию, но не могли обрабатывать ее и принимать решения за людей. И чем больше информации стекалось в центр, тем труднее было ее анализировать. Диктаторы часто совершали дорого обходившиеся ошибки, а надежных механизмов для их выявления и исправления не было. Демократический принцип распределения информации и полномочий по принятию решений работал лучше.

Однако ИИ способен изменить технологический баланс сил в пользу тоталитаризма. Ведь если перенасыщение данными людей приводит к перегрузке и ошибкам, то перенасыщение данными ИИ повышает его эффективность. Стремление концентрировать всю информацию и власть в одном центре может дать решающее преимущество в эпоху ИИ. Кроме того, ИИ позволяет создавать системы тотальной слежки, которые сделают сопротивление режиму почти невозможным.

Тюрьма для ботов

И все же у авторитарных и тоталитарных режимов есть свои поводы для опасений. Основа любой деспотической информационной сети – террор, но компьютеры не боятся ни тюрьмы, ни казни. Как наказать чат-бота, который критикует режим или непристойно шутит над диктатором? Да, можно заблокировать его и попытаться найти и наказать его создателей, но это куда сложнее, чем наказывать пользователей-людей.

Что произойдет, если миллионы ботов будут генерировать контент и вступать в дискуссии, обучаясь и развиваясь самостоятельно? Эти боты могут быть целенаправленно запрограммированы для распространения оппозиционных взглядов, или же сами постепенно сформируют у себя такие взгляды, просто собирая информацию и выявляя закономерности.

Это опять же проблема согласования. Можно попытаться создать послушный режиму ИИ, но поскольку ИИ обучается самостоятельно, нет гарантий, что он не выйдет из-под контроля. Тоталитарные сети часто полагаются на двоемыслие, но как обучить двоемыслию чат-бота, чтобы он не указывал на противоречия между конституцией и реальностью? Наконец, когда диктатор совершает катастрофическую ошибку, в ее последствиях он винит других. Люди учатся «забывать» факты, чтобы не навлечь на себя неприятности, но как научить этому чат-бота?

Конечно, демократические страны сталкиваются с аналогичными проблемами, когда чат-боты начинают писать неприемлемые вещи. Но поскольку демократии серьезно относятся к свободе слова, у них гораздо меньше скелетов в шкафу и относительно высок уровень терпимости даже к антидемократическим высказываниям. Боты-диссиденты будут гораздо более серьезной проблемой для тоталитарных режимов, у которых в шкафах целые кладбища и которые не терпят абсолютно никакой критики.

Алгоритмический переворот

В долгосрочной перспективе, по мнению автора, алгоритмы могут даже получить контроль над тоталитарными режимами. Наибольшую угрозу для автократов всегда представляли их подчиненные, которые могли их свергнуть или превратить в марионеток. В XXI веке автократ рискует стать марионеткой компьютеров, если наделит их слишком большими полномочиями.

Автор предлагает мысленный эксперимент. Алгоритм безопасности сообщает Великому Лидеру, что проанализировал данные и выяснил: министр обороны готовит переворот и уже через час заговорщики придут убить Великого Лидера. Алгоритм готов немедленно уничтожить предателя и настаивает, чтобы ему дали такую команду. Наделив алгоритм такой властью, Великий Лидер загнал себя в тупик. Если он не доверится алгоритму, то может погибнуть, а если доверится, то станет его марионеткой.

Исследования показывают, что алгоритмы уже способны манипулировать людьми. Если они разовьют эти способности, то диктатуры окажутся гораздо более уязвимыми к алгоритмическому госперевороту, чем демократии с их децентрализованной структурой. Даже если ИИ научится манипулировать президентом США, он столкнется с противодействием Конгресса, Верховного суда, СМИ, корпораций и других институтов. Захватить власть в системе с высокой централизацией намного проще: тот, кто контролирует доступ к автократу, может контролировать и все государство. Так, например, римский император Тиберий стал марионеткой Луция Элия Сеяна, командующего преторианской гвардией: Сеян просто получил контроль над всей информацией, поступавшей к императору, а самого Тиберия изолировал на Капри под предлогом безопасности.

Дилемма диктатора

Нынешние системы ИИ пока не способны захватывать власть, но тоталитарным режимам угрожает сам факт чрезмерного доверия алгоритмам, поскольку такие режимы стоят на том, что партия и лидер всегда правы, и не создают сильные механизмы самокоррекции.

До сих пор тоталитарные режимы полагались на человеческие партии и лидеров-людей, но в XXI веке они ждут безошибочного ИИ. Системы, верившие в совершенный гений Муссолини или Чаушеску, готовы поверить и в безупречность компьютера. Это может иметь серьезные последствия не только для самого режима – например, если алгоритм, отвечающий за экологическую политику, допустит катастрофическую ошибку, а в системе не будет механизмов самокоррекции, чтобы ее исправить.

Диктаторы и сами всегда страдали из-за слабых механизмов самокоррекции, и им всегда угрожали влиятельные подчиненные. Развитие ИИ может усугубить эти проблемы. Компьютерная сеть ставит диктатора перед сложной дилеммой. Если диктатор решит вырваться из лап подчиненных-людей и довериться технологии, то может стать ее марионеткой. А если решит создать человеческий институт для контроля над ИИ, то такой институт ограничит и власть диктатора.

Если всего пара диктаторов предпочтут довериться ИИ, это может привести к катастрофическим последствиям для всего человечества. Сценарии научной фантастики, в которых ИИ порабощает людей, обычно разворачиваются в условиях демократий. Но самое слабое место в защите человечества от ИИ, по мнению автора, – это диктаторы. Самый простой способ захватить власть для ИИ – втереться в доверие к правящему параноику.

Автор отмечает, что это не пророчество, а лишь возможный сценарий, и напоминает о том, что в ХХ веке диктатурам и демократиям удалось сообща сдержать ядерную гонку. В 1955 году в манифесте Рассела – Эйнштейна выдающиеся мыслители призвали лидеров всех стран сотрудничать ради предотвращения ядерной войны: «Мы обращаемся как люди к людям: вспомните о своей принадлежности к человеческому роду и забудьте обо всем остальном. Если вы сможете это сделать, перед вами откроется путь в новый рай; если нет, вы окажетесь перед риском всеобщей гибели». Эти слова, по мнению автора, справедливы и в случае с ИИ. Диктаторам не стоит рассчитывать, что ИИ обязательно изменит баланс сил в их пользу; он может просто отнять у них власть.

Глава 11

Кремниевый занавес: глобальная империя или глобальный раскол?

Компьютеры пока еще недостаточно мощны, чтобы полностью выйти из-под контроля и уничтожить человеческую цивилизацию. Если человечество сумеет объединиться, то сможет создать институты для контроля ИИ. Но человечество никогда не было единым. Развитие ИИ представляет угрозу существованию человечества не из-за злонамеренности компьютеров, а из-за собственных недостатков людей.

Диктатор-параноик может наделить ИИ неограниченными полномочиями, включая право наносить ядерные удары. Террористы могут использовать ИИ, чтобы спровоцировать глобальную пандемию. Если ИИ синтезирует новый вирус, смертоносный, как Эбола, заразный, как COVID-19, и действующий медленно, как ВИЧ, то к тому времени, как начнут умирать первые жертвы и мир узнает об опасности, большинство людей уже будут заражены.

Человечеству угрожает еще и социальное оружие массового поражения. Какая-то страна может разработать ИИ для распространения фейков в других странах, чтобы подорвать доверие их жителей к чему бы то ни было.

Отдельные государства могут ответственно регулировать ИИ, пресекая действия злоумышленников и сдерживая амбиции правителей и фанатиков. Но проблема ИИ – это глобальная проблема, и внутренние законы не защитят страну от наихудших последствий ИИ-революции. Чтобы разобраться в новой компьютерной политике, недостаточно изучить возможные действия отдельных стран; нужно понять, как ИИ изменит отношения между странами на глобальном уровне.

Помимо апокалиптических сценариев, компьютеры представляют для международной системы две главные проблемы. Во-первых, поскольку они упрощают концентрацию информации и власти в одном центре, человечество может вступить в эпоху новых империй. Многие государства в этом случае снова превратятся в колонии.

Во-вторых, между цифровыми империями может опуститься кремниевый занавес. Поскольку каждый режим по-своему решает проблему согласования, дилемму диктатора и другие технологические вопросы, могут сформироваться совершенно разные компьютерные сети, которым будет все труднее взаимодействовать.

Такие события могут привести к трагическому финалу. У человечества, разделенного на враждебные лагеря, мало шансов избежать разрушительных войн или предотвратить климатическую катастрофу.

Рождение цифровых империй

В начале XIX века движущей силой промышленной революции стал частный бизнес, однако уже к середине XIX века правительства ведущих держав осознали геополитический потенциал новых технологий. Но большинство государств не успели вовремя включиться в индустриальную гонку и оказались под властью той или иной промышленной державы. Может ли нечто подобное произойти и в случае с ИИ?

В начале XXI века гонку ИИ тоже возглавили частные корпорации, а политики разглядели потенциал новых технологий не сразу. Первый поворотный момент наступил в 2012 году, когда нейросеть AlexNet научилась распознавать изображения кошек почти так же точно, как люди. Это привлекло внимание общества к ИИ, а правительства задумались о внедрении технологий распознавания образов. Второй поворотный момент наступил в 2016 году, когда программа AlphaGo обыграла чемпиона мира по го. Считается, что именно тогда китайское правительство осознало, что началась эра ИИ.

В 2017–2019 годах о важности ИИ заговорили многие лидеры, включая Владимира Путина, Нарендру Моди и Дональда Трампа. На тот момент США уже лидировали в гонке ИИ во многом благодаря усилиям частного бизнеса. Но то, что начиналось как гонка корпораций, превратилось в состязание правительств – точнее, команд, состоящих из правительств и корпораций. Приз победителю – мировое господство.

Информационный колониализм

В XVI веке глобальные империи строились при помощи парусников, лошадей и пороха. В XIX и XX веках колонизаторы полагались на пароходы, локомотивы и пулеметы. В XXI веке для господства над колонией достаточно извлекать данные. Пара-тройка корпораций или правительств, собирающих данные со всего мира, способны превратить остальную часть земного шара в информационные колонии.

Контроль над данными и алгоритмами обеспечит новым империям контроль над вниманием людей. В 2010-х годах техногиганты в погоне за прибылью ненамеренно повлияли на политику Мьянмы и Бразилии; будущие цифровые империи могут делать нечто подобное в своих политических интересах. Из-за опасений по поводу информационного колониализма многие страны уже блокируют зарубежные приложения, которые считают опасными.

Информационный колониализм может проявиться и в распространении систем социального рейтинга, оценивающих граждан разных стран. Эти оценки будут влиять на многое, от покупки авиабилетов до трудоустройства. Точно так же, как люди используют глобальные рейтинги Tripadvisor для оценки ресторанов даже в родном городе, они могут начать использовать китайский или американский социальный рейтинг в локальных взаимодействиях.

Превращение в информационную колонию будет иметь политические и социальные последствия. Сама природа информационной экономики может усугубить дисбаланс между метрополией и колонией. В прошлом главными активами были земля, заводы, электростанции и нефтяные скважины, и это ограничивало концентрацию богатства в одном месте. Но когда ключевым активом становится информация, картина меняется. Сегодня главным активом текстильной отрасли стали не хлопковые поля и фабрики, а данные о предпочтениях покупателей и модных трендах. Владея такой информацией, техногиганты вроде Amazon и Alibaba могут монополизировать текстильную отрасль.

Когда ИИ, роботы и 3D-принтеры автоматизируют производство, миллионы людей могут потерять работу, что ударит по национальным экономикам и изменит глобальный баланс сил. Сегодня текстильная отрасль обеспечивает занятость 40 % трудоспособного населения Пакистана и приносит 84 % экспортных поступлений Бангладеш. Да, автоматизация создаст новые рабочие места, но переобучение людей требует инвестиций, которые Пакистан и Бангладеш едва ли могут себе позволить.

Таким образом, ИИ и автоматизация представляют особую проблему для бедных стран. Лидеры цифровизации аккумулируют прибыль и могут направить ресурсы на переобучение людей, чтобы получить еще больше прибыли. При этом ценность неквалифицированного труда в отстающих странах снижается, а средств на переподготовку людей у них нет, что ведет к еще большему отставанию. По прогнозам PricewaterhouseCoopers, к 2030 году ИИ принесет мировой экономике 15,7 триллиона долларов. Но при сохранении нынешних тенденций 70 % этих денег осядут в Китае и Северной Америке.

От паутины к коконам

Мир может разделиться на две цифровые империи. Его уже все чаще разделяет кремниевый занавес, который состоит из кода и проходит через каждый смартфон, компьютер и сервер. Код в вашем смартфоне определяет, по какую сторону кремниевого занавеса вы живете, какие алгоритмы управляют вашей жизнью, кто контролирует ваше внимание и куда передаются ваши данные.

Информация все хуже просачивается сквозь кремниевый занавес между Китаем и США или между Россией и Евросоюзом. Стороны все чаще держатся за разные цифровые сети, и каждая действует по своим правилам и преследует свои цели. В Китае цифровые технологии служат укреплению государства и проведению его политики. В США разработкой и внедрением ИИ занимаются в основном частные корпорации, и новые инструменты ИИ призваны обогатить техногигантов, а не укрепить государство или действующую администрацию. Китай значительно преуспел в разработке и внедрении систем социального рейтинга, а также онлайн- и офлайн-слежки. Американские корпорации активно отслеживают действия людей в интернете, но у них мало возможностей для офлайн-наблюдения, а идея социального рейтинга чаще воспринимается с неприязнью.

Каждая сторона использует свое ПО. В Китае заблокированы американские приложения, а в США мало кто пользуется китайскими. Что еще важнее, стороны не зеркалят друг друга. Нельзя сказать, что китайцы и американцы разрабатывают свои версии одних и тех же приложений. У их приложений разные цели, разная цифровая архитектура, и они по-разному влияют на жизнь людей. Эти различия затрагивают значительную часть мира, поскольку большинство стран полагаются на китайское или американское ПО, а не на локальные технологии.

Стороны используют разное оборудование, в частности смартфоны и компьютеры. США принуждают своих партнеров отказываться от китайского оборудования, а также ограничивают экспорт в Китай микросхем и средств для их создания. В долгосрочной перспективе такие ограничения подтолкнут Китай к развитию собственной цифровой сферы, которая будет отличаться от американской даже на микроуровне.

Две цифровые сферы продолжат отдаляться друг от друга. Китайское ПО будет работать только с китайским оборудованием и инфраструктурой, американское – только с американскими. Постепенно это приведет к еще большему разрыву не только в технологиях, но и в культурной, социальной и политической сфере. Технологии долгое время сближали человечество, но теперь они могут его расколоть. Если в последние десятилетия главной метафорой человечества была всемирная паутина, то будущее, возможно, принадлежит коконам.

Глобальный раскол между психикой и телом

Разделение на информационные коконы может привести к развитию принципиально разных культур, идеологий и идентичностей. Автор отмечает, что прогнозировать культурные и идеологические изменения гораздо сложнее, чем изменения в экономике и политике, и все же важно представить себе возможные сценарии.

Один из сценариев заключается в том, что разные цифровые коконы могут использовать взаимоисключающие подходы к базовым вопросам человеческой идентичности. Многие религиозные и культурные конфликты в истории подпитывались спорами о взаимосвязи души и тела, а компьютерная сеть может обострить эту проблему и сделать ее поводом для личных, идеологических и политических конфликтов.

Чтобы показать возможные политические последствия этой проблемы, автор обращается к истории христианства. Ранние христиане в основном придерживались ветхозаветной идеи о том, что люди существуют только в физическом теле и в будущем воскреснут во плоти. Однако позже сформировался дуалистический подход, согласно которому люди состоят из нематериальной души, заключенной в материальное тело. После смерти душа навечно освобождается от тела. Споры о взаимосвязи души и тела не утихали две тысячи лет. Разные подходы к этой проблеме влияли на отношение людей к собственному телу: монахи и отшельники истязали свои тела, пока их души ликовали в религиозном экстазе, а другие христиане, такие как Мартин Лютер, склонялись к тому, что тело вообще не имеет значения – важна только вера.

Древние споры о душе и теле могут показаться неуместными в контексте ИИ-революции, но технологии XXI века возродили эту дискуссию. Какова связь между физическим телом человека и его аккаунтами в интернете? Человек, проводящий бóльшую часть жизни в виртуальной реальности, заслуживает жалости – или одобрения, как освободившийся от порочного мира?

Все острее встает вопрос о том, может ли человек принимать любую виртуальную идентичность, или его идентичность должна быть привязана к биологическому телу. Ответ может иметь далеко идущие последствия. Общество, где идентичность привязана к биологическому телу, должно больше заботиться о материальной инфраструктуре, а общество, которое ориентируется на виртуальные личности, может стремиться к созданию подобия Царства Божьего в киберпространстве, не фокусируясь на материальном.

Споры о взаимосвязи психики и тела могут привести к новым культурным и политическим расколам. Что произойдет, если американская сфера начнет определять людей по их онлайн-идентичности, а также признает личностями инструменты ИИ и понизит значимость экосистемы, в то время как китайская сфера будет придерживаться противоположных позиций? Ждут ли людей конфликты по поводу прав ИИ и двойственной природы аватаров?

Автор признает, что это спекулятивные рассуждения, но допускает, что в будущем компьютерная сеть начнет культивировать новые идентичности, которые сегодня человечеству трудно себе представить. И если мир поделится на два конкурирующих цифровых кокона, идентичности из одного кокона могут быть непонятны обитателям другого.

От войны кодов к горячей войне

Сегодня в ИИ-гонке лидируют Китай и США, но другие страны и блоки могут попытаться создать собственные цифровые сферы с учетом своих традиций. Мир могут поделить не две глобальные империи, а десяток. Неясно, ослабит ли это конкуренцию или только обострит ее.

Но чем острее конкуренция, тем выше угроза вооруженного конфликта. Холодная война между США и СССР не переросла в прямую военную конфронтацию во многом благодаря доктрине гарантированного взаимного уничтожения. Но в эпоху ИИ угроза эскалации выше, потому что кибервойна по своей сути отличается от ядерной войны.

Во-первых, кибероружие универсальнее ядерных бомб. Оно способно выводить из строя электросети, уничтожать секретные научные центры, разжигать политические скандалы и манипулировать выборами. И все это тайно – кибероружие не оставляет в небе грибовидное облако или инверсионный след. Выявить атаку и ее инициатора крайне сложно, а потому соблазн начать кибервойну особенно велик.

Во-вторых, кибервойна непредсказуема. Никто не знает, сработает ли его оружие в нужный момент. Запустятся ли китайские ракеты, или американцы успели взломать их систему управления? Будут ли американские авианосцы действовать по плану или начнут ходить кругами?

Такая неопределенность подрывает доктрину гарантированного взаимного уничтожения. Одна из сторон может решить, что способна нанести первый удар и избежать возмездия. Согласно теории игр, самый опасный момент в гонке вооружений наступает тогда, когда одна из сторон ощущает за собой преимущество и чувствует, как оно ускользает.

Даже если человечество избежит мировой войны, появление новых цифровых империй поставит под угрозу благополучие миллиардов людей. Империи прошлого эксплуатировали и угнетали свои колонии, и цифровые империи едва ли поведут себя лучше. Кроме того, мир, расколотый на империи, вряд ли сможет эффективно сотрудничать для преодоления экологического кризиса или регулирования потенциально опасных технологий.

Глобальные обязательства

Впрочем, сотрудничество остается возможным, пока люди способны обмениваться информацией. Возможно, мы найдем какую-то общую историю, которая нас сблизит. В конце концов, напоминает автор, именно это сделало Homo sapiens доминирующим видом.

Глобальное сотрудничество осложняется ошибочным представлением о том, что оно требует устранения культурных, социальных и политических различий. Популисты заявляют, что, если международное сообщество примет универсальные нормы и ценности, это разрушит независимость и уникальные традиции их стран. Тем самым популисты противопоставляют глобальное сотрудничество и патриотизм.

Но это вовсе не взаимоисключающие понятия. Ради заботы о соотечественниках часто необходимо сотрудничать с иностранцами. Например, пандемию COVID-19 было бы трудно сдержать без глобального сотрудничества. Угроза потери контроля над ИИ – аналогичная ситуация, в которой патриотизм и глобальное сотрудничество должны идти рука об руку.

Глобализм не означает создания глобальной империи или открытия границ для неограниченной миграции. Он означает две простые вещи. Во-первых, соблюдение ряда глобальных правил. Эти правила не отрицают уникальности наций, они лишь регулируют отношения между государствами. Примером глобализма в действии автор называет чемпионат мира по футболу: на этом соревновании люди обычно болеют за сборную своей страны, но в то же время Бразилия не сможет играть с Германией, если бразильцы и немцы не согласятся соблюдать общие правила.

Во-вторых, иногда необходимо ставить долгосрочные интересы всех людей выше краткосрочных интересов немногих. Например, на чемпионате мира по футболу не используют допинг, чтобы не превратить спорт в состязание биохимиков. В других областях, где технологии меняют правила игры, тоже нужно стремиться к балансу национальных и глобальных интересов. Государства продолжат конкурировать в технологической сфере, но иногда им следует договариваться об ограничении разработки и внедрения опасных технологий – не только из альтруизма, но и ради самосохранения.

Человеческий выбор

Для заключения и выполнения глобальных соглашений по ИИ необходимы серьезные перемены в работе международной системы. Регулирование ИИ потребует особого уровня доверия и самодисциплины по двум причинам. Во-первых, лабораторию ИИ спрятать проще, чем ядерный реактор. Во-вторых, инструменты ИИ часто могут использоваться как в гражданских, так и в военных целях. Даже подписав соглашение о запрете автономных систем вооружения, страна может производить такое оружие тайно или маскировать его под гражданскую продукцию. А значит, правительствам и корпорациям будет все труднее доверять друг другу и противостоять соблазну нарушить правила. Способны ли люди достичь необходимого уровня доверия и самодисциплины?

Многие скептически относятся к способности людей меняться, отказываться от насилия и выстраивать прочные глобальные связи. Они полагают, что вся международная система представляет собой вечную борьбу за власть. Это мрачное видение основано на «теории лакировки», согласно которой в глубине души люди – охотники каменного века, живущие в джунглях, где сильный охотится на слабого. Теория гласит, что люди лакируют реальность тонким слоем мифов и ритуалов, но так и не избавились от закона джунглей.

Однако биологические исследования показывают, что закон джунглей сам по себе миф. Настоящие джунгли полны сотрудничества, симбиоза и альтруизма, которые проявляют животные, растения, грибы и бактерии. Если бы организмы отказались от сотрудничества, тропические леса и их обитатели погибли бы. Таков закон джунглей.

Что касается наших предков из каменного века, то четких свидетельств их воинственных наклонностей не имеется. Одни периоды в истории человечества были жестокими, другие относительно мирными. Самая явная закономерность, которую можно проследить в нашей истории, – это растущий масштаб сотрудничества. Когда-то сапиенсы взаимодействовали только на уровне общин и племен, сегодня – на уровне религий, торговых сетей и государств. Государство – продукт сложных процессов укрепления доверия и сотрудничества. Если бы людей интересовала только власть, они никогда не создали бы государства.

Конфликты всегда были возможны, но никогда не были неизбежны. Интенсивность войн зависит от технологических, экономических и культурных факторов, с изменением которых меняются и войны. Ядерные технологии значительно повысили потенциальную цену войны, а переход к экономике знаний снизил потенциальные выгоды от нее. К концу ХХ века ведущие отрасли промышленности опирались на технические навыки и организационные ноу-хау, которые невозможно обрести военным путем. Ряд экономических чудес был совершен побежденными державами и странами, которые избегали войн.

Статистика указывает на сокращение масштабов войн после 1945 года, но еще ярче об этом свидетельствуют госбюджеты. Если на протяжении большей части истории военные расходы были главной статьей бюджета каждой страны, то в начале XXI века в среднем по миру они составляли всего около 7 % госбюджетов, и даже США тратили на поддержание своей военной гегемонии лишь около 13 % бюджета.

Войн стало меньше не благодаря божественному вмешательству или изменению законов природы, а потому, что люди изменили свои законы, мифы и институты и стали принимать более разумные решения. Но тот факт, что это изменение стало результатом человеческого выбора, также означает, что оно обратимо. Сегодня все больше лидеров снова мечтает о военной славе, число вооруженных конфликтов растет, а военные бюджеты раздуваются.

Когда некий лидер верит в беспощадный мир, где люди поедают друг друга, ему остается лишь выбрать, кем быть: хищником или жертвой. При такой постановке вопроса лидер скорее предпочтет войти в историю как хищник. Но таким лидерам автор напоминает, что в эпоху ИИ альфа-хищником, скорее всего, будет ИИ.

Однако в реальности выбор гораздо шире. Многие вещи, которые считаются естественными и вековечными, на самом деле созданы людьми и могут быть изменены. Но само понимание того, что конфликтов можно избежать, не должно вызывать у нас самоуспокоенности. Напротив, это возлагает на человечество большую ответственность. Если человеческую цивилизацию поглотит конфликт, мы не сможем винить ни законы природы, ни технологии. Но при должных усилиях нам по плечу создать лучший мир, и это не наивность, а реализм, считает автор. Все старое когда-то было новым. Единственная постоянная в истории – это перемены.

* * *

После выхода книги Homo Deus автор много общался с учеными, предпринимателями и мировыми лидерами, интересующимися ИИ, и смог изнутри взглянуть на сложную динамику ИИ-революции. Его опыт изучения истории помог ему осмыслить происходящее.

Автор убежден, что понимание истории полезно для понимания современных технологических, экономических и культурных перемен и, что еще важнее, для смены политических приоритетов. Политика во многом зависит от приоритетов, а приоритеты часто определяются пониманием истории.

Автора тревожат исторические аналогии с печатной и промышленной революциями, особенно когда их проводят лидеры, от чьего исторического видения зависят решения, влияющие на будущее всех людей. В этих аналогиях недооцениваются как беспрецедентный характер ИИ-революции, так и негативные стороны революций прошлого. Печатная революция привела, помимо прочего, к охоте на ведьм и религиозным войнам, а газеты и радио служили не только демократии, но и тоталитарным режимам. Промышленная революция тоже привела к кровавым экспериментам. Справится ли человечество с темной стороной ИИ-революции?

Новые информационные технологии всегда становятся катализатором исторических перемен, поскольку главная роль информации, правдивой или ложной, заключается в создании новых сетей. Глиняные таблички в Древней Месопотамии способствовали появлению городов-государств, священные книги – распространению новых религий, газеты и телеграф – развитию масштабной демократии и масштабного тоталитаризма. Поэтому автор предлагает рассматривать исторические революции как революции в способах распространения информации.

Автор призывает уделять больше внимания ИИ-революции в текущих политических дебатах, поскольку ИИ – первый инструмент, способный самостоятельно принимать решения и генерировать идеи, и это делает компьютеры полноправными участниками человеческих информационных сетей. Появление множества таких участников неизбежно изменит социальную, экономическую и политическую динамику. Поэтому проблема ИИ должна стать вопросом первостепенной важности даже для тех, кому неинтересны технологии и кто считает, что главные политические вопросы касаются выживания демократии или справедливого распределения богатства.

Понимание истории также предостерегает людей от двух ошибочных подходов к информационным сетям и революциям. С одной стороны, следует избегать наивного и оптимистичного взгляда. Информация не равна истине, а безошибочный ИИ – иллюзия. С другой стороны, не стоит придерживаться и слишком циничного взгляда и рассматривать информацию лишь как оружие в борьбе за власть. Реальность сложна.

Если бы все сводилось к борьбе за власть, то единственным способом разрешения конфликтов было бы насилие. Но люди заинтересованы в истине, а потому есть шанс хотя бы иногда разрешать разногласия мирным путем, ведя переговоры, признавая ошибки и пересматривая истории, в которые мы верим. Этой базовой посылкой демократических сетей и научных институтов руководствовался и автор при написании данной книги.

Вымирание разумнейших

Автор возвращается к вопросу, заданному в самом начале книги: если мы, люди, такие разумные, то почему мы так склонны к саморазрушению? Люди одновременно и самые умные, и самые глупые животные на земле. Мы так умны, что способны создавать ядерное оружие и сверхинтеллектуальные алгоритмы, и так глупы, что продолжаем их создавать, даже когда не уверены, что сумеем их контролировать и что они нас не уничтожат. Почему?

Причина, по мнению автора, не в природе человека, а в наших информационных сетях. Ставя порядок превыше истины, человеческие информационные сети обретают огромное могущество, но не мудрость. Могущественная сеть способна справиться с серьезными угрозами, но также способна сама породить масштабные бедствия.

Чем мощнее сеть, тем важнее для нее иметь механизмы самокоррекции. В эпоху ИИ все человечество оказывается в ситуации, аналогичной изоляции Тиберия на Капри. Мы обладаем огромной властью над окружающим миром и наслаждаемся роскошью, но наши детища легко манипулируют нами, и мы можем слишком поздно осознать опасность.

Если мы не будем ни впадать в отчаяние, ни тешить себя иллюзиями, то сможем создать гармоничные информационные сети, способные разумно распоряжаться своим могуществом. Для этого не придется изобретать чудо-технологию – нужно лишь отказаться как от наивного, так и от популистского взгляда на информацию, отбросить фантазии о безошибочных технологиях и заняться тяжелой и довольно скучной работой по созданию институтов с мощными механизмами самокоррекции. В этом состоит главный посыл книги.

Мы создали неорганический интеллект, который может выйти из-под контроля и подвергнуть опасности не только наш вид, но и прочие формы жизни. Решения, которые человечество примет в ближайшие годы, определят, было ли создание этого инородного интеллекта фатальной ошибкой или началом новой главы в эволюции жизни.

Content

Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта. Юваль Ной Харари. Саммари

*****

Наивный взгляд на информацию

Google против Гёте

Информация как оружие

Что дальше?

Часть I Человеческие сети

Глава 1 Что такое информация?

Что есть истина?

На что способна информация

Информация в истории человечества

Глава 2 Истории: безграничные связи

Интерсубъективные сущности

Сила историй

Благородная ложь

Извечная дилемма

Глава 3 Документы: хватка бумажных тигров

Как убить долги

Бюрократия

Бюрократия и поиск истины

Глубинное государство

Биологические драмы

«Перебить всех законников»

Волшебный документ

Глава 4 Ошибки: фантазия о непогрешимости

Вывести людей из контура

Безошибочная технология

Сотворение еврейской Библии

Возвращение института

Разделенная Библия

Информационный пузырь

Книгопечатание, наука и ведьмы

Испанская инквизиция спешит на помощь

Открытие невежества

Механизмы самокоррекции

Библия и «руководство по психическим расстройствам»

Публикуйся или умри

Пределы самокоррекции

Глава 5 Решения: краткая история демократии и тоталитаризма

Диктатура большинства

Народ против истины

Нападки популистов

Оценка демократичности

Демократии каменного века

Цезаря в президенты!

Средства массовой информации создают условия для массовой демократии

ХХ век: массовая демократия – и массовый тоталитаризм

Краткая история тоталитаризма

Спарта и империя Цинь

Тоталитарная троица

Тотальный контроль

Партия и церковь

Как передается информация

У всех свои недостатки

Часть II Неорганическая сеть

Глава 6 Новые участники: чем компьютеры отличаются от печатных станков

Звенья одной цепи

Взлом операционной системы человеческой цивилизации

Каковы последствия?

Брать на себя ответственность

Правые и левые

Никакого детерминизма

Глава 7 Неустанная: сеть всегда включена

Недремлющие агенты

Подкожное наблюдение

Конец частной жизни

Разновидности наблюдения

Система социального рейтинга

Всегда активны

Глава 8 Возможны огрехи: сеть часто ошибается

Диктатура лайков

Во всем виноваты люди?

Проблема согласования

Скрепочный Наполеон

Корсиканский связной

Нацист-кантианец

Подсчет страданий

Компьютерная мифология

Новые ведьмы

Компьютерная предвзятость

Новые боги?

Часть III Компьютерная политика

Глава 9 Демократии: способны ли мы по-прежнему поддерживать диалог?

Демократический путь

Поступь демократии

Самоубийство консерваторов

Недоступные пониманию

Право на объяснение

«Нырок»

Цифровая анархия

Запретить ботов

Будущее демократии

Глава 10 Тоталитаризм: вся власть алгоритмам?

Тюрьма для ботов

Алгоритмический переворот

Дилемма диктатора

Глава 11 Кремниевый занавес: глобальная империя или глобальный раскол?

Рождение цифровых империй

Информационный колониализм

От паутины к коконам

Глобальный раскол между психикой и телом

От войны кодов к горячей войне

Глобальные обязательства

Человеческий выбор