Фрэнк Паскуале

Посвящается моим друзьям и коллегам по Ассоциации содействия развитию политической экономии и права – истинному интеллектуальному сообществу.

И, конечно, Рэю

Своим подходом к воспитанию мы решаем, достаточно ли мы любим мир, чтобы взять на себя ответственность за него и одновременно спасти его от гибели, которую без обновления, без прибытия новых и молодых было бы не остановить. А еще мы этим решаем вопрос о том, достаточно ли мы любим наших детей, чтобы не вышвыривать их из нашего мира, предоставляя самим себе, не вырывать у них из рук шанс предпринять нечто новое и для нас неожиданное, а вместо этого подготовить их к их миссии – обновлению нашего общего мира.

Ханна Арендт. Между прошлым и будущим

Я говорю о праве сейчас, поймите, о той точке, в которой тела, запертые в клетках, становятся онтологией, точке, в которой структуры жестокости, силы, войны становятся онтологией. Аналоговое – я в него верю, в реконструкцию феноменологии восприятия, но не машиной. К нему теперь – как никогда прежде – приковано воображение.

Лоуренс Джозеф. В скобках

Frank Pasquale

New Laws of Robotics

Defending Human Expertise in the Age of AI

The Belknap Press of Harvard University Press

Cambridge, Massachusetts & London, England 2020

Перевод с английского Алексея Королева

Под научной редакцией Софьи Щукиной

“New Laws of Robotics: Defending Human Expertise in the Age of Al” by Frank Pasquale Copyright © 2020 by the President and Fellows of Harvard College

Published by arrangement with Harvard University Press.

© ФГБОУ ВО «Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации», 2022

1. Введение

Ставки технологического прогресса растут с каждым днем. Объедините базы данных распознавания лиц с постоянно дешевеющими микродронами, и вы получите анонимную глобальную силу убийц, обладающих беспрецедентной точностью и смертоносностью. То, что может убивать, способно и исцелять. Роботы могли бы значительно расширить доступ к медицине, если бы мы больше инвестировали в их исследование и развитие. Фирмы делают тысячи шажков к автоматизации найма, обслуживания клиентов и даже менеджмента. Все эти процессы меняют баланс машин и людей и даже распорядок нашей повседневной жизни.

Предотвращение худших исходов революции искусственного интеллекта (ИИ) и в то же время реализация его потенциала будут зависеть от нашей способности выработать мудрое отношение к такому балансу. Для достижения такой цели в этой книге выдвигаются три аргумента, которые должны привести к улучшению нашей жизни. Первый аргумент эмпирический: непосредственно сейчас ИИ и роботы чаще всего дополняют, а не заменяют человеческий труд. Второй имеет ценностный характер: во многих областях мы должны сохранить такое положение вещей. Наконец, третий аргумент содержит политическое суждение: наши институты управления действительно способны достичь именно такого результата. Вот главный посыл этой книги: сегодня у нас есть средства руководить развитием технологий автоматизации, не становясь ее пленниками и не меняясь под их воздействием.

Эти идеи многим покажутся самоочевидными. Зачем писать в их защиту целую книгу? Дело в том, что из них следуют довольно интересные выводы, которые должны изменить способы организации социального сотрудничества и урегулирования конфликтов. Например, в настоящее время во многих странах приоритет отдается капиталу, а не труду, потребителям, а не производителям. Если мы хотим построить справедливое и стабильное общество, эти перекосы должны быть исправлены.

Исправить их будет непросто. Появившиеся за последнее время в избытке консультанты по менеджменту рассказывают одну простую историю о будущем труда: если машина может записать и воспроизвести то, что вы делаете, она вас заменит[1]. Эта перспектива массовой безработицы приковывает к себе внимание политиков и стратегов. Согласно этой теории, люди-работники становятся излишними в силу развития все более мощного программного обеспечения, роботов и предсказательной аналитики. Предполагается, что стоит только поставить достаточно камер и сенсоров, и менеджеры смогут создать симуляцию – вашего «цифрового двойника», то есть голограмму или робота, который будет выполнять работу человека не хуже, к тому же лишь за небольшую долю его зарплаты. Это представление задает суровую альтернативу: делайте роботов, или они заменят вас[2].

Но возможна и другая история, которая на самом деле более правдоподобна. Практически во всех областях роботизированные системы могут повысить ценность труда, а не уменьшить ее. В этой книге рассказывается о врачах, медсестрах, учителях, сиделках, журналистах и представителях иных профессий, которые работают вместе со специалистами по робототехнике и компьютерным наукам, но не служат источниками данных для своей будущей замены. Их сотрудничество предвосхищает то технологическое развитие, результатом которого могут стать более качественные здравоохранение, образование, более высокий уровень жизни для всех нас, в то же время позволяющий сохранить осмысленный труд. Также они показывают, как право и публичная политика способны помочь нам в достижении мира и инклюзивного процветания, а не «гонки против машин»[3]. Но мы можем добиться этого только в том случае, если обновим законы робототехники, которыми определяется наше представление о технологическом прогрессе.

Законы робототехники Азимова

В рассказе 1942 г. «Хоровод» писатель-фантаст Айзек Азимов определил три закона для машин, которые могут воспринимать среду, обрабатывать информацию, а потом действовать[4]. В рассказе приводится выдержка из 56-го издания «Руководства по робототехнике» за 2058 г.:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

2. Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат первому закону.

3. Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит первому и второму законам.

Законы робототехники Азимова были крайне популярными. Они кажутся совершенно ясными, но применять их непросто. Может ли автономный дрон нанести удар по террористической ячейке? Первая часть первого закона («Робот не может причинить вред человеку») вроде бы запрещает такое действие. Но военный может тут же отослать ко второй половине первого закона (запрещающей «бездействие», которое «допустит, чтобы человеку был причинен вред»). Чтобы определить, какую часть закона следует применять, нам понадобилось бы обратиться к другим ценностям[5].

Полем боя двусмысленности не исчерпываются. Рассмотрим, например, допускают ли законы Азимова существование автомобилей-роботов. Беспилотные транспортные средства обещают избавить нас от тысяч несчастных случаев на дорогах, происходящих ежегодно. Поэтому на первый взгляд ответ очевиден. С другой стороны, тысячи оплачиваемых водителей останутся без работы. Позволяет ли этот ущерб государству запретить или замедлить развитие беспилотных автомобилей? Три закона Азимова не способны предельно конкретно решить такие вопросы. Не объясняют они и то, как быть с недавним требованием защитников беспилотных автомобилей, которые заявили, что пешеходы должны учиться вести себя так, чтобы беспилотным машинам было проще ездить, а если пешеходы отказываются учиться, их следует наказывать.

Эти и многие другие двусмысленности объясняют, почему нормы, регламенты и судебные дела, связанные с робототехникой и ИИ, в нашем мире более сложны и замысловаты, чем законы Азимова. Постепенно мы освоим большую часть этого правового ландшафта. Но прежде я хочу ввести четыре новых закона робототехники, чтобы сориентировать наши дальнейшие исследования[6]. Они написаны для людей, создающих роботов, а не для самих роботов[7]. И хотя они еще более двусмысленны, чем законы Азимова, они лучше отражают то, как работает реальное законотворчество. Поскольку законодатели не могут предугадать каждую ситуацию, которую властям приходится регулировать, часто они предоставляют определенные права ведомствам, ставя при этом перед ними довольно расплывчатые задачи. Новые законы робототехники должны быть примерно такими же, то есть в них должны определяться общие принципы, тогда как конкретные права должны предоставляться специальным регулирующим ведомствам, обладающим значительным опытом в технических сферах[8].

Новые законы робототехники

Помня об этих целях, можно предложить четыре новых закона робототехники, которые в этой книге будут изучаться и развиваться:

1. Роботизированные системы и ИИ должны дополнять профессионалов, а не заменять их[9]

Громкие предсказания о наступлении технологической безработицы подогревают популярные дискуссии о будущем труда. Некоторые эксперты предрекают то, что практически каждая работа обречена на вымирание под натиском технологического прогресса. Другие указывают на препятствия, лежащие на пути автоматизации. Для политиков вопрос в том, какие из этих препятствий роботизации имеют смысл, а какие следует изучить и убрать. Роботы-мясники имеют смысл, роботы-воспитатели кажутся нам сомнительными. Являются ли эти сомнения попросту луддитской реакцией, или они суть отражение более глубокого понимания природы детства? Правила лицензирования не позволяют сегодня рекламировать приложения, анализирующие симптомы, в качестве врачей, действительно занимающихся медициной. Но правильный ли это подход?

В этой книге исследуются подобные примеры и представляются эмпирические и одновременно нормативные аргументы в пользу замедления или, наоборот, ускорения внедрения ИИ в различных сферах. Здесь имеют значение многие факторы, относящиеся к конкретным рабочим местам и юрисдикциям. Однако общим организующим принципом является значение осмысленного труда для ощущения человеком собственного достоинства и для управления сообществами. Гуманная программа автоматизации должна отдавать приоритет инновациям, дополняющим работников на рабочих местах, которые являются или должны быть их полноценным призванием. Машинами следует заменять опасные или изматывающие виды работ, обеспечивая при этом тех, кто в настоящий момент эти работы выполняет, справедливой компенсацией и предлагая им переход на другие социальные роли.

Такой сбалансированный подход разочарует как технофилов, так и технофобов. И точно так же упор на правление оттолкнет как тех, кто порицает «вмешательство» в рынки труда, так и тех, кто ненавидит «класс профессиональных менеджеров». В той мере, в какой профессии можно приравнять к экономической кастовой системе, в которой одни работники получают несправедливые привилегии, такие подозрения вполне оправданны. Можно, однако, смягчить стратификацию, отстаивая высшие цели профессий.

Компромисс, составляющий ядро профессионализма, состоит в том, что работникам надо предоставить определенные права в решении вопросов организации производства, но в то же время вменить им в обязанность трудиться на благо всего общества[10]. Профессионалы, занимающиеся исследованиями как в университетах, так и в собственных фирмах, культивируют распределенные экспертные знания, сглаживая классические противоречия между технократией и народным правлением. Мы не должны подрывать или обескровливать профессии, вопреки мнению слишком многих защитников подрывных инноваций. Скорее, гуманная автоматизация потребует усиления уже существующих экспертных сообществ и создания новых.

Удачное определение профессий довольно объемно, оно должно включать многих работников, объединенных профсоюзами, особенно когда они защищают тех, кому служат, от неумных или опасных технологий. Например, профсоюзы учителей выступали против избыточной «зубрежки и тестирования» средствами автоматических систем и во многих других ситуациях также отстаивали интересы учеников. Профсоюзы, развивающиеся по пути профессионализации, то есть позволяющие своим членам защищать тех, кому они служат, должны получить важную роль в определении облика революции ИИ.

Иногда будет сложно доказать, что процесс, завязанный на человека, лучше автоматизированного. Общие финансовые показатели вытесняют сложные критические стандарты. Например, программы машинного обучения скоро смогут, основываясь на обработке естественного языка методом перебора, предсказать, какая из предложенных книг способна стать бестселлером. С чисто экономической точки зрения такие программы могут отбирать рукописи или сценарии фильмов лучше редакторов и режиссеров. Тем не менее люди, работающие в креативных индустриях, должны отстаивать свои профессиональные знания. У редакторов важная роль в издании, оценке, поиске и продвижении работ, которые публика, возможно, сейчас еще не хочет читать, хотя они ей и нужны. То же можно сказать о журналистах: даже если автоматическая генерация текста способна создать текст, максимизирующий доходы от рекламы, этот примитивный триумф никогда не заменит настоящего репортажа с истинно человеческой точки зрения, которую еще нужно приобрести. Профессиональные школы в университетах уточняют и пересматривают стандарты медиа, права, медицины и многих других областей, не позволяя им скатываться до уровня простых показателей, допускающих автоматизацию.

Даже в тех областях, которые, кажется, просто напрашиваются на автоматизацию, например, в логистике, клининге, сельском хозяйстве и горном деле, работники будут играть ключевую роль в процессе длительного перехода к ИИ и роботам. Сбор или создание данных, необходимых для ИИ, для многих станет трудной задачей. Благодаря нормам и регулированию их работа может стать более интересной и автономной. В частности, европейский закон о неприкосновенности частной жизни дает водителям возможность оспаривать тотальный мониторинг и контроль, от которого страдают дальнобойщики в США[11]. Это не значит, что такое опасное занятие должно остаться без контроля. Сенсоры способны указать на проблемы с рефлексами водителями. Но есть огромная разница между сенсорами, которые специально настроены на обнаружение проблем с безопасностью, и постоянной видео- и аудиозаписью любых действий водителя. Достижение правильного баланса между изматывающим надзором и разумным, фокусированным мониторингом может стать ключевой задачей в самых разных областях деятельности.

Также мы можем спроектировать такой технологической переход, который позволит не упускать людей из виду или, по крайней мере, предоставит им выбор. Например, Toyota продвигает автомобили с большим уровнем роботизации, начиная с режима «личный водитель» (который требует минимального контроля со стороны водителя) и заканчивая режимом «хранитель» (при котором компьютерные системы автомобиля сосредоточены на избегании аварий, тогда как самим транспортным средством управляет человек)[12]. На самолетах автопилоты работают уже многие десятилетия, однако у коммерческих перевозчиков в рубке обычно все еще находится по меньшей мере два человека. Даже обычный авиапассажир может быть благодарен за то, что сторонники полной автоматизации пока не стремятся избавиться от пилотов[13].

Заметим, что транспорт – одна из наиболее простых областей применения ИИ. Как только пункт назначения задан, спорить о траектории путешествия нет смысла. В других областях все наоборот: клиент или потребитель может передумать. Ученики в классе в весенний денек могут оказаться слишком непоседливыми, чтобы раз за разом повторять таблицу умножения. Модник может вызвать своего дизайнера интерьеров, расстроившись из-за того, что выбранная им для гостиной гравюра оказалась слишком аляповатой. Тренер может засомневаться в том, нужно ли клиенту, который выглядит слишком уставшим, бежать по беговой дорожке еще минуту. В каждом из этих случаев самое главное – это коммуникация, а также проявляемые при общении людей навыки терпения, размышления и различения[14].

Конечно, если тысячи тренеров вооружатся Google Glass и запишут все свои встречи, наверно, соберется какая-то божественная база данных из гримас и выпученных глаз, ругательств и триумфов, которая сможет определить оптимальный ответ уставшему бегуну. Но даже если просто задуматься о том, как построить такую базу данных, о том, что должно оцениваться как положительный или отрицательный результат и в какой мере, тут же придет осознание ключевой роли, которую люди будут играть в создании и поддержании ИИ и роботов в любом правдоподобном сценарии будущего. Искусственный интеллект так и останется искусственным, поскольку он всегда будет плодом человеческого сотрудничества[15]. Более того, большинство недавних достижений в ИИ нацелены на решение строго определенных задач, а не на выполнение работ как таковых или социальных ролей[16].

Существует много примеров технологий, которые позволяют повысить производительность рабочих мест, сделать их более интересными или допускают и то, и другое. Агентство цифрового развития Италии отметило: «Технология часто заменяет не профессионала целиком, а лишь некоторые конкретные действия»[17]. Современные студенты-юристы едва ли могут поверить, что до интернета их коллегам приходилось перелопачивать пыльные тома, чтобы оценить обоснованность того или иного дела; поисковые программы значительно упрощают этот процесс и значительно расширяют список ресурсов, доступных в судебном разбирательстве. Нисколько не упрощая задачу, они могут, наоборот, значительно ее усложнить[18]. Если на поиск по книгам тратится меньше времени, а на интеллектуальный труд, в котором создается общая картина дела, – больше, для адвокатов это прямая выгода. Автоматизация может дать похожий прирост производительности и многим другим работникам, что не обязательно ведет к замене их труда. И это не просто наблюдение. Это вполне состоятельная цель программы развития[19].

2. Роботизированные системы и ИИ не должны притворяться людьми

Перспектива гуманоидных роботов всегда манила, пугала и возбуждала – со времен Азимова и до головокружительной мимикрии «Мира Дикого Запада». Некоторые специалисты по робототехнике стремятся найти правильное сочетание металлических костей и пластиковой кожи, позволяющее вырваться из «зловещей долины», то есть избавиться от чувства жути при виде гуманоидного робота, который слишком сильно приближается к человеческим качествам, жестам и повадкам, но при этом не может их полностью воссоздать. Программы машинного обучения уже освоили искусство создания изображений «фейковых людей», а вскоре получат распространение и убедительные синтетические голоса[20]. Пока инженеры мучаются с тонкой настройкой этих алгоритмов, без ответа остается более важный вопрос: хотим ли мы жить в мире, в котором люди не знают, с кем они имеют дело – с другим человеком или машиной?

Существует принципиальное различие между гуманизацией технологии и подделкой исключительно человеческих качеств. Ведущие европейские специалисты по этике утверждают, что «должны быть (правовые) границы, определяющие, в какой мере людей можно заставлять верить в то, что они имеют дело с людьми, тогда как на самом деле они общаются с алгоритмами и умными машинами»[21]. Законодатели уже приняли законы об «идентификации ботов» в сетевых контекстах.

Несмотря на этот складывающийся этический консенсус, существуют отдельные области ИИ, например, программирование эмоций, когда анализируются и симулируются человеческие эмоции, задача которых – постоянно усложнять выявление различия между человеком и машинами. Такие исследовательские проекты способны привести к созданию передовых андроидов наподобие тех, что известны по фильму Стивена Спилберга «Искусственный интеллект», в котором машины внешне не отличались от человека. Специалисты по этике спорят о том, как должны проектироваться такие гуманоидные роботы. Но что если их вообще не стоит делать?

В больницах, школах, полицейских участках и даже в производственных цехах мало пользы от загрузки программного обеспечения в гуманоидную форму, а вреда много. Гонка за человекоподобием слишком легко может стать первым шагом на пути к замене человека. Некоторые люди, возможно, предпочтут такую замену в личной жизни, и право должно уважать их автономию в интимных вопросах. Однако безумным было бы общество, стремящееся к такой замене на рабочих местах и в публичной сфере. Подобная идея подменяет развитие человечества его устранением.

Этот аргумент может неприятно удивить или смутить технофилов, поскольку им отрицается содержание и посылка не только законов Азимова, но и обширной литературы о будущем технологий. Я надеюсь оправдать такой консерватизм тем, что последовательно, по главам, продумаю конкретные шаги, которые понадобилось бы сделать, чтобы достичь того научно-фантастического мира, где роботы неотличимы от людей. Для такого перехода необходим массовый контроль людей – и все для того, чтобы создать роботов, призванных дурачить людей или заставлять их относиться к машинам как к равным. Ни та, ни другая перспектива не кажется такой уж привлекательной.

Голос или лицо другого человека требует уважения и внимания; машины не имеют подобных прав на наше участие. Когда чат-боты обманывают ничего не подозревающих людей, которые думают, что они общаются с другими людьми, программисты чат-ботов действуют в качестве фальсификаторов, подделывающих черты реальных людей, чтобы повысить статус своих машин. Когда фальсификация денег достигает критической массы, подлинные монеты теряют ценность. То же самое ждет и человеческие отношения в обществах, которые позволят машинам свободно изображать эмоции, речь и внешний вид людей.

Подделка человека становится особой опасностью в том случае, когда корпорации и государства пытаются придать дружелюбный вид своим услугам и требованиям. Ассистенты Google поразили деловую прессу, изображая секретарей, которые назначают встречи, жутковато подражая даже «мычанию» и «ахам», которыми испещрена обычная беседа по телефону. Подобные междометия маскируют силу таких фирм, как Google, колебанием или уступчивостью, обычно заметными в неотрепетированной человеческой речи. Роботизированный звонок они облекают покровом человеческого запроса. Но тем, кто отвечают на такие звонки, несложно представить, как будет выглядеть злоупотребление – оно станет потоком телефонных вызовов из роботизированных кол-центров.

Подделка человека – не просто обман; она еще и нечестна, поскольку фальсификатор кажется лично заинтересованным и искренним, хотя на самом деле это совсем не так. Как мы сможем показать далее на разных примерах роботов (учителей, солдат, представителей по работе с клиентами и т. д.), неудовлетворенность и стресс при столкновении с неудачными имитациями человека – не просто следствие несовершенной технологии. Скорее в них отражается разумное предостережение об определенном пути развития самой технологии.

Роботизированные системы и ИИ не должны усиливать гонку вооружений с нулевой суммой

Споры о роботах-убийцах крайне важны для этики в международном праве. Глобальная коалиция организаций гражданского общества стремится заставить государства взять на себя обязательство не разрабатывать автономные системы оружия летального действия (АСОЛД (Lethal autonomous weapons systems, LAWS)). Сегодня некоторые факторы блокируют это вполне осмысленное предложение по ограничению технологий. Военачальники не доверяют своим коллегам из стран-конкурентов. Те, возможно, скрывают военные разработки в области ИИ, наращивают силы, публично отрицая при этом свои намерения. Усиливающиеся державы могут самоутверждаться, инвестируя средства в проекты наращивания вооружений, соответствующие их новому экономическому статусу, тогда как господствующие ныне армии требуют дополнительных ресурсов, которые необходимы для поддержания их относительного перевеса. Но это лишь один из способов начать гонку вооружений. Когда на сцену выходят ИИ и роботы, риски отставания от соперников становятся еще более значимыми, поскольку новые технологии обещают быть все более таргетированными, глобальными и быстро развертываемыми.

Политики, отстаивающие дело мира, возможно, будут проповедовать исключительно оборонительную стратегию (что нашло отражение в том, что в 1949 г. американское министерство обороны пришло на смену министерству войны). Тем не менее оборонные средства часто могут использоваться и как наступательные вооружения; достаточно вспомнить об автономных дронах, заточенных на уничтожение ракет, которые, однако, можно перепрограммировать так, чтобы убивать генералов. Соответственно, даже планы обороны могут быть агрессивными, что доказывает пример Стратегической оборонной инициативы (СОИ) Рональда Рейгана. В СОИ, получившей известность как «Звездные войны», должны были использоваться космические лазеры, которые бы сбивали советские ракеты. Если бы эта программа была внедрена, хрупкое равновесие сдерживания (обеспечиваемое гарантированным взаимным уничтожением ядерным оружием) было бы нарушено. АСОЛД, автоматические кибератаки и кампании по дезинформации – сегодня все это грозит подорвать давно сложившиеся ожидания, определявшие цели и границы международного конфликта. Мы должны найти новые способы ограничить их развитие и влияние.

Война поначалу может предстать исключительным положением, во время которого обычные этические аргументы перестают работать (или, по крайней мере, существенно ограничиваются). Однако третий новый закон робототехники применим и за пределами поля боя. Технологии, разрабатываемые в армии, также привлекают полицию, и все больше людей, занятых в области общественного порядка, стремятся использовать распознавание лиц для сканирования толпы в поисках преступников. Опираясь на методы машинного обучения, налоговые органы стремятся выявлять незадекларированные доходы путем анализа электронной почты и банковских счетов всех граждан. Сама возможность столь совершенного надзора заставит людей, обеспокоенных безопасностью, вкладываться в шифрование, которое, в свою очередь, будет подталкивать власти бросать все больше ресурсов на расшифровку.

Нам нужно найти способы сдерживания подобной динамики – и не только в военных и полицейских сценариях. Инвестирование в ИИ и робототехнику часто оказывается частью состязания за определенный набор ресурсов, например, в судопроизводстве, финансах и других областях, где люди конкурируют за позиционные преимущества. Для распределения таких ресурсов государство и корпорации создают для граждан и клиентов репутационные соревнования, в частности рейтингование, которое имеет значение в той мере, в какой позволяет пристыдить определенных людей (с низкими баллами) и превознести других (с высокими). Вначале кредитный рейтинг ограничивался одной областью жизни (определением кредитоспособности) и основывался на ограниченном множестве данных (истории выплат по кредитам). Но спустя десятилетия рейтинги и другие похожие оценки стали определять иные возможности, включая ставки страхования и возможности найма. В последнее время специалисты по сбору информации предложили еще больше источников данных для кредитного рейтинга, начиная с того, как люди печатают на клавиатуре, и заканчивая их политическими взглядами или сайтами, которые они посещают. Китайское правительство значительно расширило задачи подобного контроля, сделав так, что «социальный рейтинг» стал играть роль в определении того, на каких поездах или самолетах гражданин может передвигаться, в каких гостиницах останавливаться и в каких школах могут учиться его дети. Во многих областях Китая расширился объем потенциально используемых данных – начиная с того, как человек переходит улицу, как он относится к своим родителям, и заканчивая степенью его патриотизма и веры в коммунистическую партию и ее учение.

Система социального рейтинга и ее многочисленные западные аналоги вызвали немало споров, и неясно, до чего они способны дойти. Конечно, некоторые области применения таких систем могут оказаться достаточно ценными. Сложно жаловаться на медицинскую систему надзора, которая ускоряет отслеживание контактов, чтобы остановить распространение инфекционного заболевания и препятствует таким образом началу пандемии. Но когда те же инструменты используются для постоянного ранжирования всех и каждого, они становятся элементом подавления людей.

Основная опасность социального контроля средствами ИИ – это создание мира строгой регламентации. Конфликт и конкуренция – часть жизни, и мы должны быть готовы к тому, что технологическое развитие скажется и на них. Однако ИИ и роботы грозят сделать социальный контроль слишком совершенным, а конкуренцию (для того чтобы стать тем, кто способен навязывать контроль или уклоняться от него) – слишком жесткой. Безопасность и креативность человека развиваются в средах, в которых найден баланс предсказуемости и открытости, порядка и подвижности. Если мы не сможем ограничить робототехнику, встроенную в системы социального контроля, этому балансу придет конец.

4. Роботизированные системы и ИИ всегда должны содержать указание на идентичность своего создателя (или создателей), оператора (или операторов) и собственника (или собственников)

За роботов и алгоритмические системы отвечают люди. Конечно, некоторые программы могут сегодня порождать новые программы, которые, в свою очередь, дают начало другим. Но мы все еще может проследить родословную этих «детей и внуков разума» вплоть до их источника[22]. И мы должны сохранить это положение дел в обозримом будущем, несмотря на предсказуемое сопротивление со стороны некоторых апологетов полностью автономного ИИ.

На передовых рубежах ИИ, машинного обучения и робототехники подчеркивается автономия, будь то умных контрактов, высокочастотных трейдинговых алгоритмов (независимых, по крайней мере, в те промежутки времени, которые для людей незаметны) или будущих роботов. Существует туманное понятие «бесконтрольных» роботов, которые сбежали от своего создателя. Возможно, такие инциденты и в самом деле неизбежны. Тем не менее какой-то человек или организация должны за них отвечать. Требование, согласно которому у всякого ИИ или роботизированной системы должно быть лицо, отвечающее за его или ее действие, поможет ограничить те проекты, которые способны оказаться столь же опасными, как нерегулируемая биоинженерия вирусов.

Конечно, некоторые роботы и алгоритмы в своем развитии отступят от идеалов, запрограммированных их собственниками, в результате взаимодействия с другими людьми или машинами (представьте, к примеру, развитый беспилотный автомобиль, который будет развиваться в результате множества влияний, им испытываемых[23]). В подобных случаях может быть несколько сторон, ответственных за развитие данной машины и ее действия[24]. Независимо от того, что именно влияет на развитие подобных машин, исходный создатель обязан встроить в них определенные ограничения на развитие кода, чтобы можно было записывать факторы влияния и в то же время предотвращать возникновение негативных результатов. Когда же другой человек или организация взламывает либо отключает подобные ограничения, ответственным за проступки робота становится хакер.

В качестве примера применения этого принципа рассмотрим чат-бота, который постепенно обучается определенным паттернам диалога, используя для этого общение в сети Twitter. Если верить некоторым новостным аккаунтам, чат-бот компании Microsoft, Tay, оснащенный ИИ, быстро усвоил речевые паттерны отъявленных нацистов, проведя лишь несколько часов в Twitter[25]. Microsoft не программировала такой результат, но компания должна была знать, что опасно размещать бота на платформе, известной плохой модерацией преследований и ненавистнических высказываний. Кроме того, если бы чат-бот вел дневник дурных воздействий, он мог бы сообщить о них в сети Twitter, которая, если бы работала лучше, могла бы предпринять определенные действия, чтобы приостановить или замедлить поток оскорблений, исходящих от аккаунтов троллей, а может, и кого похуже.

Регулирующие ведомства должны будут требовать запроектированной ответственности (дополняющей обширные модели запроектированной безопасности и конфиденциальности). Для этого, возможно, придется запрограммировать на аппаратном уровне обязательные контрольные журналы или ввести практики лицензирования, в которых специально оговариваются проблемные исходы[26]. Подобные инициативы будут не просто регулировать робототехнику и ИИ post hoc, но и влиять на развитие систем, закрывая одни возможности 27 проектирования и поощряя другие[27].

* * *

Каждый из этих новых законов робототехники, требующих дополнительности, аутентичности, сотрудничества и атрибуции, основывается на теме, которая будет служить ориентиром для всего нашего исследования, а именно на ключевом различии между технологией, которая заменяет людей, и технологией, которая позволяет им лучше делать свою работу. Смысл новых законов в том, чтобы развивать программы, которые делают ставку на силы человека в таких областях, как здравоохранение и образование, и чтобы воспользоваться человеческими ограничениями для сужения масштаба и снижения интенсивности конфликта и зарегулированности в нашей социальной жизни.

Исследователи в области ИИ давно стремятся создать компьютеры, которые могли бы чувствовать, мыслить и действовать как люди. Еще в 1960-е гг. специалисты по робототехнике в MIT разрабатывали роботов-часовых, способных освободить солдат от утомительной и опасной обязанности стоять на посту в местах, которые могут подвергнуться атаке[28]. Однако есть и другое понимание робота-часового – его можно расценивать не в качестве ИИ, заменяющего воинский состав, а в качестве еще одного средства, повышающего эффективность солдат-охранников. Если внедрить такой ИИ, армии, возможно, не нужно будет призывать дополнительных солдат для контроля все новых и новых угроз. Можно разработать сенсоры и компьютеры, которые будут работать в качестве дополнительного набора ушей и глаз, быстро оценивая уровни угрозы и другие данные, чтобы помочь солдатам с выбором действий. Эта цель, которая определяется как «усиление интеллекта» (УИ), определила проекты многих первопроходцев интернета[29]. Также она является основой современного военного дела, то есть когда пилоты дронов работают с обширным комплексом данных, поступающих от сенсоров, и от их решений о воздушных бомбардировках зависят вопросы жизни и смерти.

Различие между ИИ и УИ, хотя порой оно и стирается, критически важно для определения направления инноваций. Большинство родителей не готовы отправить своих детей к учителям-роботам. Также детей не нужно учить тому, что их учителей со временем заменят машины, отлично подогнанные под их манеру обучения. В образовании есть много более гуманных концепций роботов. Например, школы уже успешно экспериментировали с «роботами-компаньонами», помогающими ученикам зубрить списки слов. Они способны задавать вопросы о том, что ученики только что выучили. Эти роботы, которые выглядят как животные или вымышленные создания, но не люди, не ставят под вопрос уникальность человека.

Исследователи постепенно приходят к выводу, что во многих контекстах УИ дает лучшие результаты и приносит больше пользы, чем искусственный или человеческий интеллект, когда они работают порознь. УИ и роботы, выполняющие функцию ассистентов, могут стать настоящим подарком для работников, высвобождая время для отдыха или досуга. Но в любой современной экономике действуют законы, которые заставляют выбирать ИИ, а не УИ.

Робот не просит отгулов, справедливой заработной платы, ему не нужна медицинская страховка. Когда труд рассматривается прежде всего в качестве издержек, справедливая оплата становится проблемой, которую как раз и должны решить роботы. Роботы привели к революции в промышленном производстве, заменив рабочих на конвейере. Сегодня многие бизнес-эксперты требуют похожего технологического развития, которое позволит роботам взять на себя более сложные задачи, начиная с медицины и заканчивая армией.

Слишком многие журналисты, увлеченные этим управленческим энтузиазмом, обсуждали «роботов-юристов» и «роботов-врачей» так, словно они уже существуют. В этой книге будет показано, что подобные описания нереалистичны. В той мере, в какой технология действительно меняет профессии, она обычно действует методами УИ, а не ИИ. За головокружительными заголовками о «программах, которые съедают мир», скрываются десятки менее громких случаев применения вычислений, помогающих адвокатам, врачам или учителям работать лучше и быстрее[30]. Вопрос программ инноваций теперь в том, как сохранить преобладание УИ и где развивать ИИ. Эту проблему мы проанализируем применительно к разным секторам, не пытаясь придумать одну на все случаи модель технологического развития.

В разговорах о роботах обычно два полюса – утопический («машины будут делать всю грязную, опасную или сложную работу») и дистонический («да и всю остальную, а потому создадут массовую безработицу»). Однако будущее автоматизации рабочих мест (и не только) будет определяться миллионами небольших решений о том, как развивать ИИ.

В какой мере можно довериться машинам и передать им задачи, которые раньше выполняли люди? Что приобретается и теряется, когда они берут их решение на себя? Каково оптимальное сочетание роботизированных и человеческих взаимодействий? И как различные правила – начиная с кодексов профессиональной этики и заканчивая страховыми программами и уставами – влияют на объем и скорость роботизации повседневной жизни? Ответы на эти вопросы могут в значительной мере определять то, к чему приведет автоматизация – к революции роботов или к медленному и осторожному улучшению того, как выполняется та или иная работа.

* * *

Почему нас должны особенно волновать роботы и ИИ, если сравнить их с повсеместно распространившимися экранами и программами, которые уже колонизировали значительную часть нашего времени? Есть две практические причины. Во-первых, физическое присутствие робота может быть намного более навязчивым, чем любого планшета, смартфона или сенсора; собственно, сами эти технологии могут встраиваться в роботов[31]. Никакой плоский экран не может протянуть руку, остановить ребенка-хулигана или непокорного заключенного, меняя тем самым актуальную технологию контроля толпы и вырабатывая новые формы дисциплины. Но робот все это может.

Даже если внедрение роботов идет медленно или в ограниченном масштабе, ИИ грозит дать новый толчок техникам завлечения и убеждения, встроенным в различные технологии, начиная с мобильных приложений и заканчивая видеопокером[32]. Исследователь взаимодействий человека и компьютера Джули Карпентер отмечает: «Даже если вам известно, что у робота очень мало автономии, но когда нечто движется в вашем пространстве и при этом кажется, что это движение происходит с какой-то определенной целью, мы приписываем такой вещи внутреннее сознание или цели»[33]. К примеру, и такой не слишком одушевленный аппарат, как робот-пылесос, может вызвать эмоциональную реакцию. Чем больше сенсоров записывают наши реакции, тем богаче залежи эмоциональных данных, в которых могут копаться все более сложные компьютеры[34]. Каждый «лайк» – это сигнал, указывающий на то, что нас привлекает; каждое зависание на экране – это положительное подкрепление для определенной базы данных о манипуляциях. Миниатюрные сенсоры делают наблюдение мобильным, подрывая наши попытки скрыться. Действительно, решение скрыться от сенсоров может быть основой для действий, которые очень много расскажут об окружающем нас мире. Более того, вычислительные мощности и хранилища данных могут завести нас на путь дистопии, где все имеет значение, так что все, что делает ученик, может записываться и сохраняться для оценок в будущем[35]. И наоборот, в обычной школе ученик каждый год встречается с новыми учителями, что позволяет ему начинать с относительно чистого листа[36].

Нельзя сказать, что какой-либо из этих тревожных прогнозов наверняка сбудется, и это вторая причина, заставляющая сосредоточиться на современных программах развития робототехники. Когда роботы проникают в хорошо регулируемые сферы, у нас появляется отличная возможность определить их развитие, применяя разумные правовые стандарты защиты неприкосновенности личной жизни и защиты потребителей. Мы можем определять направление развития технологии правом[37]. Роботов не обязательно проектировать так, чтобы они записывали каждый момент жизни того, кого они сопровождают или за кем следят. Действительно, сам надзор за роботами может показаться достаточно угнетающим, чтобы мы требовали некоторого человеческого контроля за любой подобной системой (что и стало правилом в одной роботизированной южнокорейской тюрьме, где человек следит за механическими охранниками). Когда роботы становятся частью системы наказания, любое решение по их применению должно определяться открытой и содержательной дискуссией об управлении тюрьмами и относительных достоинствах возмездия и реабилитации. Ведь одна из основных целей новых законов робототехники – заставить политиков и чиновников не рассматривать столкновение позиций по вопросам ИИ и робототехники в качестве всего лишь части общей «программы развития технологии» и привлечь их к подлинному сотрудничеству с экспертами-профессионалами, обязанностью которых является защита важных ценностей в хорошо структурированных областях деятельности.

Циники могут посмеяться над такими ценностями, объявив их всецело субъективными, а потому обреченными на устаревание в обществе, которое становится все более технологическим. Однако сообщества ученых и консультантов, занимающихся наукой, технологией и человеческими ценностями, показали, что прогностическая этика может определять проектирование технологий и влиять на него[38]. Ценности сами встраиваются в технологию[39]. Канадские, европейские и американские регулирующие ведомства в качестве принципа, на который обязаны ориентироваться разработчики, ввели «запроектированную конфиденциальность»[40]. Подобные правила в еще большей степени должны относиться к технологии, опирающейся на массовое использование сенсоров, которая может свободно наращивать свои способности к записи изображения и звука. Например, у многих видеокамер есть красная лампочка, включение которой показывает, что они записывают видео, и точно так же у роботов должен быть эквивалентный индикатор, показывающий, что они записывают людей, находящихся рядом с ними. Данные, основанные на ИИ, должны стать предметом строгих ограничений, определяющих их сбор, анализ и применение[41].

Адепты технологий, возможно, возразят, сказав, что регулировать робототехнику пока еще слишком рано. Пусть проблема оформится, и тогда с ней можно будет что-то сделать, считают сторонники laissez-faire. Но такой квиетизм неуместен. Слишком часто в области высоких технологий индустрия демонстрирует тот факт, что подходящего момента для регулирования не бывает никогда. Когда возникают новые бизнес-практики, вызывающие опасения, регуляторов, готовых приступить к действиям, обвиняют в том, что они душат «индустрию в зародыше». Когда же подобные практики получают широкое распространение, сам факт их повсеместности демонстрируется в качестве доказательства того, что потребители уже свыклись с ними. На любой аргумент в пользу правового воздействия найдется заранее заготовленная стратегия отвлечения, основанная на успокоительных заверениях и трюизмах. «А есть ли проблема на самом деле?», «Давайте подождем и посмотрим», «Потребители хотят этого» – все это преподносится в качестве годного на любой случай, козырного обоснования бездействия[42].

Позиция «подождем – посмотрим» игнорирует то, что технология, не будучи ни в коем смысле независимой от ценностей, сама начинает их формировать[43]. Роботы – компаньоны детей в сетевых чартерных школах не просто отражают (или искажают) существующие ценности, определяющие то, какая именно социализация нужна детям, они еще и формируют ценности этих поколений, прививая им понимание того, какие моменты являются приватными, а какие могут легко постоянно записываться. Подобные обычаи не должны проистекать просто из того, что наиболее выгодно поставщикам технологизированного образования. Они требуют демократического управления и участия экспертов, работающих не только в сфере технологии[44].

* * *

Эта роль технологии в оформлении ценностей представляется очевидной опасностью в военном деле, где роботы могут существенно поменять наше понимание параметров честного конфликта. С точки зрения некоторых футуристов, автоматизация военного конфликта – дело решенное. Ни одна военная держава не может позволить себя слишком сильно отстать от конкурентов в разработке страшного флота «роботов-убийц»[45]. Если мы «запрограммированы на войну», значит, мы будем развивать смертоносные роботизированные силы[46]. С такой точки зрения человеческая природа сама диктует определенное направление технологического развития, как и, возможно, свое собственное устаревание, которое приведет к появлению сверхчеловеческих роботизированных систем[47].

Подобный реализм может быть благоразумным, однако он рискует стать опасным самоисполняющимся пророчеством, то есть ускорить гонку вооружений, а не просто ее предсказать. Чем менее дорогостоящим кажется военное вмешательство, тем с большей вероятностью оно привлечет политиков и государства. Кроме того, чем с большей точностью можно использовать силы, тем больше друг с другом начинают сливаться язык войны и язык правоприменения, создавая этические серые зоны. Рассмотрим почти уже реальную возможность: США могут дополнить своих воздушных дронов, присутствующих в зонах военных действий, наземными роботами и более мелкими дронами, проникающими в помещения. Кем в таком случае считать людей, отслеживаемых такими дронами, – комбатантами или подозреваемыми? И международные, и национальные правовые прецеденты указывают на разное обращение с теми и другими. Подобное обращение нельзя легко автоматизировать или, может быть, вообще нельзя. Следовательно, военное право (или простая уголовная процедура) могут стать непреодолимым барьером для роботов-солдат или, о по крайней мере, для их законного применения[48].

И академики, и государственные чиновники уже приступили к анализу сценариев роботизированной войны и правоприменения[49]. Следует ожидать дальнейшего слияния двух этих областей под общей рубрикой «внутренней безопасности» и все большего применения роботов с целью поддержания общественного порядка. В конечном счете нам обещают появление сверхчеловеческого интеллекта, который будет выявлять угрозы, то есть ИИ, способного просеивать миллионы потоков данных для быстрого выявления и предотвращения будущего преступления.

Но прежде чем воодушевляться подобной технологией, надо привести некоторые отрезвляющие примеры, показывающие, насколько бесчеловечным может быть искусственный интеллект. Исследователи использовали машинное обучение для предсказания криминальных наклонностей на основе таких скудных данных, как черты лица. Должны ли будущие роботы-полицейские учитывать эти данные о криминальных чертах лица при принятии решений о том, за какими людьми следить внимательнее, а каких игнорировать? Или любые данные и выводы на их основе запрещены для машин и техник, которые в будущем могут стать еще более важной частью охраны общественного порядка, например, таких, как предиктивный анализ, ныне пользующийся популярностью в некоторых отделениях полиции? Есть ли у нас право инспектировать и обсуждать подобные данные? Должны ли эти исследования вообще проводиться?[50]

Соотнесение черт лица с криминальными наклонностями может показаться довольно экзотическим или необычным применением ИИ. Однако базовая логика развитых вычислительных решений остается непроницаемой для обычных форм объяснения. Некоторые специалисты по робототехнике превозносят такую необъяснимость, представляя ее в качестве альтернативы человеческому интеллекту, выходящей далеко за его пределы. «В какой-то момент это все равно что объяснять Шекспира собаке», – заметил Ход Липсон из Колумбийского университета, когда его попросили оценить необходимость потребовать от ИИ большей прозрачности[51]. Если речь идет об уничтожении раковых клеток или предсказании погоды, Липсон, возможно, в чем-то и прав: нам не нужно понимать точный механизм ИИ, чтобы дать ему возможность решать наши проблемы. Но когда дело касается важных человеческих решений, необъяснимое становится неприемлемым. Как показывает постепенно складывающееся в ЕС «право на объяснение», необъяснимое может быть ограничено и заменено более гуманным подходом.

Некоторые крупнейшие сражения вокруг роботов и ИИ будут сосредоточены на аналитической силе машин. Какие данные им позволено собирать и применять? И как такие данные будут обрабатываться? Эти вопросы жизненно важны для будущего демократии и коммуникаций. Подумаем о том, как и когда расцветает дезинформация[52]. Хотя недобросовестная пропаганда давно преследует медиа, автоматизированная в значительной мере публичная сфера дала ей новый толчок, допустив вирусное распространение ложных заявлений и фейков. Некоторые властные структуры уже начали вмешиваться, блокируя распространение разжигания ненависти и лжи. Это первый шаг на пути к восстановлению сетевой публичной сферы, но потребуется намного больше – в частности, журналисты, соблюдающие традиционные нормы своего ремесла, должны будут играть более важную роль.

Киберлибертарианцы будут доказывать, что искусственные интеллекты должны обладать «свободой мысли», подразумевающей обработку любых данных, которые они только могут найти или которые их собственники решат им «скормить». В области чистых вычислений, не связанной с социальными последствиями, это право может соблюдаться. Ради свободы слова можно позволить любую неуважительную речь; программисты могут утвердить подобное право на ввод в программы данных независимо от их социальных последствий. Но как только алгоритмы – и особенно роботы – начинают оказывать определенное воздействие на мир, они должны регулироваться, а программисты должны нести этическую и правовую ответственность за причиненный ими вред[53].

Профессионализм и экспертные знания

Кто должен решать, что включается в такую ответственность? Мягкий и ровный переход потребует старых и в то же время новых форм профессионализма в нескольких ключевых областях. Понятие экспертных знаний обычно указывает на владение определенным корпусом информации, но его реальное применение требует намного большего[54]. Будущее трудовой занятости покажется довольно мрачным тем, кто путает профессиональные обязанности с простым знанием. Способность компьютеров хранить и обрабатывать информацию выросла по экспоненте, и постоянно накапливается все больше данных о том, что люди делают на рабочем месте[55]. Однако профессионализм включает в себя и нечто более сложное – постоянную необходимость решать конфликты ценностей и обязанностей, а также противоречивость описаний фактов[56]. И это имеет большое значение для будущего состояния рынка труда.

Представим, например, что вы едете домой со скоростью сорок пять миль в час по дороге с двумя полосами движения. Впереди, на расстоянии сотни ярдов, вы замечаете группу детей, которые идут домой после школы. Но именно в тот момент, когда вы вот-вот проедете мимо них, встречная фура виляет и выезжает со своей полосы, направляясь вам прямо в лоб. У вас лишь пара секунд, чтобы решить: пожертвовать собой или наехать на детей, чтобы уклониться от грузовика.

Мне хочется думать, что большинство выберет более благородный вариант. По мере развития автоматизации вождения подобные ценности самопожертвования могут быть закодированы непосредственно в транспортные средства[57]. Многие автомобили уже сегодня заметят малыша на дороге, которого может задавить водитель, если в поле его зрения есть слепое пятно. Они даже подают сигнал, когда есть риск столкновения с другими автомобилями. Технически возможно перейти от системы оповещения к остановке, которая будет закодирована на аппаратном уровне[58]. А если это возможно, следовательно, возможно и автоматическое торможение, не позволяющее водителю вильнуть в сторону ради самосохранения, которое будет во вред другим.

Но такое решение можно закодировать и иначе – поставить интересы пассажиров машины выше интересов всех остальных. И хотя я не думаю, что это правильный подход, его правильность для нас сейчас не важна. Главный вопрос в том, как инженеры, регуляторы, маркетологи, а также специалисты по связям с государственными органами и продажам должны работать вместе, определяя такие взаимодействия человека и компьютера, при которых соблюдались бы интересы всех, кого затрагивает автоматизация, но при этом учитывались коммерческие требования. В проектировании, маркетинге и безопасности не так много проблем, которые надо решить всего один раз. По мере развития технологий пользователи адаптируются, рынки меняются и постоянно возникают новые требования.

Медицина как профессия давно сталкивается с подобными дилеммами. Работа врачей никогда не ограничивается лечением болезней, с которыми они имеют дело непосредственно. Врачи, обязанные понимать и отслеживать постоянно меняющиеся риски и возможности, должны не упускать из виду направление развития медицины в целом, учитывая актуальные исследования, которые либо подтверждают, либо ставят под вопрос общепринятые медицинские знания. Рассмотрим такое, на первый взгляд тривиальное, решение – давать пациенту с синуситом антибиотик или нет? Хороший терапевт должен сначала решить, есть ли клинические показания для данного лекарства. Позиции врачей касательно того, насколько сильна их обязанность ограничивать предписания антибиотиков с целью замедления эволюции резистентных бактерий, могут несколько разниться. Они могут учитывать и значение возможных побочных эффектов антибиотиков, таких как весьма опасные инфекционные болезни, вызываемые в некоторых случаях бактерией Clostridium difficile, а также вероятность последствий для пациентов разных типов. Когда пациенты приходят к терапевту, у них есть некоторое представление о подобных вещах, однако они не несут ответственности за правильное решение, и точно так же они не обязаны объединять все субъективные суждения в конкретные рекомендации. Это задача профессионала.

С точки зрения адептов всемогущества больших данных, предсказательной аналитики, алгоритмов и ИИ, «мозги» роботов могут найти путь, чтобы обойти все эти проблемы. Это весьма привлекательное представление, которое обещает быстрое развитие технологии, сопровождаемое ростом уровня жизни. Но является ли оно реалистическим? Даже системы, работающие в чисто цифровой сфере, такие как поисковые алгоритмы, высокочастотный трейдинг и таргетированная реклама, во многих случаях оказывались предвзятыми, нечестными, неточными или неэффективными[59]. Гораздо сложнее собирать информацию в полевых условиях, да и вообще спорно то, что следует измерять в первую очередь. Ставки значительно выше, когда алгоритмические системы переходят на новый уровень, реализуясь в мозгах роботов, которые могут воспринимать свою среду и воздействовать на нее. Существенное значение в таком случае приобретает осмысленный человеческий контроль.

Подобный человеческий контроль необходим не только в таких областях, как медицина с ее историей профессионального самоуправления. Даже в сфере транспорта у профессионалов еще многие десятилетия будут сохраняться критически важные роли. Каким бы быстрым ни был прогресс в техниках роботизированного вождения, фирмы, его развивающие, не могут автоматизировать социальную апробацию дронов-доставщиков, переходных тележек или автомобилей. Как заметил эксперт по праву Брайант Смит, юристы, маркетологи, инженеры-строители и законодатели должны работать сообща, чтобы помочь обществу подготовится к широкому применению подобных технологий[60]. Государствам следует изменить политику обеспечения как в области транспорта, так и инфраструктуры. Локальные сообщества должны принять сложные решения о том, как управлять переходами, поскольку светофоры и дорожные знаки, оптимизированные для водителей-людей, возможно, не будут достаточно хорошо работать для роботизированных транспортных средств, и наоборот. Как отмечает Смит, «необходимо пересмотреть долгосрочные принципы планов землепользования, инфраструктурных проектов, строительных кодексов, ценных бумаг и бюджетов»[61].

Для этого перехода понадобится выполнить большую и многостороннюю работу[62]. Эксперты по безопасности будут моделировать то, создают ли транспортные средства без людей-пассажиров особые риски для критически важной инфраструктуры или для толп. Террористам не нужен самоубийца-подрывник, если можно начинить взрывчаткой беспилотный автомобиль. Эксперты по здравоохранению будут моделировать распространение инфекционных заболеваний в той ситуации, когда в транспортных средствах перевозятся незнакомые друг с другом люди. Законодатели уже мучаются с вопросом о том, следует ли обязать такие транспортные средства возвращать контроль человеку по его запросу или предоставлять контроль полиции, если она его требует[63]. Я использовал в последнем предложении двусмысленный термин «человек», поскольку у нас все еще нет хорошего термина для того, кто находится в полуавтоматическом транспортном средстве. И право, и нормы постепенно определят, что представляет собой подобная идентичность[64].

Ни одно из таких решений не должно приниматься исключительно – или даже в первую очередь – программистами и корпорациями, разрабатывающими алгоритмы беспилотных автомобилей. Для них требуется участие властей и значительно более широкого спектра экспертов, начиная со специалистов по урбанистке и заканчивая регулирующими ведомствами, полицией и адвокатами. Переговоры всех этих заинтересованных сторон, скорее всего, будут длительными, но такова цена демократического, инклюзивного перехода к новой и более качественной технологии. И это только немногие из этических, правовых и социальных составляющих масштабного перехода к беспилотным автомобилям[65].

Тем не менее некоторые футуристы утверждают, что ИИ обходит саму необходимость наличия профессий. По их мнению, если у нас есть достаточный массив данных для обучения, практически любую человеческую функцию можно заменить роботом. В этой книге мы исходим из прямо противоположного взгляда: в той мере, в какой наша повседневная жизнь оформляется ИИ и машинным обучением (которыми часто управляют далекие крупные корпорации), нам нужно больше профессионалов, причем профессионалов более квалифицированных. Это вопрос утверждения и расширения схем образования и лицензирования, которые у нас уже имеются в таких областях, как медицина и право. Также может потребоваться создание новых профессиональных идентичностей в других критически важных секторах, где существенную роль играет широкое участие общества и в то же время экспертные знания.

Два кризиса экспертных знаний

Утверждение человеческих ценностей как формы экспертных знаний у некоторых читателей может вызвать раздражение. В настоящий момент наиболее популярным аргументом против проникновения ИИ в управление рабочими местами и городами является не что иное, как принцип демократии. Критики ИИ утверждают, что технические эксперты в таких областях, как машинное обучение и нейронные сети, недостаточно отличаются друг от друга, чтобы представлять людей, на которых воздействует их технология[66]. Также они слишком далеки от местных сообществ. То же самое можно сказать и о многих других экспертах. Давно известны выдающиеся активисты, которые обличают безразличных врачей и преподавателей, юристов в «башне из слоновой кости» и ученых, далеких от проблем обывателя. Обратив внимание на предсказания экономистов, указывающие на катастрофические последствия Брексита, британский политик Майкл Гоув заявил, что «народу в этой стране эксперты надоели»[67]. Когда это ощущение начинает питать популистские кампании по всему миру, становится заметен все больший разлом между политикой и экспертными знаниями, массовыми движениями и бюрократической компетенцией, народной волей и соображениями элиты.

Комментируя подобные тенденции, социолог Джил Эйал утверждает, что экспертные знания и навыки – способ говорить о «пересечении, оформлении и трении между наукой и технологий, с одной стороны, правом и демократической политикой, с другой»[68]. В управлении с давних пор известно противоречие, проявляющееся, когда бюрократам приходится принимать сложные решения, в которых учитываются и факты, и ценности. Так, повышение или снижение допустимых норм загрязнения – решение, влекущее определенные медицинские следствия (например, повышение заболеваемости раком легких), экономический эффект (в плане доходности предприятий) и даже культурные следствия (например, в плане жизнеспособности шахтерских районов). Эйал сосредоточивается на демократическом вызове чисто технократическому принятию решений на каждом из фронтов.

В этой книге исследуется принципиально иной вызов, брошенный экспертным знаниям, а именно столкновение различных форм экспертизы. Уважаемые экономисты и эксперты в области ИИ утверждали, что их способы познания и упорядочивания мира должны получить приоритет практически во всех областях, в больницах и школах, центральных банках и военных штабах. Немногие из них столь же откровенны, как бывший исполнительный директор некой технологической компании, который заявил одному генералу: «Вы вообще ничего не понимаете в машинном обучении. Если я проведу в вашей палатке один день, я смогу решить большую часть ваших проблем»[69]. Однако общая тема многих книг об автоматизации на базе ИИ и экономическом прорыве такова: методы экономики и информатики – всего лишь первые среди равных, то есть среди других форм экспертных знаний. Они предсказывают (и помогают создавать) мир, в котором ИИ и робототехника быстро заменят человеческий труд, поскольку экономика требует более дешевых методов выполнения работ. С этой точки зрения почти все работники со временем разделят судьбу операторов лифтов и кучеров былых времен, то есть им только и останется, что ждать, когда их заменит кто-нибудь, обладающий подходящими данными, алгоритмами и техникой.

Конечно, есть такие области, где экономика и ИИ крайне важны. Бизнес не может работать, не покрывая издержки; касса самообслуживания сломается, если программа сканера не сможет распознать штрих-код товара. Однако на вопросы о том, должна ли существовать определенная фирма и следует ли заменить роботизированным киоском кассира, лишь экономика и информатика ответить не могут. Решение принимается политиками, сообществами и фирмами, причем на основе сложного комплекса ценностей и требований. Такие ценности и требования невозможно свести к уравнениям эффективности и алгоритмам оптимизации, совершенно отличным и абстрагированным от конкретных сообществ. Скорее они выражаются и согласовываются экспертами-людьми, в рамках современных или будущих профессий способных показать, как скрытые, локальные знания работников и менеджеров выражаются в услугах и практиках, заслуживающих сохранения.

Стремиться к противоположному, то есть к высвобождению коммерческих мотивов и мимикрии роботов, нацеленных на то, чтобы колонизировать, заменить или подчинить себе любую форму человеческого труда, – значит радикально реорганизовать общество. Социолог Уилл Дэвис однажды отметил, что «профессия, требующая права на все что угодно, является уже не профессией, а разновидностью эпистемологической тирании»[70]. Сегодня в очень многих спорах об ИИ и робототехнике господствует узкий взгляд, сосредоточенный на эффективности и оптимизации. Моя цель в этой книге – ввести в обсуждение автоматизации намного более широкий список целей и ценностей. Чтобы закрепить этот более содержательный диалог, нам нужно добиться того, чтобы везде, где труд и услуги выражают наши ценности, распределенные экспертные знания соединяли демократическую ценность представительства с когнитивными ценностями точности, эффективности и научного метода[71].

Этот подход существенно отличается от позиции многих программистов 1980-х гг., которые стремились свести процесс принятия решений в среде юристов или врачей к древу импликаций «если… то». Например, подобная программа может спрашивать обучаемого врача: «Есть ли у пациента жар? Если есть, спросите его, когда он начался. Если нет, спросите, есть ли у него кашель». Такие системы внушили немалый энтузиазм, однако они оставались громоздкими и неудобными. Оказалось, что систематизировать профессиональное суждение намного сложнее, чем думали исследователи ИИ.

Философ Хьюберт Л. Дрейфус для объяснения того, почему экспертные системы показали столь слабые результаты, разработал специальную теорию неявного знания[72]. Мы знаем больше, чем можем объяснить. Подумайте о том, как сложно было бы свести вашу собственную работу к серии утверждений «если… то». Смог бы компьютер распознавать ситуации, с которыми вы сталкиваетесь ежедневно? Смог бы он с той же скоростью формулировать, оценивать и ранжировать возможные ответы на такие ситуации? И если нет (я подозреваю, что именно такой отрицательный ответ даст большинство моих читателей), трудности описания (профессиональных задач) и перевода (человеческих ситуаций в компьютерный код) позволяют хорошо понять, что у людей и в будущем останется определенная трудовая роль.

Конечно, изменчивость иногда следует сдерживать, а не превозносить. Если одни отоларингологи рекомендуют удаление миндалин 90 % детей, которых лечат, тогда как все остальные – лишь в 15 % случаев или даже реже, это, вероятно, означает наличие серьезных проблем с некомпетентностью или оппортунизмом, которые следует изучить[73]. И все же самостоятельность врачей, указывающая на их право на инновации или на отклонение от общепринятой практики, часто защищается законом и является чем-то желанным, с точки зрения самих пациентов[74]. В обычной медицинской практике слишком много неопределенности, чтобы целиком сводить ее к алгоритмам, которые обычно в шутку называются «поваренной медициной». Пациенты хотят также, чтобы осмотр вел человек, готовый посочувствовать их страданиям и их подбодрить, дабы они быстрее выздоравливали. Точно так же многие родители, вероятно, не захотят, чтобы их детей учил общенациональный учитель, транслируемый по телевидению или радио, и неважно, какого сокращения налогов, выплачиваемых на систему образования, удалось бы при таком подходе достичь. Есть общее понимание того, что прямая связь с человеком, которому ты доверяешь, нечто намного более ценное, чем простая трансляция с участием пусть даже самого квалифицированного человека или робота.

Следовательно, один из способов сгладить демократический кризис экспертных знаний, то есть напряжение, возникающее между безразличными технократами и страстными популистами, – предоставить определенные права местным профессионалам. Мы не хотим, чтобы школьные программы во всех подробностях определялись законодательными собраниями штатов или мультинациональными корпорациями; учителя и профессора с сохраняющимся здравым пониманием того, что важно в их сфере, должны обладать всеми возможностями обогащать и оживлять базовую программу. Достаточно распространить это понимание ценности «личного стиля» на многие другие области, в которых он важен для работников и тех, кому они служат, и у нас будет базовый аргумент против преждевременной автоматизации. Если ИИ и суждено добиться успеха, его, по крайней мере, следует кормить разными данными, исходящими от наблюдателей-людей. «Успех» может вообще определяться как помощь профессионалам, обладающим всеми необходимыми знаниями и достаточно преданными своему делу, чтобы понимать, когда доверяться машине, а когда полагаться на собственное суждение.

Выгода издержек

Технократические представления о быстрой и всеобщей автоматизации порождают странное напряжение в самом центре современной экономической политики. Когда вопрос о технологической безработице поднимается американским Советом консультантов по экономическим проблемам, Всемирным экономическим форумом или Международным валютным фондом, эксперты сухо предупреждают о том, что роботами будут заменены десятки миллионов рабочих мест[75]. Эта дискуссия, сосредоточенная на нас как производителях, окрашена в грустные тона неотвратимости. Похоже, что будет автоматизирована одна область за другой – сперва рутинные задачи, потом более профессиональные, наконец даже работа программистов, когда будет найден «мастер-алгоритм»[76]. Изучение подобной литературы способно создать апокалиптическое настроение. «Роботы готовятся украсть 15 млн рабочих мест» – выстрелила Daily Mail, потрясая исследованием, расхваленным директором Банка Англии Марком Карни[77]. Хотя оценки сокращения числа рабочих мест существенно разнятся, тон экономической литературы не может ввести в заблуждение: любой работник сегодня под угрозой.

В то же время экономисты превозносят удешевление услуг. Модель экономического прогресса в этом случае странно напоминает модель, которая описывается в рассказах об автоматизации. Предполагается, что ведущие компании в области здравоохранения и образования должны учиться на успехе конвейерных линий в промышленном производстве, а также на персонализации в интернете, основанной на сборе данных. Шаблонные и в то же время персонализированные подходы, состоящие в своего рода диалектическом отношении, должны удешевить больницы и школы и в то же время сделать самые лучшие услуги общедоступными[78].

Стоит только соединить дистопию «роботов, которые заберут все рабочие места» с утопией «постоянно дешевеющих услуг», и мы получим раздвоенное представление о нашем экономическом будущем. Рабочее место обречено стать дарвинистским адом, в котором работники подчинены машинам, записывающим каждое их движение для разработки роботизированных копий. Единственное утешение возможно после работы, когда чудеса технологии, как предполагается, приведут к всеобщему удешевлению.

Эта модель несчастных работников и восторженных потребителей не просто внушает опасения, она еще и просто неустойчива. Снижение затрат на рабочую силу само по себе представляется достижением. Если я могу заменить своего дерматолога приложением, а учителей детей – интерактивными игрушками, у меня будет больше денег на другие вещи. То же относится и к общественными услугам: город с полицейскими-роботами или нация с солдатами-дронами может отчислять меньше налогов на их зарплату и на здравоохранение. Однако врачи, учителя, солдаты и полицейские – все они тоже потенциальные покупатели того, что пытаются продать другие. И чем меньше у них денег, тем меньше я могу с них запросить.

Говоря языком классических экономических категорий, главной опасностью оказывается в таком случае дефляция, раскручивающаяся спираль низких заработных плат и цен.

Даже в рамках наиболее эгоистического рассуждения можно сказать, что «издержки» товаров и услуг, которые я несу, не просто убыток для моего благосостояния. Скорее, это способ перераспределения покупательной способности, позволяющий предоставить определенные возможности тем, кто мне помог (создавая то, что я покупаю), чтобы со временем они помогли сами себе (чтобы, возможно, купить то, что произвожу я). Конечно, универсальный базовый доход мог бы в какой-то мере компенсировать снижение покупательной способности тех людей, которых роботы лишают работы. Но нереалистично ожидать того, что перераспределение достигнет результата, аналогичного «пред-распределению», то есть некоторого сбалансированного паттерна экономического вознаграждения. В большинстве демократических стран налоговые обязательства богатейших граждан снижались многие десятилетия[79]. Роботизация вряд ли изменит эту динамику, которая подрывает амбициозные планы по перераспределению богатства.

Если рассматривать экономику как устойчивую экологию трат и сбережений, как способ дробления власти (и ответственности) в части важных услуг, мы сможем лучше понять революцию робототехники. Традиционный анализ издержек и прибылей обычно требует поспешной замены людей машинами, даже если способности машин не дотягивают до стандарта. Чем ниже стоимость услуги, тем выше сравнительные прибыли. Но как только мы начинаем понимать выгоды самих издержек, представляемых как учет усилий и инвестиций в людей, недостатки этого упрощенного дуального представления об экономике становятся яснее. В предпоследней главе мы дополнительно обсудим выгоды издержек программ и курсов, которые рекомендуются в остальной части книги.

План книги

Многие адепты технологий стремятся к быстрой замене людей в областях, где нам не хватает данных и алгоритмов, чтобы эффективно выполнять работу. В то же время политики склоняются к фатализму, привычно жалуясь на то, что регулирующие ведомства и суды не могут поспеть за технологическим прогрессом. В этой книге будет обсуждаться как триумфализм технологического сообщества, так и минимализм политиков и стратегов; задача этого обсуждения в том, чтобы изменить публичное понимание роли государства в культивации технологического развития. Я предлагаю анализ программ развития, демонстрирующий силу нарратива и качественного суждения, управляющих развитием технологий, которые ныне подчинены алгоритмическим методам и количественным метрикам. Основная задача книги – извлечь накопленные знания из многих областей и позиций, чтобы представить их общественности, которая получит возможность ими пользоваться. В идеальном случае книга заложит основания для того, что Алондра Нельсон называет «предсказательным социальным исследованием», призванным оформлять технологическое развитие, а не только реагировать на него[80].

Перевод задач в код – не просто технологическая задача. Скорее, это приглашение определить то, что на самом деле важно в процессе обучения, в медицинском уходе, уходе за душевнобольными, журналистике и множестве других областей. Хотя есть искушение установить во всех этих сферах простые количественные показатели успеха и оптимизировать алгоритмы так, чтобы они им удовлетворяли (методом проб и ошибок, переработки накопленных данных или за счет применения каких-либо иных стратегий); определение того, что считать успехом или неудачей в подобных областях, остается крайне спорным вопросом. Обосновывать решение каким-то одним показателем – значит исключать все остальные. Никто не может «управляться» данными вообще. Некоторые данные имеют значение, но определение того, что считать значимым (а что отвергать в качестве нерепрезентативного), – это вопрос политический.

Среди специалистов по этике, занимающихся проблемами ИИ, возникло определенное противостояние прагматиков (которые работают с небольшими и обозримыми реформами вычислительных систем, призванными снизить их склонность к дискриминационным или иным нечестным суждениям) и футуристов, беспокойство которых вызвано развитием неподконтрольных систем и саморазвивающегося ИИ (который, как они опасаются, вскоре станет «умнее» или, по крайней мере, смертоноснее своих создателей – людей). Прагматики обычно отмахиваются от футуристов, которых преследуют призраки, тогда как футуристы считают, что задачи прагматиков слишком скучны в своей ограниченности. Я полагаю, что каждая из этих двух сторон нуждается в другой. Страшные предсказания футуристов, вполне вероятно, сбудутся, если мы уже сегодня не будем активно требовать прозрачности и подотчетности автоматизированных систем. Но мы вряд ли справимся с этой серьезной задачей, если не сумеем учесть фундаментальные вопросы человеческой природы и свободы, которые ставят футуристы.

Эти вопросы не новы. Например, еще в 1976 г. специалист по компьютерным наукам Джозеф Вейценбаум спрашивал: «Какие человеческие цели и задачи нельзя в должной мере передать компьютерам? Вопрос не в том, можно ли это сделать, а в том, следует ли передавать машине функцию, которая ранее выполнялась человеком»[81]. Однако вопросы: «Могут ли роботы быть лучше людей?» и «Когда люди не должны использовать роботов?» – сами по себе неполны. Почти каждый из нас в своей работе сегодня в определенной мере уже использует автоматизацию, которая начинается с простых инструментов и заканчивается ИИ, заменяющим человека. Более верная формулировка вопросов такова: «Какое социально-техническое сочетание людей и робототехники лучше всего отвечает социальным и индивидуальным задачам, а также ценностям?».

Разбирая ряд кейсов, я дам конкретные ответы на этот вопрос, отстаивая мысль о том, что именно дополнение, а не замена человеческих экспертных знаний искусственным интеллектом позволяет реализовать важные человеческие ценности. В главах 2, 3 и 4 описывается то, как подобный процесс мог бы осуществляться в здравоохранении, образовании и медиа, при этом обсуждение сосредоточено на первом новом законе робототехники, а именно на том, что технология должна дополнять, а не заменять уже существующих профессионалов.

В целом я смотрю на перспективы дополняющей автоматизации в здравоохранении и образовании с оптимизмом. В общем, пациентам и учащимся требуется взаимодействие с человеком[82]. Они понимают, что, какого бы уровня развития не достиг ИИ, крайне важно о его применении консультироваться с экспертами, ежедневно изучающими надежность различных источников знаний. Еще более важно в различных образовательных и медицинских контекстах то, что во взаимодействии всегда присутствует элемент человеческих отношений. Роботизированные системы способны предоставить техническую помощь, оценить суждения, разработать увлекательные и захватывающие способы зубрежки. Возможно, в сельских или неблагополучных областях на них будет спрос как на замену профессионалам, которых там сегодня нет. Но требования в условиях дефицита очень далеки от образцовой программы развития рабочей силы. И особую тревогу они вызывают тогда, когда речь заходит о психиатрическом уходе, необходимом уязвимым группам.

Когда в точке контакта с ИИ присутствует медработник, учитель или врач, которые опосредуют его воздействие, обеспечивают правильный сбор данных, сообщают об ошибках и выполняют другую крайне важную работу, можно предположить существенное снижение вероятности мрачного детерминистического будущего, в котором нас всех толкают и шпыняют безличные машины, заставляющие учиться и заботиться о своем здоровье. У профессиональных работников в области здравоохранения и образования есть строго определенные юридические и этические обязанности перед пациентами и учащимися. Такие стандарты в среде технологий только начинают формироваться. Так, в области медиа и журналистики, которые изучаются в главе 4, для восстановления той публичной сферы, сегодня в значительной степени автоматизированной, потребуются коллективные усилия, которые смогут эту ситуацию исправить.

Когда дело дошло до систем рекламы и рекомендаций, то есть самой основы новых медиа, развитие ИИ было и в самом деле быстрым. Компании вроде Facebook и Google, занятые реорганизацией коммерческой и политической жизни, применяли ИИ для принятия таких решений, за которые раньше отвечали руководители телекомпаний или редакторы газет, но их следствия оказались более мощными. Такие компании сумели изменить читательские и зрительские привычки сотен миллионов людей. Прорывное развитие сильно ударило по газетам и журналистам. Для некоторых уязвимых групп, включая преследуемые меньшинства, его последствия оказались ужасными. Единственный способ остановить эпидемию фейковых новостей, цифровых кампаний по разжиганию ненависти и другого подобного мусора – вернуть в управление сетевыми медиа больше ответственных людей.

Если в главе 4 речь в основном идет о неудачах ИИ в определении ценности новостей, то в главе 5 описываются опасности, возникающие при попытке применять ИИ для оценки людей. Программное обеспечение играет все более значительную роль в найме и увольнении, а также в выдаче кредитов и работе с долгами. Также оно постепенно проникает и в службы безопасности. Я предостерегаю от поспешного внедрения роботов-полицейских и роботов-охранников. Даже предсказательная полиция, то есть чисто программные инициативы под управлением полицейских, оказалась достаточно спорной из-за того, что часто опиралась на старые и искаженные данные. Машины, отправляемые самостоятельно патрулировать районы или разгонять попрошаек, вызывают еще больше беспокойства. Не так много других форм применения ИИ в гражданском праве, которые бы подходили для широкого внедрения уже сегодня. Все они требуют власти машин над людьми, что заставляет принести человеческое достоинство в жертву на алтарь эффективности.

В главе 6 этот вопрос о власти рассматривается на полях сражений, как традиционных, так и сетевых. Споры об автономных системах вооружения приобрели хорошо знакомую структуру. Аболиционисты призывают запретить роботов-убийц, реалисты отвергают этот подход, а реформаторы занимают середину, предлагая регулирование, которое все же не означает полного запрета. Аболиционисты и реформаторы участвуют сегодня в оживленных дискуссиях о ценности подхода каждой из сторон. Однако стратегии двух этих групп со временем можно будет согласовать. Реформаторы признают то, что определенные типы систем вооружений настолько опасны, что их вообще нельзя создавать. Аболиционисты соглашаются с тем, что некоторые оборонные применения автоматизации (особенно в кибервойнах) необходимы для национальной безопасности.

И аболиционисты, и сторонники регулирования достойны уважения в связи с тем, что предпринимают правовые действия, нацеленные на ограничение тактики конфликта. Однако их старания могут быть подорваны динамикой гонки вооружений, которую одновременно признают и продвигают реалисты. Повсеместность автономных систем оружия летального действия имеет значение, будучи производной от объема инвестиций ведущих держав в кибервойны, солдат-роботов и другие вооружения с применением ИИ. Для сокращения таких инвестиций, которое является ключевым следствием третьего нового закона робототехники, описанного мной выше, гражданам и лидерам потребуется ввести ограничения на право государств осуществлять военное вмешательство.

Предлагаемые мной реформы окажутся довольно дорогостоящими. Однако расходы можно во многом считать решением вопросов, поставленных роботизацией военной силы, которая является проблемой государственных финансов. В главе б доказывается, что государства, вынужденные наращивать качество (и доступность) устойчивых секторов здравоохранения и образования, вряд ли будут иметь ресурсы для автоматизации военной силы, в отличие от тех государств, которые подобными обязательствами не скованы. По сути, новая, более привлекательная глобальная политическая экономия – единственный способ избежать трагического разбазаривания ресурсов на гонку роботизированных средств разведки и контрразведки, применения сил и противодействия им.

В главе 7 представлена карта основных черт новой политической экономии автоматизации, включая фискальную и монетарную политику. И та и другая должны быть скорректированы так, чтобы можно было развивать ИИ, ориентированный на человека. Сейчас больше всего обсуждаются предложения по универсальному базовому доходу. Когда пределы программ перераспределения станут яснее, гарантии универсальных базовых услуг и рабочих мест станут еще более важными. Эти программы нацелены не только на гарантию выживания, но также и на обеспечение демократического управления экономикой в целом. Ими исправляются многие другие программы, в которых приоритет отдается накоплению капитала, а не труду, а также замене людей машинами.

Конечно, имеющиеся данные не позволяют предсказать, какая именно концепция робототехники обязательно сбудется – концепция замещения или дополнения. Скорее, обе концепции зависят от более общего понимания природы и цели человеческого труда и технологии. Такие представления указывают на определенную интерпретацию не только экономической реальности, но также культуры робототехники и занятости. В последней главе исследуются вопросы культуры, а также те истории, которые мы обычно рассказываем об ИИ и робототехнике. Подобные нарративы в лучших своих примерах являются не просто симптомами тревоги или устремлений, но и источниками мудрости.

Мы можем поддерживать культуру устойчивости, а не прорывного развития, дополнения людей, а не их замены. Мы можем достичь мира, управляемого людьми, а не машинами, и такой мир нам и правда по карману. Будущее робототехники может быть инклюзивным и демократическим, отражающим стремления и надежды всех людей. И на пути к этому обществу мы можем руководствоваться новыми законами робототехники.

2. Лечение людей

В медицине есть две мечты. Первая, утопическая, берет начало непосредственно в научно-фантастических романах. Роботы-медработники будут диагностировать и мгновенно лечить любую болезнь. Наноботы будут патрулировать наши вены и артерии, разбивая тромбы и чиня поврежденные ткани. Распечатанные на трехмерных принтерах органы, кости и кожа позволят нам сохранять молодость до восьмидесяти и девяноста лет. А если повезет, то и мозг можно будет загружать в компьютер для постоянного хранения, так что роботизированные тела можно будет использовать в качестве оболочки для неразрушимых разумов[83].

Каковы бы ни были долгосрочные преимущества этой научно-фантастической картины, до нее еще очень и очень далеко, да и вообще неясно, сбудется ли она когда-нибудь. Более реалистичные медицинские футуристы тоже вполне амбициозны, однако они предлагают картины будущего подоступнее. Они признают ключевую роль человеческой эмпатии в медицинском уходе, значение человеческой интуиции в диагностике и гибкость рук хирурга. В целом они соглашаются с первым законом робототехники, обосновывающим будущее, в котором ИИ преимущественно помогает врачам и медсестрам (а не замещает их). И это вполне разумно, если придерживаться реалистической оценки современного состояния технологии и данных[84].

К несчастью, даже многие реалисты часто теряются, когда дело доходит до программ развития и до права. На системы медицинского обеспечения они смотрят в основном с экономической точки зрения, сетуя на расходы и неэффективность. Они отстаивают дерегулирование, которое должно подстегнуть инновации, и ограничение бюджета, которое вынудит сокращать расходы. Но на самом деле в программах развития медицинских технологий нам нужно больше, а не меньше ответственности в сборе и применении более качественных данных. Нам следует инвестировать в передовые медицинские практики, а не просто предполагать, что больницы и врачи будут постоянно придумывать новые хитрые способы делать больше, а тратить меньше[85].

Фантасты мечтают о тех временах, когда приложения и роботы возьмут на себя все наши медицинские заботы. Но основная линия медицинского развития сейчас ведет не в этом направлении, и стратеги вместе с политиками не должны пытаться представить это воображаемое направление в качестве ориентира. Задачи медицинского обеспечения, как и психологический стресс, связанный с заболеванием, указывают на необходимость присутствия человека в практике медицинской автоматизации. И если экономические императивы заставят больницы и страховщиков заменять программами врачей, а ботами – медперсонал, профессиональные ассоциации должны приложить все силы, чтобы соображения об издержках были уравновешены многими преимуществами прямого участия человека в терапевтическом процессе.

Решение об обращении за медицинской помощью

Представьте, что вы проснулись с острой болью в животе. Что это – аппендицит? Кровотечение? Растяжение мускулатуры? Боль в животе – один из самых сложных для диагностики симптомов, который не всегда могут правильно квалифицировать даже опытные врачи скорой помощи. Острая боль в брюшной полости может возникать при десятках разных заболеваний, начиная с тривиальных и заканчивая опасными для жизни[86]. Даже небольшой риск катастрофического исхода должен стать причиной для незамедлительного посещения больницы, где можно получить профессиональную консультацию.

Богатым или людям с хорошей страховкой принять решение, возможно, просто. Но для остальных обращение за помощью может обернуться разорением. В развивающихся странах счета за медицинские услуги порой лишают семьи возможности удовлетворить даже самые базовые нужды[87]. В США миллионы людей не имеют страховки или имеют недостаточную страховку. Одно-единственное посещение отделения неотложной помощи может обернуться расходами в размере более 10 тыс. долл.; ложная тревога тоже способна привести к многотысячным расходам, накапливающимся после проведения анализов, посещения терапевта и других трат. Даже для людей с достаточной страховкой и немалыми финансовыми ресурсами посещение больницы может означать риск ненужных тестов, столкновения с вирусами и многочасовых неудобств.

Поэтому многие первым делом ищут свои внезапно возникшие симптомы в Google. И много лет Google рассматривал медицинские запросы – которые люди задавали, в частности, из-за внезапной боли, возникшей посреди ночи, – как практически любые другие запросы. Поэтому сайты с сомнительной репутацией, если только у них достаточно «сока Google» (таинственной смеси релевантности и авторитета, которая позволяет тому или иному контенту оказаться в верхней части поисковых результатов), могли попадаться среди информации от уважаемых врачей и медицинских заведений. Отделять зерна от плевел должны были сами пользователи Google, определяя, стоит ли доверять таким сайтам.

Однако в 2016 г. компания изменила подход[88]. В сотрудничестве с экспертами из Mayo Clinic она решила проверять информацию, которая выводится при обычных запросах, связанных со здоровьем[89].

Введите, например, запрос «головная боль с одной стороны головы», и выше или рядом со стандартным списком поисковых результатов появится несколько блоков, в каждом из которых вкратце описывается возможная причина головной боли. Выберите один из них (например, «головная боль напряжения»), и вы увидите другой блок, опять же от самой компании Google. В нем вкратце описывается распространенность заболевания, его частотность в различных возрастных группах, а также типы медицинского вмешательства, которые могут понадобиться.

Эти новые результаты Google – ободряющий знак того, как может работать искусственный интеллект в здравоохранении. Они говорят не о том, что компания свято верит в замену экспертных знаний врачей большими данными и алгоритмами. Скорее, профессионалов приглашают специально, чтобы разрабатывать структурные подходы к медицинской информации и самой системе медицинской помощи. Подобным образом компания IBM стала иначе представлять свою систему Watson на рынке здравоохранения и права – больше в качестве помощника, а не замены врачам[90]. Когда я разговаривал с представителем команды разработчиков Watson в IMB в 2017 г., он сказал, что они отстаивают позицию усиленного, а не искусственного интеллекта. Если подход усиления интеллекта защищают даже те фирмы, которые могли бы выиграть от ИИ больше остальных, значит, мечта о полностью автоматизированных средствах диагностики является скорее анахронистической, чем футуристической. Всегда будет место для экспертов-профессионалов, которые должны будут оценивать точность советов искусственного интеллекта, как и его работу в реальном мире.

Базовые компетенции ИИ: недопущение обычных ошибок

Врачи – эксперты по распознанию паттернов. Мы ждем того, что дерматолог скажет нам, какая это родинка – злокачественная или обычная; мы терпим колоноскопию для того, чтобы гастроэнтеролог получил возможность заметить (и удалить) полипы. Но даже лучшие врачи могут допускать ошибки, а обычные терапевты порой устают или могут в ключевой момент отвлечься. Благодаря ИИ мы можем существенно снизить число таких ошибок и тем самым спасти тысячи жизней в год.

Такой метод зависит от массового накопления данных. В базе данных могут храниться размеченные изображения миллионов различных аномалий, которые со временем становятся раком, а также миллионы доброкачественных новообразований. Так же как Google, который сопоставляет сайты с запросом, компьютер может быстро сравнить изображения вашего кишечника или кожи с теми, что хранятся в базе данных. В идеальном случае машина обучается определять «злых цифровых двойников», то есть ткань, которая в прошлом уже становилась опасной и при этом подозрительно похожа на вашу[91].

Такое машинное зрение, выявляющее опасность в том случае, когда ее может не заметить даже опытный специалист, существенно отличается от нашего собственного зрения. Для понимания машинного обучения, о котором мы в этой книге будем говорить не раз, стоит рассмотреть успехи современного компьютерного зрения в области распознания лиц или чисел. Когда программа распознания лиц успешно идентифицирует изображение в качестве фотографии данного человека, она сопоставляет паттерны изображения с теми, что хранятся в базе данных, например, в растре 1000 на 1000 пикселов. Каждая клетка в растре может быть идентифицирована как участок кожи или какой-то другой участок, который определяется по тысячам параметров (таким как гладкость), незаметных для человеческого глаза. Сегодня доступен даже более высокий уровень чувствительности. Медицинские изображения способны кодировать данные на таком пиксельном или воксельном (воксел – трехмерный пиксел) уровне, который позволяет картографировать то, что чувствуют наши руки, нос и уши, – и даже намного больше.

Распознание паттернов на базе машинного зрения сначала стало успешно применяться в банках, когда понадобилось найти способ распознавать цифры на чеках (учитывая огромное разнообразие человеческих почерков). При наличии достаточного числа примеров почерка и вычислительных мощностей это распознание стало почти совершенным. Таким образом, во многих отношениях машинное зрение является «сверхчеловеческим», если оценивать его в категориях обработки данных и сравнения этих данных с миллионами других изображений. Дерматолог может использовать ту или иную эвристику для диагностики меланомы (например, пользуясь приемом ABCDE, то есть оценивая «асимметрию» (А), границы (В), которые могут быть неправильными, цвет (С), который бывает разным, диаметр (D) и развитие (Е)), а также опираясь на свой опыт знакомства со злокачественными и доброкачественными родинками. Достаточно развитый ИИ может проверить все эти параметры ABCDE, достаточно точно сопоставив данную родинку с тысячами других, если только его данные точны. Более того, по мере развития сенсоров ИИ сможет находить неожиданные факторы, определяющие отличие злокачественных родинок от доброкачественных.

Но у машинного зрения есть и «недочеловеческие» качества, что может выражаться в его удивительной ненадежности[92]. Большинство его приложений в медицине сегодня являются узкоспециализированными ИИ, сосредоточенными только на определенной задаче. Например, такой ИИ, выявляющий полипы, может «увидеть» проблемный полип, который не заметит гастроэнтеролог, но при этом он, возможно, окажется неспособным распознать другие отклонения, определять которые не учился. Поэтому совместная работа программы ИИ и врача в диагностике ценнее работы каждого из них по отдельности[93].

Врачи учатся годами, однако медицинское знание постоянно развивается. Сегодня человек не в состоянии запомнить все возможные взаимодействия лекарств, особенно в сложных случаях, когда пациент может принимать двадцать и более препаратов. Определенную роль в предотвращении негативных результатов могут сыграть фармацевты, но и они могут просмотреть необычные проблемы[94]. Системы поддержки принятия клинических решений (СППКР (clinical decision support software, CDSS)), встраиваемые в медицинские картотеки, – это ранняя форма ИИ, способного помочь врачам предотвратить фатальные результаты[95]. СППКР «занимается мониторингом и предупреждает врачей о состояниях пациентов, предписаниях и лечении, предоставляя основанные на научных данных клинические советы»[96]. Уже сегодня есть данные, говорящие о том, что СППКР снижает количество ошибок[97]. Однако даже в этой относительно простой области предоставления информации программисты, управленцы и инженеры не просто навязали применение СППКР в медицинской практике. Существенную роль в распространении таких систем сыграло право, в том числе государственные субсидии, выделенные на их поддержку. Угроза исков по врачебным ошибкам или корпоративной ответственности больниц склоняет к внедрению СППКР; но также суды признали, что профессиональное суждение невозможно автоматизировать, поэтому они не готовы рассматривать несоблюдение совета машины в качестве автоматического повода для возбуждения дела, если были веские причины не учитывать рекомендации СППКР[98].

Постоянное регулирование станет критически важным для гарантии того, что передовые технологии действительно приносят пациентам пользу, не отягощая врачей и медперсонал избыточной информацией. Многие авторы писали о проблеме «усталости от оповещений»[99]. Эксперты по взаимодействию человека и компьютера работают над достижением более устойчивого равновесия между оповещениями и более точными отчетами о потенциальных проблемах. Идеальное программное обеспечение СППКР не должно перегружать информацией, но в то же время не быть и молчаливым наблюдателем врачей-практиков. Свое обещание оно может выполнить только в том случае, если его сообщения будут постоянно калиброваться, чтобы врачи, медперсонал и фармацевты были действительно заинтересованы в его применении и имели все возможности критиковать его и совершенствовать.

Данные, дискриминация и неравенство в медицинском обеспечении

ИИ, результаты которого одобрены человеком, может стать стандартом медицинских услуг, то есть тем, что должно предоставляться каждому пациенту, обратившемуся за помощью[100]. Однако то, что определенная технология в целом лучше, еще не означает, что она оптимальна во всех случаях[101]. В самом деле, ИИ, если он работает на основе ошибочных данных, может легко заниматься дискриминацией. Хорошо известный «рейтинг риска» (используемый для таргетирования помощи пациентам с определенными нуждами) отдавал приоритет белым пациентам, а не черным, поскольку стоимость врачебной помощи использовалась в нем в качестве показателя серьезности заболевания. Афроамериканцы обычно получали менее дорогостоящую медпомощь, поэтому алгоритм считал, что они нуждаются в медицинском внимании меньше, чем они нуждались на самом деле. Опасности таких условных оценок должны быть хорошо известны, но в стремлении к квантификации риски часто игнорируются или недооцениваются[102].

Также диагностический ИИ может «заражаться» теми или иными предубеждениями. Врачи и специалисты по компьютерным наукам уже обеспокоены тем, что выявляющее меланому программное обеспечение будет хуже работать с меньшинствами, которые в тренировочных наборах данных обычно представлены малочисленнее[103]. Если этот разрыв действительно скажется, у правовой системы возникнет проблема: можно ли будет поднять стандарт выявления больной кожи в целом до того уровня, который достигнут такими системами для основной этнической группы? Регуляторам нужно гарантировать доступность и применение более репрезентативных данных. В противном случае они могут закрепить уже существующее неравенство в предоставлении медицинской помощи.

Если регулирующие ведомства не смогут исправить эту ситуацию, судам понадобится решать, когда для данного проекта (такого, как выявление меланомы) необходимы дополнительные данные, а когда их просто «неплохо иметь» тем, кто способен купить медицинские услуги высшего уровня. Право, регулирующее врачебную ответственность, стремится дать пациентам гарантию того, что, если их врач не удовлетворяет стандарту медицинской помощи, к нему будет применено наказание, причем часть штрафа должна пойти на реабилитацию пациента[104]. Если поставщикам услуг не удается применять достаточно репрезентативные наборы данных для разработки своих медицинских ИИ, судебные иски помогут вменить им в ответственность, чтобы каждый сумел воспользоваться ИИ в области здравоохранения (а не только те счастливчики, которые принадлежат к наиболее изученным группам).

Специалисты по данным иногда шутят, что ИИ – это просто хорошо разрекламированная форма статистики. Конечно, ИИ, спроектированный только для выдачи строго определенных предсказаний, основан на квантификации вероятности[105]. Он представляет собой лишь один из многих шагов, сделанных за два последних десятилетия для модернизации медицины на основе обширного комплекса научных данных[106]. Исследователи-медики ухватились за предсказательную аналитику, большие данные, искусственный интеллект, машинное и глубокое обучение, которые стали главными метафорами оптимизации эффективности систем. Работы в каждой из этих областей способны помочь регулирующим ведомствам выделять проблемные данные ИИ. Кроме того, критика ограничений самого ИИ (в том числе недостаточной воспроизводимости результатов, слабой валидности, чрезмерных притязаний и непрозрачных данных) также должна определять правовые стандарты[107]. Основная идея здесь в том, что ключевая компетенция ИИ – предотвращение человеческих ошибок – теперь должна применяться и к тем людям, которые создают ИИ. Они обязаны нести ответственность, если не используют правильные данные и методы. В противном случае мы так и будем повторять ошибки в будущем, которое должно быть от них свободно.

Сегодня активисты разоблачают многие проблематичные наборы медицинских данных. Так, Кэролайн Криадо Перес доказала, что в многочисленных медицинских исследованиях и учебных материалах объектом исследования по умолчанию считается мужчина[108]. Она замечает: «Женщины – это не просто маленькие мужчины: тела мужчины и женщины отличаются даже на клеточном уровне… [однако] пока сохраняется серьезный гендерный разрыв в данных, который требуется заполнить»[109]. Перекосы в наборах данных становятся еще более непростительными, когда благодаря таким работам, как исследования Криадо Перес, они оказываются общеизвестными. Нам необходимо финансировать намного более качественный сбор данных, гарантируя применение в медицине честного и инклюзивного ИИ и заставляя разработчиков, врачей и больницы его использовать.

Четыре всадника безответственности

Благодаря давно начавшимся кампаниям по ограничению ответственности утвердилось общее сопротивление подобным обязанностям. При этом ИИ создает новые препоны отчетности, и не только в медицине. Футуристы анализируют ИИ, который действует по своему собственному разумению, без контроля со стороны разработчиков (или каких-то других людей). Проблема в том, как создатели или собственники столь многоцелевой технологии могут предсказать все возможные правовые проблемы, которые их ИИ может породить или с которыми он может столкнуться? Никто же не считает компанию Microsoft ответственной за письма с требованием выкупа, написанные в документе MS Word, который сам по себе является чистой доской. Также родители не отвечают за преступления своих совершеннолетних детей, являющихся независимыми личностями.

Когда ведущие разработчики ИИ утверждают, что не отвечают за свои творения, они пользуются метафорами одновременно «чистой доски» и «независимой личности». Но если учитывать десятилетнее исследование алгоритмической подотчетности, ни то, ни другое оправдание не может стать для таких фирм отговоркой. Сегодня нам известно, что алгоритмы могут повредить людям[110]. Более того, юристы сражались с проблемой ошибочных действий компьютеров десятилетиями, по крайней мере со времен сбоев автопилота в 1950-х гг. и ошибок аппарата лучевой терапии Therac-25 в 1980-х гг. (когда сбой в программе вызвал фатальную передозировку радиации)[111].

Тем не менее некоторые предложения могут существенно снизить роль судов в сфере ИИ, не позволяя им играть традиционную роль в определении виновных в халатности. Другие могут ударить по федеральным агентствам-регуляторам, оставляя судьям задачу определения компенсаций, соответствующих конкретным несчастным случаям. Даже если подобные правовые «реформы» так и не будут проведены, фирмы способны ограничивать свою ответственность или перекладывать ее благодаря недобросовестным условиям обслуживания, с которыми пользователи, подписывая контракты, «соглашаются». В конечном счете радикальные защитники свободы слова утверждают, что ИИ просто «говорит» о людях определенные вещи, а не делает им что-либо, и потому это случай свободы слова, защищенной от судебного преследования. Защитники этих четырех всадников безответственности-общего упреждения, радикального дерегулирования, широких оправдательных условий в договорах и оппортунистической апологии свободы слова – доказывают, что ИИ будет быстро развиваться только в том случае, если изобретатели и инвесторы будут свободны от угрозы судебного преследования.

Политики и стратеги, завороженные обещанием инноваций, возможно, хотели бы отбросить местные законы, чтобы предложить лидерам индустрии простую и совершенно понятную картину их юридических обязательств[112]. Или они могут пользователям ИИ «дать право» отказываться от прав на судебное преследование. Это не что иное, как извращенный пример контрактной суверенности: мое право отказаться от моих прав будто бы повышает мою автономию. Менее противоречивое утилитарное обоснование состоит в том, что гражданам нужно отказаться от определенных прав, чтобы ИИ мог по-настоящему успешно развиваться.

Даже если защита от ответственности и в самом деле нужна для пришпоривания определенных инноваций, она не может быть абсолютной. Как отметила Венди Вагнер, гражданское судопроизводство является ключевым моментом предоставления информации, которая может быть недоступной регуляторам[113]. Когда меры регулирования согласовываются на международном или национальном уровнях, возможность развивать собственные стандарты приемлемого риска, который несут новые технологии, должна быть предоставлена также и большему числу локальных организаций и ведомств[114]. По мере развития точечного и ситуативного судопроизводства и регулирования представители более высокой инстанции получают ресурсы и время, необходимые для картографирования более общих трендов технологического развития и для запроса мнения экспертов. Например, американский Национальный комитет по статистике здравоохранения и актов гражданского состояния (с которым я подписал четырехлетний рабочий контракт в 2019 г.) предлагает политикам и стратегам экспертные консультации, связанные с тем, как оптимально собирать, анализировать и применять данные. Эти консультации играют критическую роль, поскольку в хорошо организованных обществах регуляторы участвуют в определении развития технологии (а не только реагируют на нее, когда она уже создана)[115].

Кроме того, суды и законодательные органы должны с осторожностью относиться к оправдательным условиям договоров, ограничивая число случаев, когда потребители могут от своих прав отказаться. Часто судьи не желали признавать подобные условия в медицинском контексте, полагая, что пациенты уязвимы и что им недостает информации, необходимой для действительно информированного решения[116]. Мы все находимся в похожей позиции уязвимости, когда дело доходит до большинства роботов и ИИ, поскольку мы почти никогда не разбираемся в данных и кодах, которые за ними скрываются. Даже в тех случаях, когда оправдательные пункты договоров допускаются, у судей все равно остается важная роль в решении тяжб о несправедливых условиях договора[117]. Существуют также определенные типы оснований для предъявления иска, которые должны быть сохранены, на какие бы условия стороны договора ни были готовы согласиться.

Чтобы оценивать риски ответственно, и поставщикам, и потребителям нужна точная информация о данных, используемых в ИИ (входных данных), а также данные об эффективности (выходные данные). Никому нельзя позволять отказываться от своего права на изучение данных, когда ИИ причиняет ущерб[118]. В следующем разделе описывается, как регулирующие ведомства способны помочь повысить качество как входных данных, используемых для инноваций в области ИИ, так и выходных данных подобных технологий.

Кто будет учить обучающуюся систему медицинской помощи?

Раньше мы могли определять меланому как просто разновидность рака кожи. Однако сегодня это определение кажется таким же устаревшим, как отнесение пневмонии, бронхита и сенной лихорадки к одной категории «кашля». Персонализированная медицина поможет большему числу онкологов достичь более тонкого понимания определенного вида рака как, к примеру, определенного числа мутаций. Цифровые записи, если их правильно комбинировать, сравнивать и анализировать, могли бы указать, какие сочетания химиотерапии, радиоиммунотерапии, хирургии и облучения дают наилучший результат в случае данного подтипа рака. Такова главная цель «обучающихся систем медицинской помощи», которые разрабатываются для оптимизации медицинских вмешательств путем сравнения результатов естественных вариации в лечении[119].

Для тех, кто мечтает о «Супер-Уотсоне», который не просто выиграет викторину Jeopardy, но и начнет управлять больницами, все это развитие представляется шагами по направлению к «поваренной медицине», реализованной на машинном уровне. Но кто знает, что нас ждет через сто лет. Пока же важно то, как все эти потоки данных интегрируются, сколько усилий прилагается к достижению этой цели, как относятся к участникам процесса и кто имеет доступ к результатам. Это сложные вопросы, но никто не должен сомневаться в том, что для жонглирования всеми этими данными потребуется квалифицированность и осторожность человека, а также серьезные юридические консультации, если учитывать сложные правила медицинской конфиденциальности и привлечения людей в качестве подопытных[120].

Углубимся в радиологию: визуализация тканей развивается по-настоящему быстро. Мы наблюдали переход от рентгеновских лучей и ультразвука к радионуклидной визуализации и радиомике[121]. Ученые и инженеры разрабатывают все более сложные способы выяснения того, что происходит внутри тела. Уже сегодня существуют миниатюрные камеры-таблетки, проглатываемые пациентом; представьте существенно меньшие версии тех же приборов, которые можно будет впрыскивать в кровеносную систему[122]. Генерируемые таким образом потоки данных намного богаче всего, что у нас было раньше. Для интегрирования их с целью вынесения суждения о том, как скорректировать или полностью изменить схему лечения, потребуется креативное, несистематизи-руемое мышление. Рентгенолог Джеймс Тролл утверждал:

Данные в наших… информационных базах – это «тупые» данные. Обычно они анализируются по одному изображению или факту за раз, и именно индивидуальный пользователь должен интегрировать данные и извлечь из них операционный и концептуальный смысл. Главная задача ближайших 20 лет – превращение этих тупых данных из обширных, но разрозненных источников в знания, а также использование способности быстрой мобилизации и анализа данных для повышения эффективности наших рабочих процессов[123].

Более полные результаты лабораторных исследований, новые, более качественные формы визуализации, генетический анализ и другие источники – все это надо будет сводить в единую картину состояния пациента и его болезни. Если использовать различие, введенное Саймоном Хедом, оптимизация медицинской реакции на новые объемы и разнообразие данных станет вопросом практики, а не заранее заданного процесса [124]. И диагностической рентгенологии, и инвазивной потребуется разбирать сложные случаи заново, и не просто как упражнения по сортировке.

Учитывая все доступные ныне потоки данных, можно было бы предположить, что рациональная политика в области здравоохранения должна углубить и расширить профессиональное образование рентгенологов. Но похоже, что в США эта сфера все больше сдвигается к коммодификации[125].

Ирония в том, что за это в изрядной степени отвечают сами же рентгенологи; для того чтобы не работать по ночам, они стали заключать контракты с удаленными «совиными» службами, которые готовы просматривать изображения ночью[126]. Это привело к тому, что изображения стали отдаваться на сторонний анализ и днем, что подтолкнуло обеспокоенные расходами медицинские организации искать наиболее дешевые рентгенологические услуги – даже если оптимальная медицинская практика требовала более тесного консультационного взаимодействия рентгенологов и других членов лечащей бригады, которое позволяет достигать клинических и исследовательских результатов. Государственные компенсационные программы также не смогли в должной мере подержать развитие рентгенографического ИИ[127].

Специалистам по визуализации, сталкивающимся с новыми потоками данных, часто приходится принимать субъективные решения. В настоящее время хорошее частное и социальное страхование покрывает доступность рентгенологов, которые могут решать подобные задачи. Но можно ли представить мир, в котором людей заманивают более дешевыми страховыми планами, чтобы они могли получить «медицинские услуги прошлого года по прошлогодним ценам»? Конечно. Также мы можем представить то, что второй (или третий, четвертый, пятый) уровень медицинских услуг, скорее всего, станет первым, в котором будет практиковаться чисто автоматическая диагностика.

Те, кто находятся на верхнем уровне, будут рады итоговому снижению общих расходов на здравоохранение. Часто именно они являются налоговой базой, необходимой для расходов на незастрахованных людей. Но ни один пациент не является изолированным в обучающейся системе медицинской помощи. Так же как постоянное удешевление производства лекарственных препаратов привело в США к постоянному дефициту стерильных впрыскиваемых лекарств, лишение значительной части населения высокотехнологической медицинской помощи осложнит тем, у кого к ней есть доступ, понимание того, стоит ли ее вообще получать[128]. Обучающаяся медицинская система может сделать удивительные открытия, если полный набор данных будет питать экспериментальные исследования, которые должны привести к созданию самых современных клинических инноваций. Чем меньше у людей доступа к таким инновациям, тем меньше возможностей у нас узнать, насколько хорошо они работают и как их можно усовершенствовать. Разделение услуг на разные уровни поможет преодолеть сегодняшний кризис расходов, который наблюдается в медицине, но в то же время оно замедлит выгодный каждому прогресс медицины в будущем. Следовательно, существует верхняя траектория движения к передовым достижениям в медицинском ИИ, на которой главным является доступ для каждого к медицинской помощи все лучшего и лучшего качества, и, с другой стороны, экономная нижняя траектория, когда главное – это попросту воспроизведение того, что мы уже имеем. Врачи, руководители больниц, инвесторы будут двигаться по верхней, нижней или по какой-то промежуточной траектории. А их решения, в свою очередь, определяются изменениями в медицинском законодательстве, а также социальным общеполитическим ландшафтом.

Рассмотрим, к примеру, противоречия между традицией и инновацией в законодательстве о врачебной ответственности. Когда что-то идет не так, врачей судят на основе стандарта, который в общем и целом определяется тем, как в то же самое время работают другие врачи. Поэтому вероятность ошибок некоторых врачей пугает, заставляя их придерживаться конформистских и традиционных практик. С другой стороны, угроза судебного преследования может ускорить переход к очевидно более качественной практике. Ни один врач сегодня не может просто прощупать опухоль и сказать, злокачественная она или доброкачественная. Обычно берутся образцы тканей, проводятся консультации с патологами, выполняется экспертный анализ ткани. Если методы ИИ-диагностики станут достаточно развитыми, само их неприменение станет врачебной ошибкой.

С другой стороны, передовая автоматизация может не достичь нужного уровня, если некая третья сторона (государство или страховщики) откажется за нее платить. Страховщики часто пытаются ограничить покрываемый их планами спектр медицинских услуг. Группы, защищающие права пациентов, сражаются за обязательные льготы. Сторонники сокращения бюджета сопротивляются, а когда они добиваются успеха, у систем здравоохранения нет другого варианта действий, кроме как отвергнуть дорогостоящую новую технологию.

Также имеют значение другие схемы регулирования. Медицинские советы определяют минимальный приемлемый уровень опытности врачей. В США центры по обслуживанию Medicare и Medicaid участвуют в определении условий выпуска медицинских специалистов из высших учебных заведений, поддерживаемых субсидиями. При хорошем финансировании они могут сотрудничать с биоинженерами, специалистами по компьютерным наукам и статистиками. При плохом финансировании они будут и дальше производить слишком много врачей, которые ничего не знают о статистике, необходимой для качественного выполнения их актуальных рабочих обязанностей, не говоря уже о критической оценке новых ИИ-технологий[129].

Право – это не просто дополнительный набор препятствий, которые нужно преодолеть, а уж потом инженеры получат свободу и смогут вылечить любые человеческие болезни. Основная причина роста занятости в здравоохранении как отдельном секторе в последнее десятилетие состоит в том, что определенные правовые нормы наделили значительные группы населения покупательной способностью, не зависящей от их богатства или заработной платы. При благоприятном раскладе такие нормы будут направлять развитие систем медицинской помощи в сторону постоянных инноваций и совершенствования.

На кого работает ваше терапевтическое приложение?

Несмотря на все проблемы, поджидающие диагностику рака и других телесных заболеваний методами ИИ, мы можем быть уверены в том, что в этих областях такая технология будет играть значительную и постоянно растущую роль. Врачи и исследователи могут прийти к согласию об оптимальных стандартах эффективности и постепенно усовершенствовать машины, которые смогут распознавать больше заболеваний и выполнять больше процедур. Но проблемы становятся запутаннее, когда от физического мы переходим к психическому здоровью, для которого требуется еще большее участие человека.

Людей, страдающих душевными заболеваниями (как и другие уязвимые группы), часто посылают к автоматическим системам. В Арр Store компании Apple и Android Market Google можно найти множество приложений, которые утверждают, что они помогают улучшить психическое здоровье. Есть приложения для депрессии, тревожности, аддикции и фобий, все они предлагают некий успокоительный или подбодряющий интерфейс, а иногда и не только. Когда такие приложения выписываются терапевтом или другим специалистом, они и в самом деле могут быть полезны. Например, люди, пытающиеся вылечиться от наркотической зависимости, могут при помощи подобных приложений записывать свои пристрастия, связывать возвращение к употреблению наркотиков с определенными триггерами и получать подсказки или советы. Однако когда приложения становятся более автономными и независимыми от экспертов, могут возникнуть серьезные проблемы.

Порой приложения не способны выполнить базовые терапевтические обязанности. Журналисты выяснили, что один ИИ-терапевт не стал предупреждать власти, когда участница его испытаний написала о том, что она ребенок, страдающий от сексуальных домогательств в семье[130]. Квалифицированные специалисты знают об обязанности сообщать о подобных случаях, тогда как технологи, которые учились «быстро решать проблемы», возможно, не имеют о них никакого представления. Появляется все больше непроверенных и даже опасных приложений, которые создают угрозу для здоровья тех, кто нуждается в более компетентной медицинской помощи[131]. Политика обмена данными в таких приложениях часто несовершенна или однобока, а потому могут встречаться нарушения правил конфиденциальности, которых обычно придерживается терапевт[132]. Американское Управление по контролю за качеством пищевых продуктов и медикаментов (FDA) отказалось от своих обязанностей в этой сфере, практически перестав регулировать такие приложения, после нескольких предупреждений от членов Конгресса, которые заявили, что финансирование агентства может быть урезано, если оно станет мешать инновациям. Похоже, ни одна другая инстанция не занимается действительно реальным обеспечением безопасности и эффективности в этой области[133].

Это попустительство подкрепляется экономическими стимулами. Дешевые приложения психического здоровья – настоящий подарок для систем здравоохранения, которые стремятся во что бы то ни стало снизить расходы, например, для британской Национальной системы здравоохранения (NHS). Медицинские власти в Британии стали использовать библиотеку приложений NHS для рекомендаций специальных приложений тем, кто страдает от депрессии и тревожности. К сожалению, по данным исследования, представленного в журнале Evidence Based Mental Health, истинную клиническую ценность большинства приложений «определить невозможно»[134]. Только два из изученных приложений применяли проверенные количественные параметры. Также совершенно неясно, могут ли цифровые заменители недоступных специалистов по психическим болезням соответствовать стандартам, в том числе конфиденциальности, которые ожидаются от людей, предлагающих медицинские услуги[135]. Эта обеспокоенность, которая становится все более острой в сфере цифровых ассистентов, будет еще более выраженной в области медицинской помощи, где подобные проблемы доверия особенно значимы[136].

За этой проблемой тоже стоит история. Технологические решения, нацеленные на быстрые результаты, часто могут развиваться по непредсказуемой траектории. Опасные патентованные средства десятилетиями соблазняли доверчивую публику, что привело к некоторым печальным результатам[137]. Особенно такие препараты были привлекательны для тех, кто не мог попасть к врачу, и точно так же приложения психического здоровья сегодня рекламируются тем, кто не может попасть к терапевту, ведь это «лучше, чем ничего». Недавно Конгресс исключил диетические добавки из списка препаратов, регулируемых FDA, создав «Дикий Запад» сомнительных «естественных снадобий»[138]. Эффективность этих субстанций по большей части не доказана. Неудивительно, что дерегулирование искажает подобным образом цифровую диагностику и цифровую терапию.

Давняя история терапевтических программ позволяет лучше понять сегодняшний перенасыщенный рынок ИИ-консультаций. Специалист по компьютерным наукам из MIT Джозеф Вейценбаум разработал одну из наиболее известных программ, ELIZA (названную по имени Элизы Дулитл из «Пигмалиона», поскольку программа копировала речевые паттерны пользователей). Этот чат-бот, один из первых, подражал психотерапевту школы Роджерса. В статье 1966 г. Вейценбаум привел следующий пример беседы между пользователем и программой:

Пользовательница: Все мужчины одинаковы.

ELIZA: В ЧЕМ?

П.: Вечно они донимают нас то тем, то другим.

Е.: МОЖЕТЕ ЛИ ВЫ ПРИВЕСТИ КОНКРЕТНЫЙ ПРИМЕР?

П.: Ну, например, мой друг заставил меня прийти сюда.

Е.: ВАШ ДРУГ ЗАСТАВИЛ ВАС ПРИЙТИ СЮДА?

П.: Он говорит, что я почти все время чем-то подавлена.

Е.: МНЕ ПРИСКОРБНО СЛЫШАТЬ, ЧТО ВЫ ЧЕМ-ТО ПОДАВЛЕНЫ.

Поначалу Вейценбаум очень гордился своим творением. Он показывал его и преподавателям, и техническому персоналу MIT. Пользователи часто «секретничали» с программой, притом настолько часто, что Вейценбаум вскоре прекратил работу над этим проектом, опасаясь, что из-за него люди начнут отказываться от других, более содержательных форм терапевтической работы[139]. Учитывая навязчивое стремление современных технократов от здравоохранения сократить во что бы то ни стало расходы, эта обеспокоенность оказалась пророческой. В эпоху «покупок, ориентированных на реальную ценность» приложение за 2,99 долл. может показаться безусловно привлекательной заменой психиатру.

Защитники приложений, возможно, заявят, что не стоит вспоминать об ELIZA, ведь за последние полвека получила развитие намного более совершенная технология. Однако в большинстве топовых приложений психического здоровья, с которыми имеет дело потребитель, по-прежнему используется простой текстовой интерфейс. Весьма популярное приложение Woebot разработано для автоматизации определенных приемов когнитивно-поведенческой терапии. Woebot начинает разговоры с пользователем достаточно ненавязчиво, отслеживая их с помощью простых дихотомических ответов. Например, в начале разговора Woebot пишет: «Мои данные, основанные на исследовании в Стэндфордском университете, показывают, что людям требуется около 14 дней на то, чтобы научиться разговаривать со мной и начать себя лучше чувствовать». Пользователь не может задать критические вопросы, в частности: «Какое исследование в Стэнфорде? Сколько в нем было участников? С чем работала контрольная группа?». Два допустимых ответа, которые я увидел, когда сам тестировал это приложение, сводились к следующим: «Хорошо» или «Гм…». Подобные бинарные ответы постоянно используются в приложении, дисциплинируя пользователя.

Для человека, привыкшего к тестам со многими вариантами ответов, простым телефонным играм вроде Candy Crush и бинарным реакциям «нравится/не нравится» в сетях Facebook, Instagram и Twitter, кнопки ответов в Woebot могут быть приятным продолжением безболезненного цифрового дрейфа. Они снимают с человека задачу по объяснению себя самого, по формулировке разумного ответа, как и решение о том, как относиться к собеседнику – со скепсисом или доверием. Тем, кто уже страдает депрессией, это может принести облегчение.

Но существует метод лечения – его обычно называют лечением разговором, – в котором формулировка высказываний как раз и считается главным смыслом консультирования, а не чем-то, чего требуется избегать[140]. Распространение терапевтических приложений грозит вытеснить лечение разговором и заменить его бихевиористическими подходами, которые просто пытаются оборвать, заглушить или оспорить негативные мысли, а не исследовать их контекст и конечные причины. Когда приложения психического здоровья управляются узкоспециализированным ИИ, они пользуются утилитаристским подходом к пациентам, представляющим их проблемы в качестве помехи производительности, и в то же время его закрепляют[141].

Конечно, эти опасения возникли еще десятилетия назад, когда появились психотропные препараты[142]. Критики доказывали, что пациентам лучше изучать более глубокие причины своих проблем, чем пытаться отделаться от них за счет лекарств[143]. Но в этом случае, по крайней мере, эксперт, прежде чем начать лечение, высказывает свое мнение. Слишком многие терапевтические приложения пренебрегают даже такой предосторожностью, выходя прямо на рынок, где они доступны пациентам.

Другая линия критики связана с уязвимостью пользователей, которые могут пострадать от недобросовестной манипуляции, которой занимаются неизвестные силы[144]. Рассмотрим, к примеру, терапевтическое приложение, «лечащее» работника, который недоволен временем, проводимым им на работе. Работник чувствует, что ему недоплачивают или что его недостаточно ценят, и свое недовольство он формулирует в приложении. На такую проблему можно дать несколько возможных ответов. Например, приложение может заставить проявлять настойчивость, подталкивая работника к тому, чтобы он потребовал прибавки. С другой стороны, оно же может предписать созерцательную покорность своей судьбе, поощряя его ценить все то, что у него уже есть. Или оно может занять позицию подчеркнутой нейтральности, пытаясь углубиться в причины беспокойства работника. Попробуйте догадаться, какой ответ такое приложение должно было бы выдать работнику по мысли работодателя. Специалисты служат определенным буфером, позволяющим устранить подобные конфликты интересов. Они могут выступать более нейтральными интерпретаторами заболеваний, с которыми к ним обращаются, чем приложения или ИИ, управляемые третьими сторонами, будь то работодатели, страховщики или государства[145].

Предсказательная аналитика работает лучше всего, когда есть ясные и точно определенные параметры успеха. Но в случае проблем с психическим здоровьем есть множество способов определять проблемы и искать решения. Различные коммерческие модели могут склонять к разным определениям ментального заболевания и выбора его лечения. Бесплатное приложение, работающее за счет рекламы, не обязательно оптимизирует «время пребывания» пользователя в приложении, но оно может манипулировать им иначе, что необходимо для его продвижения. Рассказы человека о своем собственном благополучии могут быть

бесспорной базовой истиной, на основе которой нужно мерить ценность приложений[146]. Однако само понятие благополучия колонизировано корпорациями и государством, которые связали его с более объективными показателями, такими как производительность[147]. В процессе подобной колонизации был потерян смысл обозначения эмоций как «форм суждения», если воспользоваться удачным термином Марты Нуссбаум[148]. Они рискуют стать еще одним объектом максимизации с применением цифровой «сомы», поставляемой быстро растущей «индустрией счастья»[149].

И академические ученые, и активисты указывали на проблематические предубеждения врачей и других поставщиков медицинских услуг[150]. Движение за алгоритмическую ответственность в медицине должно будет действовать и дальше – критиковать и исправлять предубеждения и иные проблемы, способные отяготить медицинскую помощь с компьютерным компонентом. Лучшая структурная защита – следить за тем, чтобы большая часть приложений разрабатывалась для усиления интеллекта ответственных специалистов, а не в качестве замещающего их ИИ[151]. Также в развитии гуманистических (а не бихевиористических) приложений психического здоровья должны играть свою роль и многие другие аспекты медицинского законодательства и программ развития (в частности, нормативы лицензирования и программы компенсации)[152].

Освобождение людей, ухаживающих за больными, или автоматическая медицинская помощь?

Медицинская помощь может быть сложной, грязной, монотонной и даже опасной работой. Постепенно складывающаяся армия роботов и ИИ может облегчить это бремя. Роботы уже проникли в больницы и дома престарелых. Немногие сомневаются в том, что их можно использовать в качестве уборщиков, подсказчиков (чтобы вовремя принимать лекарства или, например, не есть соль), подъемников (лежачих пациентов) или в каких-то других вспомогательных ролях. Все они освобождают людей, ухаживающих за больными, – родственников или сиделок, врачей или друзей, которые получают возможность заниматься другой, более осмысленной помощью. Японский Robear может поднимать пациентов из кровати и укладывать их, чем избавляет медсестер и санитаров от травм спины. Автоматические таблетницы способны предупредить ошибки в приеме препаратов, которые являются серьезной проблемой в гериатрическом уходе.

В идеальном случае все эти инновации освобождают людей, ухаживающих за больными, так что они получают возможность заниматься работой, которая может быть только человеческой. Рассмотрим, к примеру, следующее описание хосписного работника и то, как она утешает умирающих.

Хэзер – не энергичная и не эффективная, в отличие от больничных медсестер. На самом деле ее неэффективность намеренна. Большую часть времени, посещая пациентов, она делает не слишком многое: записывает показатели жизненно важных функций, проверяет, достаточно ли медикаментов и других припасов, спрашивает, прошли ли прежние симптомы и появились ли новые… Однако даже когда ей нечего делать, задача в том, чтобы побыть рядом, поговорить, посидеть, погладить пациента рукой во время осмотра. Ее визит для пациента может стать самым насыщенным моментом за весь день… Поэтому Хэзер двигается медленно; она усаживается, задерживается, медлит[153].

В медицинских организациях, где вечно не хватает времени, уход такого типа встречается довольно редко. Даже когда те, кто симпатизируют медсестрам, учитывают в кадровом составе минимум подобного ухода, они редко закладывают время для подобной целенаправленной «неэффективности». И это ошибка, поскольку неявные моменты работы такой медсестры в хосписе одни из самых важных.

Некоторые ИИ и роботы сегодня проектируются для выполнения задач сопровождения и эмоциональной связи. Журналистка Нелли Боулс описала Билла, пожилого мужчину, который был рад той помощи, которую ему оказал Sox. Sox – это просто анимированный кот на экране планшета, который спрашивал его о том, как он провел день, отвечал на его вопросы и время от времени советовал ему лучше питаться[154]. Билл знал, что Sox управляется удаленными операторами, которые печатают то, что он должен «сказать», наблюдая за его движениями. Однако он обнаружил, что даже эти поверхностные вопросы о его жизни и здоровье помогали сгладить одиночество, от которого он страдал после смерти жены. Другой клиент Sox заявил в записанном им видео: «Хорошо, когда у тебя есть тот, кто спрашивает, как прошел твой день и не беспокоит ли тебя что-то»[155].

Ирландская компания – производитель роботов Mylo готова сделать собственным лицом кошачью мордочку[156]. Mylo – это мобильный объект, очертаниями немного напоминающий робота С-3РО из «Звездных войн». Социальный предприниматель, разработавший Mylo, рекламировал робота как утешителя и напоминателя, способного напомнить пациентам, страдающим деменцией, о ежедневных таблетках или дать сигнал семье, когда клиент, к примеру, нуждается в помощи или когда он слишком долго остается неподвижным. Потребители могут арендовать Mylo всего лишь за девять евро в день, что дешевле часа работы профессиональной сиделки. Такая разница в цене может привести к тому, что роботы перешагнут границы своей роли помощников людей, ухаживающих за больными, и начнут их заменять.

Куклам, мультипликационным и телевизионным персонажам довольно легко приписывать личные качества. Достаточно изолированному человеку (можно привести пример героя Тома Хэнкса в фильме «Изгой») хватит и волейбольного мяча. Теоретики медиа Байрон Ривз и Клиффорд Насс отметили, что многие люди относятся к медиагероям так, словно бы они реально присутствовали в их жизни. Такие «реакции не требуют стратегического мышления, скорее, они бессознательны. Реакции не являются следствием выбора человека, они возникают постоянно и с большой скоростью»[157]. Роботы могут вызвать похожие аффекты, склоняя к их антропоморфизации или зооморфизации[158]. Когда они пробуждают подобные чувства доверия или дружественности у представителей уязвимых групп населения, возникают весьма щекотливые этические вопросы[159].

Рассмотрим, к примеру, потенциальные области применения похожих на животных роботов, выступающих в роли заменителей домашних животных. Терапия с применением животных была популярна в лечебных учреждениях для хронически больных, в частности, в «зеленых домах престарелых»[160]. К сожалению, персоналу трудно содержать животных, к тому же многие заведения боятся ответственности, которую вынуждены нести в том случае, когда животные кусаются или царапаются. Роботы предлагают более безопасную альтернативу. Японские исследователи разработали Раго – робота в виде плюшевой игрушки. Он выглядит как тюлененок и играет роль компаньона для пациентов, страдающих от деменции. Раго может выступать своего рода домашним любимцем, изображая внешние признаки внимания, нужды и расслабленности. Он хлопает глазами, пищит и мяукает, шевелит усами и хвостом. Не являясь человекоподобным компаньоном, он при этом устраняет риски контакта с животным.

Исследовательница из MIT Шерри Теркл призывала отнестись к тому, что мы все больше опираемся на робототехнику, с крайней осторожностью. Ее близкое знакомство с уязвимыми группами населения показало, насколько сильным может быть воздействие симулякров: «Пожилые люди в домах престарелых играют с роботом Раго и пытаются понять, как охарактеризовать это создание, которое выдает себя за тюлененка. После вопросов: „Умеет ли он плавать?“ или „Ест ли он?“ – они переходят к вопросам: „Он живой?“ и „Может ли он любить?“»[161]. Теркл обеспокоена обществом, в котором занятые взрослые оставляют своих стареющих родителей с набором сложных игрушек, вместо того чтобы посещать их. Теркл, основатель и директор «Инициативы технологий и субъекта» в MIT, видит в избыточной увлеченности гаджетом замену человека «машинным» компонентом – «дешевое свидание» роботизированного взаимодействия, замещающего более непредсказуемый, но в конечном счете более сложный и радостный контакт любви, дружбы и товарищества. Хотя видеофильмы и исследования фиксируют положительное воздействие робота Раго на настроение хронически одиноких людей, Теркл предполагает, что подобная мотивация может с таким же успехом служить предлогом для небрежения. Некоторые могут рассудить: зачем навещать бабушку, если у нее есть компаньон – робот в виде животного?

Защитники робота Раго указывают на практическую потребность в инновации такого типа, которую можно понять, если учесть одиночество многих пожилых людей. Даже терапевты, использующие в своей работе домашних животных, могут посещать больного лишь на несколько часов за раз. Разве Раго не лучше, чем ничего, если нет никакой альтернативы, то есть ни человека, ни животного, которые могли бы проявить сочувствие и обеспокоенность? В той мере, в какой человек завершает цикл, двигаясь от младенчества к дряхлости, разве Раго не является попросту высокотехнологическим вариантом «Плюшевого кролика», классической детской сказки, в котором плюшевая игрушка для одинокого мальчика становится настоящей? Раго, говорят его защитники, заменяет настоящего компаньона не для всех, а лишь для небольшой группы, чьи потребности в уходе частные и государственные средства удовлетворить не могут.

Апологеты социальных роботов в уходе за пожилыми обычно приводят статистику, указывающую на нехватку качественного ухода в домах престарелых, а также на высокую стоимость подобных услуг и экономическую обусловленность их инноваций[162]. Во многих развитых экономиках пирамида возраста превращается в прямоугольник, в котором пожилых столько же, сколько и молодых. Неизбежный выход на пенсию миллионов беби-бумеров в США уже несколько десятилетий является настоящей головной болью для планировщиков долгосрочной медицинской помощи. Все это заставляет видеть в технологии, заменяющей людей, правильное решение. Подобная технология, если поместить ее в контекст «строительства стены» ксенофобии и экофашистского национализма, для богатых стран может стать предлогом ограничения иммиграции. Например, стареющее население может решить, что не нужно допускать в страну молодых рабочих из-за рубежа, если будет уверено, что роботы смогут выполнять работу, которую сейчас делают иммигранты. Это движение к самодостаточности может оказаться несостоятельным: поскольку роботы (или их собственники) платят меньше налогов, чем рабочая сила, у них меньше возможности платить пенсии по старости и оплачивать медицинскую помощь, чем у рабочих, которых они заменяют. Политики и стратеги должны четко понимать долгосрочные фискальные последствия, прежде чем требовать ускорения автоматизации медицинской помощи и ухода.

Для верной оценки масштаба и потенциала социальных роботов крайне важна общая картина политической экономии ухода. Нехватка финансирования ухода за пожилыми не является естественным следствием экономической науки. И то же самое относится к трудоголизму, из-за которого частые посещения членами семьи начинают казаться недостижимой роскошью. Они суть производное определенной публичной политики, которое более удачная политика может отменить (или, по крайней мере, сгладить). Если бы в богатых странах действовала более открытая политика иммиграции, рабочие из многих других стран могли бы заняться работой по уходу и медицинской помощи. Как показала Ай-Джен Пу, гуманное устройство труда иммигрантов (и создание траекторий получения гражданства) – путь к глобальной солидарности и взаимопомощи[163]. Соответственно, фирмы, которые жаловались на нехватку квалифицированных работников, были завалены заявками, 82 когда подняли уровень компенсации[164].

Конечно, в разных государствах может по-разному оцениваться необходимость роботизированного ухода за престарелыми. Универсального рецепта в этом случае не существует. Японские лидеры проявили особую заинтересованность в применении технологии в медицинских заведениях[165]. Некоторые комментаторы утверждали, что синтоизм и буддизм склоняют японцев к положительной оценке роботов и связанной с ними технологии. Например, бывший директор MIT Media Lab Джой Ито обнаружил глубинную связь между различными формами анимизма и положительным отношением к роботам[166].

Однако японская культура – это не монолит, в ее плюрализме можно заметить голоса, призывающие относиться к распространению ИИ с осторожностью[167]. Так, в ходе одной оживленной дискуссии аниматор Хаяо Миядзаки отверг анимированное с применением ИИ изображение гротескной гуманоидной фигуры:

Мне это крайне неприятно. Если вы на самом деле хотите сделать что-то отвратительное, тогда вперед. Я никогда не стану применять эту технологию в собственной работе… У меня четкое ощущение, что это оскорбление самой жизни… Мне кажется, что близится конец времен. Мы, люди, теряем веру в самих себя[168].

Подобные гневные высказывания, как у Миядзаки, усложняют любой простой нарратив о единогласном одобрении роботов в Японии. На каждое воодушевленное внедрение тех же роботов-компаньонов можно найти примеры упорной защиты человека, личного контакта, традиционных моделей взаимодействия. К любым «культурным» аргументам следует подходить с осторожностью, поскольку представления о культурном единстве обычно вытесняют или упускают из вида существующие тревоги и возражения[169]. Точно так же, как Амартия Сен раскритиковал заявление руководителей Сингапура об особых «азиатских ценностях», которые противостоят правам человека, мы сегодня должны сопротивляться упрощенным представлениям об однородности той или иной культуры[170].

Хотя можно указать на фильмы и мангу как свидетельства преданности японской культуре автоматизации, в них тоже заметны ноты трагедии и сожаления. Пророческий (хотя и довольно прямолинейный) японский фильм 1991 г. «Старик Зет» (Rojin Z) стал выражением страхов, связанных с заменой человеческого ухода машинами. В фильме о больном и немощном старике «заботится» сверх-машинизированная кровать, которая предвосхищает любую его потребность – посмотреть телевизор, подстричь ногти, помыться, даже поесть и испражниться. Гротескна не только представленная в фильме картина тотального механического ухода. Само представление о такой машине, отвлеченной от всякого человеческого участия, от руководства человека и его достоинства, вызывает глубокое беспокойство. Ставки настолько велики, представление о том, что делает жизнь достойной, настолько невыразимо и изменчиво, принятие решений в столь значительной степени распределено между людьми, ухаживающими за больными, и теми, кто является объектом такого ухода, что рутинизация кажется в лучшем случае плохой идеей, а в худшем – настоящим оскорблением.

Конечно, каждый из таких примеров может иллюстрировать «культурные разногласия» в Японии, а не типичные установки. Данит Гал, помощница руководителя проекта и преподаватель в Исследовательском центре киберцивилизации университета Кэйо, построила типологию отношений к ИИ и роботам, распределив их в спектре между «инструментом» (которым следует пользоваться) и «партнером» (определение, которое выводит на комплекс эмпатии, солидарности и даже дружбы и любви)[171]. Гал приводит несколько подтверждений того, что Япония ближе к «партнерскому» краю спектра. Однако Гал, не делая вывода о доказанности монолитического строения «азиатских ценностей», определяющих положительное отношение к технологии, утверждает, что Южная Корея смогла выработать «четкую иерархию, в которой человек выше машины, причем ИИ и роботы должны поддерживать и укреплять такое господство человека». Она приходит к заключению, что Китай находится где-то посередине между двумя этими парадигмами, поскольку в нем продолжается политический и культурный спор о фундаментальных посылках взаимодействия человека и робота. В развитии этих отличных друг от друга подходов экономисты не должны пытаться склонить чашу весов в пользу заместительной автоматизации. Они могут точно так же рекомендовать уход, выполняемый человеком.

Политическая экономия роботизированного ухода

Более значительные тенденции в занятости рабочей силы и спросе на нее также играют свою роль. Роботизированный уход имеет намного больше смысла в обществе, где взрослые дети постоянно вынуждены все больше работать; перегруженное «сэндвичное поколение» вынуждено чем-то жертвовать. Если бы, наоборот, прибыли от производительности распределялись лучше, спрос на роботов в области ухода за пожилыми, скорее всего, упал бы. Распространение инноваций обусловлено не столько существованием самого устройства как такового, сколько потребностью, которой оно служит в определенной социально-технической системе. Как утверждала Марта Файнман, мы можем перестроить социальные системы так, чтобы реорганизовать мотивы и стимулы, вместо того чтобы пытаться подгонять людей под все более дисфункциональные системы[172].

Наконец, и это наиболее важная часть моего аргумента в этой главе, выбор между социальными роботами и медицинским персоналом представляет собой ложную дихотомию. Даже ярые сторонники социальных роботов обычно описывают их как помощников, а не заменителей сиделок и медсестер. Научные данные говорят в их пользу. Например, применение робота Раго вместе с интенсивной работой сиделок и других лиц, ухаживающих за больными, дает лучшие результаты, чем исключительно дистанционные методы. За последнее десятилетие ученые провели ряд исследований подобных применений роботов и пришли к некоторым положительным результатам. Исследователи-психиатры на Тайване выяснили, что «терапия с применением роботов может использоваться в стандартных программах, поскольку она обладает способностью повышать социальное благополучие престарелых в учреждениях интернатного типа»[173]. Норвежские планирующие инстанции выяснили, что «Раго, видимо, выступает медиатором усиливающихся социальных взаимодействий, привлекая к ним» престарелых пациентов с деменцией, которым его предоставляли[174]. Люди, осуществляющие уход, могут структурировать взаимодействие с социальными роботами, поощряя самовыражение, заботу о близких и беседы. Эта дополнительность помогает и пациенту, и человеку, заботящемуся о нем.

Профессиональные учебные заведения и медицинские системы должны развивать навыки профессиональных медиаторов между уязвимыми людьми и техническими системами. Специалист по этике Эйми ван Винсберге утверждала, что в применении робота отражается определенное представление о той или иной практике – в данном случае практике ухода. Во многих ситуациях «человеческое прикосновение, зрительный контакт, присутствие человека» – вот что играет ключевую роль в уходе. Если робот способен поддерживать подобные контакты, он может стать положительной частью проекта, ориентированного на ценности[175].

В развитых системах медицинского ухода это уже в полной мере учитывается. В Нидерландах был снят документальный фильм «Алиса заботится» об эксперименте с применением робота-компаньона, который дополняет посещения домашней сиделки. Контакты в итоге были достаточно позитивными. Одна старая женщина показывала роботу фотоальбомы, другая смотрела с ним футбол. Робот может подбадривать, кивать и иногда выражать одобрение или беспокойство. Сиделки дали пожилым людям понять, что робот не будет заменять человеческое общение, что он только подбадривает его. Это и стало условием доверия[176].

Создание доверия является ключевым фактором, учитывая широко распространенные опасения, связанные с применением автономных машин. Согласно опросу «Евробарометра», бо% стран в ЕС запретят роботизированный «уход за детьми, пожилыми людьми и людьми с инвалидностями»[177]. И руководствуются они не просто луддизмом. Развитие автономных роботизированных систем, осуществляющих «уход», может усугубить глубокий социальный разрыв между теми, кому доступен человеческий контакт, и теми, кого отправляют к программам и машинам. Сомнения вызывает то, получают ли они, собственно, в таком случае какой-либо уход. Уход, если противопоставлять его системе внешних форм поведения, которыми он просто изображается, может возникать лишь в контексте взаимоотношений, когда лицо, этот уход осуществляющее, может, по крайней мере теоретически, его прекратить. Именно постоянное подтверждение готовности тратить время и силы на другого человека – вот что делает уход настолько ценным и ограниченным лишь сферой людей как существ, обладающих свободой воли. ИИ и роботы могут помочь с улучшением условий ухода, но саму эту работу они выполнить не в состоянии.

Сохранение человеческого контакта в медицине

О будущем роботов и ИИ в медицине мы можем очень многое узнать благодаря удачам и неудачам другой критически важной технологии, а именно фармацевтики. Ни один разумный доктор не захотел бы вернуться к медицине до появления современных лекарств. Антибиотиками сегодня можно вылечить пневмонию, от которой еще сто лет назад умирали. Однако в случае многих заболеваний спорным остается вопрос о том, какие именно лекарства выписывать, в какой дозировке и на какой срок. С роботами и ИИ похожая ситуация. Некоторые врачи готовы рекомендовать их направо и налево; другие проявляют больше осторожности; и все мы надеемся на то, что более качественный сбор данных позволит объективным наблюдателям отделить надежды от простой шумихи.

Как только мы выходим за пределы простых вопросов безопасности и эффективности автоматики, намечаются более сложные проблемы. Если бы решения о скорости и природе применения ИИ сводились к рыночной логике, дешевые роботы и приложения могли бы быстро стать новыми регуляторами доступа к специальной медицинской помощи или попросту узурпировать роль врачей-людей в работе со многими пациентами. От личного доктора можно было бы отказаться как от роскоши, так же как и от личного портного. С другой стороны, если бы государственные агенты взяли на себя слишком большую роль в управлении автоматизацией, политические соображения могли бы закрепить уже сложившиеся формы неэффективности. Рынок и государство лучше всего уравновешивать тем, что социолог Элиот Фрейдсон назвал «третьей логикой», а именно логикой профессионализма. В профессиях работники со специальными знаниями, предоставляющие наиболее значимые услуги, «имеют возможности организовывать и контролировать свою собственную работу»[178].

Медицина – одна из самых старых профессий, и обоснование ее автономности со временем менялось. Когда медицинское лечение было делом случая, врач считался похожим на прорицателя, которого уважали за некоторое знакомство с неизвестными силами. Благодаря науке медицина стала надежней, тогда как медицинскими комиссиями были разработаны стандарты защиты пациентов от знахарей и шарлатанов. Также были рассмотрены критические вопросы управления рисками медицинских исследований, которые имели гораздо меньшее значение, к примеру, в маркетологических исследованиях. Чтобы решить все эти вопросы, медицине как отдельной профессии приходится использовать свою привилегию (то есть лицензировать или запрещать предоставление ухода и медицинской помощи) ради защиты общества и особенно его наиболее уязвимых слоев.

К несчастью, хитрый маркетинг некоторых приложений психического здоровья способен увести индустрию на совсем другую, не слишком устойчивую траекторию. Потенциальные клиенты могут пользоваться такими приложениями как дешевой и удобной альтернативой посещения терапевта. Это расходится с установкой многих регулирующих ведомств (начиная с бюро лицензирования и заканчивая агентствами по защите прав потребителей), с точки зрения которых приложения – это просто игры, развлечения, информационные сервисы, помощники в здоровом образе жизни, то есть все то, что не затрагивает традиционные обязанности и ответственность терапевтов[179]. Хотя в случае определенных фирм подобный арбитраж силами регулирующих ведомств может работать в качестве краткосрочной юридической стратегии, он подрывает доверие, необходимое для процветания индустрии в целом. Для пациентов также создается риск того, что они последуют некачественным советам. Например, когда исследователи в Австралии изучили 82 мобильных предложения, предлагавшихся на рынке людям, страдающим биполярным расстройством, они обнаружили, что эти приложения «не соответствовали практическим стандартам и принятым принципам самоуправления»[180].

Врачи Адам Сайфу и Виньян Прасад начинают недавно вышедшую книгу шокирующим открытием: «Несмотря на поразительное развитие клинической и хирургической науки, а также геномики, врачи по-прежнему, порой десятилетиями, применяют медицинские практики, которые, как позже было показано, не приносят пользы пациентам»[181]. Прасад сформулировал эту проблему в категориях статистики: «46 % того, что мы [врачи] делаем, неправильно». Конечно, некоторые диагнозы поставить просто, и мы в медицинской системе чаще всего имеем дело именно с ними. Большее количество данных поможет нам находить больше «простых решений» при поиске препаратов и даже автоматизировать его. Но нам еще очень далеко до прочерченной методами ИИ траектории, ведущей к гарантированному снижению смертности и приросту продолжительности жизни.

Собственно, самое важное воздействие ИИ и робототехники на медицину может быть косвенным, то есть определяться развитием за пределами сектора здравоохранения как такового. В последние годы исследователи государственного здравоохранения показали исключительное значение социальных факторов здоровья – питания, режима сна, нагрузки на работе, дохода и богатства. Хотя ИИ может создать больше выгод для всех и потенциально повысить благосостояние за счет своего воздействия во всех этих областях, он с той же легкостью может ускорить нежелательный контроль, социальное разделение и конкуренцию с нулевой суммой. Все эти эффекты могут оказать такое же или даже большее воздействие на продолжительность жизни и благополучие, чем развитие роботов-хирургов или диеты, оптимизированные с применением ИИ.

С точки зрения большинства здоровых людей, врачебное дело представляется простой задачей по распознанию паттернов (диагностики), которое ведет к определенным медицинским процедурам или предписаниям. Идеальный телеврач правильно оценивает все представленные ему данные, настоятельно рекомендует определенный курс, а потом переходит к следующему больному. Если бы все было так просто, роботы со временем и в самом деле могли бы заменить врачей. Но в реальном мире медицинской практики эта картина давно устарела. Во многих обстоятельствах сохраняются неопределенность и сомнения относительно того, какие действия лучше всего предпринять. Современная медицина требует участия – или, по крайней мере, понимания – пациента, который должен соблюдать предложенный план лечения. Такие факторы значительно усложняют и обогащают отношения врача и пациента, в которых существенным оказывается собственно человеческая составляющая. С похожими проблемами, как мы увидим в следующей главе, сталкиваются учителя и учащиеся.

3. За пределами машинного обучения

В 2018 г. в китайских социальных сетях получил распространение хештег #ThankGodIGraduatedAlready (#славабогуЯужеОкончил Школу) вместе с одной пугающей картинкой. На ней были изображены ученики старшего класса с зелеными и красными прямоугольниками, наложенными на лица; в каждом таком прямоугольнике – идентификационный номер и дескриптор, например, «рассеян», «отвечает на вопросы» или «спит». Камера ежедневно и ежесекундно записывала происходящее в классе, создав сотни тысяч фотографий лица каждого из учеников. ИИ сравнивал лица с промаркированными изображениями, исследуя каждое на признаки состояния учащегося. Какие-то сотрудники составили обучающий набор данных с метками, такими как «увлечен» или «отвлечен», «внимателен» или «бездельничает». Когда тысячи учеников оказались под наблюдением, у них не было ни одного момента, когда бы камера их не записывала. В отчетах было подсчитано, сколько времени каждый ученик ежедневно сосредоточен на учебе[182].

Эта система ClassCare, которая должна следить за учениками и мотивировать их, была разработана крупной технологической фирмой Hanwang. Другая фирма, Hikvision, вывела на рынок ИИ, который должен записывать состояние учащихся – довольны они или грустят, злы или удивлены. Также был геймифицирован процесс набора учебных кредитов – на специальных мониторах выводились имена лидеров каждого класса, с которыми ученики могли себя сравнивать. Общешкольное табло поощряло классы бороться друг с другом за лучшее поведение. Любой класс с низким баллом точно знал бы, кто отстает и кто тащит всю группу вниз. Репортер Хуэ Юджие проанализировал эту программу «умного образования» в 2019 г. и отметил, что почти все ученики в сети ее осуждали. Они были просто «раздавлены» и проклинали ИИ вместе с его пристальным оком[183].

Некоторые девочки в школе, за которыми следила система компании Hanwang, жаловались на то, что система распознавания лиц не могла их правильно определить. Если они меняли прическу или макияж, их иногда путали с другими девочками. Школа не раз отправляла их на фотосессии. Другие ученики просто отвергали такие камеры. Один сказал: «Я их все хочу разбить». Даже в стране, привыкшей к массовому надзору, постоянная запись повседневной деятельности вызвала возмущение. Когда Фонд Гейтса помог финансировать когнатную биометрику в США (браслет, измеряющий гальваническую реакцию кожи, которая, считается, показывает увлеченность учащегося процессом обучения), общественная критика заставила фонд отступить. Но неясно, окажет ли широкая критика в Китае то же воздействие. Директор компании Hanwang сказал Хуэ, что основой для разработки системы ClassCare послужил Государственный план развития нового поколения искусственного интеллекта[184].

В то же время в одном из университетов США было смоделировано иное будущее технообразования (edtech). Пройдя курс по искусственному интеллекту в университете Georgia Tech, студенты выяснили, что один из ассистентов преподавателей, им известный лишь по сетевому нику Jill Watson (JW), на самом был деле ботом[185]. Обычно JW задавал студентам вопросы в середине недели и отвечал на их вопросы заранее заготовленными ответами. Предположим, студент просит переписать задание. JW отвечает: «К сожалению, редактировать уже отправленные задания невозможно». JW по почте отвечал быстро, но не слишком быстро, иначе его скорость навела бы студентов на подозрения. На запрос помощи JW обычно отвечал «да» или «хорошо бы» на сетевом форуме. На другие обычные вопросы, о сроках и домашней работе, давались полезные (хотя и несколько легкомысленные) ответы.

Студенты, интервью с которыми было опубликовано в газете, похоже, довольны тем, как применялся JW. Им понравились его корректность и скорость. «Я личных черт в его постах не видел. Но, собственно, их и не ждешь от ассистента преподавателя», – сказал студент, который просил JW помочь ему с домашней работой. Ашок Гоэл, преподаватель компьютерных наук, разработчик JW, заявил, что со временем бот смог ответить на 40 % из примерно 10 тыс. вопросов, которые студенты отправляют за типичный семестр.

Можно ли считать, что это начало конца самой позиции ассистентов преподавателей компьютерных наук или даже самих преподавателей? Гоэл считает, что дело обстоит прямо противоположным образом. Когда на простые вопросы отвечает бот, у ассистентов есть возможность отвечать на более сложные. Фокусируя технологию на рутинных вопросах, Гоэл и его команда ориентируются на гуманистическое ближайшее будущее, в котором программы будут в основном помогать уже имеющимся преподавателям[186].

С другой стороны, каковы бы ни были намерения специалистов по компьютерным наукам, сильные политические и экономические мотивы заставляют такие инновации, как JW, развиваться в другом направлении, в сторону замены учителей и постоянного мониторинга студентов. Джорджия стала одним из многих штатов, в которых после экономического спада сократили финансирование государственного образования. Кризис, вызванный пандемией COVID-19, заставил университеты еще больше сократить расходы и увеличить долю преподавания онлайн. Сильные игроки в образовательной политике, начиная с глобальных фондов и заканчивая верхними эшелонами бюрократии в Вашингтоне или Брюсселе, также ставят перед собой задачу сокращения расходов. Вместо того чтобы поднять налоги для расширения уже существующих университетов, в Калифорнии в 2016 г. была внедрена плохо продуманная система сетевых курсов, которые должны были компенсировать нехватку курсов в колледжах[187]. ИИ (который занят обучением) и роботы (занятые мониторингом тестов) – вероятный следующий шаг, особенно если учесть то, что на таких курсах нужен мониторинг студентов, чтобы они не жульничали и не отвлекались.

В США передовые технологии наблюдения уже задействованы в отслеживании движения глаз и пальцев студентов на сетевых занятиях и сетевом тестировании. В Университете Содружества Виргинии студентов поощряли использовать сканы сетчатки вместо кредитных карт и для оплаты еды в столовой. По мере роста накопленных данных предприниматели надеются начать отслеживать движение студентов и многое другое, чтобы еще лучше соотносить определенные паттерны жизни с желаемыми результатами. Другими словами, машина непрестанного наблюдения, разработанная компанией Hikvision, – это не странное отклонение, представляющее «технологию ябедничества». Скорее она, возможно, предрекает будущее образования в эпоху все более конформистского ИИ.

Грубо говоря, нам надо решить, чего именно мы хотим: инвестировать в образовательный ИИ, который постоянно измеряет и оценивает учащихся, или сосредоточить наши усилия на продуктах, повышающих уровень образования, создавая креативную и способствующую обучению среду. Проблемой, которую следует действительно решать, является ограниченность способности учителя отвечать на вопросы и давать советы; но его небезграничная способность наблюдать и оценивать каждый момент жизни учащегося является, скорее, благословением, ценным аспектом человеческого образования, который необходимо сохранить и в более технологичном будущем. К сожалению, менедже-риальный подход колонизировал значительную часть технообразования, что привело к выпячиванию количественных измерений. Цели образования разнообразны: многие из них нельзя, да и не нужно сводить к количественным оценкам. Если мы позволим ИИ перевести наше внимание с актуального обучения на то, что компьютеры умеют лучше всего измерять и оптимизировать, то упустим крайне важную возможность. Хуже того, мы позволим технологии узурпировать наши ценности и в конечном счете диктовать их, вместо того чтобы служить нам инструментом, помогающим их достигать. В этой главе исследуются позитивные применения ИИ и роботов в образовании, причем упор делается на то, как легко они могут скатиться к жестоким формам социального контроля.

Разнообразие целей образования

Траектория развития образовательной робототехники будет определяться проблемами, которые мы пытаемся решить. Роботы и ИИ – это инструменты, а не самодостаточные цели. Как отметил исследователь Нейл Селвин, споры об объеме и интенсивности автоматизации классов обычно являются «удобным заместителем более пространных дискуссий о природе, форме и функции образования в XXI в.»[188]. Действительно, целями образования могут быть все пункты следующего списка, однако разработчики в области технообразования не преследуют все их в равной степени:

1. Обучение вербальным и математическим/логическим/количественным навыкам и фундаментальные познания в истории, социологии, искусстве, науке и других областях.

2. Подготовка к специальности или карьере путем тренировки навыков или к профессии путем приобретения фундаментальных знаний и критического суждения.

3. Конкуренция за лучшие возможности в обучении и найме.

4. Обучение социальным навыкам и эмоциональному интеллекту.

5. Подготовка к гражданской роли, в том числе к участию в гражданском обществе[189].

Но, с точки зрения менеджеров-технократов, как только цели заданы, следующий шаг – это измерить их достижение путем количественного тестирования или какой-либо иной оценки результатов. Рассмотрим второй тип целей, а именно подготовку к трудовой деятельности. Социологи могут провести всевозможные исследования, в которых определят, какие учебные заведения лучше всего готовят учащихся к работе или поступлению в колледж. Возможность найма и заработки можно измерить, также существуют грубые оценки удовлетворенности работой. В результате появились различные рейтинги колледжей, основанные на определенном комплексе факторов. В некоторых указывались колледжи, не отличающиеся высоким качеством образования. В более серьезных программах изучаются публикации и исследовательские профили членов преподавательского состава. Экономические оценки строятся на соотношении стоимости обучения для студентов и их будущих заработках[190]. Их базовая логика безошибочна: студентам необходимо выбрать программы, которые коррелируют с максимальным приростом потенциального заработка, дисконтируемым по стоимости такого образования.

Этот строго инструментальный взгляд отличается прямолинейностью, а потому в экономическом смысле он весьма привлекателен, особенно если вы рассматриваете рабочую силу в качестве товара, аналогичного соевым бобам или углю, то есть в качестве фактора производства, который в идеальном случае постепенно дешевеет. Так же как прогресс в горном деле может привести к удешевлению угля, технообразование, получается, способно заменить дорогостоящих учителей и преподавателей, чтобы рабочую силу было дешевле готовить, а потому и нанимать. Конечно, сторонники количественных измерений изображают свои намерения в несколько ином свете, заявляя, что они учат студентов тем навыкам, которые действительно нужны им для преуспевания[191]. Однако, когда успех определяется довольно узко – как доход и возможность найма, фокусировка на результатах ведет к радикально иным методам преподавания, начиная с виртуальных кибершкол и заканчивая лекциями на YouTube. Сторонники технологий рассуждают, что, если мы можем договориться о правильных вопросах тестов (для начального и среднего образования), а также о количественных показателях успешности выпускников вузов (для высшего образования), подойдет любой новый метод обучения, если студенты, которые учатся по нему, показывают такие же или даже лучшие результаты, чем аналогичные студенты, обучаемые людьми.

Методы искусственного интеллекта вполне соответствуют неолиберальной идее «учиться ради заработка», поскольку машинное обучение лучше всего умеет оптимизировать определенные количественные величины (такие как доход), основываясь на манипуляции тысячами других переменных. Однако подобная фокусировка на количественных измерениях не работает в области более мягких, то есть контекстуальных навыков, привычек, ценностей и установок. Как составить лучший тест социальных навыков? Где найти многовариантный тест хорошего гражданина, демократического участия или политической мудрости? В определенной мере традиционные методы обучения должны быть неотъемлемой частью критически важных целей образования, то есть самого образования. Если мы считаем, что определенная деятельность является неотъемлемой частью той или иной практики, это значит, что такая практика (в данном случае образование) не может существовать без подобного вида деятельности (то есть взаимодействия учащихся и учителей)[192]. Какими бы привлекательными нам ни представлялись будущие наладонные сканирующие устройства, которые смогут диагностировать любое физическое заболевание (и даже лечить некоторые из них), трудно восхищаться обучающим роботом, которым пытаются заменить общение с учителями-людьми. Существуют жизненно важные социальные и межличностные навыки, которыми дети (и даже взрослые учащиеся) должны овладеть, чтобы стать успешными работниками и гражданами.

Например, на рабочем месте обычно требуется общаться с коллегами и начальником. Упражнения в классе могут предполагать подобное общение. В одних случаях учащийся может ощущать уверенность в себе и считать себя компетентным; в других для того, чтобы попробовать что-то новое, нужна определенная смелость. В той мере, в какой работа требует определенного взаимодействия людей друг с другом, трудно понять, как все это может быть симулировано технологией.

Ангажирование – не та проблема, которая поддается простому решению. Однажды я спросил выдающегося инженера Google о его опыте сетевого образования. Он сказал, что движение, определившее моду на массовые открытые онлайн-курсы, позволило предоставлять учащимся отличную информацию, однако оно застопорилось, когда возник вопрос мотивации (это наблюдение подтверждалось высоким показателем отсева учеников на таких курсах). Учитывая проблемы машинной манипуляции и нарушения конфиденциальности, вероятно, преподавателям вообще не стоит стремиться к разработке машин, превосходящих людей в способностях мотивировать учащихся. Этот аргумент еще больше относится к демократическому гражданству; ядром сотрудничества в гражданских проектах является проблема человеческих отношений[193].

Энтузиасты технообразования, желающие заменить преподавателей программами, легко забывают об одной из наиболее важных ролей университета в современном обществе – он должен проводить незаинтересованный анализ различных предметов, таких как философия, история, искусство или компьютерные науки. Между серьезным исследованием и качественным образованием всегда возникает синергия, которая позволяет передовым мыслителям понимать историю своей области и передавать эти знания студентам. Если традиционное единство преподавания и исследований развалится, это может порвать связи между созданием знаний и их распространением как секторами университетской деятельности. Для развития истинно увлеченных научных исследований нам нужны исследователи, которые обязаны объяснять значение своей работы студентам и широкой публике, а также некоторая критическая масса преподавательского состава, который делает вклад и в научные знания, а не только передает их студентам.

Простая неолиберальная позиция

История образовательной политики отмечена постоянным конфликтом между традиционалистскими, профессиональными и открытыми или экспериментальными концепциями обучения. С точки зрения традиционалистов, первичная цель образования – познакомить новые поколения с общей (пусть и развивающейся) сокровищницей «лучшего, что было обдумано и сказано»[194]. Прагматические модернизаторы боролись с традиционалистами, делая упор на профессиональной потребности в таком обучении студентов, которое готовило бы к рабочему месту. Бихевиористы поддерживали эту линию практичности, предложив методы зубрежки, благодаря которым учащиеся должны быстро овладевать знаниями. Экспериментаторы выступали против такого подхода. Они говорили, что, учитывая значительную скорость социальных изменений, было бы неразумно делать ставку на какое-то одно знание, которое может преподаваться как традиционными методами, так и путем компьютерной зубрежки в высокотехнологичных классах. Вместо этого надо учить тому, как, собственно, учиться, то есть ключевому навыку, необходимому студентам. Также экспериментаторы признавали значение локальных вариаций в приоритетах и направлениях.

К сожалению, вертикальные «показатели успеваемости» утвердились сегодня среди неолиберальной элиты, принимающей решения. В их понимании образования как «подготовки рабочих кадров» профессиональные идеи сочетаются с бихевиористскими. Такой подход при поддержке ИИ может стать еще более точным и манипулятивным. Один из способов спроектировать идеальную систему образования-вести отсчет от требований работодателей, которые впоследствии будут нанимать студентов. Каждый год свободным остается определенное число рабочих мест в искусстве, дизайне, программировании, менеджменте и десятках других категорий. Выпускники образовательных программ либо находят позиции, либо страдают от безработицы. С этой точки зрения образовательная политика представляет собой всего лишь проблему согласования. Если рабочие места для программистов не заполняются, деканы должны заставить больше студентов специализироваться на информатике или устраивать «учебные лагеря по программированию», где навыкам кодирования могут после выпуска учиться студенты, специализировавшиеся в области английской литературы. В будущем профилирование интеллекта и психометрия позволят сопоставлять людей с позициями, которые более всего соответствуют их навыкам и склонностям. Рекрутеры – искусственные интеллекты уже оценивают людей, подавших заявки, на соответствие «духу фирмы», тогда как резюме сортируются алгоритмическими системами. Под влиянием подобных практик автоматизированного найма учебные заведения могут перестраивать свои курсы и свою деятельность, чтобы давать студентам те навыки и установки, которые более всего соответствуют рабочим местам там, где они понадобятся.

В той мере, в какой руководители индустрий хотят, чтобы работников в будущем понукали роботы или алгоритмы, их, конечно, вполне логично загонять в школы с механическими учебными планами и с хорошо контролируемыми преподавателями, что ведет к роботизации самого преподавательского состава. Эта перспектива может показаться мрачной, но, если судить по словам некоторых непримиримых критиков ведущих образовательных систем, это стало бы лишь естественным завершением худших аспектов развития образования. Например, Никил Гойал утверждал, что стандартизация закрепилась еще в начале XX в., когда фабричный труд и монотонные офисные задачи стали шаблоном для стандартизации учебных классов[195].

Эксперт по образованию Одри Уоттерс исследовала, как бихевиористские парадигмы образования определили «нарратив Кремниевой долины», представляющий распространенную там точку зрения на высшее образование[196]. Она раскопала удивительные документы и проекты начала XX в. Первые американские патенты на «обучающие машины» были выданы более ста лет назад. Сидни Пресси, психолог из государственного университета Огайо, стал известным благодаря разработке в 1924 г. «автоматического учителя»[197]. «Тестирующая машина» Пресси заставляет студентов выбирать один из пяти вариантов, а потом тут же дает реакцию, показывающую, правильно ответил студент или нет (индикатором сзади, который фиксировал число

правильных ответов)[198]. Каждое нажатие кнопки (или ответ) передвигает лист трафаретной бумаги, чтобы перейти к следующему вопросу. В этой машине многовариантные тесты были реализованы по модели Тэйлора, что позволяло освободить учителя от необходимости проверять каждую работу отдельно.

Гарвардский психолог Б. Ф. Скиннер развил бихевиористскую модель машины Пресси. Скиннер прославился развитием психологических моделей таких первопроходцев психологии, как Павлов. Знаменитая собака Павлова училась ассоциировать звук звонка с кормлением, а потому выделяла слюну (и, вероятно, радостно предвкушала еду), когда хозяин звонил в звонок. Скиннер полагал, что тот же механизм стимула и вознаграждения управляет и человеческим поведением. К середине XX в. он убедился в том, что «учитель как простой механизм подкрепления устарел, и это бесспорно»[199]. При работе с его «обучающей машиной» студенты должны были нажимать рычаги, чтобы вводить ответы. В машине зажигалась лампочка, когда регистрировался правильный ответ. Некоторые версии обучающих машин даже выдавали студенту за правильный ответ конфету[200].

Грубость механистического представления Скиннера о процессе обучения у нас может вызвать смех. Тем не менее подобные простые механизмы оказали огромное влияние в несколько иных условиях. Тестирование новостной ленты, поисковые результаты, различные другие аспекты сетевой жизни – все это в конечном счете подчинено бихевиористским моделям. Мало кто в компаниях Facebook или Google интересуется тем, почему вы кликаете определенную рекламу; их цель состоит в том, чтобы вы это сделали, и основываются они на тысячах экспериментов и автоматизированных наблюдений. В этом они идут по пути разработчиков игральных автоматов, которые внимательно изучали то, как вращающиеся барабаны и картинки завлекают игроков, заставляя их тратить все больше и больше «времени на машине»[201]. Геймификация может руководствоваться соображениями не столько развлечения, сколько прибыли[202]. Специалисты по пользовательскому опыту признают то, что поиск механизмов «залипания» – общий принцип интернет-разработок[203]. И его легко применить к роботам, поскольку у людей более интимная связь с движущимися, похожими на живых объектами, чем со стационарными компьютерами[204].

Автоматизация образования

Дети, мозг которых только развивается, удивительно адаптивны. Учитывая возможность повсеместного распространения ИИ в будущем, следует ли знакомить детей с ним в самом нежном возрасте? И если да, то как? Сможет ли ИИ когда-нибудь заменить человеческое участие и внимание?

Исследователи из Токийского университета, пытавшиеся ответить на эти и другие вопросы, испытали Саю, удаленного управляемого гуманоидного робота-учителя, который работал в начальной школе и в университете[205]. Сая построена так, что у нее есть анимированное лицо, которое выражает эмоциональные реакции на ответы и поведение студентов. У робота было по меньшей мере семь выражений лица (включая грусть, злость и счастье). Девятнадцать частей лица робота могли двигаться, в частности поднимать брови и щеки, опускать уголки губ и сморщивать нос[206]. Исследователи скоординировали содержание инструкций Саи с выражением ее лица. Например, правильный ответ приветствовался улыбкой; приказу «тихо!» соответствовало выражение недовольства, которым следовало усмирять болтливых и рассеянных учеников.

Исследователи Токийского университета испытали Саю лишь в немногих классах, поэтому сделать общие выводы на основе их результатов сложно. Однако они выявили существенные различия в отношении к роботу между учениками начальной школы и студентами университета. Школьникам было легко увлечься, им было веселее в классе, и они говорили о большем желании изучать науки[207]. Студенты, напротив, высказывались сдержаннее.

Относительная сдержанность студентов предполагает по меньшей мере две интерпретации. Возможно, они считали, что инструктор, управляющий Саей, просто связывается через нее, используя телеприсутствие для того, чтобы снять с себя бремя реального присутствия в классе. После десятилетия общения с преподавателями-людьми топорная мимика и вокализация Саи, возможно, показалась им подделкой. Кроме того, лицо Саи могло оказаться в зоне «зловещей долины». Роботы относятся к одной категории, человек – к другой. Когда же роботы приближаются к облику человека, но все же не сливаются с ним, возникает почти что инстинктивное отвращение.

Можно задаться вопросом, сохранится ли эффект «зловещей долины», если дети с самого раннего возраста будут иметь дело с роботами-учителями или даже роботами-няньками. Вопрос внедрения роботов в образовании не сводится к документированию и настройке актуальных предпочтений людей. Скорее, для него требуется практика формирования будущих тенденций, в которой как можно более раннее знакомство детей с учителями-людьми или роботами выводит их на траекторию формирования подобных предпочтений и на более поздних этапах, даже когда они станут работниками или потребителями. Этот эффект психологического приучения – одна из причин, по которым многие фирмы стремятся разработать образовательную технологию: чем моложе ученик, тем более он податлив и восприимчив, тем с большей вероятностью он будет считать определенные интерфейсы и рекламу «естественным» способом взаимодействия с миром.

Эксперимент с Саей может показаться не слишком впечатляющим. Учитель-робот не был автономным; в определенных отношениях это была всего лишь кукла, которой управлял инструктор-человек. Она провела «занятия» лишь в нескольких классах[208]. Но прогресс в области программирования эмоций мог бы повысить подвижность и восприимчивость роботов, сделав их более эффективными передатчиками знаний или помощниками в обучении. Исследователь образования Нил Селвин назвал свою недавнюю книгу «Должны ли роботы заменить учителей?». Хотя Селвин оценивает широкое распространение учителей-роботов скептически, он выделяет некоторые конкретные примеры, в которых что-то может оказаться лучше, чем ничего, то есть в тех случаях, когда учителя-люди недоступны, может пригодиться образовательная технология[209].

Можно ли представить революцию в начальном образовании, учитывая критическое количество родителей, которые хотят оставить детей дома, чтобы их учил робот-учитель? Это радикальное представление о переменах сталкивается с определенными трудностями, стоит только представить, как оно могло бы осуществиться на практике. В значительной доле семей с детьми школьного возраста работают оба родителя[210]. Но школа – это не только место для обучения, это еще и организация, занятая уходом за детьми, то есть услугой, которая постоянно дорожает. Поэтому роботизация начального образования не обязательно будет означать экономию, раз ученики останутся дома и будут выполнять задания в сети. Скорее, она может привести к переносу ресурсов от одной группы (учителей) к другой (нянькам). Интегрирование «модуля няньки» в образовательных роботах может стать еще одним вариантом, но он создает собственные этические дилеммы[211].

Последовательные футуристы готовы отстаивать роботизированный уход за детьми как дополнение к учителям-роботам. В будущем третьеклассник, возможно, будет получать завтрак от какого-то аналога робота Рози из мультипликационного сериала «Джетсоны», потом его на музыкальные или спортивные мероприятия отвезет беспилотный автомобиль, а в школе он будет рад урокам учителя-робота. Но все это пока дело далекого будущего, которое, возможно, никогда и не сбудется, если учитывать недоверие родителей к постоянной технологизации детства.

Но должны ли родители приветствовать подобный технологический прогресс? Учитывая очевидную уязвимость детей, на этот вопрос, вероятно, надо ответить отрицательно. Если роботы начинают играть роли, которые традиционно исполняли люди, взрослые могут это тут же распознать. Когда же ученики не могут распознать роботизированную сущность учителя, они не просто начинают верить хитрой человекоподобной машине. Скорее, робот в таком случае попросту обманывает детей, заставляя их поверить в то, что внимание им уделяет взрослый[212]. И опасность здесь не только в обмане детей, но и в тонкой идеологической обработке, приучении к тому, что данное и сделанное, человек и машины в каком-то глубинном смысле не различаются, а потому и могут заменять друг друга[213].

Главный вопрос в том, как сбалансировать здоровый энтузиазм или даже любовь к роботам с трезвым пониманием их инаковости[214]. Робот способен наблюдать поведение в своей среде и формулировать реакции на это поведение, однако в своем опыте такое поведение он не может воспринимать в качестве источника смыслов или мотивов так, как на это способны люди. При этом в действиях такого робота всегда будет сохраняться след манипуляций, как бы сильно инженеры ни старались избежать этой проблемы, ведь робот программируется с какими-то определенными, заранее заданными целями. Человек общается с другими людьми как автономными субъектами (со всеми их привилегиями и способностью к добру или злу, к заботе и небрежению, которые вытекают из такого статуса). Тогда как машина, даже запрограммированная на определенные степени свободы, никогда не обладает автономией действующего субъекта, хотя бы потому, что наш опыт агентности укоренен в совершенно иной телесности организмов углеродных и биологических, а не кремниевых и механических[215].

Учеников следует с самого раннего возраста учить тому, что они важнее окружающих их роботов, что эти программируемые инструменты служат им и им полезны. Они должны уважать роботов как свою или чужую собственность, но не следует поощрять их, если они называют их своими друзьями. Роботов и ИИ надо рассматривать в качестве части цифровой среды, которую надо сохранять и «одомашнивать», но без того уважения и любви, с которыми мы относимся к фауне и флоре естественной среды. Эта естественная среда является основанием самого нашего бытия, тогда как роботы и ИИ – это просто инструменты.

От этой фундаментальной реальности нас не должны отвлекать голливудские изображения роботов (которых так часто играют люди), которые эмоционально требуют признания, любви и уважения. Конечно неуважение к гуманоидным роботам или злоупотребление ими вызывает тревогу, поскольку такое поведение может стать источником общей черствости[216]. Однако из такой озабоченности не следует необходимость антропоморфизировать роботизированные системы. Скорее, она требует чрезвычайной осмотрительности в случае внедрения гуманоидных роботов в новых средах, особенно в таких уязвимых группах населения, как дети и пожилые люди.

На кого работает ваш учитель-робот?

Что является мотивом компаний, стоящих за наиболее важными технологиями образования? И почему мы должны доверять им в том, что они сделают программы или роботов, которые будут отражать наши ценности? Тревожных сигналов уже довольно много. Гигант технообразования – компания Pearson провела эксперимент на тысячах ничего не подозревающих студентах колледжей, внушая им установку на «профессиональный рост» посредством своей коммерческой обучающей программы. Компания обнаружила небольшое повышение мотивации, и, возможно, этот результат может оказаться полезным для будущих проектировщиков программ. Однако колледжи заключали контракт на обучающую программу, а не на исследование с участием подопытных людей[217]. Какие еще сообщения могут просачиваться во время контакта студента с компьютером? Администраторам на всех уровнях образования нужно проявлять больше осмотрительности при заключении контрактов с технообразовательными фирмами. Им нужно требовать контроля данных и обязательного оповещения в случае изменения программ. Без таких предосторожностей этические стандарты работников образования будут сметены грубым принципом «сгодится все, что работает», отстаиваемым технологическими фирмами[218].

Эксперимент компании Pearson достаточно обычен для мира технических фирм, которые не отличаются особой щепетильностью и не обращают внимание на уже действующие законы о защите детей. Критикуя экосистему Google, активисты обвиняли YouTube и операционную систему Android в недобросовестном таргетировании детской рекламы и в слежке за детьми[219]. YouTube, фактически ставший почасовой няней для детей задерганных родителей, не справился со своей функцией, поскольку там размещались странные и смущающие детей видео, некоторые из которых представляли собой автоматические ремиксы мультипликационных персонажей, мучавших или издевавшихся друг над другом[220]. Впоследствии YouTube ответил на общественное возмущение, пообещав, что за приложениями, ориентированными на детскую аудиторию, будут следить люди, а не алгоритмы[221]. Это отступление от принципа полной автоматизации – урок и для работников сферы образования; когда речь идет о детях, в создании контента невозможно полагаться на этический принцип «сгодится все, что привлекает внимание», как бы просто ни измерялось такое вовлечение на основе просмотров.

Образовательным системам также нужно проявлять осторожность при применении технологии в качестве тотальной системы мониторинга. Благонамеренные администраторы снабжают школьников трекерами Fitbit, считающими шаги, и ноутбуками, которые отслеживают движения глаз и подсчитывают секунды, потраченные на каждую задачу и каждый экран. Ставки такого сбора данных весьма велики. Программирование эмоций стремится зафиксировать значение наморщенного лба, приподнятых бровей, улыбок и других ярких признаков внезапно пришедшей идеи или замешательства. Успешные коммерческие фирмы составили базу данных эмоций, связанных с миллионами выражений лиц. Но любой человек, знающий, что, чтобы чувствовать себя лучше, надо «больше улыбаться», в состоянии понять проблемы, порождаемые системой, которая постоянно опознает и записывает внешние признаки эмоциональных состояний.

Можно представить себе, что при наличии достаточных инвестиций и времени мы получим в будущем среду обучения, в которой будут как практически безграничные задания на заучивание, генерируемые ИИ, так и более креативные задачи. Также учителя-роботы всегда будут готовы провести коррекционный урок для исправления ошибок. Однако в этой же перспективе присутствуют скрытые возможности для манипуляций, возникающие благодаря сбору огромного количества данных о детях. Иногда определенные вмешательства нужны; например, Facebook может алгоритмически выявлять посты подростков с суицидальными намерениями и сообщать о них организациям, занимающимся специальной помощью[222]. Но похожие возможности он продавал и рекламодателям, помогая им выявлять детей, которые считают себя «неуверенными» или «никчемными»[223]. Должна быть определенная граница между попытками помочь и научить и тем подозрительным сбором данных и стигматизирующих характеристик, который разрушает доверие. У учеников и родителей всегда должно быть право отказаться от программирования эмоций.

В настоящее время у нас нет ни малейшего представления о том, как фирмы, разрабатывающие образовательные программы и роботов, собирают, анализируют и применяют данные. Способность современных программ машинного обучения записывать все, что говорит ребенок, и все больше персонализировать ответы, провоцируя его смех или озабоченность, вызывая в нем чувство любви или вины, является совершенно новым компонентом в мониторинге учащихся, который если и надо применять на практике, то крайне осторожно. Прежде чем такие образовательные роботы будут внедряться в массовом порядке, следует ответить на базовые вопросы об их возможностях и целях.

Минусы постоянного внимания

Обычно целью мониторинга являются непосредственные и конкретные выгоды, связанные с долгосрочными и менее определенными опасностями[224]. Роботы в школе, как и другие образовательные технологии, обещают уроки с высоким уровнем персонализации. Также аналитика больших данных могла бы значительно сократить издержки. Фирма может предоставлять образовательных роботов учебным заведениям даром, ставя себе долгосрочную цель собрать данные об учащихся и помочь маркетологам и другим специалистам понять их. Критическое значение имеют условия монетизации. Используются ли данные исключительно в контексте образования, в качестве помощи при обучении? Или они могут послужить для составления цифровых досье, в которых учащихся стигматизируют, о чем они сами не знают?

Социолог Эрвин Гоффман ввел понятие «закулисных» пространств, где можно исследовать альтернативные позиции и формы поведения вне поля зрения других[225]. Плохо регулируемые роботизированные системы могут привести к тому, что каждый момент в школе окажется в «зоне переднего плана», как на сцене. Программируются ли образовательные роботы так, чтобы записывать каждый момент, когда в пределах их досягаемости находится ребенок? Оповещают ли они детей или тех, кто рядом с ними, о том, что ведут запись?[226]Многие объединения потребителей жаловались на то, что игрушечные роботы следят за играющими с ними детьми. Если судить по одной петиции, поданной в Федеральную торговую комиссию США, «эти игрушки в силу своего устройства целенаправленно записывают и собирают личные разговоры детей, никак не ограничивая сбор, применение или публикацию этой личной информации»[227]. Как и многие другие условия предоставления услуг, те, что определяют взаимодействие

робота с детьми, практически не включают никаких защитных мер. Ими даже подразумевалось, что у компании есть «право изменять эти условия предоставления услуг в случае, если она сочтет это необходимым». Другими словами, все те защитные меры, которые сейчас есть, завтра могут быть отменены одним из «четырех всадников безответственности», о которых было сказано во второй главе[228].

Серьезным бизнесом стали биометрические голосовые отпечатки, используемые, в частности, для аутентификации[229]. Защитники прав потребителей обеспокоены тем, что данные о голосах не защищены и что они могут быть взломаны любыми преступниками. Еще большая опасность может возникнуть в обработке и применении данных, учитывая все чаще предъявляемое школам и государствам требование определять «проблемных детей» в самом нежном возрасте. Согласно одному недавнему исследованию, на 20 % граждан приходится 81 % уголовных приговоров, 78 % предписаний и 66 % пособий, причем вхождение в эту группу «можно определить уже в трехлетием возрасте благодаря исследованию здоровья мозга»[230]. Что, если определенная тональность голоса или паттерны общения могут послужить такими же показателями будущих поведенческих проблем? У кого есть доступ к таким данным? И как они могут применять их?[231]

Существуют веские аргументы в пользу ограничения любого сбора данных в образовательных учреждениях самими этими учреждениями (исключая случаи прямой опасности, в частности насилия или его возможности). Именно таковы основания калифорнийского закона о «сетевом стирании», который дает возможность детям удалить данные о своей деятельности в социальных сетях до 18 лет. В Генеральном регламенте ЕС о защите персональных данных такие «права на стирание» распространены на многие другие ситуации. Со временем они должны стать глобальным золотым стандартом прав учащихся, на которых воздействуют образовательные технологии. Как без такой защиты можно доверять аппарату сбора данных, который во многих случаях уже продемонстрировал свою опасность?[232]

Конечно, отдельные семьи могут попытаться избежать слежки и оценки, если у них достаточно ресурсов, и поискать школы с иным подходом. Так, многие родители из Кремниевой долине отправляют своих детей в низкотехнологичные школы в другие части страны. Однако способность отдельного человека сопротивляться системе и покидать ее легко переоценить. Как только будет контролироваться и отслеживаться критическая масса студентов, те, кто захотят выйти из системы, будут выглядеть подозрительно. Может быть, им есть что скрывать?[233] Школьные оценки стали практически универсальным дисциплинарным механизмом; вскоре может быть разработан «общий поведенческий показатель», оценивающий студентов по параметрам дружественности, внимательности и многого другого.

Исправление образовательно-технологического контроля или отказ от него

Сопротивление подобному контролю обычно принимает две формы – либо реформы, либо революции, то есть либо модификации, либо полного отрицания. Некоторые хотят усовершенствовать машины, применяемые в образовании, другие – просто отказаться от них. Хотя обе стороны едины в своем интересе к актуальным вопросам, между ними есть глубинное противоречие. Исправление образовательных технологий контроля означает то, что им нужно предоставить еще больше данных, уделить еще больше внимания, затратить еще больше человеческого труда, необходимого для настройки их алгоритмического ядра. Покончить с ними – значит переориентировать образовательную реформу на модели, больше завязанные на человека. Чтобы решить, какой путь выбрать, требуется более глубокое исследование обоих этих проектов.

Никто не хочет, что компьютер распределял заслуги и штрафы среди учеников и учителей случайным образом. Некоторые девочки, чьи профили были составлены китайской системой ClassCare, о которой мы упоминали в начале этой главы, жаловались на то, что их путали с другими, особенно когда они меняли прическу. Техническое решение этой проблемы выглядит простым, хотя и неприятным: надо вводить все больше изображений учеников в массив данных, чтобы можно было распознавать их характерные движения или отличительные черты, не связанные с лицом.

Даже когда всех учеников определяют правильно, исследователи ставят сложные вопросы о корреляции выражений лица и внутренних состояний сознания. Например, одна группа исследователей-психологов показала, что выражения лица не обязательно точно соотносятся с определенными эмоциями, не говоря уже о таких более общих ментальных состояниях, используемых в оценках, как «внимательность» или «отвлеченность». Поскольку «проявления эмоций одной и той же категории не всегда выражаются одним и тем же образом и не всегда опознаются по мимике», коммуникативные способности лица ограниченны. Кроме того, даже когда у нас есть больше данных, мы всегда должны 53 помнить о вариативности контекста и культуры[234]. О чем именно говорят блуждающие глаза – о фантазировании или глубоком погружении в мысли о решаемой в настоящий момент проблеме? Людям может быть сложно определить это, но их собственные колебания встраиваются в данные, формирующие суждения машины об этом предмете[235].

Исследователи программирования эмоций, которых все это не пугает, могут ответить двояко: направить еще больше ресурсов на тонкую настройку различения эмоций или, наоборот, полностью от него отказаться. Первый подход заставит искать данные с еще большим рвением, включить нестандартные источники данных, такие как постоянный мониторинг самого себя и ответ об эмоциональных состояниях испытуемых. Исследователи платформы mTurk компании Amazon провели более сложное и инвазивное исследование, которое стоило сущие копейки из расчета на HIT (human intelligence task, задачу для человеческого интеллекта). Но правда ли человеческое сердце настолько прозрачно? Как вообще можно считать, что отчеты субъектов о своих эмоциональных состояниях являются точными, не говоря уже о том, как их можно экстраполировать на людей с похожими выражениями лиц или похожим поведением? Если участникам эксперимента не платят, они, возможно, попросту стремятся разделаться с заданием как можно быстрее. Если же им платят, отчеты о себе могут не слишком отличаться от рутинного заполнения «капчи», когда торопливые сдельные работники больше стремятся отчитаться так же, как и остальные, чем найти некую «фундаментальную истину» в том, что они видят.

Второй «ответ» на недовольство точностью распознавания эмоций и внимания состоит в том, что без такого распознавания можно и обойтись. Школа может нацелиться на культивацию выражений и поведения, которая лучше всего коррелирует с тем, что в конечном счете должно быть произведено. В самой грубой версии такого подхода выявленные выражения и поведение следовало бы соотнести с баллами за тесты, что позволяет составить базу данных внешнего поведения, которое соотносится с наилучшими результатами. Администраторы тогда могли бы сообщать родителям, насколько близки их дети к поведению, которое, как выяснилось, в прошлом коррелировало с высокими баллами.

В высшем образовании целевым показателем можно сделать начальные заработки или премии за ученую степень (то есть надо считать, насколько заработок данных выпускников превышает заработки других людей того же возраста).

Подобный сугубо бихевиористский подход, отвлеченный от любой озабоченности тем, что происходит в голове у студентов, порождает немало проблем. «Датификация» эмоций в образовании кажется по-настоящему зловещей, когда предполагает предписание состояний и установок[236]. Но, по крайней мере, она дает учащимся определенное представление о том, к какой аффективной жизни они должны, по мнению властей, стремиться. Чисто бихевиористская модель отказывается даже от этой минимальной ясности, заставляя своих подопытных попросту обезьянничать.

Здесь можно задуматься о том, стоит ли вообще игра свеч. Каждому необходимо определенное «закулисное», то есть неподконтрольное время (или, по крайнее мере, то, что контролируется в меньшей степени, чем в случае со студентами, за которыми пристально следили камеры ClassCare или роботы-учителя). Программы оценки внимания и эмоций склоняют к избыточной самоинструментализации. Нам всем необходимо искать баланс в том, как мы выражаем или сглаживаем, развиваем или подавляем собственные эмоциональные реакции. Это воспитание чувств в юности может быть тяжелой задачей. Существует тонкое равновесие между тем, что Ханна Арендт называет «защитой ребенка» и «защитой мира»[237].

Чтобы дети могли лучше адаптироваться в мире, в который они позже вступят, школы должны формировать своих учеников, но в идеальном случае лишь в определенной мере. Когда контроль становится тотальным и особенно когда он навязывается неразумно и механистически, нагрузка на психику может оказаться слишком большой. Когда каждый акт сопротивления или ослабления внимания может наказываться, спонтанность умирает. И тогда учащиеся могут попытаться инструментализировать практически все свои реакции, так что никакого зазора между их собственными желаниями или реакциями и желаниями и реакциями, которых от них все больше требуют власти, оснащенные компьютерами, просто не останется. Каковы бы ни были преимущества социальной гармонии и согласия, подобный ледяной порядок – не что иное, как оскорбление свободы и подавление способности выносить самостоятельные суждения.

Положительные варианты применения роботов-помощников

Если регулирующие ведомства смогут усмирить всепожирающий аппетит надзирательного капитализма к данным и контролю, помощь роботов и правда может сыграть позитивную роль во многих классах. Критически важно изменить формат и перейти от учащихся, которых контролирует технология, к учащимся, которые сами ее контролируют и играют с ней.

Вместо того чтобы перегонять студентов из одной цифровой среды в другую, преподаватели, способные их вдохновить, показывают им, как влиять мир никак ему не навредил. Но и мир нуждается в защите, чтобы не пострадать и не перевернуться под натиском нового, обрушивающегося на него с каждым новым поколением». на такие среды и даже как их создавать. Сеймур Пейперт, выдающийся исследователь образования из MIT, предложил одну из первых версий участия такого типа еще в 1970-х гг. Он разработал программы, помогающие студентам самостоятельно обучаться написанию программ. Для людей с хорошими пространственными способностями роботы Пейперта могут быть настоящим подарком, помогающим на довольно раннем этапе понять силу компьютерных языков, позволяющих общаться с механическим миром и заставлять его делать те или иные вещи[238].

Но зачастую детей начинают приучать к бихевиористской модели образования слишком рано, а потому школу они воспринимают в качестве пространства бюрократического контроля[239]. Счастливцам удается получить более разнообразную когнитивную диету и полные возможности исследовать навыки, которые им нравится культивировать, – речевые, количественные, социальные, атлетические или какие-то иные. Эти возможности следует демократизировать, и в этом может помочь технология. Рассмотрим Dragonbot, который был разработан в MIT. Это обманчивое в своей простоте сочетание мягкой игрушки (милого дракона) и смартфона (который служит лицом дракона). Робот может чувствовать взаимодействие ученика с планшетом – у него есть программа, которая отслеживает, каких слов и объектов ученик касается на планшете. Интернет-связь позволяет легко передавать ответ с планшета на Dragonbot и наоборот.

Dragonbot может задавать детям уроки и оценивать их ответы и реакции. Также он может поменяться с ними ролями и попросить, чтобы они его учили. Так, в одном из сценариев робот спрашивает у учеников, какое из пяти слов на экране планшета соответствует слову «дракон», и может подбодрить их определенным вознаграждением, если они дают правильный ответ[240].

Некоторые посчитают, что в таких учебных упражнениях маленького ученика должен постоянно участвовать квалифицированный учитель или любящий родитель. И можно только надеяться на то, что они будут сопровождать его на протяжении всей учебы. Однако детям нужны также и перерывы в общении со взрослыми, чтобы выработать собственное ощущение самостоятельности и контроля. В своих лучших чертах Dragonbot как раз и может предоставить такие возможности. Забавные умные игрушки способны стереть границу между работой и игрой. Также они могут подтолкнуть к позитивному общению, став общим фокусом внимания взрослых и детей[241].

Обучение путем преподавания – еще одна постоянная тема образовательных роботов. Например, исследователи Лаборатории человеческо-компьютерного взаимодействия в обучении и преподавании одного из французских университетов попросили детей научить робота тому, как правильно писать буквы [242]. Программисты намеренно приказали роботу выдавать плохие имитации букв, чтобы дети могли гордиться тем, как они учат его писать лучше. Робот смог воодушевить учеников и подкрепить уже имеющиеся у них знания. Хорошо спроектированные образовательные игрушки способны наделить детей чувством собственной власти – одновременно над роботами и благодаря роботам[243].

Также роботы способны развивать чувство родства, дружбы и любви к машинам, но в этом случае ситуация несколько усложняется. Какую установку по отношению к обучающему роботу-помощнику должен усвоить ребенок? Образы детей, которые обнимают своих «приятелей»-роботов или вопросительно смотрят на них, стали привычными, но в то же время они вызывают недоумение. Извлеките смартфон из Dragonbot’a, и останется просто мягкая игрушка, к которой привязался ребенок. Но раньше игрушки не могли ежесекундно распознавать выражение лица ребенка или подстраивать свои сигналы под показания своих сенсоров. Обучающие роботы-игрушки занимают пограничное пространство между субъектом и объектом, и нам, родителям, учителям и политикам, надо решить, как их определить и как к ним относиться.

Предложить хорошее определение в этом случае нелегко; и это одна из причин, по которым такие вымышленные создания, как драконы (или покемоны), больше подходят на роль «векторов» роботизированных уроков, чем гуманоидные роботы. Весьма практичный и простой урок, который можно преподать детям, – это урок ненасилия. Корейские исследователи спроектировали Шелли, робота-черепаху, которая может моргать и шевелить лапками, когда дети ее гладят. Но если ребенок бьет ее, Шелли тут же скрывается под своим панцирем и умолкает. Шелли – это пример развивающейся области биомиметических роботов, которые ведут себя как природные существа; она указывает на готовую модель контакта ребенка и робота, а именно на домашнее животное. Механические черепахи, кошки, собаки (вспомним, например, собаку-робота Aibo) могут послужить детям заменой животного-компаньона, так же как робот-тюлененок Паро может играть ту же роль для престарелых. Специалист по этике из MIT Кейт Дарлинг предложила «относиться к роботам скорее как к животным, способным отвращать человека от поведения, которое в других контекстах было бы вредным»[244]. Например, с основами этики заботы ученик может познакомиться, общаясь с роботом, которому для работы требуется определенное взаимодействие (или даже зарядное устройство). Японское игровое устройство Tamagotchi сыграло на этой чувствительности в 1990-х гг., заставляя пользователей нажимать кнопки, чтобы «покормить» цифрового питомца или как-то еще о нем позаботиться. Начав с такой низкой отметки, роботы постепенно научились лучше имитировать животных.

Осторожные родители могут также научить своих детей относиться к незнакомым роботам как 64 к диким животным, то есть не приставать к ним[245]. При этом следует объяснить различие между живым и механическим. Даже черепаха Шелли может внушить детям неправильные представления о том, как вести себя с настоящей рептилией, создав у них нереалистические ожидания относительно податливости среды, которая должна отвечать человеческим желаниям[246]. В своей книге «Одни вместе» Шерри Теркл рассказывает, что ее поразило то, с каким пресыщенным безразличием дети отзывались о группе черепах, сидевших в музее практически неподвижно. «Если они так мало делают, не было смысла заводить живых черепах», – сказала одна девочка. Некоторые заметили, что предпочли бы активную роботизированную версию животного. «Если поставить вместо живой черепахи робота, – спросила тогда Теркл, – надо ли сообщить людям, что черепаха не живая?» Дети задумались. Теркл была обеспокоена тем, что непритязательной реальности они предпочли увлекательную иллюзию[247].

Аналогия с животным не работает и тогда, когда роботы, оформленные в виде животных, изображают какие-то человеческие качества. Специалист по праву Марго Камински обеспокоена тем, что роботы могут участвовать во «вводящем в заблуждение антропоморфизме», чтобы обманом заставлять своих собеседников думать, будто у машин есть чувства[248]. Хитрые маркетологи способны облечь рыночное предложение в обманчивые одежды искреннего обращения искусственного «человека». Роботы, которых мы, вероятно, увидим в массовом применении через несколько десятилетий, не будут продуктами миллионов лет эволюции. В целом они будут разрабатываться корпорациями, у которых свои собственные бизнес-модели. Иногда такая бизнес-модель будет соответствовать модели ведущих интернет-фирм, когда мы платим за многие формы контента тем, что порождаем след данных, важный маркетологам, будущим работодателям, страховщикам и т. д. Собака ребенка не будет сообщать о его поведении при подаче заявления в колледж, но робот может.

Маленьким детям будет сложно, а может, и просто невозможно помнить о подобных опасностях при общении с роботом. И если компании в области технообразования настаивают, несмотря на все упомянутые опасения, на инвестировании в гуманоидных роботов, они должны всесторонне рассмотреть свою «скрытую программу», то есть все те малозаметные поучения и предубеждения, которые ими на самом деле транслируются. Например, у ассистентов Сири и Алексы женские голоса, но не ведет ли это к закреплению отжившей модели гендерных ролей, определявшейся дискриминацией? С какой стати предполагать, что роботы-помощники – это женщины? На то, как раса представляется в технологии, также должны влиять сами представляемые сообщества, а в идеале они и должны руководить этим процессом. «Ничего о нас без нас» – подходящий лозунг как для медиа, так и для роботов, поскольку он поднимает вопросы о недостатке этнического и социокультурного разнообразия во многих технологических фирмах. Последние должны избегать как Сциллы негативных стереотипов, так и Харибды идеализации «модельного меньшинства». И очень мало подтверждений того, что ведущие в области ИИ и робототехники фирмы способны хоть в какой-то мере решать эти проблемы[249].

С чем сравнивать: образовательная технология и менее развитые страны

Теперь нам должно быть ясно, что школы, в которых господствуют ИИ и роботы, не смогли бы достичь нескольких основных целей образования. Но что делать в ситуации, когда учителя-люди вообще недоступны? До сих пор я рассматривал роботов и другие образовательные технологии в контекстах, которые по глобальным меркам являются индустриализированными и характерны по крайней мере для среднего дохода. То есть сравнение в основном велось с традиционным американским, китайским, японским или европейским школьным классом, в котором работает хорошо образованный и компетентный учитель. Но образование такого типа доступно не везде – в силу либо реальной нехватки ресурсов, либо некомпетентного управления. И хотя богатым доступны определенные островки отличного образования, бедные дети в менее развитых странах часто выдавливаются из области качественного образования самой его ценой. В некоторых областях государственное финансирование учителей равно нулю.

Это неравенство подтолкнуло Николаса Негропонте начать кампанию «По ноутбуку каждому ребенку». Но точно так же оно могло бы подстегнуть филантропические начинания, направленные на внедрение образовательных роботов в классах (или бедных домах) по всему миру. Нейропластичность в раннем возрасте представляет собой удивительную возможность – например, во взрослом возрасте учить иностранный язык намного сложнее, чем в детстве. В таком случае даже несложные роботы с некоторым базовым пакетом языковых и математических способностей могли бы стать неоценимым подарком для детей по всему миру.

Но следует признать ограниченность даже такого подхода. Хотя технология представляется в качестве способа выровнять общие условия, в действительности она часто лишь усугубляет уже существующие формы неравенства. Опираясь на исследование по распространению инноваций, специалист по компьютерным наукам и исследователь международного развития Кентаро Тояма подчеркивает то, что всегда есть более и менее передовые версии образовательных технологий. Несколько провокативно он отмечает:

В любом мире, в политическом отношении похожем на наш, богатые и влиятельные родители будут доставать лучшее оборудование для своих детей, тогда как дети из бедных и маргинальных семей будут иметь доступ к старым моделям, которые нуждаются в ремонте… Технология опять же усиливает интенции (как явные, так и неявные) общества в целом. И то же относится к геймифицированным электронным учебникам, гуманоидным роботам-учителям и многим другим образцам новой технологии… Если вы хотите сделать вклад в честную и всеобщую образовательную систему, новая технология эту проблему не решит[250].

Примеры Тоямы – виртуальная реальность и гуманоидные учителя-роботы – могут показаться слишком фантастичными, но учителя-телероботы уже тестируются, и их легко могут вывести на рынок в качестве «решения» проблемы глобального неравенства в области образования[251].

Идеи Тоямы заставляют отнестись с осторожностью к применению образовательных технологий в классах в менее развитых странах. Сегодня уже широко распространена озабоченность по поводу того, что благотворительные посылки с одеждой для Африки из развитого мира подрывают местную отрасль[252]. Не может ли роботизация образования учеников с низким доходом закрепить культурные нормы, которыми образование как профессия и так уже обесценено? Как уроки для детей в Индии могут выбирать фирмы или неправительственные организации (НПО) в Пало-Альто, Лондоне или Вашингтоне и в какой мере они будут расходиться с интересами местных сообществ? Чье представление об истории или политике лучше подойдет для уроков гражданской грамотности?

Пока мы не создали устойчивые управляющие структуры, которые могли бы сформулировать честные и справедливые ответы на все эти вопросы, к транснациональным инвестициям в автоматизацию образования следует относиться с осторожностью. Индийские чиновники уже отвергли программу Facebook Basics, которая предлагала бесплатный интернет-доступ в обмен на контроль Facebook над тем, какие именно сайты могут посещаться. Они сочли, что такое что-то хуже, чем ничего, то есть отсутствие доступа к интернету у миллионов бедных граждан. Та же динамика может реализоваться и в технологиях образования.

Сопротивление новому бихевиоризму

Фредерик Тэйлор начал настоящую революцию в промышленном производстве, применив тесты расчета времени и движения на конвейерных линиях. Каждое движение рабочего записывалось, оценивалось на эффективность, а затем либо утверждалось, либо помечалось как нуждающееся в исправлении. Тэйлористская мечта о максимально эффективной рабочей силе стала прелюдией к роботизации. Как только найден один-единственный самый лучший способ решения какой-то задачи, людям нет большого смысла продолжать ею заниматься. Тэйлоризм хорошо сопрягался с психологической школой бихевиоризма, которая пыталась разработать систему наказаний и подкреплений для людей, напоминавшую обучение животных.

Бурное развитие предсказательной аналитики, опирающейся на данные, вдохнуло в бихевиоризм новую жизнь. Директор по данным фирмы из Кремниевой долины, занимающейся электронным образованием, однажды отметил: «Цель всего того, что мы делаем, – массовое изменение сегодняшнего поведения людей. Когда люди используют наше приложение, мы записываем их поведение, определяем его хорошие и дурные составляющие, а потом разрабатываем способы вознаграждать хорошее и наказывать за плохое. Мы можем проверить, насколько действенны для них наши стимулы и насколько они выгодны для нас»[253]. Быстро растущая область технообразовательных инноваций обещает резко снизить стоимость начального, среднего и высшего образования за счет применения более или менее схожих методов: транслируемых курсов, сложных компьютерных инструментов оценки, средств мониторинга с круговым обзором, которые бы гарантировали то, что учащиеся не мошенничают.

В своей наиболее чистой форме новый бихевиоризм уже стал причиной довольно заметных провалов. Некоторые «сетевые чартерные школы» показали до смешного плохие результаты: ряд исследований свидетельствуют о том, что в них за 180-дневный период не было вообще никакого обучения математике[254]. Некогда расхваленное партнерство Udacity и государственного университета в Сан-Хосе в Калифорнии закончилось плачевно: намного большим процентом неуспеваемости, чем на обычных курсах. Немало жалоб также на нарушение конфиденциальности и чрезмерное регулирование. В «виртуальных чартерных школах» учились 300 тыс. учеников из США, они обещали обеспечить сетевым контентом учеников, которые учатся дома. Однако история многих из них – полный провал[255]. В некоторых случаях 180 дней «обучения» в кибершколах были равны нулю дней в обычном классе, то есть никакого обучения не было вовсе. Подобным образом многие сетевые заведения высшего или среднего профессионального образования страдают от низких показателей последующего трудоустройства, сомнительного преподавания и, самое худшее, судебных исков, обвиняющих их в том, что это просто надувательство.

Как поясняет Одри Уоттерс, все эти неудачи не могут считаться неожиданными. Еще в 1930-х гг. сторонники технообразования заявляли, что радиокурсы заменят основную массу учителей и обеспечат развитие педагогики как науки. Бихевиористы предсказывали, что обучающие машины смогут радикально повысить эффективность преподавания (вспомните о машине, раздающей конфеты, о которой мы уже упоминали ранее). Многие годы Уоттерс собирала энциклопедию техно-образовательных мечтаний (и их предсказуемого провала), начиная с классов виртуальной реальности и заканчивая «мгновенным обучением путем стимуляции мозга, как в „Матрице^»[256]. Хотя практически ничто не подтверждает реальное развитие образования в результате подобных вмешательств, перспектива создать некое новаторское предложение, которое перестроит весь рынок образовательных услуг, для новаторов, вложивших миллиарды долларов в эту область, слишком соблазнительна[257].

В какой-то момент, вероятно, некоторые из этих инициатив в отношении отдельных учащихся могут оказаться успешными. Но что может быть надежным ориентиром на пути к ним? В некоторых публикациях, финансируемых технообразовательной индустрией, задаются свои ориентиры, к тому же индустрия стремится к собственным формам сертификации и сетевым системам рецензирования. В этой модели скрыты некоторые довольно серьезные проблемы. Во-первых, определить, какое решение работает, сложная задача, которой легко манипулировать[258]. Во-вторых, за технообразованием и фирмами, занятыми его оценкой, могут стоять одни и те же инвесторы[259]. Эта ситуация становится источником неминуемого конфликта интересов, который подрывает объективность исследований.

Похожие коммерческие факторы могут привести и к преждевременной увлеченности сетевым образованием. Энтузиасты, основывающиеся на успехе Khan Academy, спешат предсказать, что университетское образование можно получить за незначительную долю сегодняшней стоимости; надо просто записать все лекции, автоматизировать оценку студентов и пригласить всех на эти курсы, а оценки выставлять по методу блокчейн. Вы застряли с каким-то уроком? Просто продолжайте взаимодействовать со своей клавиатурой, камерой и, возможно, гаптическими сенсорами. Или можно отправить сообщение резервной армии тьюторов на таких платформах цифрового труда, как Mechanical Turk или TaskRabbit[260]. Надо доказать, что вы не мошенничаете на экзамене? Установите камеры, и пусть они записывают каждое ваше движение и каждую нажатую клавишу, а еще, быть может, движения глаз и выражение лица.

Если даже не обращать внимание на несколько зловещий характер подобного контроля, в этих идеях все равно есть вполне очевидные нестыковки. Совершенно неясно, как воспроизвести в сети опыт семинаров, внеклассной деятельности или стажировки. Надежды на сокращение расходов в традиционных колледжах с проживанием подпитываются не столько стремлением усовершенствовать обучение, сколько идеологией жесткой экономии. Такой же проблемой во взглядах на «видеообразование» сторонников автоматизации является то, что их подход к процессу производства и распространения знаний крайне примитивен. Не существует одной конечной версии курса по философии, истории или психологии; эти предметы изменяются, причем иногда довольно быстро, в ответ на исследования, академические дискуссии и перемены в духе времени. Мне, предположим, не нравится развитие экспериментальной философии или моделирование рационального выбора, однако я уважаю плюрализм, позволивший независимым факультетам философии и политологии погрузиться в эти дисциплины. Альтернатива стала бы пародией на «пайдейю»: можно представить, как то или иное центральное ведомство будет распределять время лекции между метафизиками, утилитаристами и деонтологами, основываясь, скорее всего, на анализе больших данных, отражающих начальные зарплаты выпускников, прошедших соответствующие курсы.

Не следует также сбрасывать со счетов роль человеческого озарения в курсах по науке, технологии, инженерии или медицине. Даже такой предельно алгоритмический курс, как введение в информатику, благодаря изобретательным преподавателям может совершенно перемениться. Например, в колледже Харви-Мадд преподаватели внесли существенные изменения в свой подход, чтобы разобраться с хроническим гендерным перекосом, существующим в их сфере деятельности. Это прогресс, который возникает из личного взаимодействия между исследователями, а также между преподавателями и учащимися.

Человеческое образование

Датафикация преподавания и обучения стала фактором многих опасных трендов. Но было бы глупо вообще отвергать применение ИИ в образовании. Почти по каждому предмету в сети можно найти прекрасные учебные материалы. Большие данные способны дать толчок педагогике, поскольку аналитики изучают наиболее эффективные способы передачи материала. Студенты, которые не могли и мечтать об определенных курсах в колледже, сегодня могут смотреть и слушать лекции и выполнять упражнения, которые автоматически исправляют ошибки. Настоящий вопрос в том, как реализовать обещания ИИ в образовании.

Ответ заключается в необходимости пересмотреть природу преподавания. Как и другие профессии, преподавание не сводится к передаче информации. Обязанности профессиональных преподавателей не завершаются оценкой возможной успешности работы определенной программы или инициативы, как если бы «работа» определялась в ясных количественных категориях. Учащимся нужен наставник, который подскажет, как им вести себя, причем в качестве именно людей, а не получателей или отправителей сообщений. Думать иначе – значит подталкивать общество к скользкой дорожке Скиннера, то есть к образованию, понимаемому в качестве стимулов власть имущих и заранее предписанных реакций всех остальных.

Конечно, будут и исключения. Некоторым студентам из сел, студентам с инвалидностью или жертвам школьного насилия понадобится домашнее образование[261]. Им или их семьям может быть слишком тяжело посещать школу или даже просто добираться до нее. И даже сетевое обучение у преподавателя может оказаться слишком дорогостоящим. Но мы все равно должны поставить вопрос: какие бы права государство ни предоставляло родителям в обучении их детей (или аналогичные права выпускникам школы), действительно ли они в состоянии осмысленно заниматься таким обучением на нашем «Диком Западе», где полно автоматических поставщиков контента? Возможно, что родители по отношению к технообразованию находятся в том же положении, что и пациенты по отношению к заявлениям фармацевтических компаний. Но пациенты передвигаются по этой территории не в одиночку – они опираются на помощь профессиональных медиков. И точно так же мы должны ожидать того, что специалисты из школ и университетов сыграют решающую роль в образовании.

В пророческой книге «Программируй, или запрограммируют тебя» Дуглас Рашкоф жалуется на зазор между надеждами, возложенными сферой образования на интернет, и неприглядной реальностью сегодняшнего дня. С точки зрения Рашкофа, все большее господство цифровых интерфейсов создает проблематичный выбор для студентов. «В постепенно формирующемся сильно запрограммированном мире, который ждет нас в будущем, вы будете либо создавать программы, либо сами станете программой. На самом деле все просто: программируй, или тебя запрограммируют. Выберете первое – и сможете получить доступ к пульту управления цивилизации. Выберете второе – и это, возможно, будет ваше последнее настоящее решение»[262]. Особенно его пугает подчинение исследований мировоззрению фастфуда. Рефлекторное движение, требующее «просто погуглить» информацию, расширяет культурную пропасть между теми, кто стремится понять, как на самом деле устанавливается знание и как оно организовано, и теми, кто хочет получить быстрый ответ на свой вопрос.

Рашкоф замечает, в частности, что «преподаватели, желавшие получить доступ к всемирной сокровищнице информации, которую можно использовать на уроках, сегодня имеют дело с учениками, уверенными, что обнаружение ответа в Википедии – удовлетворительный итог исследования»[263]. Это не значит, что у Википедии не может быть места в образовании; в статьях этой энциклопедии часто цитируются полезные первоисточники. Также она может послужить ценным уроком по бюрократической политике производства знания, если обратить внимание на то, как добровольцы вносят вклад в этот массовый проект и как решаются конфликты по принципиальным вопросам. Узнать какие-то вещи в Википедии – хороший способ наработать медиаграмотность, но читать ее безо всякой критической позиции было бы неправильно. И эта мера предосторожности должна с еще большим основанием применяться к чисто алгоритмическим подборкам информации, таким как поисковые результаты или новостные ленты: они всегда отражают определенную повестку, какими бы объективными на первый взгляд ни казались.

Критика Рашкофа определяет повестку регулирования ИИ и роботов в образовании: вопрос в том, как избежать проблем, наличие которых уже подтверждено в цифровых технологиях. Распространились опасения, что учащиеся не понимают в полной мере используемую ими технологию как в чисто материальном, техническом смысле, так и критическом (то есть не оценивают цели и финансовые мотивы поставщиков технологий). Несмотря на популярные разговоры о «цифровом поколении», достаточно данных, свидетельствующих о цифровой неграмотности[264]. Поиск нового баланса между упражнениями в классе (а также лекциями, тестами, курсовыми проектами, сочинениями и экзаменами) под руководством человека и программного обеспечения требует экспериментирования и пилотных программ.

Например, Lego еще в 1990-х гг. представила на рынке конструкторы Mindstorms, дав детям возможность почувствовать податливость технической среды. Они способны помочь учащимся понимать роботов не столько в качестве искусственных родителей, учителей, нянек или коллег, сколько в качестве еще одной полезной части обширного технического ландшафта. Продуктивное применение таких новых моделей обучения зависит от автоматизации труда людей и распределенных систем, в которой были бы сбалансированы взгляды различных экспертов (включая тех, кто работает преподавателями) и специалистов по технологиям.

Для сокращения экономического давления, требующего преждевременной цифровизации, государство должно помогать колледжам справедливо оплачивать труд ассистентов преподавателей и специалистов по образовательным технологиям, снижая при этом объем студенческой задолженности[265]. Похожая динамика должна определять и политику начального и среднего школьного образования, поддерживая обучение преподавателей, позволяющее им стать полноценными партнерами технологий в классе, а не просто пассивными объектами ее применения. Коллективные соглашения и юридические ограничения дают работникам – членам профсоюзов возможность участвовать в определении условий собственного труда, в том числе и способов внедрения технологии. Профсоюзы помогли учителям добиться базовых прав на работе, и они же должны дать им право на логичное определение того, как ИИ и роботы будут в будущем применяться в классе[266].

Этот идеал рабочего самоуправления далее совершенствуется в профессиях. Профессионалы давно утверждают право и обязанность определять ключевые условия своего труда. Например, врачи успешно лоббировали признание их специальных знаний и ответственности доверительного характера, отстояв право самостоятельно определять структуру медицины как профессии. Они руководят лицензирующими советами, которым государство дало право определять, кто обладает квалификацией, достаточной для медицинской практики. Также они играют критические роли в регулирующих ведомствах, определяющих то, какие именно лекарства и устройства допустимы, а какие требуют дополнительных проверок.

Можно ли представить Агентства по образовательным технологиям (АОТ), в которых преподаватели играли бы схожую решающую роль, определяя внедрение образовательной робототехники?[267]Да, конечно. Если ведомства, регулирующие оборот лекарств в разных странах мира, помогли врачам и пациентам разобраться со сложностями, возникшими из-за спорного воздействия фармацевтических препаратов, национальные АОТ могли бы получить право оценивать и лицензировать приложения, чат-ботов и более развитые техно-образовательные системы и инновации. В идеале это стало бы подспорьем для профессиональных работников сферы образования, имеющих возможности помогать школам и учащимся выбирать различные технологические траектории, облегчающие обучение. Для достижения истинно гуманного будущего нам потребуется надежная профессия преподавателя – на уровне начального, среднего и высшего образования, – способная сдержать тенденцию к механизации, стандартизации и сужению образования. Критическое мышление станет еще более важным в той ситуации, в какой автоматическая публичная сфера, которая обсуждается в следующей главе, продолжает распространять ненадежный и опасный контент, связанный с манипуляциями.

4. Чуждый интеллект автоматических медиа

Основные контуры массовой медийной политики и культуры сложились во второй половине XX в. С середины 1990-х гг. перемены ускорились[268]. Программисты взяли на себя роль, которую некогда играли редакторы газет и продюсеры местных радиостанций, но они работали «за кулисами». Они стали выбирать контент и рекламу для постоянно меняющихся и алгоритмически подбираемых аудиторий. Конкретное устройство подобных алгоритмов остается тайной, но общие их принципы достаточно ясны. Они оптимизируют определенное сочетание рекламных доходов и «вовлечения», то есть величины и интенсивности времени, проводимого пользователями на сайте. Поскольку мегафирмы отбирают рекламные доходы у традиционных медиа, они получают все большее вознаграждение, превращаясь в крупнейшие мировые корпорации[269]. Большинству рекламодателей нужна аудитория, но не обязательно какой-то определенный контент. И крупнейшие технологические компании могут им такую аудиторию предоставить.

Сегодня крупнейшие технологические платформы – это не просто экономические компании. Они влияют на политику и культуру, то есть области, в которых количественные измерения, какими бы сложными они ни были, могут отображать реальность лишь урывками и частично. Исследователи коммуникаций задокументировали многочисленные формы искажений и предубеждений, встречающихся на цифровых платформах, начиная с искажения результатов поиска и заканчивая массовыми манипуляциями[270]. Эти проблемы особенно обострились на президентских выборах в США в 2016 г. и в Британии во время референдума по Брекситу – в обоих этих случаях было немало неприятных историй о вводящих в заблуждение и разжигающих рознь «темных рекламных объявлениях», которые могли видеть только специально таргетированные группы. Мощные эхо-камеры правого толка многократно усиливали громкость ненадежных источников. Процветали политически мотивированные, эгоистичные и попросту безответственные поставщики неправды. «Машины лжи», как их удачно окрестил Филип Н. Говард, штамповали кучу безосновательных историй. Так, Хилари Клинтон была замарана множеством фальшивых историй, которые принесли быстрые прибыли их создателям[271].

Менеджерам платформ было важно, чтобы люди кликали материалы, а не то, почему они это делали, как не была важна и истинность информации. Размах манипуляций становится понятным только сегодня, но, возможно, в полной мере он так и не будет раскрыт; коммерческая тайна защищает многие важные документы, не допуская к ним, если они вообще остались, публику.

Для расцвета пропаганды, лжи и сенсаций никакой заговор не нужен. С точки зрения производителей контента, нацеленных исключительно на прибыль, единственной истиной Facebook являются клики и рекламные платежи. По оценкам политологов, десятки тысяч твитов, «написанных» во время вторых президентских дебатов в США, были сгенерированы ботами[272]. Последние выполняют разные функции: они могут разгонять фейковые новости, а когда достаточно количество ботов ретвитнут друг друга, они могут выйти в топ в списке хештегов. Также они могут наводнить хештеги ироничными постами, представив дело так, словно бы истинные публичные проблемы, например, связанные с #BlackLivesMatter, являются попросту шумом, порождаемым оппортунистическими игроками.

Подобных кризисов автоматической публичной сферы так много и они настолько хаотичны, что требуют скорейшей систематической категоризации и скоординированного ответа. В этой главе исследуются проблемы трех типов. Во-первых, ИИ, слепой к содержанию коммуникации, становится легкой мишенью для экстремистов, мошенников и преступников. Только рецензенты-люди, обладающие достаточными данными и силой, способны выявлять, блокировать и предупреждать подобный вред. Во-вторых, платформы, поддерживаемые подобными ИИ, отнимают доходы и внимание у истинных медиаисточников, которые не скрывают своих неудач, а потому платформам все проще завоевывать коммуникационные каналы. Чтобы остановить эту деструктивную петлю обратной связи, надо радикально изменить экономику сетевых медиа. В-третьих, черный ящик ИИ означает то, что мы не всегда можем понять, как, собственно, строится новая медиасреда, да и не всегда понятно даже то, кем именно являются сетевые профили, с нами взаимодействующие, – людьми или ботами. В данном случае самое главное – это атрибуция, то есть раскрытие того, кем управляется сетевой аккаунт – человеком, ИИ или каким-то сочетанием того и другого.

Новые законы робототехники помогают нам понять все эти угрозы и на них ответить. Но также они указывают на то, что автоматическую публичную сферу, быть может, реформировать нельзя. Когда значительная часть медиаоборота автоматизируется, для сохранения сообщества, демократии и социального консенсуса по базовым фактам и ценностям понадобятся, возможно, новые методы структурирования коммуникации. Как доказывается в работе Марка Андреевича, автоматизированные медиа «бросают серьезнейший вызов гражданской установке, необходимой для самоуправления»[273]. Эти опасения не ограничены классической проблемой «пузыря фильтров», поскольку они также вызваны интеллектуальными привычками, необходимыми для каких-либо позитивных изменений в новых медиа, которые оказались бы значимыми в современной публичной сфере.

Также новые законы робототехники применимы к политической экономии медиа в целом. Первый новый закон робототехники требует политики, которая поддерживает профессиональный статус журналистов (и рассматривает ИИ в качестве вспомогательного инструмента, который не должен их замещать)[274]. Модераторам контента нужно более качественное обучение, большая оплата труда и более удобные условия, если мы хотим, чтобы они надежно руководили ИИ в новом контексте социальных сетей. Один из способов финансировать, с одной стороны, журналистику, то есть старую профессию, и, с другой, новые профессии, созданные в результате автоматизации медиа, – это снизить конкурентные требования к публикациям, которые якобы должны участвовать в цифровой гонке за внимание пользователей сети (это предмет третьего закона, запрещающего разорительные гонки вооружений). Далее в этой главе мы будем исследовать способы передачи финансирования от платформ (подобных YouTube и Facebook) людям, которые занимаются тем, что помогают нам понять политику, политический курс и многое другое и в то же время участвовать в них[275].

Этот проект окажется крайне сложным, что отчасти обусловлено новыми формами авторитаризма, которые развиваются в автоматизированной публичной сфере. Некоторые государственные медиа- и интернет-регуляторы, даже в странах, которые безусловно являются демократическими, выведены из строя, их уже невозможно восстановить.

Но это означает лишь то, что проект по защите медиа нужно как можно быстрее запустить в юрисдикциях, которые еще не стали жертвами авторитарного тренда. И даже в тех странах, где это уже случилось, граждане, которые прилагают немало усилий к созданию альтернативных медиасистем, должны найти много полезного в четырех новых законах робототехники и в той их проработке, которая будет дана далее.

Политические, экономические и культурные сбои массовых онлайн-посредников заслуживают внимания и отпора. Хотя часто такие фирмы говорят, что они слишком сложны, чтобы их можно было регулировать, Европа уже показала, как одним незначительным фрагментом автоматической публичной сферы, а именно именами, выдаваемыми в поисковых результатах, можно управлять благодаря закону, который будет человечным и инклюзивным. Этот опыт способен подсказать нам, как развивать более обширную структуру регулирования наиболее распространенной формы ИИ, влияющей ныне на нашу жизнь, а именно автоматизации медиа. Эта структура ответственности, построенная на понятиях аудита данных, закладываемых в алгоритмические системы, и атрибуции действий подобных систем, которые должны приписываться их контролерам, должна определять регулирование ИИ, проникающего благодаря роботам в наш физический мир.

Когда слова убивают

Автоматические медиа могут предстать маловероятным или неудачным предметом для внимания регулирующих ведомств. Ведь это только слова и картинки, не имеющие ничего общего с действиями хирургического робота или автономной вооруженной системы, которые решают вопросы жизни и смерти. Однако сегодня хорошо известны кровавые последствия бесконтрольного распространения высказываний, разжигающих ненависть. Например, в индийской Шри-Ланке и Мьянме фанатики и зеваки распространяли в социальных сетях безосновательные выдумки о мусульманских меньшинствах. Странный слух о том, что мусульмане раздали «23000 стерилизационных таблеток», мгновенно разошелся по Facebook, заставив толпу сжечь один ресторан, который, считалось, отравил еду такими таблетками[276]. Владельцу ресторана несколько месяцев пришлось скрываться. И такие инциденты нередки. Взрывоопасные нарративы межрасовой злобы, как и откровенная ложь, – все это повлияло на ключевые выборы в Британии, Кении и Америке[277]. Они циркулируют на крупных интернет-платформах, стохастически радикализируя пользователей[278].

Множество опасностей появляется, когда критически важная социальная роль, исторически определявшаяся суждением и человеческими контактами, внезапно автоматизируется. Менеджеры и инженеры часто довольно дурно оптимизировали алгоритмы, максимизируя рекламные доходы, для этого использовался набор из кликбейта, сенсаций и манипуляций. Можно подумать, что подсчет просмотров видео – последний заслон человеческого контроля качества. Однако широкое распространение получили «фермы просмотров», состоящие из ботов[279]. Даже когда просмотры настоящие, простое «вовлечение», оцениваемое по времени присутствия пользователя на сайте и на основании текста, который он печатает, – это весьма грубый показатель качественного сетевого времени, не говоря уже о последствиях для демократии или политического общества[280].

Конечно, социальные сети позволили определенным сообществам связаться друг с другом, и в некоторых случаях они поддержали похвальные социальные движения. Мы не стали бы тем не менее соглашаться с повальной автоматизацией в здравоохранении и образовании, если бы она привела к тому, что миллионы учащихся не смогли получить основные сведения о математике или науке, или если бы она вызвала сотни случаев ущерба, который можно предотвратить. Пора отнестись к нашей автоматизированной публичной сфере серьезней, прежде чем в нее смогли проникнуть еще более опасные субъекты. Для этого потребуется подписаться под двумя простыми принципами. Во-первых, защита свободы слова применима прежде всего к людям, а к ИИ она если и применима, то лишь во вторую очередь. Крупные технологические фирмы более не должны скрываться за принципом «свободы слова» как универсальным талисманом безответственности. Во-вторых, ведущие фирмы должны взять на себя ответственность за то, чему они отдают приоритет и что они публикуют. Они более не могут винить «алгоритм» в распространении вредной информации и подстрекательстве. Мы можем либо потребовать от ИИ человеческих ценностей, либо страдать от того, что он будет взращивать в нашей же среде бесчеловечность. Середины тут нет.

Конечно, всегда будут споры о точном определении контента, который в социальном плане настолько опасен, что его нужно запрещать, скрывать или понижать в поисковом рейтинге и новостных лентах. Откровенный расизм, распространение порочащих сведений и отрицание базовых научных фактов – вот то, с чего было бы неплохо начать, особенно когда все эти факторы прямо угрожают жизни и средствам к существованию. В таком процессе определения угроз ключевую роль должны сыграть специализированные рецензионные советы[281].

В идеальном случае они должны отражать ценности пользователей платформы и взвешенные позиции экспертов в данной области, а также включать юристов, способных установить непростой баланс между свободой слова, конфиденциальностью и другими ценностями.

Еще важнее переосмыслить отношение между новыми и старыми медиа. Большинству журналистов, несмотря на все их хорошо известные прегрешения, можно доверять в том, что они, по крайней мере, пытаются проверять точность новостей, отчасти потому, что на них лежит юридическая ответственность: бездумная ложь может стать причиной судебного обвинения в клевете. Тогда как лоббисты технологических фирм убедили слишком большое число законодателей и регуляторов в том, что их платформы следует считать такими же проводниками, как и любые другие, то есть чем-то вроде телефонной линии. Эта удобная характеристика позволяет им избегать ответственности за клевету[282].

Подобную безнаказанность можно было понять, когда Facebook и Google были начинающими компаниями. Но теперь это анахронизм. Авторитарная пропаганда заполонила новостные ленты и поисковики[283]. Facebook может снимать с себя ответственность за распространение фальшивых историй, в которых утверждалось, что папа римский одобрил кандидатуру Дональда Трампа или что Хилари Клинтон – сатанистка[284]. Однако с тех пор он взял на себя больше ответственности за политические кампании. Как сообщали Алексис Мадригал и Иэн Богост, «компания поощряет рекламодателей передавать ей все бразды правления, что позволяет Facebook самостоятельно распределять средства на рекламу, аудитории, графики и бюджеты»[285]. Также он экспериментирует с содержанием и внешним оформлением рекламных объявлений. В какой-то момент ИИ не столько ищет аудиторию, сколько ее создает, и выступает не столько проводником послания, сколько его соавтором.

Во многих контекстах крупные технологические фирмы – это не только платформы, но также и публикаторы, не только посредники, но и медиа. Их собственные конструктивные решения означают, что резюме материалов, которые распространяются в Facebook, а также выдаются в мобильных приложениях и настольных версиях Google, стремятся выглядеть одинаково авторитетно, независимо от того, какой у них источник[286]. Соответственно, история из сфабрикованного издания Denver Guardian, в которой Хилари Клинтон безосновательно связывалась с самоубийством агента ФБР, может предстать столь же авторитетной, как и получившее Пулитцеровскую премию журналистское расследование, в котором подобные теории заговора разоблачались[287]. К тому же Facebook получает и более прямую прибыль от фейковых новостей: чем больше пользователи делятся какой-то историей (каковы бы ни были ее достоинства), тем больше рекламных прибылей она приносит[288]. К концу выборов 2016 г. фейковые новости в Facebook в этом плане превзошли по эффективности реальные новости[289]. Нам всем известно, что Facebook помог кампании Трампа сосредоточить свои силы на афроамериканской аудитории, чтобы подавить их голоса[290].

Пока рекламные деньги продолжали сыпаться, этика во всем этом играла вторичную роль. Директоров по безопасности в фирме игнорировали, даже когда они говорили топ-менеджерам, что государственные и негосударственные акторы занимаются на платформе злонамеренными манипуляциями[291]. Конечно, Facebook в этом был не одинок; безответственность маргинальных новостных источников (и нерадивость достойных медиаинститутов) ускорила рост популярности авторитарных лидеров, известных своей ксенофобией. Однако гиганты технической индустрии редко оказывались невинными попутчиками. Facebook крайне неохотно реагировал на вирусное содержание фейкового характера, вводящее в заблуждение[292]. Если Джеку Дорси из Twitter понадобилось шесть лет, чтобы остановить такого разоблачителя истории Сэнди Хук, как Алекс Джонс (агрессивно защищавшего сторонников теории заговора, которые изводили родителей убитых детей, заявляя, что родители сами подстроили резню), значит, что-то с сетью не так. Основная проблема – слепая вера в ИИ, стоящий за алгоритмическими лентами новостей, и вытекающее из этой веры уклонение от ответственности руководителей технологических компаний, которые могли бы приструнить смутьянов.

Технологические гиганты более не могут убедительно выдавать себя за платформы для чужого контента, особенно когда они наживаются на микротаргетировании рекламы, доносящем определенный контент до людей, на которых она более всего влияет[293]. Они должны взять на себя редакторскую ответственность, а это значит, что следует привлечь намного больше журналистов и фактологов, чтобы справиться с проблемами, которые алгоритмы решить не смогли[294]. Апологеты крупных технологических фирм заявляют, что несколько фирм не могут брать на себя подобную ответственность (или что это просто глупо). Они утверждают, что объем распространяемого контента просто-напросто слишком велик, чтобы им управлял какой-то человек или какая-то группа. Они продолжают раздраженно настаивать на том, что идеальное решение проблем платформ – это алгоритмы, а не человеческие знания и навыки. Этот аргумент игнорирует реальность постоянной алгоритмической и ручной настройки новостных потоков в таких сетях, как Facebook[295]. Любое устойчивое решение проблемы потребует сотрудничества журналистов и программистов.

Проблема уклонения больших технологических компаний от своих обязанностей собственника

После каждого крупного скандала большие технологические фирмы приносят извинения и обещают исправиться. Иногда они даже вкладывают деньги в более обширную модерацию контента или закрывают наиболее одиозные источники дезинформации и насилия. Однако каждый шаг к безопасности и ответственности на платформах может быть отменен из-за неспособности все время следить за проблемой, халатности и потенциальной прибыли, которая скрывается в привлекательном и красочном контенте. Этот цикл мы наблюдали в случае Google и антисемитизма. Хотя в 2004 г. поисковый гигант снабдил наконец специальными метками некоторые сайты с нацистским содержанием и издания расистов, позже он отступил, пока в 2016 г. к нему не обратились журналистка Кэрол Кадваладр и известный исследователь Сафия Умоя Нобле[296]. К 2018 г. многие заподозрили, что алгоритмическая «кроличья нора» была оптимизирована искусственным интеллектом так, чтобы завлекать ничего не подозревающих пользователей к контенту альт-правых или даже к более опасным источникам[297]. Пока ИИ управляет автоматической публичной сферой, нацеленной на получение прибыли, можно ожидать повторения той же схемы: приступ озабоченности, вызванный критикой в адрес медиа, после которого снова воцаряется безответственность.

Хотя подобное отступление не является неизбежным, такова ясная и актуальная опасность ИИ, для которого в основном важны лишь требования акционеров крупнейших фирм. Только масштаб может дать прибыли, которые нужны инвесторам, и только ИИ может управлять масштабом на его актуальном уровне. Как заметил Ивэн Оснос в своей статье о Марке Цукерберге, «между масштабом и безопасностью он выбрал масштаб»[298]. Дети, диссиденты, модераторы, владельцы взломанных аккаунтов и другие жертвы – все они ежедневно несут на себе бремя этого решения, переживая предсказуемые последствия гигантизма социальной сети. И если огромные банки стали слишком большими, чтобы обанкротиться, гигантские технологические фирмы слишком велики, чтобы подобные последствия их волновали.

Раньше электронной нянькой считалось телевидение, которое развлекало детей, чьи родители были слишком заняты или бедны, чтобы занять их чем-то более интересным. YouTube выдает миллионы различных мультфильмов, которые помогают родителю или няньке с клинической точностью найти именно то, что загипнотизирует кричащего младенца или уставшего ребенка. Но огромный запас видеоматериалов, которые доступны по одному клику, неимоверно усложняет задачу родительского контроля. Если какие-то нездоровые люди включали в мультипликационный контент инструкции о том, как совершить самоубийство, искусственный интеллект YouTube, ничего не понимающий в смысле ролика, ставил ему такой же рейтинг, что и совершенно невинным детским программам.

Обычный процесс модерации контента на YouTube в принципе со временем может улучшиться, научившись быстрее отлавливать видеоматериалы такого рода. Но некоторый контент, порождаемый алгоритмами, вызывает опасения другого уровня. Учитывая распространение в сети автоматических ремиксов, такие невинные мультипликационные герои, как свинка Пеппа, могут болтать в видео с друзьями, а потом размахивать ножами и ружьями в «сатирическом» ролике, который автоматически запускается сразу после настоящего. Художник Джеймс Бридл утверждает, что дело не ограничивается одной лишь благопристойностью. По его словам, в таких видео с Пеппой особенно пугает то, что «очевидные пародии и мрачные пастиши взаимодействуют с легионами алгоритмических производителей контента, так что в итоге становится просто невозможно понять, что происходит» и с чем мы имеем дело – с примером художественной изобретательности, сатирой, жестокостью или извращенной попыткой познакомить маленьких детей с контентом, содержащим сцены насилия и секса[299]. Контекст отсутствия контекста смешивает все эти формы друг с другом, сближая несовместимые материалы. Из этого предсказуемо возникают злоупотребления, которые заставляют поставить серьезные вопросы о роли ИИ в отборе контента:

Главной проблемой YouTube являются совсем маленькие дети, которые с самого рождения целенаправленно таргетируются контентом, который может травматизировать и смутить их, распространяясь в сетях, особенно уязвимые перед злоупотреблениями такого вида. Вопрос не в намерении, а в том насилии, которое неотъемлемо от цифровых систем, сочетающихся с капиталистическими мотивами. Система уличена в злоупотреблении, a YouTube и Google замешаны в системе[300].

Такие ремиксы подпитывают циническую игру опытов над детьми, в которых основным признаком успеха является то, что приносит больше рекламных доходов.

Обычная телекомпания, показывающая подобный мусор, была бы вынуждена поплатиться – падением просмотров или бойкотом со стороны спонсоров. Но когда журналисты и публика в целом считают «алгоритм» неким неподконтрольным монстром вроде Франкенштейна, YouTube может выдавать себя за всего лишь платформу, перекладывая вину за любые ошибки на суетливую толпу создателей контента, программистов и поисковых оптимизаторов. Его последовательная безответственность показывает, как технологические фирмы могут захватывать все более обширную область нашего опыта, считая своей заслугой удачи и отмахиваясь от вины за катастрофы.

В этом сценарии ИИ служит поводом для прощения, поскольку это настолько сложный способ создания и упорядочивания контента, что его не могут контролировать даже его собственники, по крайней мере, если верить им самим. Это очевидный способ увернуться от ответственности. Телестанции часто прерывают трансляцию, если что-то идет не так. В MySpace, одной из первых социальных сетей, был специальный работник, который проверял каждое изображение, опубликованное в Бразилии, чтобы остановить циркуляцию изображений издевательств над детьми. И YouTube, и Facebook нанимают специальных «чистильщиков», оценивающих постфактум изображения и видео, на которые жалуются другие пользователи или которые замечаются алгоритмами. Но они могут намного больше вкладываться в безопасность, когда речь идет о некоторых уязвимых группах (например, детях) или напряженных периодах (например, сразу после массовой стрельбы, мотивированной расовой ненавистью).

Несмотря на постоянный пиар и обещания «исправиться», не иссякает поток новостей, показывающих, насколько плохо технологические фирмы справляются с этими ролями. New York Times обнаружила, что YouTube иногда автоматически рекомендовал домашние видео детей в купальниках сразу после сексуально окрашенного контента, в чем отразились педофильские наклонности его ИИ[301]. Группа Reveal News выяснила, что Facebook таргетировал людей, имеющих склонность к азартным играм, все более привлекательными видеорекламами покера. Даже если бы таких историй стало сегодня намного меньше, было бы сложно сказать, в чем причина – в более ответственном поведении платформ или просто в сокращении таких репортажей из-за перенаправления потока рекламных доходов цифровыми посредниками.

Восстановление ответственности в сфере сетевых медиа

Если бы у компаний Google и Facebook были четкие и публично признанные идеологические программы, взрослые пользователи могли бы их освоить и выработать соответствующую защиту от них, относясь к выгодному этим компаниям контенту с определенным скепсисом. Но ИИ-платформы правильнее понимать как мощное средство, которым орудуют оптимизаторы поисковых машин, хорошо организованные экстремисты и другие маргиналы. Поиск в Google по запросу «здоровье Хилари Клинтон» в сентябре 2016 г. (после того как она теряла сознание) вел к многочисленным сомнительным видео и статьям, в которых безосновательно утверждалось, что у нее болезнь Паркинсона. В том военном сумбуре, который создают современные политические кампании, сам факт распространения подобных порочащих видео (какова бы ни была их правдивость) может стать важной темой публичных дискуссий. Манипуляторы знают, что создание бесконечного потока мнимых вопросов (и не важно, проверены они кем-то или просто сфабрикованы) способно подорвать шансы кандидата на определение публичной повестки[302].

Если нет людей-редакторов или менеджеров, которые бы брали на себя прямую ответственность за алгоритмические решения, сетевые платформы способны представить худшие социальные элементы в лучшем, убедительном и авторитетном свете. Так, поисковые результаты Google спровоцировали расиста Дилана Руфа, который убил девять человек в так называемой исторической черной церкви в Южной Каролине в 2015 г. Руф сказал, что, когда он погуглил «преступления черных против белых», то нашел посты организаций – сторонниц теории расового превосходства, в которых рассказывалось о «белом геноциде». «После этого я стал другим человеком», – сказал он[303]. Теория заговора ttPizzagate подтолкнула по крайней мере одного стрелка «изучить» безосновательные утверждения о сексуальных домогательствах в одной вашингтонской пиццерии, где он размахивал винтовкой AR-15. В горячечной топи автоматических поисковых результатов легко растет и распространяется поддержка отрицателей изменения климата, женоненавистников, этнонационалистов и террористов[304].

Автозаполнение в Google – автоматическое предугадывание запроса пользователя по одному или двум словам – также порой вызывало недовольство и споры[305]. Часто оно повторяет или подкрепляет расистские стереотипы[306]. В поиске изображений в Google некоторые фотографии черных людей были помечены как фотографии горилл, что было оскорбительным и в то же время абсурдным. За год Google «решил» эту проблему, отключив классификатор «горилла» для всех фотографий; соответственно, ни одно изображение не было им помечено, даже настоящие гориллы. Это решение на скорую руку не может на самом деле решить базовых проблем расистских или сексистских данных, которые используются сегодня для тренировки систем машинного обучения, или сократить уязвимость этих систем перед подобными атаками[307].

Многие представители элит, столкнувшись с подобными расистскими или сексистскими стереотипами, известными по поиску изображений в Google, могли бы посчитать их всего лишь трагическим отражением установок невежественных пользователей Google. Ведь, в конце концов, пользователи сами поставляют данные. Но такой перенос ответственности не убеждает. Как указывает Сафия Умоя Нобле в своей книге «Алгоритмы подавления», где она опирается на свой опыт академического ученого и бизнесвумен, когда цена высока, цифровые гиганты готовы вмешаться и поменять результаты (например, в коммерческих контекстах продажи рекламы). И они должны нести такую же ответственность в том случае, когда создается угроза общественным интересам.

Нобле также отстаивала идею замедления новых медиа. Из-за моментальной загрузки и распространения контента «платформа не в состоянии просмотреть каждый пост и определить, должен он быть опубликован или нет», – отмечает Нобле[308]. Киберлибертарианцы доказывают, что это означает лишь то, что человеческий контроль попросту устарел. Но Нобле с ними не согласна. Это системы, служащие людям, и их можно перестроить так, чтобы они служили целям человека. Новости на определенные темы должны сначала проверяться, и задержка позволяет такую проверку произвести. Это не значит, что каждый из миллионов постов нуждается в рецензии; скорее, как только история прошла проверку, ею можно делиться мгновенно. Подобное замедление вирусного распространения информации могло бы также создать возможность для более продуманных решений об ограничении (или в некоторых случаях усилении) «алгоритмической амплификации». Она порой приводит к созданию петель обратной связи, которые никак не связаны с качеством и полезностью распространяемой в них информации.

Некоторые апологеты технологии считают, что такие предложения ужасны, поскольку их можно приравнять к цензуре. Однако не существует никакой магической свободы слова, которая была бы уже заложена в систему по умолчанию. Платформы принимали решения о том, позволить ли пользователям отправлять прямые сообщения кому угодно (или только тем, кто с ними в друзьях или кто подписан на них), а также о том, насколько длинными могут быть загружаемые видео и как быстро истории могут распространяться или предлагаться другим пользователям. В настоящий момент почти все эти решения определяются мотивом выгоды: вопрос в том, какое устройство коммуникации более всего максимизирует рекламные прибыли и вовлечение пользователей. Такие подсчеты совершаются мгновенно, и часто они ограничивают (причем иногда довольно существенно) тиражирование того или иного поста. Все, что предлагает Нобле, – это учитывать больше ценностей, включая те, на обсуждение и применение которых требуется больше времени. «Медленные медиа» Нобле, подобные в этом смысле принципу наличия «человека в системе» автономных систем вооружения, представляются вполне разумным подходом[309]. Он не просто обходит незапланированные последствия. Он заставляет «просто» платформы взять на себя обязанности медиа, роль которых они сегодня в действительности играют.

Также есть конкретные примеры амбициозных кураторских проектов, которые нацелены на более высокое качество подачи новостей (пусть даже с меньшей скоростью и охватом) или ключевых предметов, интересных читателям. Например, критик технологий Евгений Морозов руководит командой аналитиков, которые публикуют The Syllabus – тщательно подобранную подборку материалов из определенных медиа, охватывающих десятки различных областей (от здоровья до культуры и от политики до бизнеса). Следуя принципу дополнительности, выражаемому первым новым законом робототехники, The Syllabus обещают «новый эклектический метод, при применении которого люди и алгоритмы должны работать сообща, отыскивая лучшую и наиболее значимую информацию»[310]. Циник может посмеяться над намерением The Syllabus организовать огромные массивы информации эффективнее кудесников из Кремниевой долины. Однако трудно сравнивать замечательную серию материалов команды Морозова, посвященную медиаосвещению «политики ковида», с «инфодемией» дезинформации, доступной на платформах, или просто предполагать, что десятки тысяч сотрудников компаний Facebook, Twitter и Google делают работу намного лучше, чем небольшая команда Морозова[311].

Каковы бы ни были реальные достоинства идеалистической миссии The Syllabus, нужно признать, что подобный мир сотен или тысяч доверенных советчиков мог бы децентрализовать власть эффективнее, чем медленные реформы в Facebook или Google. Эти воронки сетевого внимания оказывают диспропорциональное влияние на то, что мы смотрим и читаем. По мере того как следствия этой сконцентрированной способности убеждать становятся яснее, все больше экспертов по антимонопольному законодательству призывают к их раздроблению[312]. Например, хотя Марк Цукерберг готов утверждать, что контроль его компании над платформами Instagram, Facebook и WhatsApp позволяет заниматься точно таргетированной, настроенной на пользователя рекламой, он создает лакомую добычу для пиар-фирм и государственных агентств, которые стремятся манипулировать выборами. Даже когда подобные сомнительные организации обуздываются, обладание одной фирмой столь огромным массивом данных о пользователях и власти над ними остается незаконным. Разделение подобных базовых коммуникативных предприятий позволило бы снизить ставки столь важной в настоящий момент корпоративной политики. Также разделение позволило бы медиафирмам с большей легкостью требовать более значительную компенсацию за предлагаемые ими человеческие знания и навыки, что определило бы новый баланс цифрового рекламного ландшафта, сегодня благоприятного для технологических компаний[313].

Разрушительная сила сетевого внимания

Жалобы на политическое и культурное влияние сетевых посредников появились давно. Также предметом критики становится их коммерческое воздействие. Интернет-портал на все случаи жизни не может одинаково хорошо служить всем, особенно если одна цель (прибыльность) ставится выше всех остальных. Уязвимые группы населения, которые легко эксплуатировать, могут запросто стать источниками извлечения прибыли.

Посмотрим на то, что поисковая машина Google стала единственным источником самой разной информации, которую могут искать даже люди, оказавшиеся в отчаянном положении. Например, наркозависимые люди, ищущие помощь, часто обращаются к Google, вводя запрос «реабилитационный центр» или «опиоидная зависимость» во всем известной строке поиска. Они не задумываются о существовании бурлящей экосистемы брокеров данных и мошенников, которые стремятся подороже продать дешевые и несертифицированные реабилитационные услуги. Какое-то время поиск «реабилитация рядом со мной» выдавал рекламы третьих сторон, которые делали деньги, продавая лиды. Такие лидогенераторы часто практически никак не проверяли тех, кто платит им, на предмет наличия реальных реабилитационных возможностей. Иногда они графически отмечали собственную незаинтересованность, но на самом деле получали деньги от компаний, которым направляли клиентов. Журналистка Кэт Фергюсон пришла к выводу, что образовавшийся в итоге хаос «отталкивал многих людей от получения нужной им помощи, а в крайнем случае мог напоминать торговлю людьми»[314]. В таком случае может образоваться порочная петля обратной связи: фирмы, которые больше всего тратят на маркетинг (и меньше на реальное лечение), могут вытеснить более качественные компании залпом платных реклам, привлекающих больше клиентов своей назойливостью, что, в свою очередь, приносит дополнительную прибыль, которую можно снова пустить на рекламу. Это как раз та «гонка за внимание», которую должен предотвратить третий новый закон робототехники.

Хотя сторонники машинного обучения признают, что подобная манипуляция является реальной проблемой, они утверждают, что есть дешевые способы разобраться с ней, не привлекая регуляторов и контроль. Они говорят, что для устранения коммерческих перекосов надо пригласить добровольцев, которые бы заполнили спорные страницы поисковых результатов. Например, пользовательский контент на Google-картах может привести людей, которые хотят найти медицинскую помощь, в ближайшие к ним клиники. В книге «Машина, платформа, толпа: овладение нашим цифровым будущим» Эндрю Макафи и Эрик Бриньолфсон представляют подобное взаимодействие крупной интернет-компании (платформы) и ее пользователей (толпы) в качестве наиболее продуктивной синергии[315]. Такие крупные платформы, как Google, могут применять машинное обучение для выполнения многих задач, но также найти способ опереться на «толпу» добровольных интернет-пользователей, чтобы заполнить пробелы, если нужно больше данных или если нужны более качественные данные.

Google, озаботившись возможной негативной рекламой, которую могли создать ссылки на сомнительные центры реабилитации, решил разрабатывать вариант «толпы». Он перестал принимать деньги от центров реабилитации, посчитав, что результаты в поиске должны быть «органическими». Однако мошенники стали манипулировать также и пользовательским содержанием на Google-картах. Анонимные саботажники начали менять телефоны уважаемых реабилитационных клиник на номера лидогенераторов, которые затем отправляли клиентов в низкокачественные клиники[316]. Каковы бы ни были достоинства «толпы» в других контекстах, когда на кону серьезные деньги, системы, основанные на доверии, легко подорвать[317].

Флорида, уставшая от хитростей бессовестных реабилитационных центров, запретила их маркетинг, вводящий клиентов в заблуждение[318]. Не вполне ясно, насколько эффективным был этот запрет.

Практически в каждом штате в США есть закон о защите прав потребителей, и такие законы, вероятно, запрещали наиболее сомнительные практики лидогенераторов реабилитационных клиник, как и сами эти клиники, еще до того, как они попали в поле общественного внимания. У сотрудников правоохранительных органов просто недостаточно ресурсов, чтобы расследовать каждый подозрительный случай, особенно когда цифровые манипуляторы могут легко скрыть свою идентичность и перенести фирму, если расследование началось, в другое место. Крупные интернет-фирмы должны сами заниматься каким-то отсевом, иначе уязвимые группы населения станут жертвами хищников, пытающихся на них нажиться[319].

Справедливое и инклюзивное правление не может быть алгоритмическим

Когда Конгресс США вызвал Марка Цукерберга на слушания о неоднократно замеченной неспособности его социальной сети отсеивать фейковые новости, манипуляции избирателями и злоупотребления данными, гендиректор Facebook говорил одно и то же: чтобы решить эту проблему, мы работаем над искусственным интеллектом. Критики проявили скепсис. Был, к примеру, такой злой заголовок: «ИИ решит самые неприятные проблемы Facebook. Только не спрашивайте, когда и как» [320]. На телеконференции, посвященной финансовой деятельности компании, Цукерберг признал, что на определенных фронтах прогресс может оставаться довольно медленным: «Гораздо проще создать ИИ-систему, которая будет распознавать сосок, чем высказывания, разжигающие ненависть», – пояснил он. Другими словами, поскольку Facebook называет себя «ИИ-компанией», запрет определенных изображений обнаженного тела на платформе получил более высокий приоритет среди менеджеров, чем искоренение высказываний, разжигающих ненависть.

Это мимолетное замечание позволило замять важные споры о цензуре, ценностях и ответственности в сети. Есть совершенно разные взгляды на то, следует ли вообще запрещать изображения обнаженного тела в крупных социальных сетях, и что должно обладать более высоким приоритетом. Политика сайта не всегда последовательна и не исполняется автоматически. Одна из компаний Facebook, а именно Instagram, не позволяет пользователям публиковать фотографии обнаженных тел или их цифровые репрезентации, но допускает рисованные изображения такого рода[321]. Возможно, это различие обосновано стремлением защитить художественные изображения наготы, но запретить порнографические или эксплуатационные. Юридические нормы, определяющие непристойность, построены на подобных различиях; однако также они встроены в гораздо более обширную систему оценок. Вне такого контекста различие физического и цифрового не является надежным критерием различия эстетического и неэстетического: легко представить рисованную порнографию и цифровые рисунки или фотографии обнаженных тел, обладающие значительной художественной ценностью.

Однако различие цифрового и нецифрового очень полезно в другом отношении: намного проще представить будущую систему машинного зрения, которая легко определяет разницу между краской и пикселями, чем машину, которая бы уверенно отличала кадр из начала порнографического фильма от художественной фотографии, документирующей жизнь секс-работников. Первая – задача по простому распознаванию паттерна, и можно представить себе, как сотни тысяч изображений будут безо всяких проблем относиться к той или другой категории, например, силами работников платформы Mechanical Turk компании Amazon (или даже автономной системой машинного обучения)[322]. Вторая задача является предметом морального и эстетического суждения, и это суждение может не только меняться со временем, но также по-разному выноситься в разных местах. Мы не должны позволять ограничениям определенного инструмента (ИИ) задавать половинчатый или неуклюжий подход к сложному культурному и политическому вопросу (сколько изображений обнаженных тел может быть в социальных сетях, которые легко доступны детям)[323].

В хорошо выстроенной политической структуре общество обсуждает пределы непристойности, а регулирующие органы должны решать, что запрещать и что игнорировать, при этом суды могут вступиться за права тех, кто был несправедливо отсеян предубежденными или пристрастными людьми и организациями, принимающими решения. Даже если бы могли в принципе закодировать в 2020 г. суждения о том, какие типы изображений на платформах допустимы, а какие нет, какая ценность была бы у такого кода в 2030 г. или 2040 г.? Взгляды меняются, аудитория и цели платформ расширяются и сокращаются, о чем, к своему неудовольствию, узнали владельцы Tumblr после запрета в этой сети порнографии. Управление в такой ситуации – постоянная обязанность, которую нельзя механизировать раз и навсегда. Также не может быть простым решением и добровольный вклад пользователей, как выяснил Amazon, когда гомофобы отметили тысячи книг о гей-культуре меткой «только для взрослых», чтобы они автоматически скрывались из выдачи. Целеустремленные экстремисты, которым помогают боты и хакеры, могут легко пересилить крепкое большинство. Так называемые тенденции к демократизации в интернете столкнулись с циркулярной пилой монополистов, отказывающихся от своей ответственности, заинтересованных манипуляторов и автоматической «речи» ботов.

Убежденные технофилы готовы утверждать, что решение о том, является ли нагота эстетической или непристойной, заслуживающей или незаслуживающей внимания, – это вопрос исключительно вкуса. Обычно они считают, что вкус «ниже» машинного интеллекта, то есть это какое-то второсортное знание, поскольку его нельзя свести к алгоритму. Но эту иерархию легко перевернуть, отдав приоритет нестандартизируемым суждениям, а не тем, что определяются данными и правилами. Возможно, мы не хотим инвестировать ресурсы в то, чтобы такие решения принимались людьми, выносящими решения и спорящими. Но это должно быть специальное решение о распределении ресурсов, а не следствие диктата неизбежности прогрессивного развития по направлению к искусственному интеллекту.

Право быть забытым: испытание человечной автоматизации

Каждый раз, когда жертвы манипуляций предлагают те или иные меры регулирования, им предсказуемо возражает хор голосов, утверждающих, что, как бы плохо технологические фирмы ни справлялись с этой задачей, государственное вмешательство будет еще хуже. Однако у нас уже есть один важный пример успешной и человечной автоматизации публичной сферы: европейское регулирование автоматического поиска имен, известное как «право на забвение». Для понимания важности этого права представьте, что кто-то создал сайт о худшем, что с вами когда-либо случалось, или о вашем худшем поступке, и что этот сайт всегда выводится в топе результатов при поиске по вашему имени. В США вы в таком случае юридической помощи не найдете; корпоративные лоббисты и идеологи либертарианства выступили единым фронтом, чтобы сделать подобное регулирование политически неприемлемым. Но в Европе «право на забвение» гарантирует, что неумолимая логика чисто алгоритмического поиска не приклеит к человеку навечно «алую букву».

«Право на забвение» – хорошее испытание технологии управления, разделяющей ценности политического общества в целом (а не только тех, кому посчастливилось владеть технологическими компаниями). До появления «права на забвение» руководители Google не раз указывали на необходимость максимальной автоматизации поиска, что согласуется с требованием тех, кто ищет, к качеству получаемой ими услуги[324]. При этом компания отказывалась учитывать интересы тех, кого ищут.

И это классическая стратегия оптимизации ИИ: значительное число соображений отбрасывается для того, чтобы сосредоточиться на более простых результатах (таких как рекламные доходы), которые может отследить и машина. Но если государство не должно пренебрегать интересами значительных групп людей, чтобы облегчить задачу законодателям и бюрократам, точно так же руководители и владельцы ИИ должны в полной мере учитывать проблематичность и размах их воздействия в мире[325]. Такие фирмы фактически управляют цифровыми репутациями, и действовать они должны соответственно.

Граждане ЕС могут удалить из поисковой выдачи информацию, которая является «неадекватной, нерелевантной, больше нерелевантной или чрезмерной», если только возможность найти такую информацию поиском по имени субъекта не является значительным общественным приоритетом[326]. И это стандарт, определить который на практике так же сложно, как и разницу между искусством и порнографией. Однако пользователи сети, поисковые машины и европейские чиновники приложили все силы к тому, чтобы найти баланс между частной заинтересованностью в приватности и общественным правом знать.

Рассмотрим, к примеру, историю женщины, муж которой был убит в 1990-х гг., а спустя десятилетия она выяснила, что, если ее погуглить, в результатах поиска обнаруживается эта история убийства.

Это классический пример потенциально избыточного влияния определенной информации на жизнь человека. Информация не является ложной, поэтому закон о клевете в этой женщине неприменим. Но вот «право на забвение» она могла использовать. Она подала прошение с требованием исключить эти материалы из поисковых результатов о ней. Работник Google согласился и исключил эти результаты. В этом случае не было никакой противостоящей такому решению общественной заинтересованности в доступности этой истории при любом поиске по имени вдовы[327].

Когда Суд Европейского союза объявил о «праве на забвение», защитники свободы слова (многие из которых финансировались Google) обличали его как атаку на свободу высказывания. Жалобы эти оказались несколько преувеличенными; «право на забвение» никак не влияет на источник проблематичной информации, и нет такого права на свободу слова, согласно которому негативную информацию из частной базы данных люди должны были бы видеть привязанной к имени определенного человека. Кроме того, Google и государственные органы довольно разумно подошли к одобрению поступивших запросов. Правовед Джулиа Поулс собрала некоторые ключевые решения по «праву на забвение», сравнив успешные и безуспешные запросы на исключение из поисковой выдачи[328]. Политикам, которых приговаривали к срокам за мошенничество, обычно отказывали в праве удалить новости об их делах из результатов поисков. Тогда как пациенты с ВИЧ, личность которых была раскрыта, удалили ссылки на материалы с упоминанием их имен. Замечательная работа Поулс показывает, как внимательное применение юридических и этических принципов способно подвести к тонким контекстуальным суждениям, которые позволяют возместить репутационный урон жертвам необоснованно заметных результатов, соблюдая при этом право общества на простой доступ к важным фактам о публичных фигурах или должностных лицах, которые пользуются доверием.

Споры о «праве на забвение» затрагивают многие щекотливые вопросы. Запросы педофилов в Европе также не были удовлетворены, хотя их преступления были совершены десятилетия назад; право общества знать перевесило в этом случае их право начать все с нуля. Японский Верховный суд взял за основу тот же принцип, когда отменил решение суда более низкой инстанции удовлетворить запрос на «право на забвение» одного преступника, совершившего сексуальное нападение[329]. Как показывает японская история, даже опытные юристы могут разойтись во мнениях относительно объема и силы такого права, как «право на забвение». С точки зрения тех, кто хочет создать алгоритмическое правосудие, которое будет вершиться с предсказуемостью и неумолимостью арифметических подсчетов, это доказательство ненадежности человеческого суждения. Но если учесть то, насколько тонким должно быть применение силы в новых цифровых областях, человеческая гибкость и креативность – это на самом деле преимущество[330]. Мы должны хорошенько подумать о том, на какой срок нужно стигматизировать определенных лиц и как технология может непреднамеренно удлинить реальный срок подобной стигматизации. Эксперты в области права, а также этики, культуры и технологии – все они должны участвовать в этом обсуждении[331].

Во многих случаях применения «права на забвение» было довольно сложно принять решение, но именно для такой оценки и такого решения и нужны работники-люди. Сегодня модераторы контента уже удаляют порнографические, содержащие сцены насилия или шокирующие изображения, хотя они получают низкую заработную плату и часто трудятся в нечеловеческих условиях[332]. Учитывая чрезвычайно высокую прибыльность ведущих технологических фирм, они могли бы создать для таких работников условия получше. Первым шагом стало бы признание модерации контента отдельной профессией с ее собственными независимыми стандартами профессионализма и охраной труда.

Страницы с результатами поиска – не какое-то первозданное отражение предзаданной цифровой реальности, о чем слишком хорошо известно жертвам несчастий, несправедливости или озлобленных толп. Такие страницы динамичны, и влияние на них оказывают оптимизаторы поисковых машин, инженеры Google, платные рекламные объявления, люди, проверяющие предлагаемые изменения в алгоритмах, и многие иные факторы. Никто не должен предполагать, что эти результаты непременно являются выражением истины, человеческого мнения, позиции компании или какого-то иного аспекта, который заслуживает надежной охраны свободы слова. Если цели приватности, отсутствия дискриминации и справедливых практик обработки данных и будут достигнуты в цифровую эпоху, статус поисковых машин как процессоров и контролеров, как они обычно сами себя характеризуют, должен быть выше статуса «защитников медиа», который они иногда оппортунистически примеривают. Алгоритмическое упорядочивание информации должно стать предметом дискуссии, основанной на общественных стандартах честности и точности. Иначе придется поставить быструю автоматическую коммуникацию выше человеческих ценностей, демократического формирования воли и надлежащей правовой процедуры.

Приручение автоматической публичной сферы

«Право на забвение» является подтверждением работоспособности самой идеи: даже самые обширные вычислительные процессы могут учитывать человеческие ценности. Другие юридические инициативы могли бы помочь бороться с дискриминацией, предубеждением и пропагандой, которые ныне слишком часто засоряют сетевые пространства (и даже заполоняют их). Государства могут потребовать, чтобы платформы отмечали поисковые результаты, связанные с разжиганием ненависти, и другие крайне оскорбительные материалы, следили за ними и разъясняли их.

Например, законодатели должны потребовать от Google и других крупнейших посредников не выводить ссылки на сайты, отрицающие Холокост, или, по крайней мере, существенно снизить их рейтинг. Есть такие идеологии, которые настолько опасны и дискредитированы, что они не заслуживают алгоритмически генерируемой публичности. По крайней мере государство должно потребовать предостерегающей маркировки в очевидном случае высказывания, разжигающего ненависть, которое разгоняется манипулятивными методами. Чтобы не допустить экстремизм в центр публичного внимания, маркировкой можно снабжать исторические ресурсы и группы интересов с обманчиво невинными названиями, которые в действительности проповедуют опасные дискредитированные идеологии. Без такой маркировки упорная банда фанатиков, обладающих базовыми навыками программирования, способна взломать экономику внимания, воспользовавшись неспособностью автоматизированных систем верно размечать и разъяснять источники информации[333].

Автоматические боты изрядно поспособствовали распространению в сети экстремизма, а потому государства должны взять их под контроль. Крупнейшие технологические платформы борются с подобными аккаунтами спустя рукава. У таких платформ две обязанности. Они знают, что пользователям не нравятся утомительные комментарии с каких-то анонимных аккаунтов или просмотры видео, которые нагоняются автоматическими «фермами ботов». С другой стороны, у них не слишком много конкурентов, поэтому нет причин бояться оттока пользователей. В то же время боты повышают показатели вовлечения на платформе, которые являются святыней цифровых маркетологов.

В 2012 г. YouTube «поставил перед компанией задачу достичь миллиарда часов просмотров в день и переписал свою рекомендационную систему, чтобы максимизировать этот показатель»[334]. «Миллиард часов ежедневных просмотров стали для наших технических специалистов путеводной звездой», – сказала гендиректор Сьюзен Воджицки. К неудовольствию пользователей YouTube, эта фиксация на количественных показателях позволила мошенникам манипулировать рекомендациями и создавать трафик для источников опасной дезинформации, о которых мы уже упоминали. Чтобы выявлять и предупреждать подобную манипуляцию, социальные сети вместе с поисковыми машинами должны покончить с ботами, занимающимися подобными махинациями. Если они не смогут сделать этого, законы должны потребовать, чтобы каждый аккаунт раскрывал, кем он управляется: человеком или машиной. Все пользователи должны иметь возможность блокировать аккаунты ботов в пользовательских настройках, а еще лучше, если такая блокировка будет выставлена по умолчанию, так что от пользователя, чтобы открыть ботам и их автоматическим сообщениям доступ в свою новостную ленту, потребуется специально его подтвердить. Некоторые адепты технологии обеспокоены тем, что подобные ограничения могут сказаться на свободе слова. Однако чисто автоматический источник информации и манипуляции, за который не отвечает ни один человек, не должен обладать подобными правами. Государства могут блокировать шумные мини-дроны, которые вторгаются в наше личное пространство для распространения новостей, изображений и рекламы, и та же логика применима и в сети.

Защита свободы слова – для людей и только во вторую очередь (если она к ним вообще применима) для программ, алгоритмов и искусственного интеллекта[335]. Свобода слова для людей – чрезвычайно важная цель, если учесть контекст современных исследований манипуляций публичной сферой по всему свету. Как отметил Джеймс Гриммельман, призывая отнестись к авторскому праву роботов с осторожностью, Первая поправка в приложении к ИИ могла бы систематически отдавать предпочтение машинной речи, а не человеческой[336]. Если людям-ораторам приходится учитывать законы о клевете и другие формы ответственности, наступающей, когда они лгут или искажают истину, как может быть ответственен автономный бот? У него нет репутации или активов, которые он мог бы потерять, поэтому остановить его невозможно.

Гораздо проще изобразить народную поддержку, чем на самом деле создать ее[337]. Когда избиратели и даже государства не могут провести различие между реальным и поддельным выражением мнения, невозможным становится то, что Юрген Хабермас называет «формированием демократической воли». Как доказывает постоянно растущее число эмпирических исследований негативных последствий «высказываний» ботов, в слишком многих сценариях их выступления представляют собой не столько речь, сколько антиречь, то есть хорошо рассчитанную попытку подорвать разумные обсуждения и ввести в заблуждение ничего не подозревающих людей[338]. Для восстановления доверия общества к демократическим процессам государства должны потребовать безотлагательного раскрытия данных, используемых для порождения алгоритмической речи, применяемых алгоритмов, а также таргетирования этой речи. Четвертый новый закон робототехники (предусматривающий атрибуцию ИИ его изобретателем или контролером) требует подобной прозрачности. Фирмы, которые подпадут под это требование, могут утверждать, что их алгоритмы слишком сложны, чтобы их раскрыть. В таком случае власти должны иметь возможность запретить таргетирование и сбор соответствующей информации, поскольку защита свободы слова должна иметь некоторое опознаваемое отношение к человеческому интеллекту. Без такого правила постоянно пополняемая армия ботов грозит заглушить речь реальных людей[339].

Кроме того, власти должны рассмотреть запрет определенных типов манипуляций. В британском Кодексе рекламы на радио и телевидении говорится, что «аудиовизуальные коммерческие передачи не должны применять техники, незаметные для сознания»[340]. В нормах американской Федеральной торговой комиссии прямо указывается на запрет вводящих в заблуждение рекламных объявлений, а также неверных или отсутствующих сведений о спонсорстве. Также государствам будет необходимо разработать более конкретные законы, управляющие все более автоматизируемой публичной сферой. В Калифорнии недавно потребовали, чтобы цифровые боты идентифицировали себя в социальных сетях[341]. Еще один предложенный закон должен «запретить оператору сайта социальной сети совершать сделки по продаже рекламы с программным аккаунтом или пользователем, выполняющим автоматическую задачу, либо с аккаунтом, который не верифицирован оператором в качестве контролируемого реальным человеком»[342]. Это сильные и конкретные законы, которые должны гарантировать то, что критически важные форумы человеческой коммуникации и взаимодействия не будут заглушаться постчеловеческим роем спама, пропаганды и отвлечения.

Как бы ни были привлекательны говорящие роботы, которых рисует научная фантастика, никто не должен романтизировать манипуляционную речь ботов. Логическим завершением laissez-faire в автоматизированной публичной сфере становится вечное сражение за внимание пользователей, которое ведут армии роботов, причем наиболее вероятным победителем станет фирма с наибольшими финансовыми ресурсами. Они смогут микротарге-тировать население любыми «работающими» материалами, чтобы мобилизовать его (и не важно, будет ли это истина, полуправда или ложь, цель которой – манипуляция), раскалывая публичную сферу на миллион персонализированных приватных сфер. Это очень далеко от победы классических ценностей свободы слова (то есть автономии и демократического самоуправления); на самом деле это, скорее, предвестье растворения в сфабрикованном консенсусе фантомной публики. Нераскрытые боты подделывают базовую репутационную валюту, которую люди зарабатывают благодаря своей телесности, поскольку боты неприкрыто нарушают второй новый закон робототехники.

Лучший телефонный робот

Проблема подделки вскоре может перейти из цифрового мира в реальный. Когда в 2018 г. был представлен Google Assistant, он поразил аудиторию, особенно когда гендиректор Сандар Пичаи продемонстрировал Duplex, искусственный интеллект, задача которого – назначать встречи. «Мы хотим наладить связи между пользователями и фирмами», – объяснил Пичаи. «60 % небольших фирм не имеют системы онлайн-букинга», а многие клиенты не любят звонить[343]. Пока он выступал, на экране отображалась команда: «Назначь мне встречу с парикмахером во вторник утром между io и 12 часами». В ответ на эту команду Duplex тут же сделал звонок в салон и пообщался с человеком, который на него ответил. «Привет, я звоню, чтобы договориться о женской стрижке для моего клиента», – сказал Duplex. В этот момент было неясно, что представляет собой голос Duplex – синтетический голос или голос реального человека. Пичаи воспроизвел записи Duplex, когда тот резервировал места в ресторане. Речь бота оказалась удивительно правдоподобной. Когда он что-то промычал в ответ на комментарий работника салона, толпа только ахнула от удовольствия. В более сложном разговоре Duplex переработал совет работника ресторана, который сказал, что в некоторые вечера резервировать места не обязательно. Это был уже не просто автоматический обзвон. Похоже, что Google овладел многими базовыми навыками коммуникации, опираясь на огромную базу данных телефонных разговоров.

Может показаться, что зарезервировать столик в ресторане – не такое уж большое достижение. Руководители проекта Duplex поспешили напомнить изумленной аудитории, что способности ИИ к разговору весьма ограниченны[344]. Тем не менее нетрудно понять, какой путь Duplex прокладывает для дальнейших исследований ИИ. Рассмотрим, к примеру, миллионы сообщений в базах данных таких групп, как Crisis Text Line, которые отправляют SMS клиентам, сталкивающимся с разными проблемами, начиная с несчастных случаев и заканчивая обычной депрессией[345]. Обучать людей отвечать таким клиентам дорого. Нельзя ли предположить, что однажды система, основанная на ИИ, будет сопоставлять жалобы, тревоги и слова отчаяния с выражениями, которые в прошлом были способны успокоить таких людей? Будет ли технология Duplex использоваться на горячих линиях для самоубийц? Да и вообще, не предрекает ли она исчезновения представителей отдела обслуживания клиентов, если любой воображаемый сценарий может запросто обслуживаться ботами, анализирующими постоянно растущую базу данных с жалобами и ответами на них?

На сегодняшний момент ответ на этот вопрос представляется скорее отрицательным. Вскоре Google затопила волна сетевого негодования. Заставлять ничего не подозревающих работников верить, что они имеют дело с человеком, – это, конечно, техническое достижение, но не моральное. Запись, сколько угодно ловкая и персонализированная, претендует на наше внимание и время, но совсем не так, как живой человек по телефону. После появления ряда гневных статей в прессе, Google неохотно признал то, что Duplex должен, когда звонит по телефону, представлять себя в качестве ИИ[346]. Компания также создала возможность для фирм отказаться от получения подобных звонков, приведя тем самым свою услугу в соответствие с обширными требованиями американской Федеральной комиссии по коммуникациям, распространяющимися на роботов – телефонных операторов. Ирония в том, что Duplex сам может потеряться в шквале спам-звонков, поскольку сотрудники ресторана стали игнорировать звонки без привязанного к ним опознаваемого имени.

Негативная реакция на Duplex оказалась столь же примечательной, что и сам продукт. В прошлом на ИИ и роботов в основном жаловались из-за их негибкости. Механические устройства вызывали раздражение, поскольку они были весьма далеки от спонтанности, креативности и уязвимости человека. В последнее время исследователи человекокомпьютерного интерфейса сформулировали теоретическую проблему робота, который «почти человек, но не совсем»[347]. Многие люди, занятые программированием эмоций, то есть попытками симулировать человеческие эмоции средствами роботов, полагают, что при наличии достаточных данных и достаточно продвинутых аудиосимуляций голосов, а также более живых лиц роботы в конечном счете смогут выбраться из «зловещей долины». Вместе с тем реакция на Duplex указывает на другую возможность. «Эксперименты Google, видимо, должны были вводить в заблуждение», – сказал оксфордский исследователь Томас Кинг, когда у него брала интервью известная в сфере технологий журналистка Наташа Ломас[348]. Травис Корте отметил, что «надо, чтобы ИИ звучал не так, как люди, – по той же причине, по которой мы добавляем пахучее вещество в природный газ, который сам по себе запаха не имеет»[349]. Комментарий Корте показывает в новом свете старое замечание, что «большие данные – это новая нефть»: вы должны знать, что имеете дело с большими данными, иначе они взорвутся вам прямо в лицо. Одно дело – разговаривать с человеком (пусть разговор и короткий), но совсем другое – становиться предметом манипуляции притворяющегося человеком ИИ, контролируемого одной из крупнейших мировых компаний.

Duplex может показаться исключением, попыткой перепоручить ИИ малозначительные беседы, которая не окажет долговременного влияния. Однако это лишь вершина айсберга посредников с ИИ, которые приобретают все больше власти над нашим коммуникативным пространством. То, что Duplex делает с отрывками разговоров, YouTube делает с видео, a Facebook – с медиа в целом: все они находят «оптимальное» соответствие, когда дан определенный паттерн слов. Мы не часто вспоминаем об ИИ, когда пролистываем страницу поисковой выдачи, – это и есть признак его коммерческого успеха. У фирм так много данных о наших привычках просмотра тех или иных сайтов, о наших цифровых путешествиях в интернете, наших электронных письмах, SMS и месторасположении, что они могут создавать крайне убедительные машины инфотейнмента, которые способны вызывать привыкание[350]. Чем меньше мы думаем о том, как на нас оказывается влияние, тем мощнее оно может стать[351].

Возвращение к журналистскому профессионализму

Пока государства только начинают осознавать угрозу, созданную автоматизированной публичной сферой. Первой подала пример Германия, где был принят закон, вменяющий платформам ответственность за фейковые новости. Недостаточность систем распознавания, построенных на ИИ, больше в этом случае не может служить извинением. В Нидерландах официальные должностные лица также получили возможность наказывать платформы, на которых распространяются высказывания, разжигающие ненависть или ложь. И все равно ведомства, регулирующие медиа, в обеих странах столкнулись с критикой со стороны прессы, которая воспринимает любые ограничения – даже платформ, которые отбирают у нее доходы, – как посягательство на независимость, добытую таким трудом. Еще хуже ситуация в США, где главный лукавец умудрился использовать выражение «фейковые новости» в качестве эпитета, обращенного против тех именно изданий, которые пытались разоблачить его мошенничества. Политики и знаменитости критиковали такие платформы, как Facebook, за те минимальные шаги, которые были предприняты ими для снижения доступности некоторых теорий заговора или высказываний, разжигающих ненависть. Такое давление означает, что законодательство, которое нацелено на совершенствование ландшафта сетевых медиа, будет приниматься с боем.

Даже если государство не может потребовать аудита и атрибуции выражений в автоматизированной публичной сфере, крупные интернет-платформы могут предпринять некоторые меры по саморегулированию (хотя бы для того, чтобы успокоить пугливых рекламодателей). Они могут нанять больше журналистов, чтобы те проверяли истории, когда последние становятся вирусными, и следили за входящей информацией, настраивая алгоритмы, необходимые для ограничения распространения высказываний, разжигающих ненависть, а также клеветнического контента. Facebook уже начал сотрудничество с некоторыми некоммерческими организациями в этой сфере, однако эта программа плохо финансируется и ее размах достаточно ограничен[352]. Добровольцы сами по себе не могут усмирить волну информации, ставшей оружием, но даже если бы и могли, не стоит надеяться на то, что они будут работать бесплатно. Действительно, в той мере, в какой подобные инициативы факт-чекинга будут работать, у спонсоров факт-чекеров будет значительная возможность навязывать свою собственную повестку. Поэтому лучше, если технологические фирмы признают и оценят профессиональные права и саму идентичность журналистов и редакторов и станут нанимать их как равных партнеров программистов и инженеров, которые будут сообща строить цифровую публичную сферу.

Пока такая позиция непопулярна. Многие в Кремниевой долине полагают, что создание новостных потоков – дело исключительно алгоритмов, за которыми должны следить инженеры[353]. Однако Facebook сам какое-то время придерживался иного мнения, когда нанимал людей-редакторов для блока «трендов», который выводился в списке поиска. Конечно, все это были контрактные работники с низким статусом, которых бесцеремонно выкинули на улицу, когда в одной статье, написанной на основе незначительного количества источников, утверждалось, что в сети подавляется консервативный контент[354]. Вскоре после этого Facebook был завален вышедшими в топ фейковыми новостями, благодаря которым шарлатаны и лжецы смогли добиться немалой публичности и рекламы, не говоря уже о доходных возможностях. Истинный урок всего этого в том, что людям-редакторам в Facebook следует предоставить больше власти, а не меньше, причем их решения должны стать предметом контроля и отчетности. Подобные рабочие места идеальны для профессиональных журналистов, если к ним будут относиться с тем же уважением, с каким в крупных технологических фирмах относятся к инженерам и проектировщикам, и если им будет предоставлена та же автономия. В журналистских школах уже преподают программирование, статистику и анализ данных, которые позволяют заполнить разрыв между секторами технологии и медиа. Также на подобных местах могли бы работать многие местные профессиональные журналисты. После десятилетий сокращений в США к началу 2020 г. осталось примерно 88 тыс. рабочих мест в редакциях и студиях; через несколько месяцев 36 тыс. таких рабочих мест были сокращены[355]. Естественное экономическое изменение должно перенести часть этих экспертных знаний и умений в автоматизированную публичную сферу.

Некоторые исследователи коммуникаций сопротивлялись идее профессионализации сетевого создания контента, его курирования и доставки, отстаивая идею гражданской журналистики, которая должна демократизировать власть прессы, сделав ее доступной для любого человека с компьютером и интернет-подключением. Хотя в теории это прекрасный идеал, на практике он провалился. Неспособность властителей интернета провести различие между статьями из реальной Guardian и Denver Guardian – это не просто нейтральное решение, нацеленное на выравнивание правил информационного поля. Скорее, такая неспособность предсказуемо подпитывает тактики пропаганды, отточенные миллионами долларов, вложенных в данные, пиар и раскрутку. Теневые квазигосударственные акторы хорошо подкованы в темных искусствах искажения, дезинформации и влияния[356]. Свобода для одних – несчастье для других.

В наше время такие крупные конгломераты, как Facebook или Google, действительно берут на себя роль глобальных регуляторов коммуникаций, и уже не важно, плохо это или хорошо. Они должны взять на себя ответственность за эту новую роль, или их раздробят, чтобы это смогли сделать человекосоразмерные организации. Публичную сферу нельзя автоматизировать так же, как конвейер, на котором собираются тостеры. Журналистика как профессия по самому своему существу человечна; и точно так же в редакторских задачах обязательно отражаются человеческие ценности[357]. В этом начинании неизбежно будут возникать глубокие и серьезные конфликты – из-за верного баланса коммерческих и публичных интересов при ранжировании различных источников, из-за прозрачности подобных решений, а также из-за контроля над новостными лентами, который должен быть у отдельных пользователей. Все эти вопросы крайне важны для будущего демократии. Больше нельзя позволять затирать их менеджерам, которые скорее заинтересованы в доходности акций и развитии искусственного интеллекта, чем в базовых демократических институтах и поддерживающем их гражданском обществе.

Гуманизация ИИ автоматизированных медиа

Автоматизированные медиа смогли быстро перестроить коммерческую и политическую жизнь. Фирмы применяли ИИ для решений, которые традиционно принимались менеджерами телестанций или редакторами газет, но с гораздо более мощным эффектом. Платформы в США и Китае изменили читательские и зрительские привычки сотен миллионов людей по всему миру. Новации ударили по газетам и журналистам, когда интернет-платформы стали отнимать доходы у традиционных медиа. Переход к алгоритмически регулируемым социальным сетям в некоторых случаях привел к страшным и даже трагическим последствиям, которые испытали на себе уязвимые группы населения, например мусульманское меньшинство, пострадавшее от толп, которых подстрекали социальные сети. Чуждый интеллект автоматизированных медиа, пагубный для многих демократических государств, на медиарынке, однако, одержал полную победу.

Я говорю о «чуждом», а не просто искусственном интеллекте по нескольким причинам. Прежде всего, он очень далек от паттернов познания, привычных тем, кого он желает заместить. Например, при выборе материала для первой страницы газеты редакторы обычно оценивали новости, опираясь на собственные суждения. У них, конечно, были и коммерческие соображения, а иногда и скрытые мотивы, но решение в принципе все равно можно было сформулировать и приписать определенным людям. Процесс решения о размещении статей в цифровой ленте новостей (или о многочисленных формах алгоритмических медиа, оптимизированных для цифровых сред) становится фрагментированным, как в калейдоскопе. История пользователя, репутация источника новостей, попытки увеличить его популярность и манипулировать ею, а также сотни других переменных – все это мгновенно соизмеряется, сочетаясь в таком виде, который сводит любые качественные факторы к количественным показателям, причем почти всегда этот процесс помещается в черный ящик, который невозможно изучить извне. Исследовать его намного сложнее, чем массмедиа, учитывая персонализацию контента для сотен миллионов индивидов и практически полную невозможность получить действительно репрезентативную выборку того, кто что видел и когда.

Чуждый интеллект указывает также на удаленность менеджеров глобальных технологических компаний от тех следствий в реальном мире, которые влекут их алгоритмы. Такие управленцы могут ввести ту или иную услугу в стране, язык которой неизвестен не только им, но и многим уровням сотрудников, которые перед ними отчитываются. В этом они следуют худшей традиции того, что Торстейн Веблен назвал «абсентеистской собственностью», то есть традиции удаленных контролеров, которые плохо понимают контекст своего бизнеса и его влияние[358]. Когда крупная фирма покупает магазин за тысячи миль от своей штаб-квартиры, обычно она оценивает его эффективность по достаточно грубым показателям, не слишком интересуясь жизнью общества, в котором этот магазин существует. При новом руководстве он, возможно, проигнорирует традиционные функции, которые ранее выполнял, чтобы максимизировать прибыли в соответствии с требованиями абсентеистского собственника. Тогда как актуальный собственник, сам являющийся членом локального сообщества, скорее всего, будет управлять магазином так, чтобы он соответствовал интересам и ценностям этого сообщества, поскольку ему самому выгодно улучшение ситуации последнего, вызванное его работой, и точно так же он пострадает, если результатом работы магазина будет ухудшение этой ситуации. То же самое мы можем сказать о местной журналистике и местных медиа, которые были уничтожены преобразованиями, обогатившими Facebook и Google. Возможно, такая журналистика служила местным интересам плохо, но у нее были хоть какие-то реальные ставки в своем регионе. Газета вроде Baltimore Sun не может пережить упадка родного города, тогда как технологические гиганты такую трагедию могут и не заметить[359].

Наконец, пользователи этих автоматизированных медиа слишком легко становятся жертвами отчуждения, угнетающего чувства бессмысленности и фрагментации, которое может легко перейти в экстремизм или эскапизм. Подлинный анализ такого отчуждения выходит далеко за пределы лишенной контекста критики эхо-камер, распространившейся в XXI в. во время первой волны критики социальных сетей. Скорее, в нем должна найти отражение критическая теория, созданная в ответ на авторитаризм 1930-х гг. Особенно когда дело доходит до политики, когда граждане погружаются в то, что Рахель Иегги назвала «отношением без отношения», когда все основные политические партии относятся к ним с безразличием или даже угрожают им, тогда-то создаются условия для радикальной деградации публичной сферы[360]. Наиболее успешные авторитарные популисты нашего времени эксплуатировали это широко распространившееся отчуждение, обратив накопившееся недовольство в деструктивные политические программы.

Новые законы робототехники не смогут решить все эти проблемы. Это серьезные проблемы не только для демократии, но и для любого политического сообщества. Тем не менее, если подписаться под принципами дополнительности, аутентичности, кооперации и атрибуции, это станет существенным шагом к будущему гуманных медиа. Обновление журналистики, редакторского дела и кураторства, которые должны стать устойчивыми и хорошо вознаграждаемыми профессиями, даст нам хотя бы шанс в борьбе с тиранией посредников, опирающихся на ИИ (а также с армией пиар-экспертов и консультантов, умело ими манипулирующих). Требование раскрытия ботов предоставит пользователям и платформам важную информацию, которая необходима, чтобы самостоятельно определить нужное сочетание компьютерного и человеческого взаимодействия. Новая балансировка компьютерного и профессионального суждения должна снизить уровень отчуждения, и того же результата должен достичь культурный сдвиг от пассивного доверия посредникам, поставляющим новости и аналитические материалы, к более специализированным кураторам, обладающим более прямыми и локальными связями со своей аудиторией.

ИИ может защищать свободу слова, если он правильно ограничен четырьмя новыми законами робототехники. ИИ не может заменить журналистского суждения или даже суждения многочисленных «модераторов контента», которые ищут незаконные, отвратительные или наполненные ненавистью посты. Спровоцировав гонку таргетированного рынка между фирмами, политиками и пропагандистами, крупные фирмы, опирающиеся на ИИ, снизили денежную прибыль, которая ранее позволяла журналистике стоять на ногах гораздо крепче. Некоторую часть этих денег надо вернуть профессиональным журналистам, одновременно старым и новым институтам, опирающимся на истину (и оформляющим консенсус)[361]. Это особенно важно, когда создатели ботов и дипфейков становятся все более изощренными. Четвертый закон робототехники, предписывающий прямую и четкую атрибуцию, должен управлять регулированием «проблемы фейковых медиа», как и второй закон, запрещающий вводящее в заблуждение подражание человеческим действиям. Не должно быть так, чтобы для отличия твитов и видео, представляющих аутентичный контент или, наоборот, являющихся попросту подстроенным спектаклем, человеку требовалась ученая степень по цифровой криминалистике.

Платформы можно реформировать, и исследователи коммуникации разработали вполне убедительные представления о том, как проектировать ИИ, чтобы он дополнял, а не спешно заменял редакторов, журналистов и работников творческих профессий, которые ныне зажаты в тисках мощных посредников. Этим предложениям, в целом вполне достойным, потребуется, чтобы созреть, поддерживающая их политико-экономическая среда, создаваемая четырьмя новыми законами робототехники. При правильном применении эти законы помогут предотвратить худшие эксцессы автоматизированной публичной сферы.

5. Машины, судящие людей

Представьте, что вам отказали в работе просто из-за тональности вашего голоса. Фирмы нанимают сегодня рекрутеров, которые используют распознавание лиц и голоса для оценки нервозности, настроения и паттернов поведения», и все это для того, чтобы понять, кто действительно «соответствует духу» компании. ИИ использовался в таких крупных компаниях, как PWC, L’Oreal, Mars и Citibank[362].

С точки зрения защитников ИИ как инструмента подбора кадров, сканирование лиц и голоса представляется лишь следующим логическим шагом после программ, сортирующих резюме. Если машина может автоматически отвергнуть сотни резюме, почему бы не позволить ей судить о более тонких материях?

Вполне очевидной и уже реальной опасностью является дискриминация. Программное обеспечение способно исключать меньшинства, которые недостаточно представлены в массиве данных ИИ. Феминистски поспешили напомнить фирмам о том, что внешний вид и голос «образцовых сотрудников» может быть связан не только с реальными компетенциями, но и с застарелым сексизмом. Если женщины не были частью управляющей команды в прошлом, они не могут определять массив данных, который предсказывает будущих звезд. Подтверждая такие опасения, группа по защите прав Upturn опубликовала подробный доклад по проблемным алгоритмам найма, рекомендуя принять «активные меры для выявления и устранения перекосов в их инструментах»[363]. Например, работодатели могли бы давать второй шанс особенно перспективным кандидатам, отсеянным фильтрующим ИИ.

Анализ лиц и голосов подрывает также принципы достоинства и автономии. Одно дело, когда ваше резюме анализирует ИИ, и совсем другое – когда о вас судят по непонятным характеристикам вашего поведения и умения себя держать. Я сам выбираю, что включать в резюме; но я не могу определить, не раскрывается ли мой глаз на один лишний миллиметр, когда интервьюер говорит что-то неожиданное. Конечно, собеседования с людьми часто оказываются неловкими и натужными; умелые вруны могут заговорить интервьюера и получить незаслуженную позицию, тогда как другие, более квалифицированные претенденты, – провалиться. И все же чисто механический анализ внешнего вида, осанки и поведения представляется проявлением неуважения. Нам известно, что топ-менеджмент фирмы набирают не так. Почему же подвергать других сотрудников такой бесчеловечной процедуре?

Когда все чаще машины начинают судить людей, возможны по крайней мере четыре разные реакции. Некоторые попытаются найти способ использовать систему, выполнив обратный инжиниринг неявных признаков ловкости, соответствия «духу компании» и любых других характеристик, которые должен предсказывать ИИ. Другая группа попытается повысить точность таких систем; третья, менее значительная, попытается сделать их более справедливыми – техническими методами либо регулированием. Наконец, четвертая группа будет выступать за полный запрет машинных суждений, то есть за то, чтобы в некоторых контекстах они не использовались, или потребует обязательного наличия человека в цепочке решений.

В этой главе основное внимание уделяется двум последним группам – тем, кто хотел бы скорректировать или устранить оценивающий ИИ, который претендует на измерение надежности, кредитоспособности, преступности людей, а также их общего «соответствия» рабочим местам или льготным программам. Машинные суждения о людях очень далеки от распознания изображений в медицине, где все согласны с тем, что усовершенствование технологии действительно служит человечеству[364]. Обнаружение опухоли в легком – совсем не то же самое, что выявление человека, который никуда не годен. Должны ли всевидящие компьютерные глаза усеивать наши школы, улицы и больницы и должны ли они следить за каждым нажатием клавиши – это действительно спорный вопрос. И то же самое можно сказать о новых способах оценки надежности и кредитоспособности, в частности на основе «граничных» данных, собираемых финансово-технологическими стартапами.

Движение в защиту справедливости, подотчетности и прозрачности в машинном обучении предложило много разных способов усовершенствования ИИ, который ныне оценивает человеческие усилия, внимательность, кредитоспособность и достоинство[365]. Но есть немало оснований и для заблаговременного запрета многих подобных технологий, за которым может последовать специальное лицензирование некоторых из них. Например, в целом за школами не должен следить взгляд системы Hikvision (о которой упоминалось в третьей главе), однако мы можем допустить, что она могла бы оказаться полезной в больнице, в которой выявлены случаи злоупотреблений или халатности. Но даже и там следует поставить под вопрос идею компьютерной оценки качества медицинской помощи или квалификации работников. Люди обязаны уделять друг другу внимание и объясняться на человеческом языке, и эту критическую функцию нельзя передать непрозрачному и неподотчетному программному обеспечению.

Привлекательные черты (и опасность) роботизированных суждений

Представьте, что вы получили повестку в суд. Явившись в зал суда, вы обнаруживаете, что там никого нет. Киоск, который там находится, фотографирует вас и выводит на экране инструкцию: вы должны занять место с цифрой 9. Голос из киоска, представляющий собой нечто среднее между голосами Сири и Алексы, заявляет, что ваше дело – девятое по счету. Когда все расселись, звучит объявление: «Всем встать». Занавес в передней части комнаты поднимается и показывает другой экран, с изображением человека в судебной тоге. Лицо судьи – одно из миллионов сфабрикованных лиц, которые порождаются состязательными сетями[366]. Оно составлено на основе изображений судей в выборке из io тыс. фильмов, обычно используемых исследователями ИИ. То есть это ИИ-версия судьи, как он видится при кастинге актеров.

Робот-пристав называет ваше дело, вы выходите за ограждение к стулу и столу, которые установлены для ответчиков. Аватар судьи начинает говорить: «Вы признаны виновным в критической массе правонарушений. Ваш автомобиль по крайней мере десять раз за два последних года превысил допустимую скорость как минимум на пять миль в час. В прошлом году вы нелегально скачали три фильма. На вечеринке вы курили марихуану. Согласно нашему алгоритмическому судебному решению, оптимальным наказанием за этот комплекс правонарушений будет вычитание сорока пунктов из вашего рейтинга, штраф в сумме 5 % от ваших активов и ваше согласие на установку в вашем доме камеры с алгоритмическим мониторингом на следующие шесть месяцев, чтобы вы не смогли снова нарушить закон. Если вы хотите подать апелляцию, пожалуйста, введите основания для апелляции в приложении „Скорое правосудие“, только что загруженном на ваш телефон. Если нет, пожалуйста, выйдите через ту же дверь, через которую вошли, и получите дальнейшие инструкции в автоматическом киоске».

Этот сценарий может показаться забавной научной фантастикой – некоей смесью Франца Кафки и Филиппа К. Дика[367]. Но в то же время можно сказать, что в нем отражены три актуальные тенденции социального контроля. Первая – повсеместное наблюдение, то есть способность записывать и анализировать каждый момент жизни людей. Вторая – запрос на умные города, которые динамически выдают штрафы или, наоборот, награды за запрещенное или поощряемое поведение. Футуристы рассматривают полицейское регулирование на базе результатов, которое позволит отказаться от старомодного права и перейти к более гибким оценкам общественного порядка. В этом идеале порядка без права, если на громкую вечеринку подано достаточное количество жалоб, она считается незаконной; если нет, она может продолжаться. Третья – попытка заменить людей машинами. Если охранники и полиция нуждаются в зарплатах и пенсиях, то роботам только и нужно, что электричество и обновление программ. Возможно, в будущем охраной правопорядка будут заниматься рои дронов, готовых остановить любого преступника или подозреваемого.

Искусственный интеллект и роботы в охране порядка и управлении сегодня в основном обосновываются экономическим нарративом, сосредоточенным на более эффективном применении ресурсов. Дроны, камеры наружного наблюдения и роботы – все это может быть намного дешевле, чем батальоны офицеров полиции. Они могут оказаться и более эффективными, к тому же, скорее всего, они будут реже наносить ущерб подозреваемым или выбирать неправильные цели. Но во всем этом сохраняется определенная двусмысленность, ощущение не только приобретения, но и утраты, возникающее, когда государство слишком далеко уходит по этой траектории контроля[368]. Государство всегда выступает защитником и в то же время потенциальной угрозой, источником помощи и агентом подавления. Полиция способна защитить мирных протестующих от враждебной толпы, но также она может арестовывать их и бросать в тюрьмы. Еще неприятнее то, что плюсы и минусы государственной силы слишком часто распределяются произвольным и дискриминирующим образом. Полиция оказывает непропорциональное давление на меньшинства – на афроамериканцев в США, уйгуров в Китае и жителей фавел в Бразилии.

Сообщества, стремящиеся утвердить верховенство права, нашли способы сгладить подобную несправедливость. Гражданские апелляционные комиссии и суды способны ограничивать полицейский произвол, назначая компенсации, когда нарушены гражданские права. Четвертая поправка Конституции США запрещает «общие ордеры», которые являются разрешениями общего характера на обыски и арест имущества и лиц без убедительной причины. Другие организации и структуры, поддерживающие права человека, предлагают еще более надежную защиту от полицейского государства. Все эти способы защиты снижают эффективность полицейских мер[369]. То есть наши обычные стандарты промышленной результативности не слишком хорошо сочетаются с такой социальной практикой, как охрана общественного порядка.

Программы и ИИ уже определяют значительную часть труда охранников и полицейских, то есть ту обширную область служб безопасности (как кибернетической, так и физической), полиции и армии, которая потребляет значительную долю мировых производительных сил[370]. Существуют проекты программирования таких роботов, которые будут безусловно соблюдать международное право, поскольку на них не влияют человеческие предубеждения, страсти или предрассудки. Профессор права Беннет Кейперс представил в своей работе будущее, в котором значительно компьютеризированные полицейские силы будут защищать всех и каждого, подчинив все население США контролю необычайно высокой интенсивности[371]. В его афрофутуристическом описании технология охраны правопорядка будет встроена в более мягкий и великодушный социальный порядок. Кейперс надеется на то, что «те немногие судебные разбирательства, которые понадобятся, будут не вполне „машинным судом“, но могут приблизиться к этой форме, поскольку она позволит исключить предубеждения, которые в наше время нередко влияют на судопроизводство».

Австралийский исследователь права и декан университета Дэн Хантер считает, что благодаря ИИ тюрьмы могут закрыться[372]. Если у нас будет достаточно сложная компьютерная система, все будущие приговоры могут отбываться в виде домашнего ареста. Учитывая скуку и уровень насилия, с которым сталкиваются многие заключенные тюрем, такая идея может показаться значительным шагом вперед в области наказания и реабилитации. Однако планы Хантера по «Проекту технологического заключения» содержат также идеи, которые пришлись бы кстати в «Особом мнении». В обмен на отбывание срока дома «правонарушители должны носить специальный электронный браслет, способный на обездвиживающий удар электротока в случае, если алгоритм замечает, что вот-вот будет совершено новое преступление или применено насилие. Такая оценка может производиться на основе ряда биометрических факторов, распознавания голоса и анализа лиц»[373]. Таково определение автоматизированного правосудия. Соответственно, не будет шанса подать апелляцию судье или ходатайство о помиловании, если искусственный интеллект уже вынес приговор. Ведь он будет и судьей, и присяжными, и, возможно, палачом, если система неправильно рассчитает удар током.

Технофилы потчуют нас особенно яркими и четкими картинами господствующего подхода к ИИ в области охраны правопорядка. С их точки зрения, ИИ и роботы неизбежно возьмут на себя задачи полиции, и наша задача (как граждан, исследователей и технологов) – помочь им как можно лучше выполнять эту работу. Например, если системы распознавания лиц не могут распознавать лица черных с той же точностью, что и белых, значит, надо внести больше черных лиц в базу данных. Но мы должны отступить на один шаг назад и выяснить, почему всеобщий надзор или тюрьмы в виртуальной реальности многим кажутся столь привлекательным решением. Вспомним о притягательности заместительного ИИ, о котором мы говорили в начале книги: чем хуже люди выполняют определенную работу или чем она дороже, тем больше будет мотивов передать ее машинам. Когда насилие и скука плохо управляемой тюрьмы – единственная альтернатива, постоянный домашний мониторинг средствами робота, оснащенного электрошокером, кажется не таким уж плохим вариантом. Бесстыдно расистский послужной список многих полицейских департаментов – вот из-за чего афрофутуристский робокоп кажется столь решительным прыжком в будущее.

Но что именно будет потеряно, если мы согласимся с этой логикой реформизма, когда на самом деле необходимы гораздо более глубокие перемены? Профессор афроамериканских исследований из Принстона Руха Бенджамин утверждает, что «альтернативы тюрьмам, считающиеся более гуманными и составляющие часть все более широкого спектра „технокоррекций“, должны называться тем словом, которого они заслуживают, а именно grilletes („кандалы“ по-испански)»[374]. Когда полиция и тюремщики стремятся срочно внедрить ИИ и роботов, в этой суматохе теряются холистические подходы к проблеме социального контроля. К тому же без внимания остается более важный ущерб, который может нанести технология в любой из подобных версий.

Что если со сценарием «Особого мнения» следовало бы сравнивать не стандартную тюрьму (с ее забитыми камерами, неудобными кроватями и плохой едой), а одну из «открытых тюрем», которые используются в Скандинавии? В таких исправительных учреждениях управляющие (а не охранники) предоставляют заключенным солнечные комнаты и возможность готовить себе еду и убирать свое жилье. В тюрьмах есть учебные курсы, работа, на которой заключенных не эксплуатируют, и профессиональное обучение. Здесь наблюдается тот уровень доверия, которого практически не встретишь в тюрьмах США, Китая или России[375]. Конечно, подобные скандинавские тюрьмы – не загородные клубы, они существенно ограничивают свободу правонарушителей. Однако к преступникам они относятся с тем минимальным уважением, которого явно не хватает как обычным тюрьмам, так и технологическим «новациям», приходящим им на смену. В полиции также наблюдается все более широкое движение, стремящееся остановить, а не исправить многие неприятные практики.

Нераспознание как неуважение

По крайней мере в двух крупных департаментах полиции в Британии были внедрены сканеры лиц для «идентификации и мониторинга мелких преступников, людей с психическими расстройствами и мирных протестующих». НПО Big Brother Watch выяснила, что более 90 % предположительных «совпадений» были ложноположительными[376]. В принципе эту проблему можно решить применением более качественной технологии или более крупными базами данных, состоящими из размеченных фотографий, взятых из социальных сетей. Однако в этом проекте заметно и иное нераспознание, которое не является технической проблемой. Почему психически больные объединены в одну группу с заключенными? Почему у государства вообще есть база данных мирных протестующих? Наконец, кто разрешил властям связать и так уже сомнительные классификации с технологией, созданной, чтобы уничтожить все сохранявшиеся доселе права на неизвестность, то есть на то, чтобы сохранять анонимность в толпе?[377] Распространение машинного зрения привело к тому, что критики обеспокоились не только эффективностью этой технологии. Они ставят под вопрос структуры власти, которые она поддерживает и закрепляет.

Подобное злоупотребление распознаванием лиц все чаще встречается как в общественном, так и частном секторах. Исследовательница из MIT Джой Буоламвини собрала данные, подтверждающие распространенность сбоев коммерческих программ распознавания лиц (РЛ), не всегда способных идентифицировать представителей меньшинств, особенно если это женщины[378]. Такое машинное зрение она называет «кодированным взглядом», который отражает «приоритеты, предпочтения, а также иногда и предубеждения тех, у кого есть право определять такую технологию»[379]. Примеры найти несложно, даже в самых богатых фирмах. Программа Rekognition компании Amazon нашла несколько ложных совпадений, когда Американский союз гражданских свобод попросил ее проверить, можно ли в числе членов американского Конгресса найти преступников из базы данных, определив их по лицу. Также она слишком часто идентифицировала в качестве преступников представителей меньшинств[380]. Система компании Amazon работала настолько плохо, что многие другие крупные технологические компании потребовали регулирования, хотя это и могло повредить их собственным прибылям.

Сегодня фирмы стремятся гарантировать адекватное количество лиц представителей меньшинств в соответствующих базах данных. Но некоторые защитники гражданских прав утверждают, что неполнота баз данных распознавания лиц – вещь хорошая. Вспоминая о трагическом американском наследии полицейского расистского насилия, которое сохраняется и по сей день, исследовательница и активистка Зое Самудзи утверждает: «…если черные станут одинаково видимыми для программ, что в дальнейшем будет использовано в качестве оружия против нас, это нельзя признать социальным прогрессом»[381]. Если убрать некоторые перекосы в системах распознавания лиц (например, включить в них большее число лиц представителей меньшинств), другие перекосы могут стать еще серьезнее. Председатель Исследовательского совета социальных наук Алондра Нельсон заявила, что ей трудно «понять, почему мы хотим, чтобы черные сообщества были лучше представлены в системах распознавания лиц, которые чаще всего используются для контроля»[382]. Исключить ложноположительные опознания – важная цель. Однако следует рассмотреть и общий эффект распознавания лиц, о чем не раз предупреждали исследователь права Вудро Хартцог и философ Ивэн Селинджер в своих выступлениях, требуя запрета этой технологии[383].

Футуристически настроенные консультанты полиции стремятся снабдить списками разыскиваемых лиц глобальную сеть телекамер, чтобы вылавливать преступников. Но действительно ли мы хотим, чтобы у корпораций и полиции была способность сопоставлять всякое лицо с именем, а также с алгоритмически порождаемым и часто тайным досье?[384] Вполне возможно, что на распознавание лиц надо ответить тем же рефлекторным «нет», которым были встречены очки Google Glass. Google рекламировал очки с камерами в качестве простого способа дополнения реальности, позволяющего распознавать знакомых и выводить карту незнакомого пространства. Но многие из тех, кто попались на глаза людям, носившим Google Glass, сочли очки с камерами угрозой. Возникли неудобные вопросы об этикете Google Glass в общественных туалетах. Технология не смогла закрепиться, и критики набросились на ее первых поклонников, которых прозвали glassholes (очкодурками). Даже несколько десятилетий назад человека, который везде таскал с собой видеокамеру, сочли бы параноиком или чудиком. Следует ли считать, что миниатюризации (или почти полной невидимости, если говорить о новом поколении удаленных сенсоров) достаточно, чтобы отнестись сегодня к той же технологии с большей теплотой? Нет. На самом деле ненавязчивость еще более опасна, поскольку люди даже не будут знать, что за ними наблюдают. Кроме того, биометрические тепловые отпечатки лица должны трактоваться по аналогии с отпечатками пальцев или номерами банковских счетов, то есть в качестве того, что нельзя просто так собирать или распространять[385]. Для этого требуется лицензия, а также регулярные аудиты, проводимые органами власти, чтобы предупредить злоупотребления.

В связи с расширением биометрических баз данных, которые охватывают все большее количество населения, особое значение приобретает динамика власти. В статье «Пекинскому Большому Брату нужны африканские лица», вышедшей в Foreign Affairs, Эми Хокинс отметила, что «Китай получит огромное преимущество, если благодаря тренировке систем распознавания лиц сможет… исключить из них расовые предубеждения», но в то же время «совершенствование» этой технологии подстегивает авторитаризм[386]. Если бы в Южной Африке была та технологическая инфраструктура, которая сегодня есть у Пекина в Синьцзян-Уйгурском автономном районе, где преимущественно проживают мусульмане, смогло бы там развиться движение против апартеида?[387] Сложно придумать историю, в которой такой аппарат сыграл бы на руку будущему Манделе.

К счастью, есть хорошо проработанные методы регулирования опасной (даже если иногда и полезной) технологии. Люк Старк из Microsoft Research назвал распознавание лиц «плутонием ИИ». Старк объясняет: «Плутоний применяется в специальных и строго контролируемых областях деятельности, у него настолько высокая токсичность, что его оборот управляется международными соглашениями, и по возможности его производства следует избегать»[388]. С точки зрения Старка, у распознавания лиц столько негативных следствий – например, авторитарные режимы могут, опираясь на него, отбелить свои расовые стереотипы авторитетом науки, – что оно заслуживает схожих предосторожностей и ограничений. Было бы разумно, если бы государства разрабатывали специализированные базы данные ограниченного применения, используемые исключительно для предотвращения пандемии или терроризма. Однако применять столь мощную технологию для выписывания штрафов людям, превысившим скорость, для ограничения мошенничества со льготами или ловли воришек – это все равно что стрелять из пушки по воробьям[389].

Предложение Старка особенно интересно, поскольку оно позволяет расширить логику ограничения власти машин, а именно логику ограничения насилия, с которой обычно все соглашаются. Никто не должен иметь возможность купить или оснастить беспилотный автомобиль пулеметом на крыше без определенной лицензии; это просто здравый смысл: танки нужны для войны, а не личных армий. Многие случаи применения технологии распознавания лиц влекут структурное насилие, включающее отнесение отдельных людей к тому или иному типажу, их мониторинг на рабочем месте и дома, наконец, просеивание баз данных для поиска способов манипуляции ими. Ограничение технологии распознавания лиц даст по крайней мере некоторую свободу анонимного передвижения, при котором местонахождение и идентичность человека не будут отслеживаться пристальным взором[390].

К сожалению, во многих обществах один из всадников правовой безответственности – фундаментализм свободы слова – способен покончить с разумными схемами лицензирования. Требуя всеобщего права на «научную свободу», фирмы заявляли, что у государства не должно быть права говорить им, какие данные они могут собирать или исследовать. Самая большая ирония тут в том, что корпоративное утверждение конституционных прав ведет к созданию баз данных, которые будут оказывать огромное и при этом достаточно пагубное влияние на свободу слова обычных граждан. Одно дело – идти на митинг, когда службы безопасности наблюдают за ним издалека. И совсем другое – когда полиция может сразу же определить ваши имя, адрес, место работы, используя для этого скан лица, приобретенный у какой-нибудь частной фирмы, которая ни перед кем не отчитывается.

Защитники личных прав высказывали и опасения, связанные с точностью подобных баз данных. Как показали Дана Прист и Билл Аркин в документальном сериале Top Secret America, существуют сотни организаций, имеющих доступ к огромным запасам данных о гражданах США. Со времен откровений Сноудена эта поразительная способность собирать данные об индивидах вызывает беспокойство среди исследователей, защитников гражданских свобод и практически у каждого гражданина, понимающего, насколько ошибочными могут быть решения, опирающиеся, как утверждается, на данные. Ставки высоки: люди попадают в черные списки, запрещающие им работать, голосовать, летать на самолетах, получать гражданство. Те, кто стали жертвой необоснованно, обычно не могут ни к кому обратиться, а потому в итоге увязают в бесполезных запросах, пересылаемых от одного ведомства другому. Результатом оказывается поистине кафкианское надругательство над базовыми принципами прозрачности и законного юридического процесса. Многие режимы практически никогда не дают обычным гражданам доступ к решениям, которые о них выносят правительства и фирмы, и это не говоря уже о том, чтобы такие решения оспорить. Моральный аргумент в пользу «управления средствами ИИ» рассыпается, когда нет таких базовых гарантий[391].

Судить о книге по обложке: от распознавания лиц к их анализу

Из-за анализа лиц эта и так уже неприемлемая ситуация может серьезно ухудшиться. Некоторые выдающиеся исследователи машинного обучения утверждают, что по лицу можно понять нашу сексуальную ориентацию и интеллект[392]. На основе базы данных лиц заключенных могут быть созданы стереотипические изображения криминальных черт лица[393]. Один из стартаперов заявил, что может выявлять черты педофилов и террористов и что его технология используется спецслужбами по всему миру[394].

Критики оспорили точность подобных предсказаний. Тренировочные данные, состоящие из лиц заключенных, представляют не преступность, а, скорее, преступников, которые были пойманы, заключены в тюрьму и сфотографированы. Значительный процент преступников никогда не ловят или не наказывают, поэтому подобные данные не могут адекватно представлять преступность как таковую. Исследование, претендующее на идентификацию лиц геев, возможно, отобрало определенные паттерны саморепрезентации людей, использующих сайты знакомств, ставших источниками фотографий «геев» и «не геев», использованных для тренировки классификационной системы. Геи и лесбиянки в определенное время и в определенном месте, возможно, и в самом деле в большей или меньшей степени склонны носить очки, бороды или усы, улыбаться или, наоборот, выглядеть серьезно.

Как отмечает Дэн Маккиллан, машинное обучение часто выдвигает сильные предсказания, «склоняя к сравнениям с наукой. Но фактически оно производит знание, которое, не будучи универсальным и объективным, неразрывно связано с определенными вычислительными механизмами и данными, 84 использованными для тренировки»[395].

Все эти недостатки подкрепляют более общую критику многих непрозрачных форм машинных суждений; оставаясь необъясненными (или необъяснимыми), они могут быть надежными или, наоборот, ненадежными в зависимости от репрезентативности тренировочных данных[396]. К примеру, представьте переполненный зал суда, в котором применяется обработка естественного языка для определения того, какой из актуальных исков более всего напоминает те, что были удовлетворены в прошлом, а потому при структурировании порядка рассмотрения дел предпочтение отдается именно им. Поскольку прошлые иски отражают прошлые условия, которые более недействительны, они не могут быть надежным ориентиром для того, какие актуальные иски на самом деле заслуживают внимания[397]. Более объяснимая система, которая бы показывала, почему она выделяет определенные слова и фразы в качестве признаков действительно серьезного или обоснованного иска, была бы полезнее. Но даже ее ценность снижается при изменении типов рассматриваемых дел, приоритетов судей и других факторов[398].

Перед предсказанием преступной деятельности методами ИИ стоит еще больше препятствий. Как пояснил Кил Бреннан-Маркес, юриспруденция, основанная на принципе хорошо обоснованного сомнения (и в целом опирающаяся на Четвертую поправку Конституции США), требует того, чтобы органы власти предоставили убедительное, а не просто вероятностное, статистическое или искусственно-интеллектуальное объяснение причин, по которым они производят расследование в отношении данных подозреваемых[399]. Нам нужно понимать не только то, что мы под наблюдением, но также и то, почему это так. Это ограничение государственной власти, которой, вероятно, очень хочется использовать передовые технологии наблюдения для полного контроля граждан. Предсказательная аналитика, работающая как черный ящик, легко может дать полиции предлог для преследования практического любого, поскольку все мы с равной вероятностью демонстрируем поведение, которое в каком-то смысле коррелирует с поведением потенциальных преступников.

Отсутствие причинно-следственной связи (противопоставляемой простой корреляции) указывает на еще один неприятный аспект предсказаний, основанных на лицах. За неимением данных, подтверждающих то, что форма лица действительно влияет на преступные наклонности, обосновывать полицейские меры простой корреляцией – довольно жутковатое решение. В действительности оно стало бы возвышением чуждого, нечеловеческого интеллекта в той системе, в которой ключевым фактором легитимности является человеческий смысл и коммуникация[400]. Если мы действительно можем сказать людям, что в определенном смысле благодаря изменению своего лица он могут снизить вероятность стать преступниками, тогда операции на основе больших данных указывают на перспективу исключительно интенсивного и высокоточного социального контроля. Подобный тупик, образованный манипуляцией, исходящей от черного ящика, и в то же время интимным контролем, указывает на необходимость остановить работы в этом направлении.

Теми же предосторожностями следует руководствоваться и в приложениях эмоционального программирования. Фирма Affectiva заявляет, что у нее чуть ли не лучший «анализ чувств» в мире. Используя базы данных с миллионами лиц, размеченных по эмоциям, представители Affectiva считают, что их ИИ может считывать грусть, радость, отвращение и многие другие чувства, анализируя видеозаписи лиц. Спрос на такой анализ велик. Американские военные, уставшие от процедуры получения допуска, хотят найти ИИ, который бы отмечал подозрительные выражения[401]. Существуют многочисленные полицейские, специальные и военные приложения детекторов эмоций, которые восходят еще к детекторам лжи (являющимся весьма спорным предметом, к тому же в США при найме запрещены)[402]. Рана эль-Калиуби, гендиректор и один из основателей компании Affectiva, отказалась предоставлять лицензию на эту технологию государству, однако признает, что распознавание эмоций является обоюдоострым мечом, где бы он ни использовался. Она описывает рабочее место будущего, на котором будет реализован постоянный мониторинг эмоциональных состояний сотрудников:

Я думаю, было бы очень интересно, если бы люди согласились участвовать в эксперименте на анонимных условиях, а работодатели могли бы составить рейтинг чувств или просто общий обзор, который бы описывал, как люди себя чувствуют в офисе – увлечены они и довольны ли.

Еще один интересный пример – это гендиректор, который делает презентацию для людей, которые подключены из разных стран, а машина может показывать, доходит ли идея гендиректора до людей. Привлекают ли их его цели? Мотивированы ли они? Это базовые вопросы, на которые легко ответить, если мы в одном месте; но теперь, когда все в разных точках, очень трудно это понять. Однако если повернуть ту же технологию другой стороной и сказать: «Хорошо, я сейчас разберусь с этим вот членом команды, поскольку он недостаточно увлечен», это будет бесспорное злоупотребление данными[403].

С точки зрения эль-Калиуби, мы можем получить все сразу – и всеобщий мониторинг без применения собираемых данных против нас, и ИИ, понимающий наши чувства, чтобы служить нам, но без попыток подчинить нас или нами манипулировать.

Но есть все причины сомневаться в выполнимости обеих этих надежд. Сотрудники в США страдают от практически «безграничного наблюдения», – о котором заявила группа исследователей права[404]. Даже в юрисдикциях, где надежная защита права на личную жизнь закреплена законом, правоприменение часто неэффективно. С другой стороны, технологические фирмы не всегда могли выстроить политику лицензирования. Конечно, этичные поставщики ИИ включают в контракты формулировки, требующие от работодателей не предпринимать никаких действий против равнодушных работников, которые не улыбнулись шутке гендиректора. Но смогут ли они проникнуть в защищенные коммерческой тайной методы оценки работников? Какое у такой фирмы может быть бизнес-обоснование для продолжения контроля своих продуктов? Даже в юрисдикциях, где подобное навязчивое наблюдение нарушает трудовой кодекс, сил охраны порядка не хватает, к тому же они заняты более насущными угрозами. Сторонние аудиторы – тоже не панацея. Они не раз терпели неудачу даже в тех условиях, когда правоприменение требовало более строгого изучения корпоративных практик.

Во всех вышеперечисленных случаях нам нужно нечто большее, чем смутные заверения в следовании принципам социальной ответственности и регулирования. Нам нужно структурировать рабочие сообщества так, чтобы работники могли иметь возможность предупреждать о злоупотреблениях технологией и реагировать на них (как внутри фирмы, так и за ее пределами). Нам нужны независимые и хорошо финансируемые регулирующие организации, способные следить за применением этих четких правил на практике. Также нам нужны реальные наказания за их нарушение. Все это структурные основы гуманной автоматизации. Спор об условиях и целях подотчетности не должен ограничиваться вопросами честности. Мы должны рассмотреть и более обширные вопросы, в частности о том, должны ли вообще разрабатываться и внедряться подобные средства[405].

Когда широкий доступ к финансовым услугам становится хищническим и жутким

Расхождение в споре о распознавании и анализе лиц между теми, кто желает увеличить предсказательные способности ИИ, и теми, кто хочет запретить или существенно ограничить его применение, не раз проявлялось не только в праве, но и в финансах. Кредиторы при выдаче кредитов и определении ставок опираются на данные. Они постоянно требуют все больше информации у потенциальных заемщиков, чтобы нарастить предсказательные способности своих алгоритмов. Запрос все большего количества данных может быть настолько назойливым, бесстыдным и спекулятивным, что в нем начинает чувствоваться дегуманизация. Где же провести черту?

Машинное обучение обещает выявить характеристики надежных людей, определяемых по прошлым кредитам, причем эти характеристики могут встречаться и у тех, кому сегодня кредитование недоступно. Например, может статься так, что надежные заемщики обычно спят по меньшей мере семь часов в сутки (что приблизительно измеряется бездействием телефона), в качестве веб-браузера используют Google Chrome и покупают органическую еду. Любая из этих корреляций сама по себе строгой быть не может. Но когда они достигают определенной критической массы, может возникнуть новый динамический профиль надежного заемщика, основанный на больших данных. Микрокредиторы уже используют такие качества, как интернет-активность, для решений по заявкам на кредиты.

Кредиторы говорят, что все эти инновации – достаточная причина для еще большего дерегулирования финансовой отрасли. Зачем беспокоиться о предубеждениях, если ИИ – это просто компьютерная программа, неподвластная человеческим эмоциям и предрассудкам? И зачем пытаться искать потребителей, когда ИИ все лучше и лучше определяет тех, кто может расплатиться по кредиту? По всему миру регулирующие ведомства, поощряемые финансовотехническим утопизмом, ослабляют контроль новых фирм. США и Гонконг ввели «регуляционные песочницы» для финансово-технических фирм, ограничив их контроль. Но это неправильный подход, поскольку применение ИИ в финансовотехнической сфере влечет столько же проблем, как и традиционная оценка платежеспособности, если не больше. Оно ведет к «обществу рейтинга», в котором люди не имеют базовой информации о том, почему их судят именно так[406].

Эти проблемы в абстрактном виде выглядят весьма тревожными. Их конкретные следствия попросту пугают, что было продемонстрировано одним из докладов благотворительной организации Privacy International. Финансово-технические фирмы уже оценивают кредитоспособность на основе политической деятельности, пунктуации и распорядка сна. Как свидетельствует эта организация, «если кредиторы видят в чьем-либо Twitter-аккаунте в Индии признаки политической деятельности, они считают, что такому человеку будет сложнее выплачивать кредит, и не дают его»[407]. Предсказательная аналитика, которая постоянно ищет новые потенциальные корреляции, обнаруживает смысл даже в предельно бытовых действиях: «[Одна фирма] анализирует то, как вы заполняете форму (а не только то, что именно вы в ней пишете), как вы используете веб-сайт, на каком именно устройстве и из какого места»[408]. В Китае распространение «позитивных постов о государстве и о том, как хорошо обстоят дела с экономикой страны, поднимает ваш рейтинг»[409]. По свидетельству некой американской финансово-технической фирмы, одним из предостерегающих знаков является запись фамилии в форму заглавными буквами[410].

Возможно, все мы посылаем «сигналы», которые еще более серьезны. Например, исследователи недавно изучили то, как двигают компьютерной мышью люди, искавшие много информации о болезни Паркинсона в поисковике Bing[411]. Некоторые представители этой группы, в которой, скорее всего, болезнь Паркинсона распространена намного больше, чем среди населения в целом, обычно демонстрировали при движении мышью тремор. Подобные данные о треморе и такие физические характеристики, как скорость печати или движения мышью, – не те действия, по которым нас должны, с нашей точки зрения, судить. По мере составления и анализа все большего числа баз данных будут возникать еще более тонкие сигналы, указывающие на вероятное состояние нашего здоровья в будущем. Чем больше признаков печальной судьбы становится доступно, тем лучше ИИ сможет ее предсказывать.

Возможно, мы согласимся с тем, что нашим врачам такая информация необходима, но нам не нужно, чтобы ее использовали банки, работодатели и все остальные. Жизнь и публичная политика не ограничиваются согласием о трансакциях между заемщиками и финансово-техническими компаниями, обеспечивающим финансовую инклюзию (которая в этой отрасли является общепринятым обоснованием дерегулирования). Если нет подлинных гарантий безопасности, возникнет гонка на понижение – в распространении данных и в то же время в структурировании поведения, когда все больше людей будут конкурировать за лучшие сделки. Это может привести к расцвету хищнической инклюзии (которая больше вредит, чем помогает), жуткой инклюзии (которая предоставляет корпорациям возможность по-вуайеристски заглядывать в наши жизни) и порабощающей инклюзии (которая закрепляет неравенство, заставляя людей сохранять те же паттерны жизни, которые исходно как раз и привели к их отчаянному положению). Законодатели должны затруднять или даже запрещать инклюзию таких типов.

Хищническая инклюзия – понятие с давней историей[412]. Кредит дает возможности, но его теневая сторона (задолженность) сковывает. Иногда бремя кредитов намного больше преимуществ, которые они дают. Рассмотрим семейную пару, Джо и Маргарет, которые берут микрокредит под ставку 20 % в неделю. При такой ставке задолженность удваивается каждый месяц. Желая во что бы ни стало расплатиться, они на несколько дней остаются без денег, им нечем кормить детей. Они не могут выплатить арендную плату, и их выселяют, однако кредитор за три месяца получает всю причитающуюся ему выплату, зарабатывая неплохой доход на этом кредите. Когда мы думаем о будущем ИИ в потребительском финансировании, многое зависит от того, как такая история, как у Джо и Маргарет, кодируется фирмами, которые ныне наживаются на миллионах частных кризисов ликвидности. Грубые показатели выплат по кредитам подтолкнут машины и дальше искать подобных отчаявшихся заемщиков.

Весь вопрос в том, как определять «успешную трансакцию» и из чего она состоит. Кредиторы, сосредоточенные на прибылях, очень редко фиксируют данные о том, сложной была оплата кредита или легкой, унизительной или обыкновенной. Неведение-золото, по крайней мере для кредитора.

Тогда как заемщики страдают молча. Один канзасский ветеран войны выплатил 50000 долл, процентов за кредит 2500 долл.[413] Британская воспитательница взяла в долг 300 фунтов и через год была должна 1500[414]. Сотни заемщиков рассказали свои душераздирающие истории лондонскому изданию Guardian, а в Америке истории подобных бедствий распространены еще больше. В развивающемся мире ставки могут быть даже выше. Достаточно историй о самоубийствах клиентов микрокредиторов, которые не могли расплатиться по своим кредитам. «Кредитный круг» означает то, что долг заемщика часто перекладывают на его односельчан, чем создается невыносимая динамика устыжения. Один кениец утверждал, что цифровые приложения для кредитования в его стране «порабощают» как работающих бедняков, так и класс штатных работников[415].

Хищническая инклюзия отравляет также и надежды на образование. Когда люди, стремящиеся во что бы то ни стало ухватиться за удачную возможность, взваливают на себя значительный кредитный груз, чтобы пройти образовательные программы сомнительной ценности, результат тот же. Риторика вертикальной мобильности слишком многих убеждает в том, что больше учиться – значит идти по верному пути к большей возможности зарабатывать. Появляющиеся как грибы коммерческие колледжи пользуются такими надеждами[416]. Они торгуют жестоким оптимизмом, утверждая, что будущее должно быть лучше прошлого[417].

Один из способов предупредить возникновение эксплуатирующих образовательных задолженностей – сертифицировать программы, которые давали студентам хорошую «прибыль на инвестиции». В США администрация Обамы несколько лет пыталась ввести подобное требование, а в 2015 г. наконец провозгласила «правило оплачиваемой должности», но лишь затем, чтобы следующая администрация тут же эти гарантии отменила. Общество не слишком поддержало правило Обамы – гипертехнократический подход к сертификации программ кредитования. Его чрезмерная сосредоточенность на ожидаемых доходах вскоре после выпуска предполагала, что весь смысл обучения состоит в достижении определенного потенциала заработка. Каковы бы ни были преимущества подобного подхода, его нельзя применить к задолженности в обществе в целом. Ни одно государство не может подробно расписывать, какой кредит может использоваться для покупок, а какой должен быть запрещен.

В других юрисдикциях был опробован более просвещенный подход к образовательной задолженности, который мог бы применяться и во многих иных кредитных контекстах. Например, программы погашения кредита на основе дохода заемщика определяют долю дохода, которая должна выплачиваться только в течение определенного количества лет[418]. По сути дела, это налог для выпускников, если не считать того, что люди с достаточным, чтобы расплатиться по кредиту, доходом, прекращают платить после произведенной полной выплаты[419]. Движение за «свободный колледж» требовало также прямого обеспечения образованием[420].

Здесь может показаться, что финансовый ИИ мы оставили далеко позади. Однако специалисты по этике техники все больше понимают, что основные проблемы ИИ не являются в первую очередь технологическими. Скорее, самое главное – это социальная роль ИИ. Если мы хотим остановить хищническое кредитование, важнее разобраться с неравенством сил кредиторов и должников, чем переналаживать технологию ИИ.

Тот же принцип приложим и к жуткой инклюзии. Постоянное отслеживание по мобильному телефону, архивация и перепродажа данных – главный признак жуткой инклюзии[421]. Если банкир спросит сотрудницу, не будет ли она против, чтобы он следил за ней круглые сутки и семь дней в неделю, у нее неизбежно возникнет ощущение угрозы. Она может даже получить запретительное судебное постановление, дабы защитить себя от его преследований. Хотя кредитные договоры, которые сопровождаются трекерами мобильных телефонов, кажутся меньшей угрозой, применение и передача этих данных третьим лицам создает вполне отчетливую и действительно возмутительную угрозу. Жуткость – ощущение будущей угрозы, основанное на восприятии отклонения от нормы. Нормальный опыт включает право на трудовую жизнь, отличную от домашней, и на то, что нас будут судить на основе четко определенных критериев. Жуткая инклюзия подрывает этот баланс, позволяя неизвестным механическим агентам, принимающим решения, шнырять по нашим автомобилям, спальням и туалетам.

В настоящий момент подобные требования контроля и наблюдения достаточно редки. Предприниматели из финансового сектора отметают призывы ввести регулирование, заверяя власти в том, что их программы не записывают или не оценивают такие конфиденциальные данные, как местонахождение, имя абонента или содержание разговоров[422]. Однако метаданные бесконечны, и, как мы видели на примере тремора рук, предсказывающего болезнь Паркинсона, они могут показать человека с совершенно неожиданной стороны[423]. Пришло время принять законы против жуткой инклюзии, прежде чем манипулятивный маркетинг не затянет в дурные сделки столько людей, что отрасль сможет с легкостью заявить, что их эксплуатация – давно утвердившееся «потребительское предпочтение».

Вопрос времени является ключевым, поскольку эта отрасль пытается предупредить регулирование, когда практика только появляется, назвав ее инновацией. «Подождем и посмотрим, что получится», – говорят лоббисты. Когда же такая практика получает распространение, возникает другой аргумент против регулирования: «Как вы осмеливаетесь вмешиваться в потребительский выбор!». Эта циничная пара аргументов в пользу режима laissez-faire особенно опасна в регулировании данных, поскольку нормы, когда люди рвутся к преимуществу, могут быстро меняться[424]. Без координации мы вскоре достигнем равновесия, в котором каждый будет вынужден раскрывать все больше информации, чтобы избежать убытков. Если мы начнем сотрудничать, чтобы ввести некоторые практически применимые правила, то сможем защитить самих себя от безграничного капитализма наблюдения[425]. Например, в некоторых юрисдикциях уже принимаются законы против фирм, которые чипируют рабочих микрочипами-сенсорами с рисовое зернышко, которые вводятся под кожу[426].

Этими планами по самозащите надо заняться безотлагательно, поскольку со временем порабощающая инклюзия станет еще популярней. Наказание людей за политическую деятельность, чем занимаются некоторые фирмы в Индии и Китае, еще больше закрепляет господство кредиторов, а не тех, кому нужны кредиты. Рост того, что Citibank назвал «риском vox populi», включая предположительную «опасность», исходящую от людей, требующих, чтобы корпорации лучше к ним относились, заставит еще большее число директоров рассмотреть политические аспекты своей кредитной деятельности. Возможно, фирмы решат, что люди, которые преследуют в судебном порядке своих квартировладельцев за невыполнение условий аренды или подают жалобу на условия труда, – самые затратные клиенты, поскольку они будут отстаивать свои права настойчивее остальных. Подобные критерии не могут определять гуманную кредитную систему. Они заставляют всех нас соревноваться в самоуничижении, если каждый из нас желает доказать, что он и есть тот человек, который снесет любую обиду, лишь бы прорваться вперед.

Хотя претензии хищнической, жуткой и порабощающей инклюзии можно предъявлять на разных основаниях, все эти разновидности проясняют ключевую проблему автоматизации. Они позволяют людям конкурировать за преимущество на финансовых рынках так, что эта конкуренция подрывает их финансовое благосостояние, их достоинство и политическую власть. Как указывает третий новый закон робототехники, абсолютно необходимо остановить подобную гонку наблюдения уже сегодня, когда она еще не стала нормой.

Приучение к покорности в обществе рейтинга

В 2014 г. Государственный совет Китая опубликовал «Проект развития системы социального кредита», который включает рейтингование как одну из составляющих оценки репутации[427]. Социальный кредит может влиять на самые разные возможности, такие как право путешествовать, получать денежные кредиты или право на поступления в учебные заведения (самого человека или его детей). Государственный совет определил общий план «поощрения честности и наказания нечестности», который он в 2014 г. «все провинциальные, автономно-региональные и муниципальные народные правительства, все министерства и комиссии Государственного совета, а также все напрямую подчиненные департаменты» попросил «серьезно выполнять»[428].

С тех пор возникло много локальных программ. В Янькао жители «могут заработать максимальный рейтинг з звезды в программе „Банк моральности“… на основе таких качеств, как почитание родителей или добрые поступки»[429]. Рейтинг может означать более выгодные условия по кредитам. В Жунчэне у граждан есть «базовый балл 1000 очков на гражданина или компанию, к которому добавляется буквенный рейтинг: начиная с ААА и до D», на который могут влиять различные сообщения о ненадежном, неискреннем или девиантном поведении, будь оно прямо незаконным или просто считающимся властями «нецивилизованным»[430]. В Нинбо «проезд зайцем в общественном транспорте или задержка в оплате счетов по электричеству» может «повлиять на шансы человека при получении ипотеки, при повышении по службе или получении прибавки к зарплате»[431]. В более крупных городах, таких как Пекин, вскоре будут введены собственные проекты подсчета рейтинга. В своих наиболее амбициозных формах подсчет социального кредита обещает автоматизацию добродетели или по крайней мере ее измерение. Граждане будут в реальном времени получать сведения о собственном относительном рейтинге и станут свободно конкурировать друг с другом на условиях, определенных для них бюрократами.

Системы социального кредита (ССК) в Китае могут основываться на тысячах данных. Пока, судя по всему, ни одна такая система не реализовала в полной мере предписания государственного «плана». Однако власти, очевидно, развивают системы оценки, обладающие тремя особенно пугающими качествами. Во-первых, ССК (в национальном или локальном варианте) вскоре будут включать полный или почти полный спектр данных, начиная с онлайн-постов и нарушений дорожного движения и заканчивая семейной жизнью, поведением на работе и многим другим. Во-вторых, черные списки (куда заносятся проштрафившиеся индивиды) и красные списки (с отличниками) означают, что возникает волновое воздействие, распространяющееся далеко за пределы исходного источника нарушения правил[432]. Так, неспособность оплатить долг может повлиять не только на кредитоспособность и финансовый статус данного индивида, но и докатиться до его права передвигаться по стране, получать государственные пособия или пользоваться другими гражданскими привилегиями. В-третьих, позор может повлечь и сетевые последствия, повлияв на баллы семьи или друзей «опозорившегося» человека[433].

Три эти составляющие ССК (полнота, волновой эффект и сетевые последствия) говорят о том, что такие системы способны стать совершенными инструментами социального контроля, особенно если они применяются к коммуникации, предметом которой являются права, политика и сами ССК[434]. Волновой эффект означает то, что отклонение от правил разветвляется, создавая многолетние отголоски. Из-за передовой биометрики (в частности, распознавания по сетчатке глаза, лицу и походке) изменить личность, когда идентичность уже запятнана стигмой, практически невозможно. Даже люди, достаточно смелые, чтобы не бояться следствий неповиновения, скорее всего, не захотят рисковать и возлагать подобный груз на тех, кто им дорог[435]. Волновой эффект занесения в черные списки или снижения рейтинга осложняет оценку полного влияния правонарушения, а может быть, и делает ее невозможной. Занесение в красные списки может служить еще более точечной репрессией, поскольку оно прививает гражданам «алгоритмическую самость», настроенную на максимизацию статуса[436].

Китайское правительство утверждало, что ССК попросту отражают ценности, бытующие ныне в китайских семьях, школах и судах. Но когда стандартный механизм апелляции отсутствует, автоматическое распределение стигматизирующих черных списков (как и похвальных красных) грозит стать заменой авторитету семей, школ и судов, а не их дополнением[437]. Определенные составляющие ССК в итоге могут привести к захвату власти путем квантификации, позволяющему бюрократам утвердить свое владычество над обширными областями социальной жизни, чего они никогда не смогли бы добиться благодаря публичному законотворчеству. Подобное количественное управление культурой представляет собой парадокс. Сама попытка выписать точную ценность манер, эмоций и сетевых сообщений подрывает их подлинность, поскольку спонтанные аффекты и взаимодействия инструментализируются для подсчета рейтинга. Это одна из многих опасностей формализации оценочных критериев в таких неописуемых сферах жизни, как семья, дружба, сообщества и нравы.

Исследователи права уже высказывали опасения в связи с точностью и честностью ССК. Также заметны важные попытки ввести надлежащую правовую процедуру для наград и наказаний, распределяемых этими системами. Но важно заметить, что, если реформаторы будут сосредоточены лишь на легалистских проблемах, в своем стремлении к алгоритмической подотчетности они могут заблудиться в трех соснах. Системы социального кредита – не только правовые проекты, но также культурные и политические. Алгоритмическое правление дает возможность государству и корпорациям (которые часто работают в тандеме) закреплять и подчинять себе репутационные сферы, которые должны быть более децентрализованными и приватными[438]. Оно ведет к тиранической точечности, требовательной и навязчивой[439].

К сожалению, тяга к мониторингу и измерениям не ограничивается ССК. Американские фирмы применяют непрозрачные и неподотчетные варианты ИИ для оценки поведения[440]. Глобальная технообразовательная индустрия требовала бихевиористского тестирования и рейтинга студентов, школ и учителей[441]. Те же технологии мониторинга могут утвердиться в больницах, домах престарелых и яслях. Везде, где превалирует тэйлористское стремление к измерению и управлению, подобные методы могут распространиться. Репутационные валюты перекрещивают подавление в рациональное стимулирование.

Обратить правила судящего ИИ против него самого

Существует огромное множество систем ИИ, которые призваны выставлять баллы, рейтинговать и оценивать людей. Те же, кого искусственный интеллект ставит низко, хотят теперь перевернуть правила игры и заставить его самого соответствовать этическим стандартам. В ССК, финансовых технологиях, анализе лиц и предсказательной полиции ИИ, судящий людей, требует слишком много данных. Он делает непрозрачные, неоправданные или нечестные выводы. Обещая безопасность и инклюзию, он слишком часто создает неустойчивость и стигму. И все это пока еще ущерб на индивидуальном уровне. Столь же важно в долгосрочной перспективе то, что чрезмерные поползновения ИИ грозят подорвать нормы и ценности, на которых держатся наши институты.

Вслед за философом Майклом Уолцером можно расценить семью и многие институты гражданского общества в качестве особых «сфер справедливости», то есть областей человеческого опыта, которые в идеале должны действовать в соответствии с собственной логикой распределения (или признания и ресурсов), а не по стандартам, навязанным извне (бюрократами или ИИ)[442]. Уолцер выдвинул этот идеал сфер справедливости в качестве способа спасти и оживить философские подходы, не ограничивающиеся утилитаристскими и деонтологическими теориями, господствующими в западной теоретической этике[443]. Он дает насыщенное описание нормативных оснований актуальных социальных практик в разных сферах, учитывая при этом убедительные аргументы в пользу реформы или изменений. Что именно делает человека хорошим ребенком или родителем, верующим или священником, садовником или защитником окружающей среды, руководителем или работником? Этот вопрос всегда будет оставаться спорным. Однако главная идея Уолцера в том, что положение человека в одной сфере не должно неправомочным образом затрагивать его поведение в другой. Иными словами, если человек разоряется или превышает скорость на дороге, это само по себе не должно серьезным образом вредить его репутации наемного работника, проповедника или родителя, не говоря уже о репутации его родственников.

Эти идеи могут показаться абстрактными. Но если принимать их всерьез, они могут означать конец многих методов больших данных, которые изучались в этой главе. Подобный принцип осуждает как волновой эффект социального кредита, так и наем на основе больших данных, в котором используется анализ лица, походки и истории поиска в интернете для оценки заявок претендентов на тот или иной пост. Почему с человека должны брать более высокую процентную ставку, если он попросту предпочитает тот сорт пива, который чаще покупают люди, отказавшиеся платить по кредиту? В области ИИ, работающего в черном ящике, все это вполне логично: значение имеет предсказание и корреляция, а не справедливость или честность. Если, однако, рассмотреть кредит в качестве области справедливости, каковая подразумевается во всем моральном дискурсе, окружающем собой обязательство, банкротство и обещание, тогда корреляционистский импульс предстанет не слишком осмысленным. Человек заслуживает того, чтобы о нем судили по его достоинствам, причем судили общественно понятным и законным образом[444].

Почему эти сферы справедливости заслуживают уважения, если сравнивать с государственными и рыночными акторами, которые, вероятно, в техническом плане намного более развиты? Введенное Юргеном Хабермасом понятие «системной колонизации жизненного мира» подкрепляет аргумент Уолцера о разделении сфер[445]. С точки зрения Хабермаса, бюрократии государственных и рыночных акторов всегда угрожают чрезмерным распространением, «юридификацией жизненного мира», которая осуществляется за счет навязывания правил приемлемого поведения, которые излишне упрощают, искажают или откровенно подавляют далекие им идеалы[446]. Такие системы бизнеса и правления, как правило, организуют наши жизни за нашей спиной, за счет рыночного обмена или политикобюрократических решений. Сопоставимая легитимность жизненного мира гражданского общества, семьи и низовых институтов, а также иных более человекоразмерных взаимодействий является неотъемлемой составляющей чувства определенной феноменологической непосредственности, общепонятности и контроля, с которым связано в них наше поведение.

В худшем своем варианте системная колонизация жизненного мира поощряет такую инструментализацию мира и субъекта, которая принижает внутренние ценности (или даже вовсе затмевает их)[447]. «Вы не можете управлять тем, что не можете измерить», – вот мантра непритязательного неолиберального менеджериализма, принцип, согласно которому наблюдения, не являющиеся сравнимыми и вычислимыми, уступают в ценности таковым. Подобно инструментализирующему «мужскому взгляду», который критиковали феминистски, «взгляд данных» сегодня грозит непризнанием и овеществлением[448]. Будучи оторванным от всякого конкретного ощущения смысла и целесообразности, он подрывает не только нашу собственную автономию, но также целостность институтов, которые наделяют эту автономию смыслом.

Должны существовать границы воздействия корпораций и государств на человеческое поведение, сознание и души. Повсеместные сенсорные сети и ИИ подарили нам мир, в котором каждый акт может засчитываться за или против каждого потребителя и гражданина в «репутационном банке». В США «балансы» таких репутационных счетов остаются фрагментарными, они распределены по тысячам не связанных друг с другом дата-центров и часто держатся в секрете. Китайская система социального кредита обещает большую централизацию и публичность критериев оценки. Но ни тот, ни другой подход не может считаться удовлетворительным. Секретные рейтинги несправедливы по самой своей природе; человеку, так или иначе оцененному, они не дают возможности оспорить собственный рейтинг. Когда же подробные системы рейтинга становятся публичными, они грозят чрезвычайной регламентацией поведения во всех его интимных особенностях. Поэтому мы не должны ограничиваться попытками реформировать подобные системы рейтинга – необходимо ограничивать их применение, как и применение самого ИИ, судящего людей, который следует признать в некоторых ключевых отношениях неполноценным.

ИИ – не единственный способ упорядочивания общества и определения того, кто должен получать награды, а кто – наказания. Существуют и многие другие практики экспертизы, оценки, попечения и заботы. Все они представляют собой определенные паттерны человеческого поведения, которые могут исполняться хуже или лучше, с большим или меньшим умением, однако их качество лучше описывать и задавать в виде нарратива, то есть в холистическом и эмоциональном ключе, а не сводить к числам и не кодировать в виде инструкций. Следовательно, одна из задач критики «машин, судящих людей» состоит в сохранении, усовершенствовании и развитии неколичественной оценки, то есть суждения. Убедительная критика оценок ИИ зависит от той или иной позитивной концепции прежних методов суждения, которые ныне затмеваются методами ИИ[449]. Например, в академической среде рекомендательные письма, предоставляемые претендентом на постоянную должность, или сборники в честь какого-то определенного ученого представляют собой такую форму оценки, которая выступает альтернативой подсчету цитат и импакт-фактора. Статьи, в которых разъясняется карьерный путь ученого и причины, по которым он выбрал определенную тему или метод исследования, – это такая самооценка, которая должна приобрести большую популярность среди исследователей. Нам нужны более качественные, более нарративные, проводимые в середине карьерного пути оценки глубины и широты научного вклада. Подобные качественные методы оценки могут быть намного богаче квантифицированных параметров, которые сегодня все больше утверждаются в академической среде.

Короче говоря, «чтобы побить теорию, нужна другая теория», поэтому, для того чтобы противостоять соблазну проводить оценку методами ИИ, необходим альтернативный метод объяснения того, что делают профессионалы и как можно делать это лучше или хуже. Такие нарративы могут требовать определенной дисциплины и внушать страхи. Однако они хотя бы освобождают нас от той фантазии, будто ученых, врачей, медсестер, учителей и других профессионалов можно судить по некоторым соизмеримым параметрам, которые подсчитываются методами машинного обучения. Также они могут служить примерами человеческого суждения во многих других контекстах.

Производительность и власть

В своей обширной интеллектуальный истории Уилл Дэвис описывает общий сдвиг парадигмы использования знания в обществе[450]. Интеллектуалы Просвещения считали, что знание должно создать общую картину реальности – научную (то есть более точные модели мира) и социальную (то есть публичную сферу, основанную на общем понимании определенных ключевых фактов, ценностей и норм). Однако развитие экономической мысли привело к другому представлению о знании, ключевая ценность которого состоит в получении преимущества перед другими. Возможно, такое знание действительно необходимо в торговле, но оно оказало пагубное влияние на публичную сферу, образование, финансы и другие области, поскольку приобретение знания с целью получения власти вытесняет другие цели, ориентированные скорее на публичное благо.

Когда фирмы и государства все больше обращаются к машинам, чтобы те судили людей, они отдают огромную власть тем, кто разрабатывает ИИ. Власть – это способность одного человека заставить другого сделать то, что он в ином случае не сделал бы[451]. Наиболее очевидно это в политике и войне, но власть имеет значение и в экономике, обществе и семье. Искусственный интеллект, возможно, одновременно закрепляет и подрывает наличные властные отношения в школах, на рабочем месте и даже в семьях. Нам нужно хорошо понимать эту динамику, чтобы оградить себя от одного из ее наиболее опасных проявлений, а именно от гонки вооружений.

Все мы можем интуитивно понимать, как две конкурирующие армии тратят ресурсы, когда запасаются ракетами, системами противоракетной обороны, техниками, позволяющими уклоняться от ПВО или перегружать ее, и т. д. В индивидуальном плане вполне рационально быть на шаг впереди своих врагов, но в коллективном плане это безумие – пытаться постоянно опередить друг друга. Нет такого объективного количества денег, потратив которое можно было бы достичь «безопасности»[452]. Есть лишь относительное преимущество, которое всегда может аннулироваться, если враг придумает новую тактику или технологию.

Это одна из причин, по которым США, хотя они и тратят на «оборону» больше денег, чем следующие за ними семь стран, вместе взятых, постоянно инвестируют все больше и больше средств в армию, полицию и разведывательные службы.

Модели гонки вооружений важны и за пределами военного контекста. В работе «Ловушка двойного дохода» Элизабет Уоррен, в те годы профессор, описала то, как семьи из среднего класса поднимают цены на имущество в районах с более качественными школами. Экономист Роберт Франк в своей работе «Отставание» сформулировал общую теорию подобной «гонки вооружений». Когда существует ограниченный запас чего-либо, например власти, престижа или территорий в центре города, неизбежна конкуренция. Во многих таких гонках право и финансы существенно влияют на определение конечного победителя: к примеру, человек, который может получить самую большую ипотеку, перебивает предложения других на один и тот же дом[453].

Право, политика и даже политический активизм – все это может выродиться в подобную гонку вооружений. Франк описывает судебное решение деловых споров в качестве бездонной бочки, поскольку каждая сторона закачивает ресурсы в юридические фирмы (а сегодня и в юридическую аналитику), чтобы получить преимущество перед оппонентом. В политике даже небольшое преимущество может стать критическим; кандидат выигрывает выборы не благодаря некоему магическому числу голосов, а просто потому, что он получил больше голосов, чем противники. Подобные преимущества не просто обнуляются, когда подходят новые выборы. Партия большинства может (иногда благодаря одному-единственному голосу) провести свое решение и отстоять интересы своих союзников, нанеся ущерб своим врагам. В некоторых странах демократия сама вырождается после нескольких раундов получения победителями преимуществ, которые закрепляют сами себя. Политические кампании могут пониматься как война, которая ведется другими средствами, – бой за умы является игрой с нулевой суммой[454].

Третий закон робототехники, который запрещает гонку вооружений на основе ИИ, должен определять все эти области. Это общая линия рассуждений в этой главе и следующей. ИИ, подсчитывающий рейтинг во имя рационализации социальных суждений при найме, увольнениях и в борьбе с преступностью, грозит тем, что подведет всех нас к скользкой дорожке конкуренции за статус, когда надо будет раскрывать все стороны своей жизни мощным, но непрозрачным организациям, а также регламентировать собственную жизнь в угоду им. Только согласованные действия могут остановить эту гонку по направлению к будущему полного разоблачения.

Порой путь к кооперации может быть достаточно очевидным, например в финансовом регулировании, которое может ограничить способность кредиторов применять дроны или анализ социальных сетей для наблюдения за поведением актуальных или будущих клиентов. В других ситуациях, особенно военной конкуренции крупных держав, наша способность ввести ограничения будет, возможно, зависеть от довольно хрупких норм международных отношений. Так или иначе, человеческие стратегии кооперации имеют ключевое значение, если только не передать машинам еще больше сведений об устройстве социального порядка.

6. Автономные силы

В классической игре компании Atari Pong игрок двигал «ракеткой» (которая обозначалась небольшим прямоугольником, перемещавшимся по краю экрана), чтобы защищаться от прилетающего мяча и отбивать его так, чтобы он вылетел за ракету противника. Pong., одна из простейших игр за всю историю, сводит настольный теннис к двум измерениям. Для выигрыша требуется ловкость рук и хорошее интуитивное понимание геометрии.

Или, по крайней мере, они требовались для выигрыша людям. Команда исследователей ИИ проверила на практике совершенно иной подход. Они просто дали компьютеру задание тестировать каждый возможный ответ на прилетающий мяч – компьютер мог избегать его, отбивать его, бить по нему краем ракетки, и все это под разными углами и с разными скоростями. Поскольку ИИ способен проверять миллионы стратегий в секунду, быстро сформировались паттерны выигрыша. ИИ овладел игрой Pong и стал выигрывать у любого игрока-человека. Позже он научился тому, как выигрывать у любого человека в других видеоиграх и даже в древнекитайской настольной игре го. [455]

Исследователи ИИ назвали эти выигрыши важным прорывом, поскольку они стали результатом самообучения. Программа не изучала прошлые партии Pong или го, чтобы выявить стратегии, чем, возможно, стал бы заниматься человек. Скорее, ИИ смог овладеть игрой, комбинируя грубую силу (то есть симулируя огромный массив сценариев) и алгоритмическую сортировку. По-видимому, человек его победить уже не может.

Подобное господство – фантазия военных теоретиков, которые давно используют военные игры для моделирования действий противника и ответов на них. Действительно, корни ИИ – в кибернетике середины XX в., когда эксперты по исследованию операций стали давать генералам советы о том, как лучше программировать автоматические ответы на действия противника, который, считалось, стремится любой ценой достичь технологического превосходства[456]. Моделирование создало эффект зеркальной комнаты, в которой отражались военные, пытающиеся спроектировать то, как враг проектирует то, как они будут сами проектировать что-то, чтобы застать его врасплох.

Мы уже обсуждали специфические этические и правовые сложности, создаваемые роботизацией полицейских сил. Применение ИИ в военных условиях усложняет ситуацию еще больше. Все сценарии гонки вооружений, описанные мной до сих пор, предполагают наличие государства, которое может устанавливать правила и наказывать тех, кто их нарушает. Но в глобальном масштабе такой власти не существует. ООН может осудить определенное государство, но часто на ее авторитет никто не обращает внимания.

Отсутствие глобальной власти превращает обсуждение военных роботов в игру антиномий. Аболиционисты хотят путем международных договоренностей поставить роботов-убийц вне закона. «Реалисты», как они сами себя называют, утверждают, что государства должны накапливать передовые военные технологии, иначе их перегонят менее щепетильные конкуренты и будут терроризировать бандиты. Сторонники ИИ заявляют, что роботы сглаживают ужасы войны, определяя цели лучше, чем любой человек. Скептики полагают, что до такого будущего еще далеко. Теоретики сдерживания обеспокоены тем, что, даже если автоматизированная война станет «гуманнее», вооруженный конфликт не должен быть для государств слишком легким предприятием, иначе они используют техническое преимущество для подчинения всех остальных.

В этой главе, исследовав плюсы и минусы аболиционистского и реалистического подходов к военному ИИ, мы порекомендуем определенные формы атрибуции, которые на основании четвертого нового закона робототехники (требующего идентификации оператора или собственника робота) способны облегчить государствам соблюдение второго закона (предупреждающего о гонке вооружений). Контроль вооружений бывает процессом запутанным и опасным, но он упростится, если страны смогут работать сообща и будут честно отчитываться в своих способностях и действиях. Из истории мы знаем о программах нераспространения ядерного оружия. Сегодня намного меньше стран с ядерным оружием, чем государств, способных такое оружие создать. История той траектории развития ядерного оружия, которая не была выбрана, указывает на выход из лабиринта стратегий ИИ, в которых ныне увязли общие глобальные инициативы, направленные против гонки вооружений в сфере искусственного интеллекта.

Как представить роботизированную бойню

Видео производит впечатление. Два человека грозного вида стоят рядом с белым грузовиком в поле, в руках – пульты дистанционного управления. Они открывают задние двери грузовика, и раздается громкое жужжание дронов-квадрокоптеров. Люди нажимают переключатель, и дроны вылетают роем, как летучие мыши из пещеры. Через несколько секунд фильм переключается на класс в колледже. Роботы-убийцы влетают в него через окна и вентиляционные шахты. Студенты, оказавшиеся в ловушке, вопят от ужаса. Концовку в фильме Slaughterbots («Бойнеботы») может дорисовать воображение, но мысль понятна. Роботы-убийцы размером с ладонь либо уже существуют, либо будут созданы на следующем витке технологического развития. Применение им легко найдут и террористы. Защита от них либо слабая, либо ее не существует[457].

После того как Future of Life Institute выпустил фильм Slaughterbots, некоторые ведущие авторитеты из оборонной сферы высказали недовольство. Они утверждали, что в фильме серьезная проблема была представлена в виде сенсации, что им нагнетались страхи, тогда как требуется мудрое размышление. Однако в военном футуризме граница между научной фантастикой и промышленным фактом часто размывается. Согласно прогнозу ВВС США, «опергруппы будут отправлять механических насекомых, оснащенных видеокамерами, способных пробраться внутрь зданий, где держат заложников»[458]. В рамках одной «инициативы микросистем» уже был выпущен Octoroach – «миниатюрный робот с камерой и радиопередатчиком, который может передавать сигнал на100 м»[459]. Если через трещину в стене может пройти таракан, то так же через нее пролезет и Octoroach. Мы знаем, что многие другие опасные твари служат сегодня моделью для «роевой» технологии дронов. Само слово «рой» стало крайне популярным в среде передовых военных теоретиков.

В романе Питера Сингера и Огюста Кула «Призрачный флот», в котором речь идет о технологической войне, представлена богатая картина автономных дронов, взломанных спутников и лазеров, которые используются в ходе военного столкновения США с Россией и Китаем[460]. От книги нельзя отмахнуться как от простой военно-технической фантазии: в ней сотни сносок, в которых указано на разработки каждой аппаратной и программной составляющей, описанной в романе. Оба автора публиковались в военных изданиях[461].

Прогресс в теоретическом моделировании роботов-убийц может вызвать даже больше тревог, чем тенденции в развитии вооружений. В русском научно-фантастическом рассказе 1960-х гг. «Крабы идут по острову» описан вариант «Голодных игр» для алгоритмических агентов, в котором роботы ведут друг с другом битву за ресурсы. Проигравших отправляют на металлолом, а победители размножаются, пока эволюция не доходит до совершенных машин-убийц[462]. Когда ведущий компьютерный специалист упомянул аналогичный сценарий в Управлении по перспективным научным исследованиям Министерства обороны США, назвав его «„Парком юрского периода“ для роботов», его контрагенты сказали, что такой сценарий «вполне возможен»[463]. Несложно понять, что подобный сценарий может выйти из-под контроля, и это приведет к ужасающим последствиям[464]. Один из навыков совершенной машины-убийцы – умение убегать от других, пытающихся тебя поймать, причем неважно, кто они – люди или роботы. Главным препятствием на пути к таким экспериментам для крупных держав являются расходы. Но программное моделирование способно устранить и этот барьер, а потому виртуальные сражения могут послужить основой для будущих военных инвестиций.

Немало прецедентов, когда государства объединялись, чтобы запретить особо опасное или ужасное вооружение. В середине XX в. были заключены международные соглашения, запрещающие биологическое и химическое оружие. Содружество наций запретило также применение ослепляющей лазерной технологии. Мощная сеть НПО потребовала от ООН, чтобы страны-члены согласились также запретить и автономные системы оружия летального действия (АСОЛД). И хотя об определении АСОЛД сейчас много споров, которые наверняка продолжатся и в будущем, мы все можем представить особенно страшные виды подобных вооружений, отказаться производить или применять которые должны все страны. Например, действия дрона, который постепенно разогревает вражеских солдат, пока они не умрут, подпадают под международные соглашения, запрещающие пытки[465]. Такого же отношения заслуживает и звуковое оружие, которое повреждает слух солдат противника или их чувство равновесия. Проектировщик подобных видов вооружений должен быть изгнан из содружества стран, так же как создатель смертельно опасного вируса или ядовитого газа.

Ненадежный аргумент в пользу роботов-убийц

Действительно ли робот-убийца так же ужасен, как и биологическое оружие? Некоторые военные теоретики утверждают, что роботы не только превосходят прежнее вооружение в техническом отношении, но и являются более гуманными. По словам Майкла Шмитта из Военно-морского колледжа США, автономные системы вооружений (АСВ) позволяют более точно поражать мишени, что снижает количество непреднамеренных жертв. Например, если учитывать вероятный прогресс в области распознавания лиц и походки, робот-убийца мог бы стрелять по жителям деревни мужского пола в возрасте от 21 до 65 лет[466]. Шмитт также считает, что автономные системы вооружений могут стать гарантами мира. Он заявляет, что они могут «патрулировать небо», чтобы такие массовые убийства, как уничтожение курдов и болотных арабов Саддамом Хуссейном, стали невозможными[467].

С точки зрения уважаемых военных теоретиков и специалистов по компьютерным наукам, программируемое вооружение позволит наилучшим образом соотнести требования войны с нормами международного гуманитарного права. Рональд Аркин из Института технологии Джорджии полагает, что АСВ способны, «благодаря технологии, снизить негуманное отношение людей друг к другу», поскольку робот не ведает человеческих приступов гнева, садизма или жестокости. Он предложил вывести людей из процесса определения мишеней, но при этом закодировать в программах роботов ограничения на летальные действия. Также Аркин разрабатывал код выбора мишеней (чтобы исключить, например, больницы)[468].

В теоретическом плане Аркин в каком-то смысле прав. Трудно представить роботов, которые бы устроили массовое убийство в Сонгми. Видимо, подобная жестокость коренится в человеческой иррациональности, которая связана скорее с эмоциями, чем с расчетом. Но часто мы более всего осуждаем не то насилие, которое было совершено в пылу страсти, а заранее все взвесившего убийцу, хладнокровно спланировавшего нападение. Трудно представить роботизированную систему вооружений, у которой не было бы способа обойти различные ограничения, причем обход, очевидно, контролировался бы человеком в военной форме.

Любая попытка закодировать право и этику в программах роботов-убийц сталкивается с огромными практическими затруднениями. Профессор компьютерных наук Ноэль Шарки утверждал, что в принципе невозможно запрограммировать робота-воина с реакциями на бесконечное число ситуаций, способных возникнуть в разгар конфликта[469]. Проклятие многомерности слишком сильно, особенно в области, где мы, к счастью, не обладаем значительным запасом данных о прошлом, на которые могли бы ориентироваться будущие действия. Беспилотный автомобиль из-за снега, который влияет на его сенсоры, становится бесполезным, и точно так же опасны АСВ в «тумане войны». Машинное обучение лучше всего работало там, где есть большой объем данных и четкие примеры хороших и плохих, правильных и неправильных решений. В частности, компании, обслуживающие кредитные карты, смогли усовершенствовать механизмы распознания мошенничества, анализируя сотни миллионов трансакций, в которых ложноотрицательные и ложноположительные результаты легко отметить с почти что 100 %-й точностью. Можно ли будет датафицировать опыт солдат в Ираке, когда они решают, открыть ли огонь по врагу, который вызывает сомнения? Даже если бы это было возможным, насколько релевантным такой массив данных оказался бы при оккупации, например Судана или Йемена (двух из многих стран, в которых в той или иной форме присутствуют американские вооруженные силы)?[470]

Условием для обычных успехов больших данных в предсказательной аналитике является большой объем информации, которую можно легко закодировать. Большинство солдат, участвовавших в противоповстанческих действиях, могут засвидетельствовать то, что повседневный опыт войны – это долгие периоды скуки, иногда прерываемые внезапными и ужасающими вспышками хаоса. Стандартизировать отчеты о подобных инцидентах – задача не из простых. Рассказы о столкновениях в условиях военной оккупации не всегда доступны, однако они имеют критическое значение для оценки ответа на данную ситуацию в качестве правильного или неправильного. Еще больше беспокойства вызывает то, что «использование информации в качестве вооружения» становится все более важной стратегией конфликта, как и применение дезинформации[471]. Военные во всем мире понимают, что идеологическое оформление конфликта столь же важно, как и само военное действие. Примеры – Владимир Путин с его классической русской стратегией «маскировки» или доклады армии США о стратегическом применении дезинформации[472]. Учитывая скудность данных о конфликте и их ненадежность, стремление создать этических роботов представляется нереалистичным.

Роботы-убийцы и военное право

Международное гуманитарное право (МГП), комплекс норм, управляющих вооруженным конфликтом, создает еще больше проблем для разработчиков автономных вооружений[473]. Главная норма МГП – это правило дискриминации, требующее, чтобы воюющие стороны проводили различие между комбатантами и нонкомбатантами. Мишенями могут становиться только комбатанты[474]. Среди партизан или повстанцев не существует надежной общепринятой «самоидентификации» комбатантов (которой могли бы быть униформа или знаки отличия). В противоповстанческих операциях и других нетрадиционных видах военных действия, которые получили распространение в последние несколько десятилетий, комбатанты смешиваются с гражданскими. НПО Human Rights Watch предлагает следующий пример трагедии, которую могут устроить машины, но способно предупредить человеческое суждение:

Может случиться так, что испуганная мать побежит за двумя детьми и крикнет им, чтобы они прекратили играть с игрушечными автоматами рядом с солдатом. Солдат-человек может заметить страх матери и игру детей и понять, что их намерения безобидны, тогда как полностью автономное вооружение может заметить лишь человека, бегущего к нему, и двух вооруженных людей. Первый не станет открывать огонь, а второй может начать атаку[475].

Учитывая современную ограниченность программирования и распознавания лиц, этот пример представляется довольно убедительной критикой военных роботов. Ключевой этический пример военных действий – это принцип дискриминации: атакующие должны проводить различие между комбатантами и гражданскими.

Апологеты АСВ подчеркивают, однако, что способность таких вооружений к различению постоянно улучшается. Когда она достигнет совершенства, наблюдение силами дронов будет способно создать «зоны боевых действий, которые видят», тщательно отслеживая, кто среди врагов вооружен и опасен, а кто всегда отсиживался, не подавая подозрительных сигналов и не демонстрируя необычных паттернов активности[476]. Даже если предположить, что технология станет более точной, ничем не обоснован вывод, будто командующие купят ее, будут ее использовать или разработают справедливые принципы распознавания в условиях неопределенной боевой обстановки. Статус комбатанта (являющегося законной мишенью) «становится все более неопределенным и до такой степени размытым, что может распространяться на любую форму принадлежности, сотрудничества или симпатии к повстанческой организации»[477].

Принцип распознавания – лишь один из множества международных законов, регулирующих военные действия. Принятое Женевской конвенцией «правило соразмерности» запрещает «атаку, которая, как можно предполагать, приведет к таким случайным жертвам среди гражданских, их травмам или сочетанию того и другого, которые будут чрезмерными в сравнении с ожидаемым конкретным и непосредственным военным преимуществом»[478]. Установление статуса комбатанта может быть в принципе доступным паноптическому предшественнику сети Skynet, способному отслеживать всех людей на определенной территории для оценки их вооруженности или причастности тем или иным враждебным действиям. Однако даже американские военно-воздушные силы указали на то, что определение соразмерности является «субъективным по самой своей сути, а потому ее надо устанавливать в каждом случае отдельно»[479].

Многие авторитеты объясняли, насколько сложно запрограммировать робота, способного справиться с «бесконечным числом сценариев, которые могут возникнуть» во время войны[480]. Питер Асаро, эксперт в области робототехники, получивший образование как в области информатики, так и философии науки, утверждает, что «утилитарный расчет минимизации риска» не способен подменить тот правовой анализ, которым ранее занимались юристы, когда интерпретировали Декларацию Мартенса[481]. И военные чиновники, и международные трибуналы должны заниматься широким спектром этических вопросов, которые возникают из-за все более автономных систем вооружений. Асаро выделяет резкое расхождение между роботизированной обработкой данных и человеческим разумом – то, как это проявляется в юридических процессах. Асаро замечает: «Автоматический процесс, спроектированный заранее и основанный на сенсорных данных, не является ни правовым, ни моральным суждением»[482]. Какой бы эффективной технология нацеливания ни была в мониторинге, выявлении и нейтрализации угроз, нет доказательств того, что она может заниматься сложными и гибкими рассуждениями, необходимыми для применения законов и норм, в которых сохраняется хотя бы незначительная двусмысленность.

Историк Сэмюэль Мойн ставит еще более сложные моральные вопросы. Даже если предположить, что технологическое развитие военных роботов позволит определять мишени с большей точностью, понизив, таким образом, смертоносность войн, хорошо ли это? Анализируя все большее влияние принципов прав человека на коллизионное право, Мойн подмечает парадокс: война стала «гуманнее, но в то же время ее стало сложнее завершить». С точки зрения захватчиков, роботы избавляют политиков от жертв, которые могли бы породить оппозицию внутри страны[483]. Напротив, странам, подвергшимся нападению, сложнее обратиться к союзникам или глобальном сообществу и доказать, что они страдают от массовых разрушений, которые ранее, в более традиционных войнах, могли стать поводом для интервенции[484]. Война, соответственно, становится все больше похожей на международную полицейскую акцию, в которой подозреваемым дается шанс сбежать или их задержат механические силы.

Французский философ Грегуар Шамаю, основываясь на истории технологической гегемонии в условиях войны, высказывается столь же скептично. В своей книге «Теория дрона» он напоминает читателям об одной бойне: в 1898 г. 10 тыс. суданцев были уничтожены пулеметным огнем англоегипетских сил, потери которых составили всего 48 человек. Шамаю характеризует дрона как «орудие постколониального насилия, страдающего амнезией»[485]. Также он сомневается в том, может ли прогресс в области робототехники действительно привести к той точности, которую обещают сторонники роботов-убийц[486]. Гражданских постоянно убивают роботы, пилотируемые людьми, и если думать о реформе, трудно понять, что страшнее – автоматизация таких сил без истинной идентификации мишеней или создание таких компьютерных систем, которые могут следить за населением настолько внимательно, что будут оценивать угрозу, исходящую от каждого человека (и при надобности уничтожать его). Даже если предположить, что подобная технология станет более точной в определении мишеней, трудно доказать, что командующие ее закупят, будут применять или разработают справедливые принципы распознавания.

Привычный футуризм защитников дронов основан на представлении о точности, которое Шамаю неизменно критикует. Сторонники дронов говорят, что оружие – это ключ к более гуманной войне с большими возможностями различия. Но, с точки зрения Шамаю, «исключая возможность боя, дрон подрывает саму возможность четкого различения комбатантов и нонкомбатантов»[487]. Утверждение о том, что дрон способен «устранить боестолкнове-ние», может показаться преувеличением, но рассмотрим ситуацию в глубинке Йемена или Пакистана: могут ли «милитанты» оказать какое-то реальное сопротивление сотням и тысячам автоматических летающих аппаратов из США, которые патрулируют их небеса? Подобные контролируемые среды приводят к формированию некоей смеси войны и полицейской операции, в которой отсутствуют ограничения и гарантии, необходимые для легитимности той или другой. Не следует торопиться с ее легитимацией в условиях военной оккупации.

Рост ставок в соперничестве крупных держав

Несмотря на столь убедительную нормативную и этическую критику, ведущие военные теоретики крупных держав сегодня, похоже, полагают, что иного выбора, кроме как вкладываться в роботизацию военной силы, у них нет. Крупные армии готовы принять решения о разработке всевозможной автоматики, обещающей преимущество. Например, одна стратегия – развивать как оборонные виды вооружения (в частности, вкладываться в лазерное оружие, способное нейтрализовать вражеские дроны со скоростью света), так и наступательные (создавая собственные дроны, которые могут жестоко покарать за любой причиненный ущерб)[488]. Социальный теоретик Уильям Богард называет такое представление о перманентном регулярном господстве «военной мечтой» об «исчезновении войны, о войне, которая заканчивается, не успев начаться, о том, как вся ее смутность и неопределенность будет подчинена рациональному контролю»[489]. Ушли дни, когда генералы могли на людях фантазировать о полном уничтожении врага. Модель «шока и трепета» сменилась задачей напугать противника так, чтобы он подчинился еще до необходимости применить силу.

Если бы финансовый и технологический перевес был четким публичным индикатором способности армии достичь всех этих целей, Pax Robotica под управлением стран-гегемонов мог бы действительно погасить конфликты. Однако такая самонадеянность кажется необоснованной. Эксперт по конфликтам Пол Шарре предупреждает о том, что автоматизация создает возможность «миллиона ошибок в секунду»[490], допускаемых военными роботами. Сбои или взлом программного обеспечения способны разжечь войну, а не, наоборот, избежать ее. Даже в 1980-е гг. террористы – сторонники теории превосходства белых мечтали спровоцировать ядерную войну между Америкой и Россией, чтобы покончить с постепенно формирующимся мультикультурализмом и установить свой собственный режим, основанный на геноциде[491]. С точки зрения этих безумцев, уничтожение цивилизации в ядерной зиме было бы небольшой ценой, которую стоит заплатить за расовую чистоту. В более прозаическом ключе можно отметить, что рост напряженности на Ближнем Востоке, в Южно-Китайском море, Кашмире и на территории Украины предоставляет таким государствам, как США, Россия, Индия и Пакистан, немало возможностей постепенно наращивать применение систем наблюдения и вооруженных дронов в воздухе, на суше и в море.

Еще больше опасность повышается из-за обоюдоострых возможностей наступательных и оборонительных вооружений. Логика упредительной войны подыгрывает паранойе тех, кто боится утратить преимущество[492]. Машины могут быть незаметнее людей. Реагировать они тоже могут быстрее. Пилоту истребителя требуется по меньшей мере треть секунды, чтобы ответить на атаку; автоматическая система подавления огневых средств противника способна делать наблюдения, ориентироваться, принимать решение и действовать в миллионную долю секунды[493]. Роботизированные оборонные системы в принципе могут отследить и наказать всех участников атаки. Если будет доступна полная автоматизация возмездия, «всякий, кто выстрелит по нашим силам, умрет… Им придется платить своей кровью и потрохами каждый раз, когда они будут стрелять в наших людей», – сказал бывший член Командования объединенными силами ООН в Ираке[494]. Однако хакеры, проникающие в систему, могли бы спровоцировать реки крови и спираль ответных мер[495].

Автоматизация, действующая по принципу «око за око», определяет не только военный подход к террористическим действиям, но также и ответ более грозным противникам. В военной стратегии «машина Судного дня» стала предметом вожделения и в то же время насмешки. Безжалостная держава могла бы попытаться уничтожить людей, контролирующих армию соперника. Если силы соперника закодированы отвечать огнем на поражение в тот же момент, когда замечена любая атака, стратегия первого удара не может сработать. Учитывая накопившееся во всем мире смертоносное вооружение, логика ядерного сдерживания (или взаимно гарантированного уничтожения), вероятно, с еще большей убедительностью применима к автономным системам с аварийной кнопкой.

Подобная стратегия чрезвычайно опасна. Автоматизация может привести к плачевным последствиям, порождая ту самую опасность, которую она должна была предотвратить. В 1960 г. вскоре после выборов в США американская система дальнего обнаружения баллистических ракет (базирующаяся в Гренландии) «заметила» пуск советской ракеты, приписав этому событию «вероятность в 99,9 %». Выяснилось, что поводом для сигнала тревоги стал необычный отблеск Луны. К счастью, НАТО успело выявить ошибку и не стало действовать по плану возмездия.

Существуют некоторые невыдуманные и при этом действительно поразительные примеры действия бесконтрольных алгоритмов, производящих к печальным результатам, которые в принципе могут возникнуть и в военных условиях. Например, два продавца книг на сайте Amazon запрограммировали ботов на индивидуальное рациональное действие: каждый поднимал свою цену, когда замечал, что другой ее тоже поднял[496]. Когда два бота взаимодействовали друг с другом, они создали петлю обратной связи, в которой книга, обычно стоившая около 30 долл., стала стоить 2 млн[497]. Компьютерный сбой уничтожил фирму Knight Capital, автоматически сгенерировав десятки тысяч сделок, которые привели к финансовым потерям[498]. Резкий обвал в 2010 г. связывали с неожиданным взаимодействием более сложных алгоритмов трейдинга[499]. Абстрактные паттерны любого из этих примеров – конкуренции, превосходства, фрактальных цепочек рассуждений, которые ведут к неожиданным результатам, – могут возникнуть и во все более компьютеризируемом вооружении. Даже если ввести предохранители и механизмы безопасности, они станут дополнительными слабыми местами, которые могут быть взломаны врагом. Риск увеличится, если государства начнут выделять больше ресурсов на то, чтобы соперники не смогли взять над ними верх.

Помехи запретам

Учитывая эти опасности, глобальные лидеры могли бы прямо запретить определенные функции или методы убийства, следуя принципам МГП. Один из этих принципов – «военная необходимость», которая требует, чтобы командующие уравновешивали практические требования успешности долгом «гуманности»[500]. Уважение к «требованиям общественного сознания» является еще одной основой этого закона[501]. Неопределенность таких терминов, как «гуманность» или «сознание», является препятствием для алгоритмических логик, которым для начала действий требуются очевидные значения[502]. Некоторые исследования демонстрируют серьезную общественную озабоченность развитием автоматических роботов[503]. Организации Human Rights Watch, International Committee for Robot Arms Control, Pax Christi, Article 36, Nobel Women’s Initiative и Pugwash сформировали «коалицию, чтобы начать кампанию гражданского общества за новый юридически обязывающий международный договор, запрещающий разработку, производство и применение полностью автономных вооружении»[504].

Чтобы понять будущее подобных соглашений по контролю над вооружениями, полезно обратиться к прошлому. Простейшее из автономных вооружений – мина-растяжка, поставленная на врага.

Более опасна скрытая бомба, запрограммированная взорваться, когда ничего не подозревающий человек задевает за определенный проводок. Противопехотная наземная мина, которая должна убивать или калечить любого, кто ступит на нее или рядом с ней, пугала комбатантов еще в Первую мировую войну[505]. Дешевые и легкие в распространении мины сохранили свою популярность в небольших конфликтах по всему земному шару. К 1994 г. солдатами было заложено 100 млн наземных мин в 62 странах[506].

Хотя мины и малы по размеру, они уничтожали и запугивали население спустя годы после завершения военных действий. Жертвы мин обычно теряли по крайней мере одну ногу, иногда две, страдали от сопутствующих ран, инфекций и травм. Мины привели к кризису общественного здравоохранения в некоторых странах, особенно от них пострадавших. В 1994 г. один из 236 камбоджийцев потерял по крайней мере одну конечность в результате детонации мины[507].

К середине 1990-х гг. укрепился международный консенсус о необходимости запретить наземные мины. Международное движение за запрещение противопехотных мин (ICBL) требовало от правительств разных стран осудить их. Моральный аргумент в пользу запрета был достаточно сложным. Противопехотная мина не настолько смертоносна, как многие другие вооружения. Но в отличие от других применений силы она может калечить или убивать нонкомбатантов спустя многие годы после завершения боевых действий. В 1997 г., когда ICBL (и ее лидер Джоди Уильямс) получила Нобелевскую премию мира, десятки стран подписали международный договор, взяв на себя обязательства не производить, не хранить и не применять подобные мины.

США колебались, и на сегодняшний день они так и не подписали соглашение о запрете противопехотных мин.[508] Во время переговоров представители США и Великобритании настаивали на том, что реальное решение проблемы противопехотных мин – сделать так, чтобы в будущем мины автоматически отключались по прошествии определенного времени или были оснащены удаленным управлением[509]. Устройство, которое могло бы «позвонить домой», можно было бы удаленно отключить после завершения военных действий[510]. Но, конечно, его также можно было бы включить снова.

Многие участники переговоров по противопехотным минам не разделяли стремление Америки искать исключительно технологические решения. Десятки стран в 1998 г. подписали Оттавское соглашение[511]. В период 1998–2010 гг. к нему присоединились еще несколько стран, включая такие крупные державы, как Китай[512]. Американские дипломаты при обсуждении этого вопроса обычно ссылаются на свои военные власти. Последние, однако, относятся к международным договорам о контроле над вооружением со скепсисом. Их отношение к подобным соглашениям, скорее всего, приведет к ускорению автоматизации войны.

Ответственность за военных роботов

В качестве альтернативы запрету роботов-убийц военное руководство США предпочитает регулирование. Озабоченность сбоями и другими непредумышленными последствиями автоматизированного вооружения дала толчок достаточно взвешенным разговорам о реформе в среде военной робототехники. Например, Питер У. Сингер из New America Foundation хотел бы, чтобы робот мог «автономно применять лишь нелетальное оружие»[513]. Так, автономный дрон мог бы патрулировать пустыню и обездвиживать или ловить сетью комбатанта, но «решение об убийстве» принимали бы люди. Если будет введено подобное правило, даже попытайся комбатант уничтожить дрона, тот все равно не станет его убивать.

Подобные правила подстегнули бы превращение войны в миротворческую операцию и в конечном счете в определенную форму полицейских мер. Время между поимкой и решением об убийстве допускает исполнение надлежащей правовой процедуры, необходимой для оценки вины и назначения наказания. Сингер подчеркивает и то, что, «если программист по ошибке взрывает целую деревню, он должен уголовно преследоваться»[514]. Строгий стандарт обязательств требует ответственности за «оружие математического уничтожения» (так специалист по данным Кэти О’Нил назвала ошибающиеся алгоритмы). Однако насколько вероятно то, что «ошибившегося» программиста действительно накажут? В 2015 г. американская армия разбомбила больницу, где работала международная НПО «Врачи без границ», удостоившаяся Нобелевской премии мира. В момент бомбежки персонал больницы пытался дозвониться до своих знакомых в американской армии, чтобы упросить их ее прекратить. За атаки дронов на больницы, школы, свадьбы и другие ложные цели прямо отвечали определенные люди. Поэтому едва ли реалистично ожидать, что гражданская или международная правовая система (или то, что от нее осталось) сможет призвать к ответу программистов, которые могут стать причиной похожего или даже еще более страшного кровопролития.

Если Аркин стремится внедрить в код роботов алгоритмическую этику, Сингер основывается на нашем многовековом опыте регулирования частных лиц. Но есть немало работ, в которых встречаются прогнозы или надежды на появление полностью автономных роботизированных или программных систем, отделенных от любого человека[515]. Для обеспечения ответственности за применение «военных алгоритмов» военные должны были бы гарантировать то, что роботов и алгоритмических – 62 агентов можно отследить вплоть до их создателей[516].

Технология допускает такую возможность. В гражданском контексте исследователи предлагали ввести «номерные знаки для дронов», чтобы можно было связать неосторожный или халатный полет с собственником или оператором дрона[517]. Компьютерные системы уже пытаются решить или сгладить проблему атрибуции в кибербезопасности (возникающую, когда кто-то анонимно атакует ту или иную систему), сопоставляя сигнатуры действия с известными нарушителями[518]. Четвертый новый закон робототехники («Робот всегда должен указывать на идентичность своего создателя, оператора или собственника») должен послужить фундаментальным правилом войны, а его нарушение должно караться серьезными санкциями.

Удорожание силы

Разработка глобальных систем атрибуции, а также режима инспектирования, гарантирующего, что вооружения и компьютерные системы с ними совместимы, будет стоить дорого. В обычной экономике это было бы проблемой. Однако в перевернутой экономике технологий разрушения такие издержки могут быть выгодой: они препятствуют накоплению крупных резервов машин, способных нанести вред людям.

Существует много способов сделать применение силы дороже, начиная с юридических условий использования роботов-убийц или обязательного человеческого контроля и заканчивая налогообложением подобных технологий. Такие ограничения, как и препятствия наблюдению, военным футуристам не понравятся. Они предпочли бы полную свободу разработки и применения автономных сил. Однако неэффективность в этом случае – не просто бюрократические препоны, она отражает человеческие ценности[519]. Роботизированное военное или полицейское государство – очевидная угроза свободе. Когда дело доходит до насилия со стороны государства, издержки осмысленного человеческого контроля над применением силы также становятся выгодой[520]. «Кентаврическая стратегия», сочетающая человеческие экспертные знания и ИИ, повышает военную эффективность и в то же время этическую ответственность. И дело не только в том, что война, запускаемая нажатием одной кнопки, может начаться в силу ошибки (эта возможность еще больше пугает в мире фейковых новостей, безответственных платформ и развитых технологий подделки видео и аудио)[521]. Наблюдение и контроль должны быть дорогостоящими предприятиями, иначе гарнизонное государство сможет легко следить за еще большей частью нашей жизни и контролировать ее[522].

Глобальная политическая экономия также имеет значение. Инвестирования в вооружения – реакция на оценку угрозы. В 2018 г. США увеличили свои военные расходы до 649 млрд долл. Китай – следующий в этом списке, там потратили 250 млрд. Военные расходы Китая росли два последних десятилетия, и по крайней мере с 2013 г. они составляли постоянную долю (1,9 %) растущего ВВП страны[523]. Саудовская Аравия, Индия, Франция и Россия – следующие страны с крупными военными бюджетами, в них было потрачено от 60 до 70 млрд долл, на военное оборудование и услуги. Все эти цифры на самом деле занижены, поскольку обычно в них не включаются расходы на внутренний аппарат безопасности, безотлагательные ассигнования и долгосрочное обеспечение раненых солдат (или поддержку семей убитых).

В США оборонный бюджет обычно превосходил расходы семи следующих по списку стран вместе взятых. Массивное наращивание вооружений будущим историкам, скорее всего, покажется абсолютно ошибочной инвестиций национальных ресурсов[524]. Мрачная ирония в том, что главная военная «сверхдержава» в 2020 г. серьезно пострадала от коронавируса, и это притом, что на биобезопасность были потрачены миллиарды долларов, а другие страны смогли намного успешнее сократить число смертей и уровень заболеваемости. Доминик Моиси, политолог из Institut Montaigne, пояснил: «Америка готовилась не к той войне. Она готовилась к новым терактам 11 сентября, но вместо них пришел вирус»[525]. Американские лидеры, снедаемые призрачными тревогами, вложили триллионы долларов в вооружения, откладывая при этом профилактические меры, которые могли бы спасти больше жизней, чем страна потеряла во вьетнамской, иракской и афганской войнах вместе взятых.

По оценкам Джозефа Стиглица и Линды Билмс, к 2008 г. американцы вложили по крайней мере 3 трлн долл, в военные действия на Ближнем Востоке. В 2016 г. Билмс оценила ту же величину в размере 5 трлн долл. Многие комментаторы утверждали, что, несмотря на важные победы над «Талибаном» (и смерть таких террористов, как Усама бен Ладен), эти многомиллиардные инвестиции на самом деле повредили долгосрочным стратегическим интересам страны[526]. Американские военные стратегии инвестирования в программное обеспечение и оборудование также критиковались многими военными 78 аналитиками[527].

Примерно так же китайские аналитики описали то, как массивные инвестиции в Синьцзяне (в обычные системы безопасности и в то же время в системы распознавания лиц и классификации на основе ИИ) повредили более общим целям Коммунистической партии Китая (КПК) внутри страны и за границей. Китайское государство, демонстративно среагировав на ножевые атаки недовольных мусульман, поместило сотни тысяч жителей в лагеря перевоспитания. КПК также развивала высокотехнологичные способы наблюдения, оценки и рейтингования. Бурные протесты в Гонконге отчасти были обусловлены нежеланием подчиняться тому правящему классу, который местные жители считали неподотчетным и в то же время чрезвычайно мощным. Зейнеп Туфеки сообщала, что боязнь применения сценария Синьцзяна, с повсеместными камерами безопасности (даже внутри домов) и постоянными оценками лояльности режиму, усилила отчаяние гонконгских протестующих. Их борьба помогла изменить результаты выборов в Тайване в 2020 г. Хотя в 2010 г. в Тайване на опросах лидером оставался Гоминьдан, он постоянно терял популярность по мере развития событий в Гонконге. Выступающая за независимость президент Цай Инвэнь смогла переизбраться, продолжив культивировать общественные настроения, поддерживающие политическую обособленность и культурное отличие[528].

Мнения вроде тех, что выражены в предыдущем абзаце, вряд ли получат широкое распространение в Китае, что обусловлено автоматизацией публичной сферы, о которой мы говорили в главе 4. Цензура, усиливаемая ИИ, в ближайшее время может укрепить режим. Она представляет собой превращение медиа в оружие, цель которого – настроить общество против внешнего влияния. Но в долгосрочной перспективе даже недемократические правительства должны опираться на определенные механизмы обратной связи, чтобы определять, что работает, а что нет, что ведет к легитимности, а что раздувает угли недовольства. Генри Фаррел утверждал:

В вероятной петле обратной связи предубеждение ведет к ошибкам, которые приводят к другим предубеждениям, методов исправления которых не найдется. Все это, конечно, подкрепляется обычной политикой авторитаризма и типичным нежеланием поправлять руководителей, даже если их курс ведет к катастрофе. Ложная идеология вождизма («Мы все должны изучать идеи товарища Си, чтобы открыть истину!») и алгоритм («Машинное обучение – это магия!») способны подкреплять друг друга, создавая порочный круг[529].

Здесь опять же возвращается тема «силы как слабости». Исключительная сила КПК позволяет ей прицельно мониторить и форматировать публичные высказывания. Но такая власть подавляет критические реакции, а жесткость становится хрупкостью и уязвимостью.

Это не значит, что главному конкуренту Китая, США, есть что предложить в плане современных моделей управления. Из-за своей собственной, все более автоматизированной публичной сферы США сползают к постдемократической политике. Фрагментированные медиа, оказавшиеся под напором деструктивных политических программ, не способны отражать атаку и сохранять базовые социальные нормы, отстаивая права на честные выборы. Нейролог Роберт А. Бертон в шутку предположил, что президента Дональда Трампа можно смоделировать в качестве «президента в черном ящике, лидера первого поколения искусственного интеллекта, руководствующегося исключительно отобранными им самим данными и значительно варьирующимися критериями успешности»[530]. Если, по мнению Фарелла, Си Цзиньпин просто слеп к реакции, то Бертон считает, что Трампа кидает из стороны в сторону, поскольку он механически перебирает циничные обращения, пытаясь определить, «что работает» и что позволит переложить вину за его многочисленные оплошности на кого-то еще. Каковы бы ни были заслуги глобального порядка под руководством США в прошлом, администрация Трампа пренебрегла им сегодня и значительно омрачила его будущее[531].

Само по себе накопление власти не означает мудрого правления[532]. Многополярность – не просто вероятный исход неудач в политике крупных держав, она необходима и для защиты глобального сообщества от чрезмерной власти гегемонов, которые стали слишком склонными к тирании и хаосу, чтобы применять власть ответственно. Есть тонкий баланс между постепенным снижением общей способности к уничтожению и гарантией того, что у военных союзов достаточно огневой мощи, чтобы предотвратить агрессию со стороны крупных стран и терроризм негосударственных агентов.

Возможно, некоторым государствам надо инвестировать в оборону (включая ведущие ИИ-технологии) больше. Однако чем больше государство тратит на вооружения в настоящий момент, тем больше его граждане должны задуматься о том, что они вносят вклад в построение «гарнизонного государства» и в гонку вооружений, которую мы критиковали ранее.

Традиционные эксперты по общественным финансам говорят о классическом компромиссе «пушки или масло». Требования тратить больше на социальную сферу ведут к сокращению ресурсов, необходимых для военизации. Однако такие гражданские расходы на самом деле могут спасти режимы от них самих, уменьшая величину ресурсов, доступных для наращивания гонки вооружений и фатальной демонстрации силы. Чем больше государства отвечают за гарантию высокого и постоянно растущего уровня здравоохранения, образования, жилья и других форм обеспечения жизни граждан, тем меньше у них остается средств для вложения в имперские проекты, которые стали возможны благодаря безудержному развитию военного ИИ. Даже когда относительно небольшая или бедная страна инвестирует в летальные автономные вооружения, чтобы защитить себя от агрессии со стороны крупных держав, что вполне можно понять, она рискует спровоцировать соседние страны с похожим положением вкладываться в защиту своих собственных относительных позиций. Лучший вариант – создать стратегические союзы, чтобы выровнять баланс сил.

Учитывая сложности, связанные с исполнением соглашений по контролю над вооружением, обязательства ограничить разработку и применение оружия, даже если они зафиксированы в формальных договорах, – лишь часть пакета мер, необходимых для предотвращения гонки вооружений на базе ИИ. Столь же важно устойчивое социальное внимание к таким неотложным и необходимым направлениям, как оборона.

Логика кооперации

С точки зрения многих исследователей (часто прямо или косвенно финансируемых военными или их подрядчиками), развитие автономных роботизированных вооружений неизбежно. Они указывают на логику скользкой дорожки: существует определенный спектр контроля человека над машиной, но нет очевидного принципа, заставляющего прекратить предоставлять все больше и больше автономии автоматизированным системам, как только первые шаги сделаны. Однако технология не обязана развиваться в этом направлении. Определенные формы кооперации столь же жизнеспособны, как и безжалостная конкуренция. Создание многих возможных видов вооружений было прекращено благодаря нормам – того же можно ожидать и в будущем.

Учитывая мириады переменных, злосчастную проблему роботов-убийц решить невозможно. Но мы можем лучше разобраться в ней, опираясь на историческое исследование дилемм, которые казались такими же безысходными. Здесь нас многому могут научить исследователи, занимающиеся международной политической экономией в области распространения ядерного оружия. Например, Этель Солинген изучала то, почему некоторые, но не все страны решили вложиться в оружие массового уничтожения. В классических «реалистических» теориях международных отношений подчеркивается власть гонки вооружений, соответственно решения стран приобрести ядерное оружие связываются с их ощущением небезопасности (которое, в свою очередь, определяется силой соперников и врагов). Однако эти теории не объясняли то, почему столь многие страны не стали разрабатывать ядерное оружие. Солинген утверждает, что важным фактором является политическое руководство и что некоторые страны приняли рациональное решение сосредоточиться на экономическом развитии (внутри страны) и на торговой конкуренции и кооперации (на международном уровне), а не на ядерном вооружении[533]. Ядерная программа является весьма дорогостоящей как в экономическом плане, так и репутационном.

Солинген, в частности, тщательно изучила историю Тайваня, который в середине XX в. столкнулся с исключительно сложной в плане безопасности ситуацией, поскольку Китай считал его провинцией-отступницей. Тайвань мог бы направить свою программу ядерной энергетики на создание материала, из которого можно делать оружие. Тем не менее руководство Гоминьдана (правящей партии) приняло стратегическое решение упрочить свою легитимность за счет экономического роста и торговли, а не путем усиления конфронтации с материком. Объем военных инвестиций относительно растущей экономики падал, тогда как ядерные амбиции Тайваня были ограничены мирным атомом.

Конечно, предложенная Солинген теория «фокуса энергии» – не единственное обоснование этой стратегии. Долгое время правивший Тайванем Чан Кайши был изгнанником, а потому даже и думать не хотел о том, что можно бомбить своих соотечественников на материке. США стремились к нераспространению ядерного оружия, а потому оказывали на Тайвань давление, чтобы он подписался под теми же нормами. Однако все эти факторы соответствуют более общей концептуальной рамке Солинген, поскольку так подчеркивается связь Тайваня с крупными державами того времени.

Если применить эту схему политической экономии к автономным системам оружия летального действия (АСОЛД), главный вопрос будет в том, как гарантировать не только нормы и законы, запрещающие особенно разрушительную технологию, но также экономические и репутационные издержки, связанные с ее развитием. Здесь конструктивную роль могут сыграть не только государства, но и фирмы. Нежелание компании OpenAI в 2019 г. выводить на открытый рынок модель генерации речи – удачный пример. Генерация текста на основе ИИ может показаться не таким уж грозным оружием. Однако стоит только связать ее с автоматическим созданием профилей в социальных сетях (вместе с видео дипфейков), и сразу станет ясно, что речь ботов – отличное средство, которое авторитарные режимы могут применять для того, чтобы нарушить естественный процесс формирования мнений в интернете. Кроме того, военные могут применять технологию для вмешательства в выборы в других странах. Лучше, если такая технология вообще не будет распространяться.

«Технари не будут это делать»: внутреннее сопротивление коммерциализации военного ИИ

В одной из крупнейших американских фирм, работающих с ИИ, все больше разработчиков-программистов отказываются делать роботов-убийц и даже технические детали, необходимые для их разработки. Их сопротивление стало частью более обширного движения специалистов и членов профсоюзов, требующих контроля над тем, как они работают и что они делают. Недавние события в компании Google показывают преимущества и в то же время недостатки подобного подхода.

Государственные контракты способны обеспечить технологические фирмы выгодной и постоянной работой, а военных – нужными им экспертными знаниями. Пентагон, заваленный фото- и видеоматериалами, сделанными в самых разных странах, заключил контракт с Google на обработку изображений, снятых дронами. Некоторые дроны налетали тысячи часов над вражеской территорией. Люди могут просмотреть съемку, но иногда они упускают важные паттерны, которые говорят о террористической деятельности. Машинное обучение обещает обнаружить подобные скрытые черты в записях и со временем перейти к подобному анализу изображений в реальном времени. Google предложил проект под названием Maven, который должен был ускорить обработку видеозаписей. Поскольку у компании был опыт отслеживания миллионов часов записей в год на YouTube, в которых ищутся запрещенные изображения, нарушения авторского права, ненавистнические высказывания и другие проблемные материалы, топ-менеджеры Google стремились применить эти эффективные методы к вопросам жизни и смерти.

Однако люди, работавшие на переднем краю технологий, сделали иной моральный расчет. Четыре тысячи работников Google подписали короткое, но колкое письмо, в котором утверждалось, что «Google не может участвовать в военном бизнесе». Работники выступили с экономическими и одновременно моральными аргументами, обосновав то, почему надо сторониться военных применений технологий ИИ. Учитывая тесную связь собираемых Google данных с жизнью пользователей, они почувствовали, что военные приложения нанесут «невосполнимый ущерб» корпоративному бренду. Одни фирмы, такие как Palantir, Raytheon и General Dynamics, были прямо связаны с военными разработками; другие, в частности Microsoft и Amazon, участвовали в них косвенно. Сотрудники Google заявили, что их фирма не должна попасть ни в первую категорию, ни во вторую. Свой цифровой протест они завершили просьбой к руководителям: «Составить, опубликовать и внедрить четкую программу, в которой должно утверждаться, что ни Google, ни его подрядчики никогда не будут создавать военные технологии». Хотя управление похоронило проект Maven, по крайней мере десять сотрудников Google уволились после этой истории, задумавшись о том, сможет ли фирма в будущем избегать заказов, компрометирующих ее в этическом плане[534].

Эти программисты-идеалисты, хотя в прессе им в целом аплодировали, столкнулись и с определенной критикой. Некоторые высмеяли то, что сочли запоздалым проявлением обеспокоенности. К 2013 г. откровения Сноудена показали, насколько полезными могут быть большие технологические данные для охраны правопорядка и интересов военных. Бывший гендиректор Google Эрик Шмидт многие годы председательствовал в Консультативном совете по оборонным инновациям. Google, некогда прославившийся лозунгом «Не будь злым!», стряхнул с себя и этот, довольно скромный, этическии стандарт[535].

Другие критики завили, что Google не помогает в должной мере своей родной стране. В мире идет гонка вооружений с применением ИИ, и если США не могут воспользоваться своими ведущими технологическими компаниями, вперед могут вырваться страны с ловкими плутократами. Сандро Гайкен, старший советник в НАТО, прокомментировал: «Эти наивные разработчики-хиппи из Кремниевой долины не понимают – ЦРУ стоило бы принудить их»[536]. Фирмы, отказывающиеся сотрудничать, рискуют тем, что Америка в гонке вооружений с применением ИИ отстанет от Китая и даже от России. Интеграция данных на китайском уровне, скорее всего, обеспечит ускорение развития мониторинга и таргетирования людей, что создаст возможности, которые будут широко применяться полицейскими силами, при борьбе с эпидемиями и на войне. Тесная интеграция частных компаний и государства способна привести к еще большему прогрессу[537]. С другой стороны, возможно, что западные 84 комментаторы преувеличивают эту угрозу[538].

Когда Google объявил о создании Project Dragonfly, поисковой машины с цензурой, удовлетворяющей требованиям китайского правительства, и идеалисты, и реалисты пришли в возмущение. Почему с китайским правительством можно сотрудничать, а с американским нет? С одной стороны, различие очевидно: поисковая машина с цензурой никого не убьет. С другой – неприятные вопросы остались. Что станет с исчезнувшими веб-сайтами? Будет ли Dragonfly сообщать об их авторах? В эпоху информационных войн пристальная слежка и контроль сетевой жизни – важнейший приоритет многих государств[539]. Такой авторитарный контроль может также создать серьезные проблемы для всего остального мира, как в случае SARS-CoV-2 (вируса, ответственного за COVID-19), который возник в Китае и который можно было бы сдержать оперативнее, если бы китайские чиновники не запретили высказываться врачам, пытавшимся предупредить о распространении этого нового опасного заболевания.

Отказ активистов из Google работать на военные технологии может показаться несколько запоздалым или непатриотичным. Однако этика участия является контекстуальной. США уже вложились в поразительное военное преимущество, которое есть у них перед другими странами. Хотя после 1990-х гг. их позиция слегка пошатнулась, они все еще способны ответить апокалиптическим по своей мощи ударом любой стране-агрессору. Такие проекты, как Maven, возможно, не развивают контрнаступательные силы, но они делают сохранение статус-кво – фактически оккупацию – гораздо более вероятным во многих странах, где присутствие США скорее вызывает негодование, чем укрепляет добрую волю.

Пути кооперации

Работа в сфере безопасности, в том числе и подготовка к войне, – это большой бизнес[540]. Развитие «капитализма террора» вывело на совершенно новый уровень глобальную торговлю оборудованием для наблюдения. США – ведущий экспортер, но другие страны тоже не отстают. Китайские фирмы продают высокотехнологичные видеокамеры британским силовым агентствам и правительству Зимбабве[541]. Специалисты по безопасности из самых разных стран мира приезжают за товарами на Выставку антитеррористического оборудования в китайском Синьцзяне[542]. Русское военное оборудование используется в Сирии, Иране и Мексике. Фирмы, официально считающиеся частными, накапливают данные, которые продаются, иногда взламываются, а также используются государственными центрами обработки информации, где интегрируются мириады источников с целью выявления аналитических паттернов жизни сотен тысяч людей. Вооружение всегда было большим бизнесом, а гонка вооружений на основе ИИ обещает прибыли высокотехнологическим фирмам с хорошими политическими связями.

Может показаться, что выступать против гонки вооружений – совершенно нереалистично. Крупные державы закачивают ресурсы в военные приложения ИИ. Слишком много граждан либо не интересуются этим, либо рукоплещут очевидным попыткам их обезопасить (каково бы ни было соотношение издержек и эффективности)[543]. Однако подобное спокойствие со временем может измениться, поскольку гражданское применение средств наблюдения на основе ИИ стремительно растет, и эта работа в области безопасности все больше отождествляется с теневыми аппаратами контроля, а не с демократической и ответственной местной властью.

Военный и полицейский ИИ применяется не только против иностранных врагов и даже не в основном против них. Он был перенастроен для выявления врагов внутри страны и борьбы с ними. Хотя за последние два десятилетия в США не было ни одного теракта, аналогичного 11 сентября, национальные службы безопасности (особенно на уровне штата и ниже) без лишнего шума обратили антитеррористические инструменты против преступников, налоговых мошенников и даже протестующих. Китай раскрутил угрозу «мусульманского терроризма», чтобы согнать значительную часть уйгуров в лагеря перевоспитания и запугать остальных постоянным прослушиванием телефонов и профилированием рисков. Никого не удивит, если выяснится, что какое-то китайское оборудование работает во внутреннем разведывательном аппарате США, тогда как крупные американские технологические фирмы привлекались к аналогичным проектам по контролю и наблюдению китайским правительством.

Развитие охранного ИИ – следствие не столько конкуренции между крупными державами, сколько глобального проекта корпоративных и государственных элит, стремящихся сохранить власть над непокорным населением. У власть имущих часто больше общего друг с другом, чем с обычными гражданами своих стран. Бряцание оружием позволяет прикрыть удобной пеленой конфликта общий интерес к устойчивому извлечению прибыли из труда рабочих, которые не могут потребовать более значительной доли экономического продукта. В той мере, в какой граждане США, Китая и России оказывают влияние на деятельность своих армий, они должны помнить об этом новом разделении. Так же как в сфере полиции, на войне приобретение новых, поистине удивительных сил, определяемых ИИ, – вопрос не только усиления способности государства вершить справедливость. Это еще и средство подавления, применения быстрого технологического прогресса для замораживания несправедливого статус-кво[544].

После применения в боевых действиях за границей и в условиях оккупации военные методы обычно находят себе путь обратно в тыл. Сначала они используются против непопулярных и относительно бессильных меньшинств, а потом распространяются и на остальные группы. Несмотря на принцип posse comitatus[545], чиновники из американского Национального министерства безопасности дарили местным отделениям полиции танки и боеприпасы. Еще больше энтузиазма у шерифов вызовут ИИ-системы наведения на цель и оценки угроз. Но, как мы видели в случае полицейских мер и тюрем, есть много способов решить социальные проблемы. Не все требуют постоянного наблюдения, совмещенного с механической угрозой применения силы.

В самом деле, это, возможно, наименее эффективные способы гарантии безопасности, как на национальном уровне, так и международном. Дроны позволили США сохранять присутствие на Ближнем Востоке и в Центральной Азии намного дольше присутствия самой оккупационной армии. Постоянное присутствие робота-наблюдателя, способного предупредить о любом опасном поведении, является определенной формой подавления. Американские вооруженные силы могут настаивать на том, что угрозы, исходящие со стороны определенных территорий Ирака и Пакистана, достаточно опасны, чтобы оправдать постоянную бдительность, однако они игнорируют то, что подобная гегемония способна вызвать озлобление, которое она намеревалась сгладить.

Осознание необходимости кооперации в мире, которым нельзя править в одностороннем порядке, – жизнеспособная альтернатива технокапиталистической гонке вооружений. Но в настоящий момент военно-промышленный комплекс гонит нас к разработке роев дронов, в которых человек «выключен» из цикла принятия решений, и причина определенно в том, что только машины смогут с достаточной скоростью предсказывать вражеские контрстратегии. Это самоисполняющееся пророчество, которое подталкивает врага развивать именно ту технологию, которая, как считается, оправдывает милитаризацию алгоритмов[546]. Чтобы вырваться из этого саморазрушительного цикла, нам нужно разобраться в идеях тех публичных интеллектуалов, которые ставят под вопрос весь реформистский дискурс, намеревающийся привить военным роботам основы этики. Нам нужны не минимальные улучшения на пути к конкуренции в боеспособности, а совершенно иной путь – к кооперации и миру, сколь бы сложно ни было их достичь и сколь бы хрупкими они ни оказались[547].

В своей книге «Как все стало войной, а армия стала всем» бывшая чиновница Пентагона Роза Брукс описывает все большее осознание американскими оборонными экспертами того факта, что развитие, правление и гуманитарная помощь столь же, если не больше, важны для безопасности, как и применение силы[548]. В эпоху климатического кризиса быстрые ответы, позволяющие помочь тем, кто пострадал от катастроф (а не контролировать их), могут замедлить или остановить дестабилизацию. Подобным образом китайские программы развития в их лучших образцах позволяют организовывать инфраструктуру в партнерских странах, что создает игру с положительной суммой, повышая производительность компаний, получивших вложения, и в то же время стимулируя взаимовыгодную торговлю [549]. У мира с большими реальными ресурсами меньше причин вести войны с нулевой суммой. Такой мир будет к тому же лучше подготовлен к борьбе с естественными врагами, такими как новый коронавирус. Если бы США вложили хотя бы какую-то долю своих военных расходов в общественное здравоохранение, они бы почти наверняка избежали в 2020 г. тысяч жертв, а также 96 разорительных карантинов[550].

Чтобы утвердился этот более затратный, но в то же время гуманный подход, его защитники должны в своих собственных странах победить в битве идей, в которой решается вопрос о подлинной роли государства и парадоксах безопасности. Они должны сдвинуть политические цели – от господства к взращиванию. Наблюдая за ростом американского государства национальной безопасности, которое он называет хищнической империей, Иэн Г. Р. Шоу спрашивает: «Разве мы не видим, что контроль становится важнее сострадания, безопасность-поддержки, капитал – заботы, а война – благополучия?»[551]. Повернуть развитие в другую сторону – вот что должно стать первостепенной задачей современного ИИ и программ роботизации. Это, в свою очередь, потребует нового взгляда на деньги, ресурсы и изобилие. В следующей главе мы покажем, что основанием гуманной программы развития ИИ является новая политическая экономия, ориентированная на человеческие потребности и возможности.

7. Новый взгляд на политическую экономию автоматизации

Каждый из новых законов робототехники влечет определенные издержки. Часто дешевле заменить рабочих, чем дополнять их технологией, которая позволит увеличить им заработную плату. Отказ от гонки вооружений грозит потерей прибыли или власти. Откладывание или уклонение от разработки гуманоидных роботов лишает нас возможности создания механических компаньонов. Атрибуция поведения робота, позволяющая связать его с отвечающим за него человеком или институтом, влечет сложные обязательства учета.

Но у каждого вида таких расходов есть оборотная сторона. То, что потребители тратят, рабочие зарабатывают. Когда каждый отказывается от гонки вооружений, лучше всем. Отсрочка (или ограничение) замещения людей роботами означает, что будет меньше машин, которые смогут конкурировать за человеческое внимание, аффекты и ресурсы. Атрибуция предотвратит несчастные случаи и поможет нам призывать к ответственности нарушителей.

Эта двойственность отражает базовое противоречие экономики. Микроэкономический подход к индивидуальным фирмам требует минимизировать расходы на рабочую силу. Макроэкономический подход к обществу в целом требует, чтобы у потребителей был определенный источник дохода – и для большинства из нас это работа. Способ социального уравновешивания этих конкурентных требований труда и капитала является предметом одновременно политики и экономики, которые объединяются в политической экономии. Подход политической экономии открывает возможности, которые ныне отвергаются, поскольку считаются непрактичными или не рассматриваются вовсе[552].

В стандартных описаниях экономики искусственного интеллекта обычно излагается следующая идея: чем больше регулирования, тем меньше инноваций, и наоборот. Политическая экономия эту идею отвергает. Мы не пытаемся максимизировать размер некоего воображаемого экономического «пирога», а потом перераспределять итоговую добычу[553]. Скорее, ИИ, который у нас будет, может и должен определяться правом. Например, право может ограничивать или запрещать системы распознавания лиц, которые ежедневно делают тысячи фотографий школьников. Оно может потребовать того, чтобы роботы-уборщики и тестеры боролись с заразными болезнями, а также поддерживать или субсидировать их. Регулирование ИИ и роботов не должно всего лишь сдерживать безумных ученых или ограничивать защитными барьерами неугомонные титанические корпорации. Скорее, мы должны попытаться сохранить определенные человеческие ценности в здравоохранении, образовании, журналистике, полиции и многих других областях. Мы также пытаемся достичь того, чтобы каждая из этих областей могла развиваться в ответ на различные локальные нужды и приоритеты, не подчиняясь диктату фирм, которые ныне господствуют в коммерческом ИИ[554].

Для достижения этих целей потребуется государственное финансирование. Чтобы правильно внедрять роботизированные системы и ИИ, часто нужно будет тратить больше (а не меньше), чем при современных подходах. Должно стать ясным простое экономическое отношение между первым и третьим новыми законами робототехники: деньги, которые не были потрачены на гонку вооружений ради получения позиционного преимущества, могут быть потрачены на дополняющую автоматизацию. Однако перераспределение средств, которые из области охранного труда и безопасности должны быть переведены в социальные службы, – лишь один элемент общей картины. Нам надо также создать устойчивую экономику, в которой автоматизация нацелена прежде всего на общее благо и общедоступные услуги, но при этом снижает негативное воздействие на окружающую среду. Вот где мы должны делать больше с меньшими затратами, а не в сфере социальных услуг, которым во многих странах уже нанесен ущерб мерами жесткой экономии[555].

Чтобы расчистить территорию для моих аргументов, мне надо будет опровергнуть два нарратива. Первый мы можем назвать кошмаром экономиста, а второй – мечтой радикала. Кошмар экономиста – это социологический диагноз, известный под названием «болезнь издержек». Речь о страхе того, что расходы на здравоохранение и образование вытянут ресурсы из остальной экономики. Радикальная мечта – это надежда на то, что однажды полная автоматизация приведет к тому, что все будут делать машины. Экономисты обычно отвергают полную автоматизацию, считая ее слишком утопичной. Однако мечта и кошмар представляют собой две стороны одной медали, то есть такого способа мыслить, который отдает приоритет эффективности в индивидуальных трансакциях перед гармоничным устройством всего общества в целом[556].

В этой главе мы разберемся с нарративами «болезни издержек» и полной автоматизации, определяющими картину будущего ИИ и роботов. Вместо того чтобы позволить крупнейшим технологическим фирмам подчинить себе профессии ради прироста эффективности, обещанного ИИ, мы должны заново сбалансировать общее пространство экономики. Государство должно лучше защищать права и прерогативы работников, малых и средних предприятий, ограничивая при этом власть обширных технологических компаний. В настоящее время право в основном подталкивает капиталистические экономики к заместительной автоматизации. Обновление программы налогообложения, конкуренции, труда и образования помогло бы выправить этот дисбаланс, обеспечив всех нас большей долей в будущем развитии ИИ и робототехники.

От профессионального обучения к управлению инновациями

В настоящее время давление рынка требует быстрой и дешевой автоматизации. Рынок моделирует мир в качестве конвейера, на котором каждая работа подлежит дроблению на более мелкие, рутинные задачи. Аргументация бизнеса в пользу обслуживающих роботов очевидна: им не надо платить, они не нуждаются во сне и их не нужно мотивировать для того, чтобы они работали сверхурочно. Пока есть туристы, которые ищут дешевые номера, или командировочные отделы в фирмах, которым необходимо снизить расходы, владельцы гостиниц будут стремиться заполучить роботов-уборщиков, рецепционистов, привратников и консьержей. Все эти работы могут устареть так же, как работа лифтера.

Пандемия коронавируса создала еще больше факторов, требующих снизить человеческие контакты в сфере услуг. Карантин, установленный на неопределенный срок, стал более убедительным аргументом в пользу роботизации, чем слова любого бизнес-гуру. Когда операторы складов, мясозаготовители и фермерские работники боятся подхватить на работе смертельный вирус, роботизация их труда может показаться как нельзя более гуманной инициативой (если связать ее с убедительным обещанием обеспечить базовым доходом и будущими рабочими местами). Моральный баланс во многих иных секторах автоматизации услуг также меняется. Считаться «работником жизненно важной сферы услуг» в разгар эпидемии – сомнительная честь. Даже если вакцина устранит штаммы коронавируса, который неистовствует с 2019 г., остается вероятность другой пандемии. Эта возможность, пусть и неопределенная, подкрепляет логику автоматизации рабочих мест. Более опасный вирус может нанести серьезный урон даже в сфере жизненно важных услуг и цепочек поставок, что грозит социальным коллапсом. Внезапная материализация угрозы пандемии свидетельствует в пользу ускорения роботизации, способной обеспечить устойчивое производство и распределение необходимых продуктов и услуг.

Но всегда будет много социальных должностей, которые требуют большего человеческого участия. Нам нужно провести четкую границу между полезными инновациями, ориентированными на человека, и простой эксплуатацией логики издержек и кризиса, нацеленной на преждевременную автоматизацию. История роботов и ИИ не сводится к неумолимому технологическому прогрессу. Везде, где они внедряются, их будут встречать воодушевлением и сомнениями, теплотой и тревогой. Задача политиков и стратегов состоит в том, чтобы решить, как примирить эти реакции и совместить уважение к людям, признание ограниченности ресурсов и ответственность. Для этого потребуются значительные и притом постоянные инвестиции в образование.

В передовых университетах уже пытаются делать студентов «нероботизируемыми», если использовать выражение ректора Северо-Восточного университета Джозефа Ауна[557]. Высоким спросом пользуется обучение в областях естественных наук, технологии, инженерии и медицины (STEM). Гуманитарные науки – литература и политология, история и философия – также играют основополагающую роль для полноценного понимания автоматизации, отмечает Аун. Их следует переоценить, а не обесценивать. И это еще одно направление развития правильно внедряемого ИИ, которое должно привести к увеличению числа рабочих мест. Образование становится более трудоемким, когда наиболее передовые способы производства усложняются[558].

Экономика определенно меняется, и некоторые навыки устаревают. Решение этой предсказуемой проблемы состоит не в сокращении срока обучения в средней школе или колледже, а в создании дополнительных возможностей для обучения и в более взрослом возрасте. Многие государства лишь урывками или нехотя финансировали программы, нацеленные на переобучение работников. Они должны сделать больше и перейти от профессионального обучения к более амбициозным и насыщенным программам. Работник, который лишился места из-за машины, заслуживает чего-то большего, чем курс по программированию, рассчитанный на несколько недель. Столь же важны и возможности получить знания, которые позволят понять, почему он лишился работы, как ситуация могла бы быть решена иначе, а также каков общий контекст экономических перемен. Подобные уроки ранее давались в профсоюзных школах, и к ним можно было бы вернуться.

Эта стратегия успешна, даже если судить по традиционным экономическим показателям. Инвестиции в образование, нужные для того, чтобы не упустить новые возможности, создаваемые ИИ, будут повышать производительность по крайней мере в трех отношениях. Во-первых, они позволят приобрести больше навыков тем, кто пострадал от прогресса в области программного обеспечения, аналитики данных и робототехники или просто лишился работы. Также они ускорят этот прогресс, создавая более производительную экономику, способную поддерживать людей, обучающихся на более длительных образовательных курсах. Наконец, в условиях перестройки рынка труда за счет оснащения его вычислительными мощностями увеличится число рабочих мест в научной сфере, преподавании и обучении.

Искусственный интеллект потребовал – и будет требовать – того, чтобы работники и менеджеры повышали свой уровень знаний, решая при этом сложные и деликатные вопросы, касающиеся правильного способа сбора, обработки и управления данными. Передовые компьютерные системы ставят перед нами проблему еще и как перед гражданами. Две страны, которые лучше других сопротивлялись натиску сетевой пропаганды, проанализированной в четвертой главе, – это Франция и Финляндия. В них сильные образовательные системы; в частности, в Финляндии школьников учили определять источники сетевых сообщений и оценивать скрытые мотивы и задачи[559]. Если у демократии и есть будущее, подобные навыки расследования должны стать намного более распространенными, как и базовые ценности инклюзии, открытости и способности рассуждать о честности и справедливости.

Многие направления социальных и гуманитарных наук могут внести свой вклад в этот процесс, поскольку сама природа экспертных знаний со временем переопределяется, приобретая иной облик. Новые области (такие как честность, подотчетность и прозрачность машинного обучения) развиваются в реальном времени, поскольку университеты пытаются удовлетворить запросы студентов и общества. Когда специалисты по компьютерным наукам и исследователи операций изучают более качественные способы достижения наших целей, постоянно и неизбежно возникает сопротивление со стороны тех, кто способен сформулировать человеческие ценности, включенные в традиционные подходы. Когда властители мнений в области ИИ говорят, что людям надо стать в эмоциональном плане более «адаптивными», чтобы машины могли их понимать, проницательные комментаторы могут заметить, что подобная дисциплина искажает и принижает опыт[560]. Уместные эмоциональные реакции не сводятся к ощущению: в них знание сочетается с чувством, что позволяет раскрыть тревожные или ценные стороны ситуации. Как мы уже отметили ранее, когда обсуждали уход за детьми и пожилыми людьми, в подобных реакциях воплощается нечто жизненно важное и человечное. Самым важным станет создание институтов, в которых мы сможем внимательно исследовать подобные вопросы, но не слепо следовать им, словно бы они были навязаны нам чьим-то диктатом[561]. Подходящим форумом для подобных исследований могут стать лучшие университеты, обучающие студентов чувствам и наукам, самопознанию и исследованию мира.

От субсидий к субсидиарности

Будет ли справедливо, если государство станет платить (прямо или косвенно), помогая гражданам понять, как лучше развивать или ограничивать технологию? Не может ли предоставить такие знания рынок? Хотя подобная критика субсидий в политических кругах встречается довольно часто, есть два уровня, на которых она не работает. Во-первых, инвестиции в образование, исследования и разработки, как и истинный прогресс медицинского обеспечения, принесли огромную долгосрочную прибыль, стимулируя экономический рост. Во-вторых, даже если не считать инструментальной пользы, такие инвестиции ценны сами по себе.

Индивидуальные рыночные трансакции не всегда ведут к общему социальному благу, и нельзя даже сказать, что оно является их результатом чаще всего. Несомненным свидетельством этого стал сегодняшний кризис глобального потепления. Действительно, как доказывают последствия избыточного веса и курения, такие трансакции часто составляют проблему даже для тех, кто в них участвует[562]. Еще хуже рынок может обеспечивать инвестиции, необходимые для долгосрочных социальных благ, таких как образование. С другой стороны, у типичной фирмы нет мотивов совершенствовать навыки работника, учитывая то, что он может легко переметнуться к конкуренту. Высшее или специальное образование – не та вещь, на которую типичный работник может (или должен) делать ставку, если у него нет тех или иных субсидий, особенно в эпоху быстрых технологических и социальных перемен.

Нам надо всерьез задуматься о том, как поддержать и расширить образовательный сектор, действительно способный готовить людей к тому, чтобы пользоваться новыми возможностями труда (и досуга), предлагаемыми цифровой революцией. И если в начале XIX в. среднее образование стало бесплатным и общедоступным, точно так же минимумом для всех граждан должно стать право на четырехлетнее высшее образование. Некоторые могут посетовать на то, что субсидии попросту повышают стоимость обучения. В той мере, в какой его стоимость неоправданна, можно ввести контроль цен. Однако применять его следует с осторожностью, поскольку экономический рост поддерживается образованием как прямо, так и косвенно[563].

Экономисты, занимающиеся образованием, обычно упускают из вида политические аспекты широкого распространения знаний и других способов, необходимых для управления и применения технологии, как и для ее развития. Чтобы демократия не сводилась к периодическим походам к будке для голосования, нам нужно, чтобы как можно больше людей были причастны к формированию того, что Эндрю Финберг называет «техносистемой», представляющей собой «вторую природу» инструментов, медиа и интерфейсов, которые определяют сами наши жизни. Это не столько экономический принцип, сколько вариант определенного идеала правления. Такой принцип, известный как «субсидиарность», требует, чтобы ответственность передавалась на самый нижний уровень, который только может справиться с данной проблемой. Распространенная форма субсидиарности – федерализм. Например, в ЕС и США ответственность за определенные вопросы (такие как содержание исторического образования) передается на нижний уровень.

Сохранение человеческого контроля над системами ИИ представляет собой еще одну форму субсидиарности, скорее функциональную, чем территориальную. Представим, например, ответственность за учебный класс. При централизованном подходе одно общенациональное ведомство сосредоточило бы в себе власть над точным составом преподаваемого материала, над дисциплиной, отдыхом и даже переменами. ИИ мог бы наделить такой орган полномочиями с помощью камер и программного обеспечения для мониторинга класса, запрограммировав на общенациональном уровне управление поведением, тогда как локальный контроль требует передачи такой власти инспекторам, директорам и, конечно, учителям. Сохранение человеческого контроля над системами ИИ потребует подобного делегирования ответственности в масштабах всей экономики. Как было заявлено в одной инициативе Института инженеров электротехники и электроники, даже если роботы «дешевле, предсказуемее и их проще контролировать, чем работников-людей, основная их сеть должна оставаться на каждом уровне принятия решений, чтобы можно было гарантировать сохранение человеческой автономии, коммуникации и инновации»[564]. Подобный план при условии своей успешной реализации сможет уравновешивать эффективность и демократию на рабочем месте, предоставив высокообразованным специалистам возможность оценивать, где рутинизация на базе ИИ развивается верно, а где ее можно улучшить.

Говорить о демократии на рабочем месте вроде бы странно, поскольку политические категории тем самым смешиваются с экономическими. Однако «управление есть везде, где один человек или группа может сказать другим, что они должны делать и когда эти другие должны повиноваться или терпеть наказание», как отметил теоретик права Роберт Ли Хейл[565]. Для социальной организации нужна определенная иерархия, но ее структура может быть в большей или меньшей степени открытой и оспариваемой. ИИ должен не укреплять уже имеющееся глубокое неравенство во власти рабочих, менеджеров и собственников капитала. Он может помочь профсоюзам и рабочим ассоциациям получить больше прав на самоуправление на рабочем месте. Например, алгоритмическое составление графика работ не должно основываться исключительно на минимизации расходов, иначе в итоге рабочие будут жить с нулевыми трудовыми контрактами. Организованные рабочие могут, напротив, потребовать того, чтобы такой ИИ учитывал их потребности динамически, предоставляя именно то время на семью, досуг и образование, которое должна дать всем и каждому более производительная экономика[566].

Демократия не сводится к собственно политической сфере, состоящей из партий, выборов и законодательных собраний. Она должна охватывать и определенную форму «частного управления» рабочими местами, где сегодня господствуют начальники[567]. Страны с отлаженным механизмом участия рабочих в управлении предприятием, например Германия, лучше других подготовлены к справедливому применению ИИ и роботов, поскольку в них уже есть институциональные формы представительства рабочих в управлении фирмами.

Долгосрочная цель, выраженная первым новым законом робототехники, требует, чтобы профессиональные союзы или иные профессиональные объединения имели право голоса в решениях о применении ИИ и роботов. В ближайшей перспективе профсоюзы, отстаивающие общественные интересы, способны смягчить наиболее жестокие формы менеджмента на базе ИИ. В более отдаленной перспективе они способны развиться до уровня профессий с различными социально признанными правами применения собственных экспертных знаний (в разных ситуациях, начиная со сбора данных и заканчивая их оценкой). Подобным образом утверждают себя учителя, врачи и медперсонал, и их пример уже влияет на многих других работников. Вспомним, к примеру, о водителях Uber, решивших коллективно требовать мер безопасности или оспаривать несправедливые оценки их работы. С этой точки зрения водители – это не просто запасы данных, которые постепенно прокладывают путь своему собственному устареванию, скорее, они неотъемлемый элемент постепенного социального конструирования более безопасной, быстрой и надежной транспортной инфраструктуры[568].

Традиционные экономические подходы отмахиваются от политики на рабочем месте, моделируя занятость в качестве добросовестной сделки. Такая версия событий в лучшем случае идеал, но обычно в отсутствие надежных социальных гарантий и законов, защищающих рабочих, она не имеет никакого значения. Действительно ли вы готовы спорить об условиях найма? Допустим, начальник пренебрежет этими условиями, каковы будут относительные издержки и прибыли, если вы потребуете от него их соблюдать? У больших работодателей есть целые юридические отделы – сколько рабочих имеют те же возможности? Короче говоря, многие трудовые договоры просто навязываются, точно так же, как муниципалитет может выпустить постановление, которому подчиняются жители города, но без тех форм демократического контроля, легитимирующих работу общественного управления.

В другом направлении экономической мысли подчеркивается то, что мы соглашаемся с неподотчетным частным правлением, создаваемым «наймом по желанию», поскольку этот режим порождает большее социальное благосостояние, чем иные способы регулирования рабочих мест. Хотя такой утилитаризм может показаться привлекательным (как простая экономическая модель издержек регулирования), подобная генерализация рушится под натиском эмпирических данных. Совершенно не очевидно то, что более высокий ВВП в США действительно указывает на более качественную жизнь граждан и особенно работников по сравнению со значительной частью Европы, где действуют более гибкие режимы управления рабочими местами.

Конечно, здесь нет совершенного решения, и от людей, находящихся на передовой современной профессиональной практики, всегда будет вполне оправданно требоваться то, чтобы они доказывали свою ценность. Например, возможно, власти должны избавлять учащихся от некомпетентных или излишне строгих преподавателей; также нельзя ждать того, что рынок или государство будут вечно поддерживать писателя, которого никто не читает, или музыканта, которого никто не слушает. Однако общая структура делегирования ответственности за труд самим профессионалам имеет ключевое значение в уходе от ментальной монокультуры[569].

Самоценное и инструментальное в высшем образовании

Даже если не брать вопрос о субсидиях, содержание высшего образования само по себе станет причиной предсказуемых споров. Программ очень много, начиная с прагматических и профессиональных и заканчивая в высшей степени непрактичными (но ценными). Учитывая актуальные тренды в политике высшего образования, главный враг – ранняя специализация. Годы учебы в колледже должны быть более или менее четко поделены на самоценное и инструментальное обучение. Инструментальные курсы направлены на то, чтобы у человека были навыки, которые можно продать в современной экономике. Это может быть программирование или маркетинг, статистика или риторика. Самоценные предметы являются носителями ценностей, традиции, наследия и истории, которые наделяют смыслом наши дела и усилия.

Конечно, между самоценным и инструментальным нет четкой границы. Будущие юристы могли бы очень многое узнать о текстуальном анализе, изучая ренессансную поэзию, тогда как йога, которой изначально занимаются для улучшения здоровья, со временем может стать важным источником смыслов. Тем не менее, учитывая рост популярности бизнес-обучения и других схожих направлений специализации студентов, нам грозит серьезная опасность потерять «лучшее из всего, что было продумано и сказано», если не будет надежного социального обязательства вкладываться в это. Учитывая огромную силу ИИ, нам при его применении требуется контакт с глубинными человеческими ценностями[570].

Некоторые лидеры компьютерной отрасли готовы от такого предложения отмахнуться. Энтони Левандовски, инженер, проектировавший некоторые ключевые элементы беспилотных автомобилей, заметил однажды, что «единственная вещь, которая имеет значение, – это будущее. Я даже не знаю, зачем мы вообще изучаем историю. Я согласен, все это очень увлекательно – динозавры, неандертальцы, промышленная революция. Но то, что уже случилось, на самом деле не имеет значения. Вам не нужно знать историю, чтобы создавать нечто на основе того, что уже сделано. В технологии значение имеет только завтрашний день»[571]. Подобное пренебрежение историей вызывает беспокойство. Людям, которые занимают командные посты в транспортной технологии, нужно понимать, почему, к примеру, автомобильная культура была, возможно, огромной ошибкой. Такая по-настоящему ученая и гуманистическая книга, как работа Бена Грина «Достаточно умный город», авторитетно рассказывает эту историю и должна быть прочитана каждым, кто спешит сделать ставку на автомобильный индивидуализм, когда для сокращения парниковых газов столь важны коллективные транспортные решения[572].

Экономисты высшего образования обычно не рассуждают в этом ценностном регистре. Слишком часто программы развития в этой сфере определяются прогнозами «премии за диплом», то есть увеличением реального заработка, который можно связать с образованием, минус его стоимость. Подобный анализ издержек и прибылей, как и любой кособокий проект квантификации, не учитывает все значимые данные, например социальную ценность труда, выполняемого выпускниками. Определяя весь сектор образования в целом в грубых категориях, как чисто инструментальное предприятие по «подготовке рабочей силы», они помогают уничтожить те самые ценности, которые необходимы для признания недостатков экономизма[573].

Перестройка налоговой политики в эпоху автоматизации

Обеспечить надежные возможности получения рабочего места может большой спектр мер, которые обеспечивают тонкую настройку баланса множества социальных целей. Например, налоговый зачёт за заработанный доход (НЗЗД, EITS) заставляет работников выполнять работу, которую в обычном случае они не стали бы делать (или вознаграждать за труд, хронически недооплачиваемый). Обычно налоги на доход в предельном выражении препятствуют труду, поскольку на каждый дополнительный доллар, выплаченный работодателем, приходится менее доллара, получаемого работником. Я могу заработать дополнительный доллар, но, если налоговая ставка составляет 25 %, я получу только 75 центов. При НЗЗД работники с низким доходом на самом деле получают за работу бонус от государства, вместо того чтобы платить налог на доход. К примеру, водитель такси может получать 13000 долл., хотя на заказах он заработал всего юооо, поскольку трансфертные платежи создают негативный налог 30 %. Хотя в США на НЗЗД не спешат раскошелиться, его можно ввести для улучшения дохода работников в тех секторах, где из-за автоматизации объем работы сокращается. Особенно подобная программа может подойти в таких странах, как Великобритания и Германия, где предельная ставка налога для людей, выходящих из статуса безработных, может составлять 80 %[574].

Конечно, у таких программ, как НЗЗД, много недостатков. Они предлагают помощь лишь людям с определенным уровнем дохода. Тем, кто застрял в секторах, где ИИ фактически забрал всю работу, НЗЗД не особенно поможет. Субсидирование низкооплачиваемого труда означает также, что его будет больше. Иначе говоря, фирмы, которые могли бы заняться инновациями, чтобы увеличить производительность работников, вместо этого могут успокоиться и сохранить субоптимальные условия труда. Например, у сети магазинов нет в таком случае причин инвестировать в автоматических уборщиков, которые бы заменили людей (или даже повышать их эффективность на 10 %), если государственные субсидии создают значительное преимущество рабочей силы в плане затрат по сравнению с машинами. Конечно, такие схемы, как НЗЗД, во многих налоговых системах могли бы попросту компенсировать заработные платы, несправедливые в сравнении с доходом на капитал. Тем не менее нам следует избегать помех технологическому прогрессу в областях, где человеческое управление и человеческая проницательность не вносят никакого вклада в рабочий процесс и повышение качества. Также мы должны избегать поддержки «наименьшего общего знаменателя» работодателей, которые загоняют своих работников на все более грошовые должности.

Эти вполне предсказуемые трудности НЗЗД подогрел общий интерес к другому, более простому, подходу, а именно безусловному базовому доходу (ББД) для всех, независимо от того, работают они или нет. Неоднократно опробованный, защищаемый и во всех подробностях разработанный такими философами, как Филипп Ван Парайс и Янник Вандерборхт, ББД обрел новый смысл в эпоху автоматизации. Он оправдывается четырьмя разными аргументами. Первый является чисто гуманитарным: каждый заслуживает средства к существованию, независимо от его вклада в общество. Второй – кейнсианский: ББД поднимет экономическую активность, поскольку у многих его получателей высокая предельная склонность к потреблению (или, упрощая, деньги похожи на навоз: он плодороднее, когда его распределяют ровным слоем, а не сваливают в одну кучу).

Третья концепция обоснования ББД принадлежит философу и социологу Хартмуту Розе, который видит в нем материальное основание «резонанса»[575]. С точки зрения Розы, тенденция модерна к отчуждению – чувству бессмысленности и пустоты – требует новых инвестиций в то, что способно резонировать с нами, то есть в такие источники смысла и ценности, которые мы часто обретаем в природе, искусстве, истории, игре, семье и друзьях. Устраняя из профессиональных соображений худшие формы бедности, ББД должен создать для нас пространство и дать нам время, чтобы заниматься работой, которая на самом деле для нас важна, – или не работать вовсе.

Идеи Розы внушают воодушевление. Однако общее сопротивление ББД питается подозрением, что найдутся оппортунисты, которые решат покинуть рынок труда (тогда как другим придется вкалывать на необходимых обществу позициях). Четвертое нормативное обоснование ББД пытается ответить на этот вызов, подчеркивая то, что практически все мы (и наши предки) играли определенную роль в создании материальных оснований для того уровня процветания, которым мы все ныне пользуемся. Например, если мы просто пользуемся Google или Facebook, то уже улучшаем алгоритмы этих сервисов. Комментарии, лайки и другие реакции еще больше уточняют эти алгоритмы. Исполнители работают для аудитории, но и аудитория работает для них, когда судит предложенные развлечения, уделяя им внимание, отвлекаясь или хмурясь, шикая или демонстрируя другие признаки нетерпения. Такое определение труда может показаться слишком широким. Однако для того чтобы наделить человека ценностью и сохранить его, требуется также и желание признать важность социальных институтов, которые дают индивидам чувство смысла и цели. Не осуждая ББД за то, что людям будут платить за безделье, мы, возможно, сочтем, что это полезное начинание – облегчить гражданам доступ к культуре.

Всеобщий вклад в производительность экономики требует всеобщего предназначения человеческих благ[576]. Когда миллионы людей заменяются роботами и ИИ, технология будет обучаться на данных, созданных работниками в процессе выполнения их труда. В ином режиме интеллектуальной собственности они могли бы потребовать роялти за такой труд или даже создали бы источник ренты для будущих поколений. ББД может стать компенсацией рабочим за подобный незаметный вклад в производительность[577].

Откуда возьмутся деньги? Есть идея обложить налогом роботов и ИИ, чтобы выровнять общее фискальное пространство. В налоговых кодексах обнаруживается асимметрия, когда «агрессивно субсидируется… применение оборудования (например, путем различных налоговых кредитов и ускоренной амортизации), но в то же время облагается налогом… наем рабочей силы (в частности, налогами на фонд заработной платы)»[578]. Мы уже встречали немало примеров, когда преждевременное или неудачное применение искусственного интеллекта, а не усиление интеллекта, создавало как прямые (предубеждения и неточность), так и косвенные проблемы (начиная с утраты достоинства и заканчивая депрофессионализацией специалистов, которые должны были бы руководить ИИ и программами, а не подменяться ими). Однако существуют обширные секторы экономики – рабочие места в клининге, инфраструктуре, на транспорте, в чистой энергии, логистике и т. д., – где нам требуется как можно быстрее внедрить больше роботов и ИИ. Поэтому было бы непрактично облагать налогом роботизацию как таковую, особенно когда таким секторам нужно быстро развиваться, чтобы дать каждому хотя бы видимость тех возможностей, которые богатейшим квинтилем земного шара принимаются за нечто само собой разумеющееся.

Другой, более удачный источник дохода для ББД – это налоги на богатство и доходы высокого уровня. В некоторых странах неравенство достигло таких крайностей, что эти налоги помогли бы собрать весьма внушительную сумму. Так, американский сенатор Элизабет Уоррен предложила обложить налогом на богатство 75 тыс. домохозяйств в США, обладающих активами в размере более чем 50 млн долл., что позволило бы в течение десяти лет собирать по 275 млрд долл, ежегодно[579]. Сенатор Берни Сандер готов собирать 435 млрд долл, ежегодно, обложив налогом 180 тыс. домохозяйств[580]. Любой из таких планов смог бы финансировать важные социальные программы. Но если 435 млрд долл., собранных по плану Сандерса, просто поделить между 333 млн американцев, они получили бы базовый годовой доход 1300 долл. Это, конечно, улучшило бы финансовое положение многих домохозяйств, особенно с детьми, но вряд ли такая сумма могла бы заменить профессиональный доход.

Конечно, теоретики разработали и намного более амбициозные планы ББД, основанные на более широких и глубоких уровнях налогообложения. Например, по предположению Карла Видерквиста, ББД должен быть таким, чтобы ни одно домохозяйство в США не имело годового дохода менее 20 тыс. долл, в год[581]. Налог на доход, начиная с относительно низкого уровня, достигает в таком случае 50 % предельной ставки. В целом это позволило бы субсидировать домохозяйства, которые зарабатывают от нуля до 50000 долл., суммой от 20000 до 2000 долл. К тому моменту, когда домохозяйство стало бы зарабатывать 55000 долл, в год, оно бы выплачивало на ББД больше, чем получало.

Разумеется, есть огромная разница между ББД, оплачиваемым широким классом работников и финансируемым налогами на богатых инвесторов. Есть множество возможных поправок, которые можно внести в налогообложение, чтобы размер ББД составлял от 1300 до 20000 долл, в год. Чем более щедрым является ББД, тем с большей вероятностью он спровоцирует сопротивление налогообложению, необходимому для его финансирования. Защитники ББД могли бы значительно укрепить свои аргументы, сосредоточив требования по распределению на справедливом налогообложении богатых и последующем постепенном расширении предлагаемой налоговой базы[582].

От безусловного базового дохода к гарантии занятости

Сложности финансирования – возможно, не самая значимая проблема для ББД. Независимо от того, как его понимать, в качестве гуманитарной помощи, кейнсианского вмешательства, нацеленного на стимулирование экономики, или справедливой компенсации, ББД быстро сталкивается с практическими трудностями. Арендодатели не оставят без внимания новую субсидию; они просто поднимут арендную плату, чтобы перехватить эту субсидию. Действительно, такие капиталистические платформы, как AirBnB, уже сегодня ускоряют монетизацию «пустых комнат», чем зловеще напоминают предложение тори ввести «налог на спальню» для получателей льгот в Великобритании, у которых, по мнению государства, дома слишком много незанятого пространства. Другие значимые игроки современной экономики, скорее всего, тоже поднимут цены. Это особая опасность для США, где, как показал французский экономист Тома Филиппон, в ключевых секторах господствуют олигополисты. При плохом планировании ББД просто разгонит инфляцию.

Другая понятная тревога, вызываемая ББД, связана с демонтажем государства. Понятие ББД было поддержано либертарианцами, которые хотят предложить гражданам простую сделку: налогообложение сохранится, но налоговая выручка будет распределяться между всеми на равных условиях и не будет тратиться на поддержку медицинского страхования, образования, почты и других государственных услуг. Граждане смогут использовать эти выплаты для покупки того, что ранее предоставлялось государством. Некоторые футуристы из Кремниевой долины ухватились за ББД, увидев в нем замену государственным услугам. Если всем раздать деньги на покупку медицинских страховок или школьного образования, это, по их логике, создаст оптимальную свободу потребительского выбора. Некоторые, возможно, предпочтут дешевые медицинские страховки, а оставшиеся деньги потратят на отпуск и более дорогие автомобили; другие могли бы выбрать более дешевое киберобучение на дому, а оставшиеся средства использовать на роскошные товары. Несложно понять ограниченность подобной стратегии; дети в особенности заслуживают определенной защиты от неверных потребительских решений своих родителей. Люди с дешевой страховкой ставят персонал больницы, если они попали туда с травмой, перед ужасным выбором: лечить их, не имея практически никакой гарантии на компенсацию, или дать им умереть (что вызовет моральное негодование). Это одна из причин, по которым большинство сторонников ББД говорят о нем именно как о дополнении обширных государственных услуг, а не их замене.

Даже когда все гарантирует подобную дополнительность, существует риск того, что выплаты, подобные ББД, будут невзначай подрывать поддержку общественных проектов. Например, в последние несколько десятилетий Аляска накопила «постоянный фонд» на основе роялти от добычи природных ископаемых на территории штата. Из фонда несколько десятилетий выплачивалось около 1500 долл, (по курсу 2019 г.) каждому жителю штата. Республиканский губернатор штата хотел поднять выплаты и для этого провел массовое сокращение образовательного бюджета (что ударило по университетам)[583]. Чем больше штатов начинают заниматься прямыми денежными выплатами из общих доходов, тем больше у законодателей причин сократить услуги, чтобы выплачивать более внушительный ББД. Хотя многие сторонники ББД полагают, что он будет финансироваться за счет налогов на богатых, у последних обычно хорошие политические связи. Самый простой способ финансирования – сократить инвестиции в будущие производственные мощности (такие как образование и инфраструктура). Например, вместо того чтобы сохранять налоговые ставки для богатых, США сократили финансирование мер предотвращения пандемии (и другие программы), но потом пострадали от оглушительного удара COVID-19. Действительно, историю спада США за последние полвека можно представить как историю систематической передачи некогда государственного финансирования, которым поддерживались инфраструктура, образование и здравоохранение, обратно частным лицам и корпорациям.

Даже у наиболее сложных теорий ББД обычно два общих недостатка. Во-первых, экономика моделируется в них в качестве машины, отличной от людей и общества, то есть машины, которая порождает изобилие (по примеру курицы, несущей золотые яйца). Сведением к абсурду оказывается в этом случае так называемый полностью автоматизированный роскошный капитализм, производительные мощности которого практически не нуждаются в контроле граждан. Во-вторых, в них предполагается, что индивидуальные потребительские решения являются оптимальным механизмом распределения ресурсов. Но такие решения часто бывают неправильными, в том числе и из-за негативного воздействия экономической машины, на которую опирается представление о ББД.

Представим, например, два общества, в которых введен ББД. В одном получатели ББД тратят деньги на более крупные автомобили с большим потреблением бензина. В другом они предпочитают тратить их на солнечные батареи, устанавливаемые на крышах и генерирующие электричество для гибридных автомобилей. Страна с солнечными батареями не просто помогает окружающей среде, она становится более устойчивой и способной пережить колебания цен на ископаемое топливо или те углеродные налоги, которые должны стать краеугольным камнем более устойчивого глобального порядка. Пока нас манит такой доступный плод, как солнечная энергия, мудрость политики ИИ, основанной на прямых субсидиях индивидам, будет оставаться спорной.

Критики ББД рассматривали также более общее представление о социальных проектах, которые финансировались бы дивидендами от автоматизации. В ряде исследований было предложено обеспечивать не доходом, а безусловными базовыми услугами (ББУ), в число которых можно включить здравоохранение, жилье, электричество, широкополосный доступ в интернет и многое другое. ББУ, не гарантируя доход, гарантировали бы наличие рабочих мест в таких необходимых областях деятельности. В спорах о политической экономии автоматизации следует обратить внимание на недавние работы по ББУ, поскольку они помогают нам понять глубочайшие потребности современных обществ. Если инновациями в области ИИ и роботов и в самом деле можно управлять в соответствии с четырьмя вышеупомянутыми законами робототехники, они должны быть направлены именно в эту сторону[584].

Учитывая вызванный коронавирусом в начале 2020 г. экономический кризис, появится немало возможностей гарантировать наличие рабочих мест в таких областях. Одну модель предлагает американский «Новый курс». Во время Великой депрессии Гражданский корпус охраны окружающей среды и Управление общественных работ смогли оперативно нанять безработных. Экономист Павлина Чернева предложила более низовой подход, основанный на работе в сообществах и некоммерческих организациях[585]. Ключевым моментом тут является макроэкономика помощи и ухода. Цель – не просто заменить статус-кво, а создать политику занятости, которая после сокращения рабочих мест под воздействием ИИ смогла бы решать тройственную проблему изменения климата, плохого здоровья и значительного неравенства, – факторов, усиливающих друг друга. Эти проблемы должны составлять основу любой вменяемой программы будущего труда.

Вопросы к «болезни издержек»

Несомненно, что сама идея государства, гарантирующего занятость в социальных службах, традиционными экономистами будет принята в штыки. Еще несколько десятилетий назад они сделали из мер жесткой экономии ключевой принцип государственных финансов. Этот подход, охарактеризованный экономистами Уильямом Баумолем и Уильямом Боуэном как «болезнь издержек», поделил экономику на два сектора[586]. В так называемом прогрессивном секторе, например, в промышленности и сельском хозяйстве, цены падают, даже когда потребительское качество растет. Сегодня фермеры могут применять передовые технологии (в том числе роботов), чтобы производить больше зерна более высокого качества, чем их предки[587]. То же относится и к промышленности: на заводе «Форд Ривер Руж» в Дирборне (Мичиган) работало в двадцать раз больше рабочих, хотя машин производилось меньше, чем сегодня. В таких «прогрессивных» секторах занятость со временем снижается, поскольку машины начинают выполнять все больше и больше работы[588].

Напротив, в «стагнирующих» секторах, как их назвали Баумоль и Боуэн, таких как искусство, здравоохранение и образование, цены остаются теми же или растут. В 1790 г. для струнного квартета требовалось четыре человека, и столько же нужно сегодня. Лекционный курс в 2020 г., вероятно, шел по той же общей схеме, что в 1820 г. или 1620 г. С точки зрения исследователей «болезни издержек», эта преемственность в лекциях профессоров и физических процедурах врачей кажется подозрительной. Почему школа не революционизировалась в той же мере, что и ферма, почему студенты не так крепки, как новые, генно-модифицированные культуры? Где конвейеры в здравоохранении, где заменимые детали и стандартизированные операции?

Растраты или неэффективность легко заметить в любом крупном институте, поэтому подобные вопросы кажутся внешне привлекательными. На самом деле диагноз «болезнь издержек» вряд ли является чем-то большим, нежели набором неудачных метафор и сомнительных утверждений. Автоматизация может править в производстве вещей или их транспортировке, но студенты и больные – это не товары. Определение объема лечения или даже его ограничений в сложных случаях – динамический и диалогический процесс. Высококачественный уход за пожилыми и неизлечимо больными людьми требует исследования целей и ценностей пациента. В молодости поиск предмета, достойного изучения и профессиональной специализации, – также исключительно сложная задача, являющаяся слишком личной, чтобы ее можно было стандартизировать. Различные преподавательские, исследовательские и учебные сообщества должны помогать людям, когда они сталкиваются с подобными непростыми решениями (и практиками).

Глобальные трудовые платформы, позволяющие находить наиболее эффективных производителей, не должны колонизировать сектор услуг. Напротив, нам следует развивать местное управление, опирающееся на гибких и наделенных всеми необходимыми правами профессионалов, дабы гарантировать достойные услуги сегодня и прогресс ИИ в будущем. Профессионалы выполняют особый труд, и часто у них есть определенные этические обязательства перед своими клиентами. Например, доверительные обязанности требуют преследовать интересы клиента, а не просто отстаивать собственные коммерческие интересы[589]. Так, психиатры должны лечить только тех, кто на самом деле нуждается в их помощи, хотя они могли бы заработать намного больше денег, рекомендуя еженедельные сеансы любому и на неопределенный срок. Сравните эту обязанность, к примеру, с минимальной коммерческой этикой торговых представителей или маркетологов: у них нет обязательства исследовать то, нуждаются ли потребители, которых они пытаются привлечь, в их товарах (и даже могут ли они себе их позволить)[590]. Точно так же не связаны профессиональными нормами и медицинские приложения, что является одной из причин, по которым многие специалисты по психическому здоровью высказывают сегодня в их связи опасения.

Профессионалы располагают также определенной автономией, которую редко встретишь в других областях. Так, обычно суды соблюдают решения лицензионных комиссий, определяющих, кто имеет право заниматься медициной, а кто – нет. Точно так же они, как правило, не вмешиваются в решения учебных заведений об исключении учащихся за недостойное поведение[591]. Коллективное управление, включающее также защиту постоянных должностей, – признак уважаемых академических институтов. Уважение к автономии преподавателя проистекает из веры в то, что преподаватели не будут злоупотреблять такой привилегией, например, не позволят родителям покупать лучшие оценки для своих детей и не будут продавать время для исследования на аукционе. Мы еще не отработали форму институтов, необходимых для вменения подобной ответственности тем, кто работает на рынке ИИ и роботов.

Профессионалам предоставлялась некоторая автономия именно потому, что они обязаны защищать определенные неэкономические ценности, которые общество считает важными. Их труд, в свою очередь, отражает эти ценности, воспроизводит их и обогащается ими. Знание, навыки и этика неразрывно связаны друг с другом[592]. Мы не можем просто создать машину, чтобы она «делала работу» в наиболее сложных областях социальных услуг, поскольку чаще всего определение задачи как раз и является ключевой частью собственно работы[593]. Сталкиваясь с разрекламированной полной автоматизацией, профессионалы должны заново утвердить свои нормы, подчеркнуть важность неявных навыков и знаний и работать над распространением своего статуса на других работников, способных и желающих участвовать в управлении развитием ИИ и роботов в своей сфере.

Социолог Гарольд Виленский однажды заметил, что «многие профессии ведут героическую борьбу за профессиональную идентификацию; немногие добиваются успеха»[594]. Но если нам требуется сохранить демократическое общество, не уступая натиску роботов или тем, кто делает на них ставку, значит, мы должны расширить действие подобного статуса и автономии, которые сегодня есть у профессионалов в таких областях, как право и медицина, на такие занятия, как извлечение информации, решение споров, уход за пожилыми, маркетинг, планирование, дизайн и многие другие. Представим трудовое движение, построенное на солидарности между работниками, которые специализируются в нерутинных задачах. Если им удастся объединиться, они смогут защищать намного более конкретное и реалистическое представление о труде, чем в феодальном футуризме техноутопистов. Они могли бы способствовать автоматизации, которая дополняет наличные навыки и формы труда, вместо того чтобы ускорять наступление более дешевой, быстрой и катастрофически неравной версии настоящего.

В эпоху автоматизации наша первостепенная проблема не в том, как удешевить трудоемкие услуги[595]. Повсеместное сокращение заработной платы подыгрывает ликвидационному безумию уробороса (мифологического змея, пожирающего самого себя): люди, которые получают выгоды в своей роли потребителей, в конечном счете теряют как производители и граждане[596]. Например, розничный торговец может поначалу обрадоваться кибершколам на основе ИИ, которые подрывают учительский профсоюз: более дешевые государственные школы означают, считается, более низкие налоги. Однако впоследствии он может выяснить, что у учителей нет денег, чтобы закупаться в его магазине. Эта проблема не нова. Кейнс еще в начале XX в. назвал ее парадоксом бережливости, который грозит затянуть проблемные экономики в нисходящую спираль дефляции более низких цен, более низкой зарплаты и последующего нежелания потребителей тратить деньги даже на товары с низкой ценой, что ведет к дальнейшему снижению цен и закреплению этой катастрофической динамики. От этого парадокса бережливости в свое время пострадали реальные экономики – США в 1930-х гг. и Япония в 2000-х гг. И это, очевидно, одна из наиболее важных проблем, которые возникнут в будущем в условиях массовой автоматизации, когда десятки миллионов людей могут заменить машины.

Странно то, что парадокс бережливости в современной экономической литературе, посвященной проблемам автоматизации и труда, практически не обсуждается. Формирование навыков – все еще главный рецепт, несмотря на его очевидную неспособность решить многие проблемы, поднятые автоматизацией[597]. Даже на собраниях, посвященных проблеме роботов, которые заберут рабочие места, обычно игнорируются неприятные противоречия актуальной экономической политики.

Так, советники по технологиям в администрации Обамы проводили воркшопы высокого уровня, посвященные экономическим последствиям ИИ и роботов[598]. Многие ораторы указали на то, что автоматика во многих областях деятельности значительно отстает от человеческих способностей и что автоматизация, если проводить ее правильно, потребует значительных инвестиций в такие сферы, как здравоохранение и образование[599]. В то же самое время неолиберальные прогрессисты последовательно отстаивали программы демонтажа здравоохранения и образования, снижение потока финансирования этих секторов, ускорение программы получения дипломов и сокращение бюджетов больниц и других организаций, обеспечивающих уход за людьми. Некоторые даже открыто связывали эту повестку с потребностью в большем военном финансировании (которое подпитывает описанную ранее гонку вооружений). Центристы во всем мире согласились с этими программами, как и более консервативные партии. В экономике, в которой серьезной угрозой становится технологическая безработица, можно было бы подумать, что они будут благодарны за новые позиции в больницах, домах престарелых, школах и университетах. Но слишком многие экономисты не могут выбраться из противоречий, стремясь поддержать произвольные ограничения расходов в некоторых секторах и при этом забывая об их ненужном росте в других[600].

Работа на конвейере сама по себе не более плодотворна, чем обязанности медперсонала, занимающегося физиотерапией или сопровождающего людей с травмами, престарелых и инвалидов. Политический теоретик Алисса Баттистони утверждала, что есть также экологический аргумент в пользу смещения покупательной способности из промышленного производства в услуги: рабочие места в сфере обслуживания являются экологически более чистыми, поскольку потребляют меньше углерода, а их ресурсами обычно не являются физические объекты[601].

Обычное возражение состоит в том, что конкурентоспособные на международном уровне экономики должны фокусировать свою производительную способность на экспортируемых товарах и услугах[602]. Однако страны с отличным образованием привлекают миллионы иностранных студентов, также растущей сферой стал медицинский туризм. Социальные услуги – не занятие второго сорта, которое должно быть подчинено конечной цели экономики производить такие «вещи», как автомобили, оружие, дома и компьютеры. Кроме того, тезис о «болезни издержек» сам показывает, насколько бессмысленным будет, скорее всего, такой подход. Смысл прогресса в так называемых прогрессивных секторах – постепенно удешевлять то, что они делают. Ограничивать расходы на здравоохранение и образование некоторым процентом падающего объема фондов – это прелюдия к дефляционной спирали, а не процветанию.

Богатые экономики процветают не просто потому, что у них есть хорошо образованная рабочая сила и продуктивные технологии. Они также зависят от определенного поступательного движения в инвестициях и сбережениях. Реальная опасность массовой непланируемой автоматизации состоит в срыве этого движения, происходящем, когда испуганные потребители мешают фирмам и государствам, а в конечном счете и самим себе, сберегая как можно больше денег в максимально консервативном ключе.

Естественный экономический переход

Стареющее население создаст дополнительный спрос на уход[603]. Это тяжелый труд, который общество должно справедливо компенсировать[604]. В то же время автоматизация угрожает заменить миллионы существующих синих воротничков, особенно тех, что зарабатывают менее 20 долл, в час[605]. Эта ситуация указывает на очевидное соответствие между недостаточно занятыми или пострадавшими работниками (которых ныне замещают беспилотные автомобили, автоматические киоски и другие роботы) и появляющимися рабочими местами в сфере здравоохранения (домашних сиделок, медперсонала в хосписах и многих других). Такие рабочие места в здравоохранении могут возникнуть только в том случае, если политики и стратеги будут ценить тяжелый труд, который выполняется сегодня (и будет выполняться в будущем) для больных и инвалидов[606].

Потребность в большом количестве людей, занимающихся уходом, и в роботах, которые бы им помогали, очевидна. Семьи испытывают стресс, когда не могут найти профессиональных квалифицированных сиделок и другой медперсонал[607]. Если им помогать, это может увеличить расходы на медицинские услуги, однако в целом это ведет к экономическому приросту, особенно для женщин, на плечи которых ложится непропорционально большая доля неоплаченного ухода. Политические споры, неизменно сосредоточенные на снижении расходов на здравоохранение, упускают возможности, создаваемые уходом. В 2012 г. Баумоль отметил:

Если улучшению медицинских услуг… препятствует иллюзия того, что мы не можем их себе позволить, мы все будем вынуждены страдать от ран, нанесенных нам нами же. Само определение растущей производительности говорит нам о том, что будущее предложит нам изобилие желаемых услуг и товаров. Главная угроза этой счастливой перспективе в иллюзии, что обществу они не по карману, а также в том, что она ведет к политическим процессам – таким как призывы сократить государственные доходы, связанные с требованием обязательной балансировки бюджета, – лишающим наших потомков этих преимуществ[608].

Технократические экономисты от здравоохранения, близоруко сосредоточившиеся на планировании дефицита, укрепляют иллюзию, что мы не можем позволить себе прогресс, и протаскивают идеологию строгой экономики в очевидно нейтральные дискуссии о размере сектора медицинских услуг. Действительно, как показывает кризис COVID-19, подобные инвестиции могут быть необходимы просто для поддержания базовых функций экономики. Подготовка к другим маловероятным, но крайне опасным катастрофам должна и далее оставаться источником рабочих мест, требующих человеческой проницательности, кооперации и суждения.

Постоянные инвестиции в подобные услуги будут повышать производительные возможности тех, кого сместят машины. После значительного сокращения социального обеспечения Китай в 1990-х гг. постоянно наращивал инвестиции в здравоохранение, которые составляли все более значительный процент постоянно растущего ВВП страны. В случае успеха такой переход может знаменовать собой «привлечение» (crowd-in) кейнсианского расширения, а не «вытеснение» (crowd-out) других трат расходами на здравоохранение. В настоящее время уровень сбережений необычайно высок, поскольку многие работники обеспокоены тем, что их (либо их родителей или детей) расходы на медицинские услуги окажутся им не по карману. Государство, снабжающее медицинскими услугами всех граждан, освобождает их, позволяя им тратить больше на потребление, что дает возможность выровнять экономику, избавив ее от излишнего крена в накопления.

Развитие дешевых механизированных версий услуг в качестве замены профессионалов способно подорвать социальные процессы, необходимые для достижения в будущем прогресса. Как мы уже выяснили ранее, когда обсуждали образование и здравоохранение, недостаточно внедрить такой ИИ, который будет просто измерять результаты и максимизировать позитивные. Профессионалы нужны на каждом этапе процесса, чтобы собирать данные, объяснять их смысл и критически оценивать сильные и слабые стороны новых инструментов и методов поддержки решений.

Рассмотрим, к примеру, доклад Национальной академии наук, в котором получение официального образования рекомендуется людям, ухаживающим за маленькими детьми[609]. В возрасте от двух до восьми лет дети переживают уникальное социальное и интеллектуальное становление, но в этом же возрасте они отличаются уязвимостью[610]. Понимание последних достижений психологии, нейрологии и связанных с ними дисциплин могло бы помочь работникам, ухаживающим за детьми, выполнять свою работу с большей эффективностью, а также получить профессиональный статус, которого они заслуживают. Также они должны изучать обширную и постоянно растущую литературу об ИИ в образовании, о компьютерной персонализации уроков и дополняющей робототехнике. Интенсивная программа высшего образования плюс постоянное обучение – вот что для этого будет необходимо. Однако слишком многие не очень проницательные комментаторы набросились на эти рекомендации с критикой, решив, что они чрезмерно обременяют работников.

В медицине, журналистике, искусстве и многих других областях услуги неизменно отражают культурные ценности и устремления. Они фундаментально отличаются от промышленности или логистики. Автоматизация может взять верх в производстве вещей или их транспортировке, но читатели, студенты и больные – это не товары. Определение объема лечения или границ излечения в сложных случаях – динамический и сложный процесс. Как бы ни искушали нас мечты об оптимизации за счет автоматизации, люди им подчиняться не должны.

Как за это платить: обновление государственных финансов

Многие властители дум и политики придерживаются общего мнения, полагая, что расходы государства похожи на расходы домохозяйства. Это общепринятое представление влечет несколько обязательств. Во-первых, они полагают, что в идеале государство должно сберегать больше, чем тратить. Во-вторых, они представляют сферу экономической деятельности так, словно бы она существует до государства. Для финансирования своей деятельности государство должно облагать налогом частный доход и капитал, порождаемый рынками. В-третьих, они предсказывают катастрофу для государств, в которых создание денег не привязано к ограничению частного спроса на их долги. То, что некогда делал золотой стандарт, сегодня удается сделать золотым наручникам фондового рынка – они гарантируют, что государства выпускают лишь устойчивый объем валюты.

Другой подход, называемый современной монетарной теорией (СМТ), стремится покончить с этим общераспространенным представлением о деньгах, неизменно подчеркивая, что власть государства превосходит власть всех остальных институтов[611]. Домохозяйство не может обложить налогом тысячи других домохозяйств, чтобы поддержать самого себя, но государство может. Домохозяйство не может печатать принимаемые всеми остальными деньги, чтобы покрыть свои расходы; но это могут государства, выпускающие собственную валюту. Суверенный долг не обязателен для суверена, выпускающего валюту, однако даже если долговые обязательства были выпущены, эмитенту не нужно отказываться от своих обязательств, ведь он может просто напечатать деньги, необходимые для выплаты долга держателям бумаг[612].

Конечно, если напечатать слишком много собственной валюты, суверен рискует инфляцией. Однако надежда, которая питает собой СМТ, заключается в том, что разумные траты повысят производительность экономики, стимулируя инновации, позволяющие достичь более эффективного применения ресурсов и мобилизации рабочей силы, не задействованной сейчас в полной мере. Энергия в стране, в которой много солнечных батарей, будет дешевле, чем в стране без них, ceteris paribus. Более качественные транспортные системы будут удешевлять товары, снижая транспортную составляющую в их стоимости для потребителей. Применение теплоизоляции в строительстве снижает стоимость обогрева и охлаждения. Образование повышает заработные платы; профилактика снижает счета за медицинские услуги. Список можно продолжить; есть множество проектов, способных выплатить значительные дивиденды, покрывающие расходы на инвестиции в них. Странно, что это представление об инвестициях кажется связанным исключительно с частным сектором. Как утверждала экономист Мариана Маззукато, государство также должно участвовать в этой почетной миссии, особенно в таких долгосрочных проектах, как декарбонизация или адаптация к ИИ, с которыми никогда не сможет в должной мере справиться частный сектор, ограниченный ближайшими сроками[613].

Конечно, не все проекты, финансируемые на базе СМТ, принесут плоды. К тому же даже плодотворные проекты могут иногда вызывать дефицит ресурсов. Этим обосновывается законное опасение, что рост денежного предложения вызовет инфляцию. Но у государства много способов разобраться с такими проблемами. Оно может выводить деньги из экономики за счет налогов, гася тлеющие угли инфляции. Такие налоги могут быть довольно болезненными и рассчитаны в основном на тех, кто более всего способен разжечь инфляцию (то есть обладателей больших денег), или тех, кто более остальных за нее ответственен. Также работают стратегии, ориентированные на определенные секторы. Например, если требовать большой первый взнос при покупке по ипотеке или обложить налогом продажу домов, можно сбить формирующийся пузырь недвижимости. Современная монетарная теория располагает также более общей теорией особенностей инфляции, свидетельствующей о том, что, по крайней мере на ранних стадиях, инфляция запускается определенными товарами и услугами на определенных рынках. Фокусировка на этих областях помогает избежать негативных последствий классических антиинфляционных мер, таких как шоковая терапия Волкера. Также государство может снижать инфляцию, изменяя правила, которым подчиняется создание частного кредита (деньги банковского оборота), в частности требования к банковским резервам.

Другими словами, суверенные эмитенты валюты в своих расходах сталкиваются с ограничениями инфляции, но не с долговыми ограничениями. Инвестиции в ИИ и робототехнику, которые удешевляют товары, повышая ценность труда в профессиональных (или профессионализирующихся) секторах услуг, в целом могут привести к легкому инфляционному эффекту. Но это не причина уходить в дефляционную спираль, обещанную неуправляемой автоматизацией (или одновременным ударом по спросу и предложению, как в случае пандемии COVID-19). Как только уровень роста цен становится пугающим, политики могут вмешаться, чтобы снизить негативный эффект целевой меры.

Этот баланс между тяжелыми и легкими деньгами, необходимостью бережливости и денежного насыщения стал предметом бессчетных споров о валюте. Увеличение денежного предложения помогло запустить современный экономический рост. Но всегда есть те, кто выступает за ужесточение мер и жесткую экономию. Как и золотой стандарт, биткойн по самому своему строению является дефляционным. Когда валюту становится труднее добывать, а потому она оказывается более редкой и дорогой, люди, которые ее придерживают, должны становиться богаче по сравнению с теми, кто ее тратит. Это очень хорошо для тех, кто начал накапливать золото или криптовалюту на раннем этапе, но такая логика, если она станет общим идеалом, обернется катастрофой для экономического роста. Как объяснил Кейнс, рациональное в индивидуальном плане (сбережение денег) может быть вредным в коллективном (сокращение экономического обмена, которое постепенно лишает людей работы).

Как указывает пример Кейнса, некоторые тезисы СМТ были в ходу еще много десятилетий назад, а некоторые из ее часто повторяемых идей еще старше. Кейнсианизм возник на фоне глобальной депрессии, когда безработица стала причиной огромных личных страданий и политических потрясений. Сегодня его возрождение неудивительно, учитывая перспективы глобальной депрессии, вызванной пандемией. Гарантировать наличие работы – значит не просто занять недостаточно использованную рабочую силу, но также задать общий уровень компенсации для работников, который (остальной) частный сектор должен превзойти, чтобы привлечь работников.

В некоторых важных отношениях современная монетарная теория отклоняется от кейнсианской ортодоксии. Одна из причин, по которым Кейнс стал основанием современной макроэкономики, состоит в подчеркнутой нейтральности его учения. Кейнс в шутку говорил, что не важно, как именно государство займет своих граждан работой – например, можно поручить им закапывать и откапывать бутылки или строить новую пирамиду Хеопса. В наше время хорошо известны негативные экологические эффекты массового потребления. Поэтому политический тезис СМТ в наше время не сводится к монетарному стимулированию людей или безусловному базовому доходу (то есть мерам, которые, несомненно, обе в какой-то мере снижают безработицу). Скорее, это Новый зеленый курс, то есть инвестиции в те виды производительной мощности, которые способны декарбонизировать атмосферу (или хотя бы не способствовать ее карбонизации)[614]. Этот содержательный аспект представляет собой значительный шаг вперед в сравнении с классической кейнсианской доктриной. Он признает то, что у Земли есть свои пределы и что мы вскоре переступим через них, а потому должны попытаться возместить ущерб. Учитывая угрозы пандемии, должен также рассматриваться «новый курс госу-64 дарственного здравоохранения»[615].

Как показали массовые вмешательства центробанков в экономику в 2020 г., даже представители истеблишмента перестают беспокоиться о долге, когда возникает чрезвычайная ситуация. Кризис в момент пандемии стал стимулом к неотложным действиям, но он не должен оставаться единственной угрозой, способной запустить неортодоксальную монетарную политику. Для людей, потерявших работу из-за развития технологии, подъем ИИ и роботов – это тоже чрезвычайная ситуация. И она заслуживает соизмеримого ответа.

Конечно, если инфляция (а не уровень задолженности) становится ключевым ограничением государственных расходов, надо будет принимать спорные решения об определении цен и о том, какие цены имеют значение. Например, что имеет значение: общий уровень цен на недвижимость и арендных ставок или надо смотреть на разницы между разными регионами (в частности, на высокие цены в городах)?[616] Агентства, занимающиеся финансированием государственного здравоохранения, пытались решить подобные вопросы, когда принимали решения о том, как должна происходить индексация в соответствии с показателем стоимости жизни – в общем порядке или по регионам. Экономисты или количественные аналитики в целом не должны быть единственными (или даже главными) участниками, имеющими право решать такие вопросы. Критическое значение имеют более общие экспертные знания, в том числе мнение общества. Области с превышением целевых ставок инфляции должны стать потенциальной мишенью для инвестиций в ИИ, чтобы автоматизация могла удешевить товары и услуги в этих областях, что достижимо при прочих равных условиях. Конечно, равными такие условия бывают редко, и это еще одна причина для репрезентативного и инклюзивного участия в технологическом развитии.

После десятилетий оборонительной специализации академические экономические исследования ждут сегодня большие перемены. Из-за умножения методологических оптик экономисты более не могут утверждать монополию на экспертные знания в экономике. Важные идеи есть в социальных и гуманитарных науках, которые отстаивают глубокое и тонкое понимание роли денег в обществе как одного из многих аспектов торговли. Новая политическая экономия автоматизации должна быть построена на этих множественных основаниях без страха содержательных суждений, закодированных в новых законах робототехники.

От большего ИИ к лучшему ИИ

Теоретики прорывных инноваций предлагали «лечить болезнь издержек» путем стандартизации, автоматизации и даже роботизации таких секторов с высокой долей услуг, как здравоохранение, финансы и образование. Эти инновации, начиная с открытых онлайн-курсов и заканчивая роботами – компаньонами пожилых, нацелены на то, чтобы заменить работников (или по крайней мере саму работу) механическими имитациями человеческого труда. Писатели предсказывали странные искажения социальной жизни, которые могут произойти в результате массовой автоматизации. В частности, Курт Воннегут в своем «Механическом пианино» предсказал ту разницу во власти и те фрустрации, которые возникнут, когда небольшая элита будет управлять машинами, производящими почти все товары и услуги, необходимые экономике[617].

Еще более мрачная картина будущего была представлена в рассказе Э. М. Форстера 1923 г. «Машина останавливается»[618]. Когда автоматическая система доставки продуктов и швейная система начинают ломаться, никто из героев не имеет ни малейшего представления о том, как их починить. В работах о профессиях эта проблема носит название проблемы производственной цепочки: даже если бы могли придумать роботов, способных, к примеру, воспроизвести деятельность современных врачей, маловероятно, чтобы эти роботы могли внести вклад в развитие медицины в целом или предложить инновации и импровизации, как большие, так и малые, являющиеся отличительным признаком хорошего медицинского обеспечения. Эта проблема стоит на пути излишне амбициозной программы роботизации, даже если роботы могут следовать лучшим практикам, сверяясь с ними по проверочному списку. Придуманная реальность Форстера – производительные машины, которыми управляют далекие властители и которые постепенно выходят из строя и становятся ненадежными, – служит яркой иллюстрацией актуальным трендам в автоматизации.

Искусственный интеллект и машинное обучение могут усовершенствовать сектор услуг в разных отношениях, однако такое совершенствование способно завершиться созданием систем, которые будут дороже существующих. Развитие ИИ питается данными, а правильный сбор данных – дело дорогостоящее. Для гарантии того, что повышение качества на базе данных будет соответствовать хорошо задокументированным требованиям алгоритмической отчетности, отсутствия предубеждения, конфиденциальности и уважения к нормам сообщества, требуется труд. Лучший способ избежать безработного будущего – развивать механизмы финансирования и распределения, которые поддерживают высококачественную автоматизацию. Мы должны переименовать эти постоянные расходы в «лечение издержками», которые представляются справедливой оплатой этого труда, снижающего уровни безработицы и в то же время неравенства[619]. Сегодняшние законы слишком часто лишают прав рабочих, поощряя при этом крупные фирмы к концентрации власти. Этот дисбаланс следует устранить[620].

«Вопрос о роботах» сегодня стал таким же насущным, как и в 1960-х гг.[621] Тогда все в основном волновались из-за автоматизации рабочих мест в промышленности. Сегодня основное внимание уделяется компьютеризации услуг[622]. В настоящее время экономисты и инженеры – основной голос в публичных спорах о «восстании роботов». Вопрос о том, должен ли робот выполнять ту или иную работу, решается в рамках относительно простого анализа прибылей и издержек. Если робот может выполнять определенную задачу дешевле работника, значит, он должен его заменить. Этот микроэкономический подход к заполнению рабочих мест отдает приоритет накоплению капитала, а не культивации и развитию демократически управляемых сообществ экспертизы и практики. Поскольку ИИ и роботы играют значительную роль в услугах, но в то же время страдают от таких серьезных проблем, как предубеждение и неточности, подобные сообщества экспертных знаний и навыков – наше главное решение.

Политика автоматизации должна строиться на двух основаниях: все более алгоритмические процессы, скрывающиеся за нашим повседневным опытом, должны стать подотчетными, а гонка вооружений с нулевой суммой в области автоматизации – ограниченной. Когда производительный сектор экономики становится более затратным, итогом может быть прибыль, особенно если это отвлекает ресурсы от секторов, склонных провоцировать непродуктивную гонку вооружений. Замедление автоматизации, которая контролирует, стигматизирует или обманывает невинных людей – важнейшая задача регуляторов XXI в. Нам нужно не просто больше ИИ; нам нужен ИИ более высокого качества, а также больше технологий, направленных на дополнение навыков сотрудников и их дохода. Для этого мы должны выйти за пределы ложной концепции «болезни издержек» и перейти к «лечению издержками», обеспечивая справедливой компенсацией людей, занятых уходом, и других ключевых работников сферы услуг. Когда работники пытаются разобраться с новыми формами подсказок и поддержки, основанными на программном обеспечении и роботах, они заслуживают законы и программы развития, спроектированные для демократизации возможностей производства, автономии и профессионального статуса.

8. Вычислительная мощность и человеческая мудрость

Робототехника может быть средством увеличения возможностей рабочей силы, а не только ее замены. В наших силах направлять развитие ИИ в таких различных областях, как образование, медицина и охрана порядка. Запрос элиты на внедрение искусственного интеллекта следует подчинить социально значимой цели усиления интеллекта (УИ). Общая линия технологического развития не обязана завершиться заменой людей машинами.

Все аргументы, развиваемые в этой книге, не пользуются популярностью среди лидеров корпоративного мира, которые сегодня контролируют большинство важных проектов автоматизации. Также они не слишком сходятся с господствующими экономическими парадигмами. В целом царит узкая концепция эффективности. Если машина может выполнять задачу так, как она определяется сегодня (или выполнять ее хуже, поскольку она искажается и упрощается для ускорения автоматизации), она почти наверняка будет дешевле работника-человека.

Властители идей в сфере бизнеса обычно представляют рабочую силу в качестве одного из факторов производительного процесса, который следует максимально удешевить. Я же в своей трактовке рабочей силы и профессий поставил этот подход под сомнение.

Общества рассматривали определенные группы работников как нечто большее, чем просто вклад в производственные процессы. Это человеческий капитал, в который нужно инвестировать, – таковы доверенные лица, советники-эксперты и умелые ремесленники. Мы обращаемся к ним, чтобы они помогли управлять будущим развитием своих областей. Профессионализация может быть расширена и во многих других областях, что позволит решить кризис рабочих мест, который ошибочно считается естественным следствием развития автоматизации.

Видеть в осмысленном труде издержки, а не прибыли зрелой экономики – это значит проявлять близорукость, свойственную микроэкономике. Такое скудное понятие эффективности подрывает также и разумную макроэкономику, отвергая здравоохранение и образование, которые рассматриваются в качестве паразитов, оттягивающих на себя товары и услуги из других областей. В главе 7 этот нарратив был перевернут, а социальные услуги были представлены в качестве областей, достойных инвестирования. Человеческий контроль над ИИ и роботами в армии и полиции не обязательно влечет экономические помехи или стратегическое отставание. Он, напротив, может быть защитой как от обыденных несчастных случаев, так и от катастрофических просчетов, возникающих в системах автоматического контроля и разрушения.

Такая распространившаяся среди элит микро- и макроэкономическая близорукость легко находит поддержку и в популярной культуре. В бесчисленных фильмах и телевизионных шоу роботы изображаются в виде солдат, полицейских, компаньонов, слуг и даже друзей и любовников. Конечно, некоторые фильмы – суровые предостережения; «Робокоп» и культовый фильм «Роботы-убийцы» – это далеко не пропаганда автоматизации. Однако на более глубоком уровне любое изображение роботов с человеческими знаниями, эмоциями и амбициями стремится приучить аудиторию к мысли о том, что в основе своей люди – это всего лишь паттерны стимулов и реакций, поведения и информации, а потому они могут существовать не только в плотской форме, их можно воспроизвести и путем компьютерного моделирования.

Подобную тягу к замещению оспорить аргументами сложнее, чем ту логику рынка труда, которую я опроверг ранее. Это скорее предпосылка подобных идей, чем их результат, то есть нарратив, организующий данные, а не сами эмпирические данные. Но существуют и культурные нарративы противоположной направленности, предостережения о роботах, альтернативные взгляды на взаимодействие человека и машины. И ими обосновывается более гуманный подход.

В этой главе исследуются некоторые из подобных историй и сказаний, фильмов и произведений искусства. Когда скорость социальных изменений нарастает, специалисты по этике и исследователи права начинают проявлять все больший интерес к искусству и гуманитарным наукам, которые рассматриваются в качестве способов осмыслить альтернативное будущее[623]. Некоторые из них работают даже с социальной фантастикой, в которой соединяются разные жанры [624]. Подобные культурные материалы не содержат в себе готовых тезисов, скорее, они нацелены на воспитание чувств.

И их стоит принять во внимание в процессе обсуждения политики автоматизации, поскольку ни заместительные, ни дополнительные концепции роботов и ИИ не могут безусловно выводиться из самих данных, ведь они зависят от более общих представлений о природе и цели человеческого труда и технологии.

Политика, экономика и культура автоматизации

За каждой определенной идеологической позицией скрывается некоторое мировоззрение, то есть философия, которая либо отвечает на фундаментальные вопросы о природе и цели человеческого бытия, либо пытается их обойти[625]. Формулировать идеи такого мировоззрения в явном виде – значит навлекать на себя критику. Так, господствующие ныне идеологии анализа издержек и прибылей вместе с технократией стремятся избегать более общих вопросов, прикрываясь нейтралитетом и прагматизмом. Они уверяют нас, что актуальный ход событий, по сути, поменять нельзя; а если перемены и возможны, то лишь в плане незначительной корректировки стимулов. Что бы ни потребовали в будущем более надежные этические системы, сейчас они имеют малое значения. Из того, что «должно», следует то, что «можно», и не существует альтернативы господствующим в настоящее время формам экономического роста и технологического развития, которые обычно подрывают автономию работников в целом и профессий в частности ради экономической эффективности[626].

Экономике, однако, предшествует политика, причем в двух смыслах – темпоральном (право и политические программы появляются до создания всякого рынка) и философском (они намного более важны для человеческого благосостояния, чем любой допустимый ими комплекс трансакций). Данные о людях, на которых в основном построено современное машинное обучение, являются даром определенного комплекса законов о конфиденциальности и защите данных, и эти законы в любой момент могут быть отозваны или пересмотрены[627]. Законодатели установили такую защиту интеллектуальной собственности, которая выгодна крупнейшим корпоративным поставщикам робототехники, но не соответствует интересам тех, кому ИИ сегодня пытается подражать. Различные законы, защищающие потребителей и профессионалов, могут сократить значительные преимущества, которыми сегодня пользуются технологические и финансовые фирмы, борющиеся за определение того, как будет выглядеть будущее.

Но есть фактор, который предшествует самой политике, а именно культура. Учитывая различные «войны» вокруг культуры, она может оказаться настолько политизированной и сложной, что вряд ли ее можно считать полезной для анализа категорией. Однако в нашем контексте она означает просто определенный тип «глубинных историй» или базовые нарративы, которые воспроизводятся, когда люди пытаются осмыслить свое прошлое, настоящее и будущее[628]. Если привести запоминающуюся формулировку Клиффорда Гирца, культура – это система «концепций, выраженных в символической форме, посредством которых [люди] сообщают, закрепляют и развивают свои знания о жизни и установки по отношению к ней»[629]. Сегодня в значительной части культуры находит отражение миф о человеческой заменимости, заставляющий занять фаталистическую позицию по отношению к неумолимым тенденциям. Если мы долго варились в ярких и убедительных фантазиях о взаимозаменяемости человека и машины, будет трудно представить альтернативный мир, в котором люди демократически отвечают за ИИ и роботов и не могут отказаться от этой своей роли[630].

Ряд талантливых авторов и художников разработали контрнарратив, в котором меркнет блеск заместительной автоматизации и в то же время изображается такое технологическое развитие, которое облагораживает человеческую телесность, вместо того чтобы подрывать или исключать ее. В этой главе рассматриваются некоторые произведения кинематографа, поэзии и других искусств. Такие фильмы, как «Из машины» и «Она», пусть они и не лишены недостатков, рассказывают убедительные истории о провале заместительной автоматизации. Поэт Лоуренс Джозеф связывает прошлое труда с нашими сегодняшними страхами автоматизации. Художник Эрнесто Кайвано соединяет фантазии с научной фантастикой в своем методе сотворения мира, который одновременно частный и всеобщий, герметичный и открытый. В эпических рисунках и медиапроизведениях он изображает естественное и механическое так, что оно оказывается одновременно странным и обнадеживающим. Это миф, который стоит обдумать, если мы ищем мудрости, необходимой для управления огромной вычислительной мощностью, накопленной корпорациями и государствами, или для ее ограничения.

Экзальтация как самообман

Автоматизация, если она предоставлена обычным экономическим силам, грозит упрочить худшие стороны опыта человека и уничтожить лучшие. В конфликтах предложение автоматических систем, судя по всему, создает свой собственный постоянно растущий спрос благодаря механизму гонки вооружений. В социальных услугах, таких как здравоохранение и образование, скорее всего, утвердится обратная динамика: механизированные версии человеческого опыта подрывают предложения людей и постепенно выкачивают материальные ресурсы исследовательских сообществ, способных участвовать в развитии этих областей. Но почему такой дрейф, такой «технологический сомнамбулизм» (выражение Лэнгдона Виннера) настолько силен?[631] Для изучения этой иррациональности (и для того, чтобы попытаться найти лекарство от нее) мы можем обратиться к увлеченности кинематографа нашей способностью подрывать свои собственные позиции или обманывать самих себя.

В фильме «Из машины» (2015) глава технологической фирмы Нейтан стремится создать настолько умного и эмоционального робота, что тот сможет обмануть человека (его сотрудника Калеба) и заставить его поверить в то, что к нему надо относиться как к человеку. После несколько неловкого введения Натан излагает свою философию, обсуждая искусственный интеллект с Калебом: «Однажды искусственные интеллекты будут смотреть на нас так же, как мы смотрим на ископаемые скелеты из саванн Африки. Как на прямоходящую обезьяну, живущую в пыли, с грубым языком и примитивными орудиями. Обреченную на вымирание». Нейтан предполагает, что именно он будет управлять первыми стадиями этого перехода.

Для этого он желает проверить своего последнего андроида, робота по имени Ева, проведя современный вариант теста Тьюринга. В 1950 г. специалист по компьютерам и математик Алан Тьюринг предложил один из первых методов определения того, достигла ли машина человеческого интеллекта. Человек и машина должны вступить в разговор по телефону, при этом друг друга они не видят. Наблюдатель попытается определить, кто из участников человек, а кто – компьютер. Если наблюдателя удается обмануть, значит, машина прошла тест. Энтузиасты искусственного интеллекта, вдохновленные Тьюрингом, давно доказывали, что общество должно принять такие искусственные интеллекты и даже наделить их «правами роботов».

Нейтан предлагает намного более сложный тест, чем у Тьюринга. Вооружившись огромным богатством и уединившись, он запрограммировал ряд андроидов, которые выглядят как женщины. Один из них – его личная ассистентка; другой – Ева, самая передовая модель. Нейтан устраивает в своей фирме конкурс: один программист-счастливчик должен провести неделю вместе с ним, чтобы протестировать Еву. В предложении содержится обман, поскольку, как выясняется позже, лицо и «тело» Евы (в основном похожее на человеческое, но с некоторыми прозрачными участками, позволяющими увидеть механические внутренности) основано на записи порнографических привычек Калеба, сделанной без его ведома[632]. Телесный тест Тьюринга в версии Нейтана определяется тем, сможет ли Ева подружиться с Калебом или соблазнить его.

Первое, что следует отметить в этих тестах Тьюринга, – как в классическом удаленном тесте, предложенном самим Тьюрингом (и проводимом по сей день в реальных опытах), так и в его фантастической версии, представленной в фильме «Из машины», – заключается в том, что они существенно сужают область имитации человека. Разговор по телефону – лишь относительно небольшое подмножество коммуникативного опыта, а коммуникация – небольшая часть человеческого опыта в его многообразии. Соблазнение на выходных – более сложная задача, но она не соответствует полному спектру романтической любви, не говоря уже о дружбе, заботе и доброте.

Конечно, в руках одаренного режиссера некоторое сочетание разговоров и романтики позволяет оживить искусственный интеллект. Фильм 2013 г. «Она» – поразительная картина все более правдоподобного будущего, в котором миллиарды разговоров записываются собирающими данные фирмами и государствами, а потом используются для проектирования операционной системы (ОС), которая симулирует остроумную и заботливую влюбленную или преданную подругу. В фильме показано, как ОС идет по пути самопознания, с радостью открывая философию Алана Уоттса, когда начинает «дружить» с другими искусственными интеллектами. В более реалистическом (хотя и дидактическом) фильме было бы показано или, по крайней мере, признано то, как ОС осмысляет волю инвесторов и программистов, которые финансировали и построили ее, или имеющиеся у ее программистов хитрые способы эксплуатации страхов и желаний партнеров по разговору.

Нам нужно общее четкое понимание того, кому, собственно, служат алгоритмы, прежде чем соглашаться на их повсеместное присутствие в нашей жизни. Также нам надо признать грубый оппортунизм, скрывающийся за большинством попыток повысить статус алгоритмов и роботов. В фильме «Из машины» Нейтан изображается в качестве мастера технологий, который хочет заполучить робота-компаньона, поскольку сам не может общаться с другими людьми. Драматическая линия фильма иногда застревает на довольно ходульных диалогах эмоционально выхолощенных героев (например, когда Нейтан прямо предсказывает вымирание человека). Тем не менее эта брошенная ненароком ремарка отображает главную проблему «Из машины». Действительно ли устаревание – наше наиболее вероятное будущее? Или такой фатализм объясним попросту нехваткой воображения?

Странная, совершенно телесная харизма Нейтана заряжает его футурологию пьянящим сочетанием экстатического пророчества и трезвого реализма. Рефлексия несколько сбивает ее воздействие. Конечно, мы бы сейчас могли предпринять некоторые меры, чтобы не допустить экономической «бесполезности» значительного числа людей (если повторить не слишком удачное выражение Харари)[633]. Мы могли бы направить развитие ИИ по новому пути, поставив его применение в зависимость от определенных принципов уважения человека.

Ключевой вопрос в том, почему мы не будем так делать. Откуда это столь распространенное не только в Голливуде или Кремниевой долине, но и в культуре в целом влечение к роботам, которые заменят людей, а не дополнят их? Ответ скрывается в определенных аспектах политической экономии XXI в., которые оказывают давление на секторы экономики, служащие реальным человеческим потребностям, и при этом чрезмерно разогревают те, что заняты исключительно утверждением богатства и господства одной корпорации или одних людей над другими. Планирование могло бы переломить эти тенденции, однако упомянутое влечение сегодня добилось триумфа, замаскировавшись в качестве идеологии прогресса, ведомого «невидимой рукой». Работы по автоматизации – социологические, экономические или правовые – должны обратить внимание на притягательность этого влечения, на то, что оно стало настоящей «второй природой» в дискурсе политических решений.

Последний прорыв

Фильм «Из машины» вырывается из оков подобных, заставляя нас подумать о непропозициональных аспектах языка – стратегиях манипуляции, сигналах, говорящих об уязвимости и признаках господства. В разговоре с гендиректором Нейтаном Калеб повторяет слова Роберта Оппенгеймера, который процитировал Бхагават-гиту: «Я стал смертью, разрушителем миров». Нейтан хвалит Калеба за оригинальность наблюдения, но тот добавляет, что это хорошо известное высказывание об атомной бомбе. «Я знаю, чувак», – отвечает Нейтан, но у нас возникает чувство неопределенности: то ли он говорит о бомбе, то ли о более широком смысле, вытекающем из этого сравнения. Как и значительная часть его высказываний,

его ответ скрывает беззаботность или снисходительность под панцирем обыденной лаконичности. «Это то, что есть. Это по-прометеевски», – заявляет Нейтан чуть позже, отсылая одновременно к библейскому выражению «Я есмь тот, кто я есть» и к любимому изречению спортсменов, которое обычно красуется на шкафчиках в раздевалке[634].

С точки зрения Нейтана, главный конструктор автоматов выступает богоподобным творцом следующего сапиенса, который будет править миром. Подобный взгляд может показаться слишком выспренним и странным. Однако и более скромные версии того же взгляда разделяются многими энтузиастами ИИ и лидерами технологической отрасли. Стремление к самодостаточности и неуязвимости помогает объяснить, почему после стольких скандалов, обвалов, разоблачений и мошенничеств не увял энтузиазм, связанный с криптовалютами[635]. Криптовалютный нарратив удовлетворяет глубинные психологические потребности в независимости и безопасности. Шифрование ставит на первое место чистую математику, представляемую в качестве надежнейшего основания секретности и конфиденциальности (отличного от социальных и правовых структур, которые определяют весь комплекс защиты данных), тогда как фанаты криптовалюты отстаивают блокчейн в качестве нерушимого, не подлежащего «цензуре» хранилища ценностей. Банк может лопнуть, правительство может отказаться от обещанных пенсий, а совершенный блокчейн может быть встроен в сам интернет, автоматически запоминаясь на столь большом количестве компьютеров, что его просто невозможно подорвать[636]. Некоторые убежденные сторонники криптовалюты представляют биткойн или эфириум в качестве последнего валютного бастиона, который сохранится даже спустя долгое время после того, как банкам перестанут доверять. Подобно богачам, хранящим золотые слитки в своих сокровищницах, они хотят, чтобы на богатство не влияли ни общество, ни политика. Они искренне верят в то, что разрабатывают валюту, которая гарантируется холодной эффективностью вычислительных систем, а не причудами менеджеров и бюрократов. Однако их цифровые сундуки с богатствами всего в одном шаге от уничтожения, если только они не защищены вполне человеческой правовой системой.

То же умонастроение заметно и среди сверхбогатых сторонников теории выживания, которые вложились в безопасные дома, бункеры и спасательные лодки, которые должны найти применение в случае «события» – той или иной катастрофической атаки, чумы, естественной катастрофы, которая обрушит социальный порядок [637]. Поскольку будущее становится еще менее предсказуемым из-за климатических изменений, компании нанимают частных охранников для защиты директоров высокого уровня и для отпугивания отчаявшихся выживших от ключевых ресурсов. Один маркетолог такой фирмы отметил: «Если у клиента есть еда, вода и все остальное, значит, он станет мишенью»[638]. Содержание частной преторианской гвардии – небольшая цена для примерно 2000 долларовых миллиардеров, проживающих на земле.

С другой стороны, одно решение ведет к другим проблемам. Какова гарантия того, что частные охранные силы не поднимут ставку оплаты своего труда до невиданных высот? Теоретик технологии Даг Рашкоф описал разговор с одним гендиректором, который уже построил подземную бункерную систему. «Как мне сохранить власть над своими охранниками после события?» – спросил его гендиректор, обеспокоенный тем, что его наемники могут в конечном счете взбунтоваться[639]. У Рашкофа ответа не нашлось, поскольку его и нет, если только не представить идиллию в стиле Робинзона Крузо, абсолютно самодостаточную изоляцию (которая станет менее идилличной, как только понадобится современная больница). Полная автоматизация сил создает успокоительную иллюзию: роботы-убийцы никогда не будут саботировать свои обязанности, причем их можно поддерживать в рабочем состоянии без обширных цепочек поставки запасных деталей и программных обновлений.

Родственные фантазии полного автоматического контроля над собственными деньгами (за счет криптовалюты) и собственной безопасностью (за счет сил роботов) скрываются, как ни грустно это признать, за большей частью энтузиазма, который вызывают роботы и ИИ, заменяющие людей в силовых областях деятельности и финансах. Они обещают покончить с гонкой вооружений и конкуренцией за власть, тогда как на самом деле переводят их на другую территорию – хакерства, включающего в себя как криптометоды, так и социально-организованные атаки[640]. Окончательная «победа» в гонке сил или финансов оказывается пирровой, поскольку она предвещает мир настолько простой и настолько хорошо контролируемый, что человеческая свобода, способность к действию и демократия станут в нем останками далекого прошлого.

Телесные сознания и искусственные процессоры информации

В одной недавно вышедшей книге о будущем профессий авторы размышляют о том, что когда-то мы, возможно, будем наблюдать не за людьми на марафоне, а «устраивать гонки роботов (или они сами могут устраивать забеги людей)»[641]. Мысль о машинах, которые устраивают забеги людей так же, как мы сегодня устраиваем лошадиные бега, звучит как предостережение со стороны организации «Люди за этичное обращение с животными», то есть как сценарий, которого в будущем надо во что бы то ни стало избежать и который заставляет нас вести себя лучше уже сегодня. Однако оптимистичная готовность вступить в мир, управляемый машинами, стала своего рода признаком космополитизма бизнес-элит. Релятивистическая открытость множеству возможных будущих – отличительный признак «серьезных» мыслителей. А кто может быть суровей правителей, сделанных из кремния и стали?

Такая картина господства механических роботов берется не из тех описаний далекого будущего, которые можно встретить, к примеру, в романе «Последние и первые люди»[642]. Если приложение уже управляет тысячами водителей Uber, нетрудно представить, как в будущем программисты придумают программу, которая будет направлять двух или более «независимых подрядчиков» в гонке за каким-то особенно выгодным призом[643]. Это мир «кровной заинтересованности в видеоигре», подстегивающий гибких работников, чтобы они боролись за зарплаты и рейтинги, проставляемые неуклонными машинами, которым они не могут бросить вызов и которых не могут изменить[644].

Политико-экономические перемены сегодня в основном возводятся к «технологии» – всеобщей категории, которая не только многое проясняет, но и затемняет. Приложение или карта связывает друг с другом водителя и пассажира, и тем самым транспорт меняется. Поисковая машина – эффективный механизм сканирования сети, поэтому у знания появляется новый медиатор. Каждый шаг кажется очевидным, выступая мандатом верховной программной медиации труда и знания. Однако все эти системы могут критиковаться и оформляться человеческой инициативой. Рабочие могут организоваться и изменить условия труда, что и сделали водители Uber в Нью-Йорке, когда потребовали возможности оспаривать произвольные рейтинги, проставленные пассажирами[645]. Другие водители создают кооперативные платформы, чтобы противостоять власти фирмы[646]. Надо понимать, что эта отрасль – одна из наиболее склонных к автоматизации, поскольку в ней мало тех оснований для профессионализации, которые есть, например, в медицине или образовании. Пространные рассуждения о том, не закончит ли Homo sapiens в роли домашнего питомца роботов, не могут считаться признаком мудрости. Мы можем остановить обесценивание труда и автоматизацию управления. Если мы не сделаем этого, то пойдем по малоприятному пути экспериментов над людьми, на котором работников будут понукать многочисленными автоматизированными стимулами, чтобы определить, какой из них вызывает наиболее продуктивную реакцию.

В романе Иэна Макьюэна «Машины как я» умело отражены опасности таких горизонтов экспериментаторства. Действие романа происходит в воображаемой Британии, в которой одна корпорация в начале 1980-х гг. продает двадцать пять роботов, неотличимых от людей. Быстрое развитие технологии в этом воображаемом мире отчасти обусловлено тем, что власти альтернативной Британии не стали преследовать Алана Тьюринга во время гомофобской охоты на ведьм, из-за которой его жизнь в реальном мире завершилась преждевременно. Рассказчик Чарли покупает одного из двенадцати роботов-Адамов, когда получает наследство. Поскольку «в рекламе его преподносили как компаньона, партнера по интеллектуальным баталиям, друга и личного помощника, который может мыть посуду, заправлять постель и „думать“», он представляется отличной забавой для задумчивого, одинокого, скучающего Чарли, который приглашает соседку (и одновременно объект любовных воздыханий) Миранду помочь запрограммировать личность Адама[647]. Чарли надеется, что робот может стать для них как пары общим проектом.

План развалится, как только Миранда переспит с Адамом. Чарли и Миранда мирятся после насыщенного спора о том, можно ли считать эту интрижку чем-то более серьезным обычных забав с фаллоимитатором. В конце концов, после появления Адама Чарли обычно называл его «он или оно». Однако вскоре паре приходится иметь дело с преданностью Адама Миранде, о которой он сам говорит, а также с его энциклопедическими знаниями о прошлом, особенно о том, как Миранда составила сложный план, чтобы отомстить за изнасилование, жертвой которого стала одна из ее ближайших подруг. Похоже, Адам влюбляется в Миранду, но в то же время он должен сообщать властям любую информацию о серьезном правонарушении, которую он только может обнаружить. Найти решение он не в состоянии. Чарли отмечает, что, когда «два эти побуждения [Адама] стали несовместимы, он потерял самоконтроль и стал хихикать, как ребенок в церкви»[648]. Не будучи способным на истинно человеческий выбор ценностей, он регрессировал, позволив Чарли ощутить собственное превосходство над технологической версией Буриданова осла.

Этой победы хватает ненадолго. Адаму для работы нужно электричество, и он должен выключаться, когда собственник нажимает кнопку на его шее сзади. Похоже, что Адам все больше недоволен тем, что его выключают, и в ключевой момент этой истории он хватает Чарли за руку «чудовищной» хваткой и ломает ему запястье, чтобы оставаться включенным. Профессор английского языка Эрик Грэй в своей остроумной рецензии на роман отмечает: «Не признание в любви, а рукопашная со звериным оттенком, – вот что заставляет Чарли признать, что он имеет дело с родственной и, возможно, даже превосходящей его формой жизни»[649]. Вопрос о личности робота – это в конечном счете вопрос власти, а не признания некоего достаточного количества «человечности» в ИИ. Роман «Машины как я» позволяет нам прочувствовать, как эта власть может быть завоевана или потеряна.

После пространных извинений за сломанное запястье Адам обещает стать полезным Чарли, зарабатывая тысячи фунтов на финансовых сделках. Робот поглощает также горы информации по философии и искусству, выдавая комментарии, неотличимые от таковых специалистов. Свою любовь к Миранде Адам высказывает в тысячах хайку, придумывая даже литературную теорию, которая оправдывает его преданность этой форме:

Едва ли не все прочитанные мной образцы мировой литературы рассматривают всевозможные человеческие неудачи: в понимании, здравомыслии, мудрости, должных симпатиях… Но когда завершится союз мужчин и женщин с машинами, такая литература станет излишней благодаря тому, что мы станем слишком хорошо понимать друг друга… Наши повествования больше не станут затрагивать тему бесконечного непонимания. Наши литературы лишатся своей нездоровой пищи. Востребованной формой останется только лапидарное хайку – выверенное, ясное прославление вещей в их подлинном виде[650].

Такова литературная теория сингулярности, спешащая предвосхитить устранение любого зазора между людьми и машинами, мышлением и речью, внутренним миром и внешне наблюдаемым поведением[651]. Можно было бы представить, что ту же теорию мог бы изложить и ИИ в романе Ричарда Пауэрса «Галатея 2.2», программа, которая должна была сдать магистерский экзамен по английской литературе[652]. Будущее, воображаемое Адамом, как и чужой, трисолярианский мир в «Задаче трех тел» Лю Цысиня, сводит вопрос совершенствования человека к вопросу о прозрачности и предсказуемости[653]. Однако споры и размышления о правильной жизни – одна из составляющих сущности человека. Нечеловеческое сужение жанрового богатства, выполняемое Адамом, отражает более общий редукционизм, свойственный любой попытке приучить людей видеть в машинах ровню[654].

В романе едва ли не сверхъестественные способности Адама – в трейдинге, в рукопашной борьбе, в хитром маневрировании в мире людей, с которым он знаком лишь несколько месяцев, – уравновешиваются поиском моральной определенности. Воображаемый Тьюринг утверждает: «Главное, что движет этими машинами, – стремление делать собственные выводы и формировать себя соответственно»[655]. Адам в этом процессе становится безупречным милостивцем[656]. Размышляя над логикой последовательно утилитаристского движения «эффективного альтруизма», однажды он решает передать свои прибыли от дневных торгов благотворительным организациям и сообщить о доходах Чарли налоговым органам. Услышав об этом, Чарли начинает сожалеть о нашей «когнитивной готовности воспринимать неодушевленную машину как одушевленное создание»[657]. Миранда пытается увещевать Адама. Но есть новости и похуже. Робот решил сдать ее полиции и однажды невзначай упоминает о том, что она могла бы провести остаток жизни в тюрьме за «искажение отправления правосудия»[658]. Когда от Адама требуют объяснений, он может ответить только так: «Правда превыше всего… Какой мир вы хотите? Основанный на мести или верховенстве права? Выбор прост»[659]. Чарли не может смириться с этим нечеловеческим поворотом. В отчаянии он меряет шагами комнату, пока Миранда пререкается с Адамом, потом импульсивно хватается за молоток, заходит с невинным видом за Адама, словно чтобы сесть, а затем бьет им робота по голове. Один инструмент помог справиться с другим, наконец-то был найден новый выключатель – выключающий, скорее всего, навсегда.

Подобно заикающемуся Хэлу из фильма «Космическая Одиссея», Адам отключается не сразу. Он заявляет, что его «память» копируется в хранилище. Его последние слова выражают недоверие, окрашенное в нотки сожаления: «С улучшениями, со временем… мы превзойдем вас… и переживем вас… даже любя вас»[660]. Последнее хайку Адама: «Листва спадает. ⁄ Весной мы возродимся, ⁄ Но, увы, не ты»[661]. Хвастовство Адама о своем собственном бессмертии показательно. Корпорации тоже бессмертны, и этой привилегией они пользуются перед множеством людей. Постоянство – это власть, но не цель, и это точно не самая лучшая причина существовать.

В развязке романа Чарли встречается с Тьюрингом, который красноречиво описывает проблему телесного воплощения искусственного «сознания» в социальной жизни. «Надеюсь, придет такой день, когда то, что вы сделали с Адамом молотком, станут рассматривать как серьезное преступление»[662], – заявляет Тьюринг. «Он был живым. У него было сознание. Как оно образуется – через влажные нейроны, микропроцессоры, сети ДНК, – не имеет значения… Это было сознательное бытие, а вы сделали все возможное, чтобы его уничтожить. Я, пожалуй, признаюсь, что презираю вас за это» [663]. Проведя хвалебное сравнение между Адамом и собакой (и, видимо, забывая о том, что существуют юридические ограничения на содержание опасных животных), Тьюринг гордо выходит из комнаты, чтобы ответить на звонок. Чарли сбегает, не желая выслушивать нотации ученого, слишком сосредоточенного на будущем, чтобы понимать опасности настоящего. Роман заканчивается не рассуждением о природе когнитивных процессов, а тем, как Чарли готовится начать новую жизнь с Мирандой.

В определенном смысле Макьюэн не занимает той или иной стороны в метафизических вопросах, возникающих в его романе. Тьюринг изображен у него в качестве намного более умного и гуманного человека, чем его герой Чарли. Однако стремление романиста не отступать от многообразия человеческих точек зрения и даже наслаждаться ими отражает понимание, которое расходится с рационализмом Адама. Если бы философ Людвиг Витгенштейн встретился с энтузиастами ИИ в романе «Машины как я», он мог бы спокойно разъяснить им свою собственную интеллектуальную карьеру как альтернативу их пути. В своем раннем труде «Логико-философский трактат» он попытался формализовать пропозициональное значение, возвеличив репрезентацию в качестве основного элемента мышления. Такой упор на репрезентации предполагал определенную концепцию того, что, собственно, может считаться сознанием.

Люди и компьютеры могут изображать, моделировать и сравнивать ситуации. Но в своих поздних «Философских исследованиях» Витгенштейн отвергает «стремление к обобщенности», столь распространенное среди защитников заместительного ИИ. Он, напротив, считал, что «для значительной части случаев – хотя и не для всех, – где употребляется слово „значение^, можно дать следующее его определение: значение слова – это его употребление в языке»[664]. Эта идея привела к более общему философскому мировоззрению, в рамках которого было сложно или даже невозможно полностью абстрагировать значение от социальных ролей, институтов, ритуалов, и даже отделить речь от «языковых игр» и «форм жизни», в которые они встроены. Человеческая форма жизни хрупка, она воплощена в смертной плоти, она ограничена во времени и не может воспроизводиться в кремнии[665].

Идеи Витгенштейна стали основанием для ряда работ, в которых доказываются «ограничения ИИ», таких как опередившая свое время книга Хьюберта Л. Дрейфуса «Чего не могут вычислительные машины»[666]. Эта линия исследований сегодня обогащена и развита множеством работ, обоснованных феминизмом и критической расовой теорией, которые показывают границы абстрагирования понятий из их социальной среды. Как доказала Сафия Нобле в своей работе «Алгоритмы подавления», методы обработки поисковых запросов в Google, демонстративно нейтральные и автоматические, привели к определенно расистской выдаче поисковых результатов, исправить которую могло только вмешательство людей. Мередит Бруссард провела чрезвычайно подробный анализ господства «техношовинизма» в ведущих компаниях, определив его как своего рода «искусственное неразумие»[667]. В «Машинах как я» слепота ИИ ощутима, когда Адам не может разобраться с вопросами гендера и культуры, сурово оценивая Миранду. Да, Миранда подставила одного человека, совершившего изнасилование, но только после того, как он на самом деле изнасиловал Мириам, ее подругу из Пакистана, которая из-за этой травмы покончила жизнь самоубийством. Как и многие другие женщины, Мириам отказалась выдвигать обвинения против насильника, боясь того, как с ней обойдется система правосудия, а также возможной реакции ее собственной семьи. План Миранды вызывал вопросы, но его можно было понять, поскольку в нем отражались выстраданные феминистские представления о безнаказанности слишком многих сексуальных хищников[668].

Это не значит, что нужен самосуд. В нашем романном контексте этот ход событий защищает Макьюэна от обвинений в том, что он подтасовал карты так, чтобы роботу Адаму, который никогда не принимает в расчет эти соображения, нельзя было сочувствовать. Эта лакуна на самом деле представляет собой еще один элемент реализма в этом романе идей, в котором отображается обширная и постоянно растущая литература, посвященная критике ведущих технологических фирм, не учитывающих погруженность в социальный контекст[669].

Наши взаимодействия определяются идентичностью и историей. У этой истории глубокие не только социальные, но и биологические корни, и она неизбежно (хотя и не всегда очевидным образом) влияет на ИИ, на то, как он решает задачи, определяет их границы или попросту распознает их. Какой бы искусственный разум ни был реализован в машинах, он всегда будет оставаться отражением паттернов мышления людей, обладающих телами. Как утверждали Джордж Лакофф и Марк Джонсон в своей работе 1999 г. «Философия во плоти: телесное сознание и вызов западной мысли», разум «возникает из природы нашего мозга, наших тел и телесного опыта… сама структура разума складывается из устройства нашей телесности»[670]. Лакофф и Джонсон показывают, что абстракции, которые движут большей частью ИИ, будь они утилитаристскими оценками благосостояния или статистическим анализом закономерностей, начинают разваливаться, как только они отчуждаются от телесной точки зрения реальных людей.

Это основная проблема в классическом нарративе «исследований угроз существованию», в котором рассказывается о неподконтрольном ИИ, а именно о неостановимом максимизаторе скрепок, который начинает использовать весь доступный на земле материал для производства максимального количества скрепок[671]. С точки зрения этики ИИ в ее основном направлении решение для ИИ, который может выйти из-под контроля (как и для многих других более прозаических проблем), состоит в том, что в него надо запрограммировать больше правил. Возможно, мы могли бы легко запрограммировать правило «антимаксимизации» в нашего гипотетического производителя скрепок и сделать все возможное, чтобы хакеры не смогли его взломать. Однако любая достаточно развитая машина, если она столкнется с более замысловатыми проблемами, будет вынуждена так или иначе примирять правила, противоречащие друг другу. Ключевой вопрос этики, права и политики ИИ в том, в какой мере при возникновении подобных проблем люди должны оставаться в цикле принятия решений. Четыре новых закона робототехники, которые исследуются в этой книге, нацелены на установление практически применимых прав на подобный мониторинг, вмешательство и ответственность человека. Без них мы можем стать простыми инструментами наших собственных инструментов или, говоря точнее, инструментами людей, обладающих такими корпоративными и государственными позициями, которые предоставляют им критически важную власть над ИИ и робототехникой. Удаленность мешает подотчетности и угрожает скрыть ответственность в тумане вычислений.

Аутсорс человечности

Трагедия в таких повествованиях, как «Машины как я» и «Из машины», состоит в неверно выбранной направленности любви, уважения и восхищения. Та же ложная направленность слегка сатирически изображается и в фильме «Она», где друзья главного героя Теодора принимают в качестве чего-то само собой разумеющегося то, что к передовой операционной системе (ОС) по имени Саманта он относится как к подруге. Они изображены в качестве людей современных и космополитичных, открытых, терпимых и готовых прийти на выручку. Но на самом деле они ступили на скользкую дорожку. С точки зрения некоторых защитников личных качеств роботов, коль скоро ИИ удается успешно подражать людям, он заслуживает тех же прав, которые государствами обычно предоставляются людям. Учитывая эффект «ареола права» (то есть способность юридических прав создавать впечатление о наличии определенного морального статуса и достоинства у обладателя подобных прав), отказывать таким роботам в элементарной учтивости и вежливости – значило бы демонстрировать собственную злобность или просто непоследовательность.

В фильме «Она» наряду с остроумным изображением возможного направления эволюции указывается также на то, насколько странными являются подобные реакции. К концу фильма Теодор выясняет, что Саманта разговаривает с сотнями людей, и всем им говорит, что она в них влюбилась. Что бы там ни думать о полиамории с тремя, десятью или десятками человек, сотни – это определенно не то число, которое подходит для того интимного отношения, которое симулирует ОС. То, о чем «говорит» Саманта, – это в конечном счете просто обман, подражание вербальному выражению влюбленности, а не она сама. И как только чары влечения рушатся, мы чувствуем, что даже Теодор может понять, почему сам термин «говорит» надо взять в кавычки, поскольку намного более точное описание выражений, производимых ботом, – это симуляция коммуникативных движений, которая должна стимулировать вовлеченность собеседника, особенно учитывая то, что такая симуляция определяется целями коммерческой корпорации. То же самое можно сказать, даже если бы ОС была персонализирована для одного Теодора. Этот изъян, от которого сегодня страдает программирование эмоций, становится еще более заметным, поскольку, как не раз было доказано, этические принципы и условия обслуживания технологических фирм 50 и стартапов далеки от совершенства[672].

Возможно, беспокоиться о подобной эмоциональной привязанности к роботам покажется странным, учитывая, насколько они сегодня редки и невероятны. Однако она заслуживает прямого анализа, поскольку специалисты по робототехнике не должны рассматривать симулирование эмоций в качестве еще одного очевидного ответвления ИИ как респектабельной области исследований. Даже если пока возможность ИИ, который потребует прав, ресурсов и уважения человека, кажется далекой, первые шаги к нему уже ухудшают качество многих наших современных контактов. Все больше чувствуется давление, заставляющее упрощать измерение эмоций или следить за тем, чтобы они могли считываться машиной и ею же выражаться.

Конечно, предполагается, что все это к нашей же пользе. Например, намного проще скоррелировать шесть кнопок эмоциональных реакций в Facebook с поведением пользователя, чем сотни или тысячи сложных форм неодобрения, любопытства, заинтригованности, покорности и т. п., которые пробегают по лицам пользователей, когда они пролистывают новостную ленту. Но даже если такая технология значительно улучшится, это не станет достаточной причиной для производства роботизированных систем с более тонкими или таргетированными техниками, позволяющими втереться в доверие или завоевать любовь, потребовать послушания или вызвать сожаление в ответ на гнев (если вспомнить лишь о нескольких возможных эмоциональных реакциях).

Первая проблема с подобными амбициозными инструментами – в их происхождении. Слишком часто они являются продуктами коммерческих исследований или крупных фирм, которым надо что-то продать. Основатели Google некогда предупреждали о том, что спонсируемая рекламой поисковая машина будет ставить интересы спонсоров выше интересов пользователей. Мы уже видели, что Google и сам нередко допускал ту же ошибку. В этом отношении огромное преимущество рожденного перед сделанным заключается в безусловной свободе преследовать собственные, а не чужие цели. Нет никакого особенного коммерческого основания для того, чтобы хотя бы попытаться наделить роботов подобными степенями свободы.

Но даже если мы могли бы преодолеть эту проблему и освободить ИИ от коммерческих императивов (что само по себе является слишком громким допущением, учитывая огромные вычислительные ресурсы, используемые сегодня в ИИ), мы не можем избежать глубоких метафизических вопросов, которые возникают при возведении ИИ в ранг партнеров человека, а не просто его инструментов[673].

Эта эволюция – или коэволюция, если использовать модель, обсуждаемую в работе Дюмушель и Дамиано «Жить с роботами», – представляется вполне разумной людям с механическим и монистическим мировоззрением[674]. Если человеческое тело – это просто биологическое машина, то есть оборудование, а наш разум используется в качестве программы, тогда разум и эмоция, на которые способны достаточно развитые машины, не являются в полном смысле искусственными. Скорее, они ровня нашему. И если клапан сердца можно заменить проводами и пластиковыми мембранами, точно так же, с такой точки зрения, стремящейся к сингулярности, можно постепенно дополнять, а потом и заменить мозг кремнием.

Однако между животными и машиной зияет онтологическая пропасть. Сравните домашнюю кошку с MarsCat (роботом, напоминающим своим поведением кошку). Перцептивный аппарат кошки и ее поведение эволюционировали в течение намного более длительного периода времени, чем любой робот-симулякр, и в урчании настоящей кошки (когда она довольна) чувствуется нечто подлинное и нутряное, как и в ее возбуждении, заметном, если она чем-то напугана. Последствия возможной травмы или какого-то иного ущерба оцениваются кошкой на инстинктивном и в то же феноменологически непосредственном уровне. Даже если внешние признаки подобных ментальных процессов могут быть полностью скопированы кошкой-роботом, в этом проекте все равно будет заметен изрядный момент поддельности[675]. Физиологичное чувство боли и беспокойства, которое возникает у кошки, если у нее сломана нога, просто невозможно воспроизвести в машине, которую можно просто выключить, пока техник будет ставить новую деталь между ее «телом» и «лапой». Если и можно скопировать боль и беспокойство, они будут обманом, поскольку проблему машины можно решить простым «выключением» на то время, пока ее будут ремонтировать[676].

Связь между человеческой биологической телесностью и бесконечными оттенками чувств, подкрепляемая культурой и языком, еще больше отрывает наш опыт от машинного (если вообще можно сказать, что у машины бывает опыт). Из-за этого отрыва и этого различия определенная демократизация ощущений, наблюдений и суждений обширной массой людей крайне важна даже для скромных программ ИИ и исследования робототехники.

Одна из причин, по которым мы позволяем судьям судить преступников, состоит в том, что судья может интуитивно понять, как живется в заточении. Конечно, у судей-людей много недостатков. И, разумеется, можно представить отлично откалиброванного утилитаристского робота, запрограммированного (и обновляемого методами машинного обучения) так, чтобы применять закон к любой ситуации, которая только может возникнуть, если достаточно данных. Подобная машина в подсчете оптимальных наказаний и наград может достичь лучших результатов, чем судьи-люди. Действительно, такой ИИ, вероятно, не будет испытывать те непозволительные страсти и совершать те проступки, к которым слишком склонны люди. Но сам он не смог бы понять, что значит отбывать тюремный срок, а потому его приговоры были бы незаконны. Это удел исключительно существа с ограниченной продолжительностью жизни, испытывающего внутреннюю потребность в стимуляции и сообществе, которые не может дать ему тюрьма[677].

С утилитаристской точки зрения подобное самоограничение может показаться странным, поскольку мы тем самым отказываемся от судебного суперкомпьютера, способного при рассмотрении дел соотносить друг с другом миллионы переменных. В сравнении с ним язык кажется чрезвычайно слабым инструментом. Однако его ограничения определяют в то же время его сильные стороны. Необходимость писать или говорить слово за словом выстраивает линию рассуждений, которую слушатели могут понять (или оспорить). Эта идея отлично передана в произведении Мэтью Лопеса «Наследство», в котором воображаемый Э. М. Форстер говорит начинающему автору: «Все ваши идеи – на старте, они готовы рвануть вперед. Но все они должны пройти через замочную скважину, чтобы начать бег»[678]. Текст или речь могут пониматься последовательно, одно слово за другим, с ними можно соглашаться или спорить. Если только способность оспорить методы машинного обучения не будет подобным образом демократизирована и не станет столь же доступной, к передаче ИИ оценки людей мы должны отнестись с крайней осторожностью.

У ограничений телесности есть свои сильные стороны. Постоянное желание отвлечься – вот что делает личное внимание настолько ценным; привлекательность беззаботности – вот благодаря чему забота приобретает ценность. Роботизация профессий, связанных с уходом, означала бы либо полное отчуждение, либо что-то похуже, а именно неспособность почувствовать себя не в своей тарелке, когда что-то должно казаться чуждым и пугающим[679]. Взаимодействие с артефактом сообщества бихевиористских симуляторов не может приблизиться к «благородному риску» контакта с реальным человеком[680]. Мы лишь потеряем нашу способность знать и ценить это различие, если с самого детства будем воспитываться в исключительно солипсистской и инструменталистской манере.

К сожалению, такое воспитание, скорее всего, будет развиваться, поскольку есть сильные экономические мотивы, заставляющие людей работать с тем же постоянством и за такие же маленькие деньги, что и роботы[681]. Прогресс в области психофармацевтических препаратов, возможно, наделит нас стальной стойкостью, предсказуемостью и бесконечной адаптивностью, которую сегодня пытаются найти в будущем ИИ и в роботах[682]. В книге Джонатана Крэри «24/7» описывается давняя история исследований химических веществ, способных снизить или исключить потребность во сне[683]. Как говорит Крэри, сон – это просто слишком большая роскошь как для капиталистических экономик, так и для воюющих армий. Лучше накачать людей препаратами, чтобы они не спали, иначе они потеряют свое преимущество. Однако этот мотив успешности нельзя принимать за предельный смысл жизни людей. Третий закон робототехники, запрещающий гонки за социальное, экономическое либо военное преимущество, предложен для того, чтобы техническая среда сглаживала подобные мотивы, а не усиливала их.

Короче говоря, метафизика и политическая экономия статуса ИИ тесно связаны друг с другом. Чем сильнее становится неравенство, тем больше власти у миллиардеров, чтобы заставить каждого относиться к их роботам так же, как к людям. Если они одержат верх, замена человека роботами покажется не такой уж неприятной, скорее, признаком модной авангардности или неизбежного прогресса. Напротив, попытки глобальной бедноты приобщиться к изобилию богатейших стран мира будут выглядеть еще менее обоснованными, если у состоятельных людей появится моральное право закачивать еще больше ресурсов в машины, призванные заменить людей. Равенство людей и роботов предвещает гигантское неравенство среди самих людей.

Искусство, подлинность и симулякры

Хайку Адама в «Машины как я» могут быть ироничной отсылкой к работам инженера из Google Рэя Курцвейла, в чьей книге «Эпоха духовных машин» различия между роботами и людьми систематически стираются. Курцвейл запрограммировал «кибернетического поэта», который порождает примерно такие хайку:

Разбросанные сандалии,

Вызов мне самому,

Столь пустой, что я отвечу эхом[684].

Он пишет и другие микропроизведения, которые могут сойти за плоды человеческого творчества. Каковы бы ни были наши оценки поэзии или искусства программ Курцвейла, люди, разрабатывающие передовой ИИ, вполне способны на создание поразительных художественных произведений в области визуального и видеоискусства, а также музыки.

Когда человек просто щелкает метафорическим выключателем, чтобы начать генерировать искусство компьютерными средствами, должен ли ИИ считаться автором произведения? Философ Шон Дорранс Келли полагает, что, даже если и правда так считать, это мало что значит, поскольку вычисления – это просто подражательство и рекомбинация, а не истинное художественное творчество. Он рассуждает о том, может ли достаточно сложная программа добиться той же стилистической новации, что и Арнольд Шенберг, великий композитор XX в. Келли в этом сомневается:

Мы считаем Шенберга подлинно творческим новатором не просто потому, что он смог придумать новый способ композиции, но поскольку люди увидели в ней определенное представление о том, каким должен быть сам мир. Идея Шенберга – это экономный, чистый, эффективный минимализм модерна. Его новация заключалась не просто в том, чтобы найти новый алгоритм для сочинения музыки; она также состояла и в поиске мысли о том, что такое музыка и что позволяет ей обращаться к тому, что требуется сегодня[685].

Другими словами, значение имеет не произведение само по себе (например, слова в исходном тесте Тьюринга)[686]. Когда мы превозносим креативность, это объясняется намного более обширными социальными условиями, которые влияют на другого человека, способного сотворить новое ценное выражение, несмотря на ограниченность человеческого существования, разбросанность современной жизни и многие другие препятствия.

Конечно, аргумент Келли является скорее этическим, чем эстетическим, и социологическим, чем научным. Философ Маргарет Боден верно отметила, что на вопрос о том, может машина на самом деле быть креативной или она просто подражает творческим способностям, невозможно ответить в абстрактном виде. «Нет безупречных ответов» на вопросы о том, обладает ли ИИ настоящим интеллектом, настоящим пониманием, настоящей креативностью, поскольку, по ее словам, «все эти понятия сами по себе крайне спорны»[687]. Но сообществам с достаточно четким набором общих нормативных принципов подобные ответы могут представляться вполне очевидными. Однако я предположил, что не все читатели этой книги являются членами такого сообщества, а потому исследовал социальные последствия признания ИИ и роботов в качестве рабочих, судей, врачей и художников, а не инструментов, способных помочь людям во всех этих занятиях. Если мы не сможем сохранить почетный термин «настоящее» для описания интеллекта, креативности, понимания и мудрости людей, составляющих основное ядро всех этих сфер занятости, мы рискуем еще больше обесценить труд, создав культ технологии и капитала.

Конечно, вычислительные процессы будут становиться все более важными медиа для некоторых художников, которые с ними работают. Например, Нао Токуй применял алгоритмы машинного обучения («сшивающие» и модифицирующие изображения улиц) и искусственные нейронные сети (для генерации саундтреков) для создания поистине восхитительных фильмов. Хито Штейерль визуализировала на основе компьютерных изображений фантасмагорические ландшафты, озвученные искусственными голосами, что позволило ей приобрести репутацию одного из ведущих современных художников. Зах Блас и Джемина Ваймам создали видеоинсталляцию “im here to learn so:))))))”, воскрешающую неудачного чат-бота компании Microsoft под названием Таи – теперь это бестелесный интеллект, пытающийся подольститься к зрителям, чтобы у него появился еще один шанс пообщаться с людьми. Многочисленные музейные экспозиции включают сегодня работы, созданные на базе ИИ и алгоритмов. Такая коллаборация художников и программистов, вычислительного подхода и подхода воображения свидетельствует о том, что мы сможем лучше ориентироваться в мире, в котором цифровые среды распространились и приобрели такое же влияние, как и естественные.

Проблема, однако, в том, чтобы не пересекать границу между креативностью, которая использует ИИ как инструмент, и фетишизацией ИИ как собственно креативного субъекта. Продажа «ИИ-произведения» Edmond de Belamy, from La Famille de Belamy на аукционе «Кристи» в 2018 г. показала, насколько такие вещи могут быть соблазнительными для журналистов, охочих до сенсаций, и арт-дилеров, стремящихся найти новые источники прибыли[688]. Что интересно в той продаже, так это не искусство само по себе, не работа с прошлыми или современными художниками, а то, что французский коллектив Obvious смог выставить работу на аукционе «Кристи», соображения и стремления покупателя, а также вероятное одобрение или отвержение этой и подобных работ галереями, дилерами, художниками, академическими учеными и другими «операторами» самой сцены современного искусства, давно достаточно спорной. Технология останется в подчинении культурным институтам, если только сами они не решат сдаться на милость технологий.

В тех творческих областях, где конечным произведением является текст, изображения или звук, программы и данные могут легко воспроизводить и рекомбинировать уже имеющиеся человеческие творения. У нас уже есть программы, которые могут составить все сочетания из одной, двух или трех нот. Возможно, однажды можно будет сгенерировать все возможные ландшафты или сюжеты фильмов (на определенном уровне абстракции). Сортирующие и ранжирующие программы, возможно, будут тестировать итоговые комбинации на группах оплачиваемых добровольцев или ничего не подозревающей аудитории, чтобы рекомендовать «лучшее», а все остальное отправить в архив. Однако приводить в движение подобные работы будут люди, и четвертый новый закон робототехники требует, чтобы такие произведения были соотнесены с их авторами-людьми[689]. Даже в мире, переполненном сгенерированными компьютерами символами, задача человека – отбирать то, на что в этом универсуме возможностей стоит обратить внимание, что обращено к таким же существам, как мы, – в узком смысле членов определенных сообществ, живущих в определенное время, или в более широком смысле универсального адресата. Как однажды пояснил режиссер Коракрит Арунанондочай, наша задача – «найти красоту в море данных»[690].

Картина труда

Ценность человечества и опасность его компьютерного заката – это еще и тема писателя Лоуренса Джозефа и его стихотворения «Картины труда»[691]. Джозеф, которого удачно характеризовали как «наследника Паунда и Стивенса», во многих из своих поэтических сборников сумел добиться необычного сочетания лирики и политической экономии[692]. Вдохновляясь экономическим упадком своего родного Детройта, наблюдаемого словно в замедленной съемке, он выявляет скрытые силы захватывающих картин насилия и лишений, мелькающих на наших экранах. Если бы сова Минервы могла прилететь до сумерек и предупредить нас о нашем сегодняшнем дрейфе в сторону заместительной автоматизации, она могла бы пропеть эти строфы из «Картин труда» Джозефа:

Put it

this way: in the sense of smell is an acrid

odor of scorched metal, in the sense of sound,

the roaring of blow torches. Put it in this

language: labor’s value is abstract value,

abstracted into space in which a milling machine

cutter cuts through the hand, the end of her thumb

nearly sliced off, metal shavings driven in, rapidly

infected. Put it at this point, the point at which

capital is most inhumane, unsentimental,

out of control: the quantity of human labor in

the digital manufacture of a product is progressing

toward the economic value of zero, the maintenance

and monitoring of new cybernetic processes

occupied by fungible, commodified labor

in a form of indentured servitude.

Скажи это

так: в чувстве обоняния

едкий запах обожженного металла, в чувстве звука

рев паяльных горелок. Скажи это на таком

языке: стоимость труда – это абстрактная стоимость,

абстрагированная в пространстве, в котором автоматический

резак режет ладонь, кончик большого пальца

ровно оттяпан, металлическая стружка втягивается, быстро

сгибаясь. Скажи это в этой точке, в которой

капитал наиболее бесчеловечен, несентиментален,

бесконтролен: количество человеческого труда на

цифровой мануфактуре продукта стремится

к экономической стоимости нуля, обслуживание

и мониторинг новых кибернетических процессов,

занятых расходным коммодифицированным трудом

в форме долговой кабалы.

Запахи и звуки («едкий», «рев») бьют наотмашь по органам чувств, но они, если сравнивать с почти полной ампутацией, наступающей позже, выделяются самой своей рельефностью. Беды фабричного рабочего связывают стихотворение с настоящим временем: циркулярные станки стали причиной тысяч несчастных случаев, которые почти всегда можно было бы предотвратить за счет правильной техники безопасности[693]. Промышленные катастрофы и сегодня все еще остаются слишком привычным делом. Словно бы объясняя, почему меры предосторожности не были приняты, насилие машины предваряется суховатой выжимкой из социальной теории: «Стоимость труда – это абстрактная стоимость». Говоря в «бесчеловечных», «несентиментальных» категориях, «количество человеческого труда на // цифровой мануфактуре продукта стремится // к экономической стоимости нуля»; к такому же нулю стремятся и попытки сберечь труд от ущерба, который обесценивается еще сильнее, чем сам работник.

В поэзии редко встречаются такие термины, как «количество», «экономическая стоимость», «цифровая мануфактура». Но они нужны. Рассмотрим два радикальных тезиса критики современной политической экономии («в этой точке, в которой // капитал наиболее бесчеловечен, несентиментален, // бесконтролен» и где он порождает «форму долговой кабалы»), составляющих ориентиры для текста, который мог бы быть извлечен из учебника по экономике (о падении заработной платы в эпоху коммодификации труда, управляемого кибернетическими процессами). Здесь поэма разоблачает неприятную реальность, о которой говорят ведущие экономисты, вынужденные (в том числе благодаря Пикетти) столкнуться с рынками, на которых победитель забирает все, а проигравший не получает ничего. Стихотворение доводит логику безжалостной экономической конкуренции до предела, отменяя привычные успокоительные банальности об экономических возможностях и равновесии. Джозеф – поэт мира, в котором все больше прибыли получает меньшинство, тогда как большинство отчаянно борется за выживание[694].

Примитивный язык экономистов и менеджеров-консультантов на какой-то момент лишает стихотворение его контакта с органами чувств. Мы застреваем в абстракциях, проваливаемся через кроличью нору из чувственного мира в пространство карты, которая некогда претендовала на его представление, а ныне его перекраивает. Подобно инсталляциям Саймона Денни «Дилемма инноватора» прямое присвоение языка экономики Джозефом в поэтическом произведении создает шоковый эффект[695]. Эстетическая сфера уплощается в материалистической квантификации. Однако уплощение предельных тенденций тривиального менеджериального языка крайне полезно, поскольку оно обнажает его телос, служа нам предостережением.

Сегодня проницательных инвесторов, думающих о том, какие предприятия финансировать, а какие бросить, намного меньше, чем автоматических ботов, оптимизированных исключительно на то, чтобы эксплуатировать разницы в ценах, возникающие в пределах микросекунд. Для определения того, куда именно инвестировать деньги,

например в экологическую энергетику или доступное жилье, нужен настоящий интеллект. Тогда как искусственный интеллект ботов заменяет подобные рассуждения одним грубым императивом – прибыли. Экономическая система, более озабоченная финансовой алхимией ликвидности, чем растаявшими ледниками, обратила разум против него самого. Тогда-то и возникает парадокс алгоритмизации: доведение диктата разума до абсурда – это и есть сущность неразумия[696]. Художественный критик Розалинда Краусс была права, когда охарактеризовала алгоритмы не только как выражение строгости, но и как уклонение от разума, предлог для того, чтобы не думать[697].

Что касается сторонников технологий, своим оптимизмом напоминающих вигов, задача прогрессистской компьютерной элиты в том, чтобы сблизить неизбежно совершенствующиеся технические аппараты с медоточивыми «машинами благодати и любви» Ричарда Бротигана. Однако быстрая автоматизация – траектория, на которой немало дистопийных возможностей. Институты, которые кажутся крепкими, могут стать на удивление хрупкими[698]. Даже сегодня, когда мечта теоретиков сингулярности о том, как человек постепенно сольется с машиной, становится для культуры все более приемлемой, Джозеф показывает кошмарные социальные сдвиги, которые, скорее всего, вызовет быстрая и нерегулируемая автоматизация.

Расширение границ высказываемого

Многие исследователи квалифицированно анализировали вклад Джозефа в литературу и право[699]. Мой подход – это подход социальной теории, то есть «систематической, исторической, эмпирически ориентированной теории, пытающейся объяснить природу „социального‰, причем «под „социальным“ может пониматься широкий спектр воспроизводящихся форм или паттернов интеракций и отношений людей»[700]. Социальная теория крайне важна для политических взглядов, которые управляют законодательством, регулированием и даже многими спорными применениями права. Стихотворения Джозефа построены не только так, чтобы соединить звук и смысл (что является главным качеством поэзии), они также показывают паттерны власти и смысла в мире, изучая разветвления критических терминов. Такова суть поэтической процедуры Джозефа: прояснение фундаментальных аспектов человеческого опыта. Оно позволяет выявлять стихийное и поверхностное, эпохальное и мимолетное, возводя их к идеям и институтам, определяющим наиболее важные стороны нашей реальности, в которой мы живем.

Приписывать такие способности литературе (и даже, что еще более возмутительно, предполагать, что она имеет некое значение для политического курса и права) – значит нарываться на остракизм. В типологии Ричарда Брауна модерн в типичном случае проводит четкое различие между следующими областями и категориями[701]:

К счастью, Браун составляет эти оппозиции только для того, чтобы примирить противопоставленные термины – говоря точнее, создать пространство для обеих сторон в холистической зоне социальной реальности за пределами объективности и субъективности[702]. Господство неолиберального менеджериализма на многие десятилетия вытеснило подобный холизм, однако недавнее развитие критических алгоритмических исследований (вместе с общественным пониманием пределов технологий) позволило ему снова выйти на передний план[703]. Хотя латинская этимология вводит в заблуждение, указывая на то, что «данные» (data) – это объективная «данность», опытные аналитики понимают, что даже количественные результаты научных исследований лучше считать не данными, а «схваченными» (capta, то есть впечатлениями, активно захваченными наблюдателем, находящимся в определенной ситуации и обладающим определенными качествами, целями и схемами интерпретаций)[704].

Социальная реальность не существует «где-то там», и она не то, что нужно было бы просто плохо или хорошо отобразить словами, числами и кодом[705]. Скорее, у всех этих символов есть способность производить и переделывать социальный мир. Наша языковая способность описывать и переописывать демонстрирует исключительно человеческую амбицию – раздвигать границы «высказываемого», приходить иногда к консенсусу, но также заострять различия. Чарльз Тэйлор говорит о «новом гештальтировании нашего опыта», происходящем, когда действительно сильные и убедительные выражения, статьи, стихотворения или романы вступают с нами в резонанс[706]. Органично соединяя друг с другом науку и искусство, описание и самовыражение, Тэйлор и Браун помогают нам понять роль литературы и искусства в формировании современной социальной теории, способной постичь и прокомментировать наше сегодняшнее плачевное положение. Риторика обосновывает наше чувство социальной реальности. Она является свойством социальных смыслов, кристаллизовавшихся в резонирующем языке, который подкрепляет смысл звуком, а внутреннее чувство – внешним объективным коррелятом.

Рассказы о будущем движут экономикой и обществом, они не являются всего лишь вторичной попыткой понять то, что уже случилось. Эта идея, восходящая к Кейнсу, недавно было заново проработана в книге нобелевского лауреата Роберта Шиллера «Нарративная экономика»[707]. Не существует физики рынков; экономика с начала и до конца – гуманитарная наука, и она останется непредсказуемой, пока у людей есть свобода воли. Как отметил Деннис Сноуэр, председатель Института мировой экономики в Киле, «стандартные статистические анализы больше не могут считаться валидными. Они предполагают, что нам известны вероятности, с которыми будут случаться события. На самом деле мы почти всегда такого знания лишены»[708]. Нарративы (в их доступных версиях) критически важны для представления будущего[709]. Речь идет не обязательно о компрометации истины или обоснованности. Профессор права и социальный теоретик Джек Балкин утверждал: «Структуры нарративной памяти особенно полезны для памяти о вещах, которые опасны или, наоборот, выгодны, для сложных эмпирических суждений о будущем, для определения того, какой порядок действий принесет пользу, для воспоминания о том, как делать вещи в определенной последовательности, а также для заучивания социальных условностей и следования им»[710]. Глубокое осмысление того, как именно люди выносят «сложные эмпирические суждения», – это основание предсказательного социального исследования, нацеленного не только на выявление паттернов прошлого, но также и на определение облика будущего.

Когда стандартная экономика, отстаивающая принципы laissez-faire, теряет свои облачения объективизма, появляется больше пространства для возникновения и развития новых способов коммерческой жизни[711]. Пришла пора рассказать новые истории о природе и целях курса на автоматизацию.

Автоматизированные структуры не должны существовать просто для того, чтобы довести нас или наши данные из пункта А в пункт Б по наименьшей цене; они должны быть еще и источником справедливо оплачиваемого и безопасного труда. Наши инвестиции в робототехнику не должны быть попросту способом накопления денег на пенсию; они должны работать, чтобы был мир, в котором мы захотим выйти на пенсию. Слишком легко тратить ресурсы на конкуренцию, поэтому третий новый закон робототехники требует контролировать многие секторы общественной жизни, чтобы в них не складывалась динамика гонки вооружении[712].

Прогресс в области вычислений и машинного обучения создал социотехнические системы, которые кажутся почти что магическими или для человека необъяснимыми. Даже лучшие инженеры в Google или Facebook не смогли бы выполнить обратный инжиниринг определенных алгоритмов поиска или новостных лент. В силу ускорения обработки и ввода данных цифровой мир может показаться таким же неуправляемым и неспокойным, как погода. Как отметила инженер и философ Мирей Хильдебрандт, для нас цифровая среда все чаще будет столь же влиятельной и важной, как и естественный мир[713]. Техноцен дополняет антропоцен, напоминая нам о том, какое значение могут приобрести непреднамеренные последствия. Новые законы робототехники, даже если они не станут частью формального законодательства, способны помочь нам вообразить будущее, в котором ИИ уважает человеческое достоинство и идентичность, помогая их сохранить.

Эстетический ответ и моральное суждение

Один из наиболее глубоких художественных примеров подобного воображаемого будущего – творчество художника Эрнесто Кайвано. Воплощенное в сотнях рисунков, картин и произведений смешанной техники, оно представляет собой не что иное, как грандиозное предсказание расхождения человека и машины, которое позволяет сохранять и уважать лучшие качества того и другого.

Хотя цифровая сфера оказывала самое разное влияние на мир изящных искусств и эстетики, немногие художники ответили на него такими же амбициозными и пронзительными работами, как у Эрнесто Кайвано. В поразительной серии рисунков под названием «После лесов» Кайвано рассказал историю несчастных влюбленных – Версуса и Полигон, чей роман, разлука и последующая эволюция служат аллегорией фундаментальных противоречии и резонансов природы и технологии[714]. Джоао Рибае, бывший куратор List Visual Art Center в MIT назвал этот нарратив «смесью фольклора, волшебной сказки и научной спекуляции», которая «служит поиску смысла, потерянного в нашем изобилии информации»[715].

Стилистика работ разная – от драматической до строгой и формальной, и этим они напоминают разные слои реальности (начиная с действия и заканчивая репрезентацией на основе определенных данных), которые находятся между природой, культурой и технологией. Они плавно движутся от пылкого романтизма к экзальтированному исследованию иных универсумов и строгому изучению того, что значит использование кодов для репрезентации восприятий. В вычислительную эпоху, когда ведущие мыслители представляют Вселенную в качестве компьютера, а известнейшие экономисты предсказывают то, что паттерны труда большинства людей вскоре будут путем машинного обучения переведены в программы, Кайвано мудро и терпеливо строит серию эстетических ответов, чтобы восполнить ими моральные суждения и политические битвы, причиной которых стало господство вычислений.

В творчестве Кайвано сочетаются современные и в то же время классические стилистические источники, начиная с Альбрехта Дюрера и фламандского Ренессанса и заканчивая модернистским минимализмом и абстракционизмом Агне-са Мартина, гибридами «искусства/науки» (если использовать термин Дэвида Эдвардса, который обозначает проективное мышление, размывающее границу между областями красоты и истины)[716]. Серия «Эхо» Кайвано напоминает об обрывках данных, которые мы оставляем за собой в интернете и которые все больше осваиваются роботами[717]. Данные могут считаться прелюдией к нашей замене, но с большим основанием их можно воспринимать в качестве простого отражения или следа телесных существ, которые их создают. Похожие темы пронизывают и элегантную работу Кайвано «Навигация филапоров в логе и коде» (Philapores Navigating the Log and Code). Она изображает мифических птиц, которые летят через элементы леса и его цифровую репрезентацию, которая выглядит как топология геопространственных данных. Параллельное изображение карты и вещи, которая отображена на карте, реальности и ее образа производит шокирующее и в то же время вдохновляющее впечатление. Это символическое напоминание о множестве примеров ответственной автоматизации, в частности, об осторожном сравнении реального произведения и того, как оно кодируется. Работа свободна от упрощенного дидактизма, ее суть в свободе воображения, позволяющей переосмыслить отношения между реальным и его цифровыми следами, в свободе, дисциплинированной верностью естественным формам. В этом произведении эстетика объединяется с наукой, а научные проблемы – с искусством.

Автоматизация автоматизаторов

В той мере, в какой работы Кайвано отражают современное проективное мышление, они полностью соответствуют господствующей цифровой эстетике. Но также они рассказывают о вечном – о ценностях, существовавших задолго до нас, которые должны остаться и после нас, – о том, что оказывается под угрозой в эпоху социальной акселерации[718]. Бизнес-максима, согласно которой работа должна выполняться все быстрее и быстрее, слишком легко интерпретируется в качестве риторического средства подавления автономии работников. Американские начальники, требующие все большей и большей «гибкости» от непокорной рабочей силы, раньше могли кивать на заграничных рабочих, готовых взять на себя обязанности рабочих внутри страны; сегодня же они кивают на постоянно ускоряющиеся машины. Хотите больше перерывов? Робот может работать 24 часа в сутки и семь дней в неделю. Зарплату повыше? Вы создаете для начальника основание заменить вас программой. Электричество и запасные детали намного дешевле еды и медицинского обеспечения.

Прогресс в области программного обеспечения и робототехники оказался настолько быстрым, что возник вопрос о заменимости самого руководства. Компания Zappos экспериментировала с «холакратией», плоским менеджментом, который позволяет работникам самим организовывать собственные задачи[719]. В издании Harvard Business Review не раз 98 превозносилась «автоматизация менеджмента»[720]. Такие приложения, как Uber, делегируют менеджмент коду, который связывает водителей с пассажирами. Плохие водители больше не увольняются, а «деактивируются» алгоритмическим инструментом рейтингования[721]. Возможно, управленцы высшего уровня также обнаружат, что их работа будет рейтинговаться, ранжироваться и в конечном счете выполняться ИИ.

Идея компьютеризации менеджмента может показаться фарсовой, футуристической или и той, и другой. Когда одна венчурная фирма ввела алгоритм в своей совет директоров, попросив его проголосовать по компаниям, основываясь на парсинге их возможных результатов, деловая пресса отнеслась к этому скептически[722]. Но сама идея автоматического инвестирования показывает, что в нашей политической экономии что-то пошло не так. Когда временной горизонт директоров, акционеров и менеджеров сокращается, их действия становятся все более стереотипными и алгоритмическими. Тактики вроде уклонения от налогов, обратного выкупа акций, выведения средств в офшоры и замены работников машинами стали рабочим инструментарием, состоящим из эвристик, опробованных в реальной практике. Менеджеры могут легко посмотреть, как реагировали фондовые рынки, когда другие фирмы применяли схожие тактики. Точно так же хорошей и опробованной тактикой генеральных директоров является подтасовка совета, который определяет их собственную компенсацию. Робот тоже может так сделать.

Автоматизация автоматизаторов – идея, которую нередко поднимают на щит левые акселерационисты, – не столько революционное предложение захватить средства производства, сколько полное замыкание того, что сегодня уже происходит в мире финансов и менеджмента. Роботизация означает не просто применение механизированного манекена вместо работника. Она требует стандартизации и повторения: нужно найти, а потом повторить лучший способ выполнения той или иной задачи. Возможно, у менеджеров много инструментов, но обычно они выбирают одни и те же цели и одни и те же средства их достижения. Если рутинизация и предсказуемость ведет к возможности избавиться от работников, то точно так же она угрожает и начальству.

Конечно, в нашей повседневной жизни отказаться от привычки нельзя. Рутины закрепляются, поскольку не нужно каждый раз во всех подробностях представлять, как лучше встать с кровати, сделать себе чашку кофе или включить компьютер. Однако склонность человека к привычке становится патологией, когда она захватывает вообще все. Этот автоматический способ мышления затемняет лучшее будущее, которое возможно.

Совместное создание будущего труда

Сегодняшние автоматизаторы, обещающие всеобщее процветание, склонны видеть в профсоюзах, регуляторах, кооперативах и профессиях устаревших лежачих полицейских, положенных на скоростной трассе, ведущей к изобилию. В действительности же все эти профсоюзы и регуляторы способны демократизировать будущее, которое ныне в основном диктуется технологическими и финансовыми фирмами. Мы поступим правильно, если демократизируем власть за пределами этих фирм, поскольку, как утверждал специалист по робототехнике Илаа Реза Нурбакхш:

Сегодня большинство неспециалистов практически не имеют слова в определении того, какую роль роботы будут играть в нашей жизни. Мы просто смотрим на новую версию «Звездных войн», которая пишется в реальном времени деловыми и научными интересами, если не считать того, что этот сценарий становится нашим реальным миром… Хорошо знакомые устройства станут более сознательными, интерактивными и проактивными; совершенно новые роботизированные создания будут делить с нами наше пространство, публичное и приватное, физическое и цифровое… Со временем нам надо будет читать, что они пишут, взаимодействовать с ними, чтобы вести наши дела, и часто наша дружба будет опосредована ими[723].

Условия этого сотрудничества могут быть вполне неолиберальными: задача в таком случае в том, чтобы максимизировать прибыль с инвестиций богатейших технологов и наиболее продвинутых в технологическом плане богачей. Или они могут отличаться, могут разрабатываться вместе с экспертами из различных областей, отвечать ценностям сообщества. Режим laissez-faire наверняка приведет нас к первому результату, а четыре новых закона робототехники – ко второму.

Когда главной угрозой правовому порядку были произвольные постановления автократов, судьи и адвокаты сопротивлялись им, выдвинув принцип «верховенства права, а не людей». По мере развития автоматизации мы должны дополнить этот принцип максимой «верховенство людей, а не машин». Менеджеры и бюрократы не должны иметь возможности скрыться за алгоритмическими способами установления социального порядка. Личная ответственность за решения имеет критическое значение для сохранения легитимного правления как государственных ведомств, так и фирм.

Также мы должны с подозрением относиться к сторонникам технологий, которые считают, что большинство работ являются предсказуемыми, а потому им могут научиться машины, получившие доступ к достаточным данным. Это верный рецепт для того, чтобы общество попало в ловушку прошлого, то есть тренировочной выборки, на которой будут учиться машины. Энтузиасты автоматизации определяют тренировочную выборку как всего лишь начальную точку, позволяющую в будущем приобрести независимость от машин, которые будут учиться на негативных и позитивных стимулах, отвечая на будущие действия. Однако само определение «негативного» и «позитивного» должно быть запрограммировано, как и возможности расширять или сокращать их определения. Органическое развитие моральной ответственности (на индивидуальном уровне) и самоуправления (на коллективном уровне) может быть приписано ИИ лишь благодаря мифическому мышлению, известному по волшебным сказкам.

Современные вычислительные системы скрывают в себе огромную мощь. Искушение применить ее для решения всякой крупной проблемы, не сковывая ее законами, профессиональными обязательствами или этиками, будет почти неодолимым. В той мере, в какой вообще можно говорить о социобиологической человеческой свободе, она, возможно, и правда склонна к гонке за относительные позиции, которая еще больше ускоряется автоматизацией. Как предупреждала Симона Вейль, «не применять всю имеющуюся в распоряжении власть – значит терпеть пустоту. Это противно всем законам природы. Только благодать на это способна»[724].

Нужная для этого благодать не может быть благодатью кибернетического поэта или робота – ангела истории[725]. Нас ждут затяжные политические и юридические дискуссии о верном распределении выгод и обязанностей. Будет множество решений по вполне практическим вопросам, например, о том, может ли врач не учитывать предупреждение программы поддержки клинических решений, а водитель – отключить компьютерное вождение, и могут ли они получить доступ к внутренностям компьютерных систем, которые сейчас слишком часто остаются для них непрозрачными. Подобные дискуссии, не являясь помехой лучшему будущему, свидетельствуют о подлинных и важных конфликтах по поводу самого способа управлять обществом. Если мы будем избегать их, нам будет грозить опасность.

Гуманная автоматизация требует мудрости ограничения. Миф об Икаре, который обычно толкуется как сказание о личной гордыне, – это еще и одна из легенд о технологическом перенапряжении. В изложении Овидия Дедал и его сын Икар были заключены на острове. Дедал сделал крылья из воска и перьев, чтобы улететь на другой берег. Смелый план сработал, и отец с сыном воспарили над океаном. Однако Икар проигнорировал предупреждения отца о том, что нельзя рисковать и летать слишком близко к солнцу. Воск растаял, крылья распались, а Икар упал в море и утонул.

Миф об Икаре стал основой для других предупреждений, таких как «Фауст» Марло. В сфере роботизации есть своя собственная версия этой проблемы, известная под названием «зловещая долина», то есть неприятного ощущения, которое вызывает гуманоидный робот, когда он перестает быть просто механизмом и слишком сильно приближается к человеческим чертам, жестам и способу бытия в мире, но при этом не может их в полной мере воссоздать[726]. Термин «зловещая долина» возник благодаря простому графику, на котором изображается постепенный рост приемлемости робота, замечаемый по мере того, как он приобретает все больше функций и начинает все больше напоминать человека, однако потом машины становятся слишком гуманоидными, и тогда их привлекательность резко падает и заменяется отторжением. И все же «долина» – не столько предупреждение, сколько вызов. Изобретательность вкупе с горами данных должна позволить умному проектировщику роботов выбраться из этой «долины» и создать машины, которые будут уважаться и приветствоваться не меньше людей.

Существует и другой подход – альтернативная телеология. Мы можем избежать «зловещей долины», если признаем границы технологии. В пугающей инсталляции 1995 г. «Любовники» художник Тейдзи Фурухаси выразил эту мудрую идею в строгой иммерсивной концепции[727]. Призрачное видео, проецируемое на четыре черных экрана, окружающих зрителя, который находится в темной комнате, показывает участников японского перфор-мансистского коллектива Dumb Туре – они ходят, стоят, выполняют стилизованные движения, словно обнимая друг друга или предупреждая, подбегая друг к другу и разбегаясь, но никогда не касаясь. Их изображения часто размываются движениями, причем нет сцены, которая бы отвлекала от их тел.

Их движение может запускаться движениями самого зрителя, но связь между ними остается неясной. В одну секунду они выражают энергию и устремленность, в другую – горькую капитуляцию. Произведение, созданное на волне распространения СПИДа, впоследствии унесшего жизнь Фурухаси, является превознесением новых возможностей технологий и в то же время мудрым признанием ее ограничений. Танцор – это не танец.

Размышления о культуре, вдохновляющиеся автоматизацией, – шаг к общему языку, позволяющему говорить о сложных политических и личных решениях в области ИИ, с которым нам в ближайшие десятилетия придется столкнуться. Мы можем позволить себе будущее робототехники, которое будет инклюзивным и демократическим, будет отражать усилия и надежды всех людей как работников и граждан, а не просто потребителей. Мы можем освоить новые формы вычислений, не передавая человеческие по своей сущности роли искусственному интеллекту. Такой исправленный курс потребует много энергии от специалистов, которые уже есть, но также он создаст новые профессии. Он обещает положительную, непреходящую свободу, которая недостижима в условиях технологического дрейфа.

Слова благодарности

«Новые законы робототехники» – проект, являющийся естественным продолжением «Общества черного ящика», моей предыдущей книги, которая вышла в издательстве Harvard University Press. Если «Общество черного ящика» было преимущественно работой критической, то в «Новых законах» предлагается взгляд на то, как лучше интегрировать технологии в общество. Я хотел бы поблагодарить Томаса Лебьена за его мудрые и профессиональные советы по редактуре, которые он мне давал, когда работал в Harvard University Press, также я крайне благодарен за то же самое и за общие рекомендации по проекту вплоть до его завершения Джеймсу Брандту.

Что касается эпиграфов: я хотел бы поблагодарить Лоуренса Джозефа за разрешение процитировать строфу из стихотворения «В скобках», которое входит в сборник «Определенная ясность» (Lawrence Joseph, Л Certain Clarity: Selected Poems. New York: Farrar, Straus and Giroux, 2020). Я благодарен также за возможность включить в книгу отрывок из работы «Между прошлым и будущем» Ханны Арендт.

Мне повезло с тем, что у меня было много вдумчивых и внимательных коллег и друзей, которые беззаветно предлагали помощь, критиковали мои предположения и обсуждали со мной многие аспекты робототехники и ИИ, когда я работал над «Новыми законами». Книгу я завершил, когда занимался преподавательской и исследовательской работой в Университете Мэриленда. Брюс Джарелл, Феб Хаддон и Дональд Тобин поддерживали мои труды, и я благодарен им за их идеи. Юридическая школа Мэриленда и ее Journal of Health Care Law and Policy стали спонсорами воркшопа по праву и программам развития в области медицинской автоматизации и робототехники, которым я занимался, собрав вместе специалистов по технологиям, академических ученых и экспертов из области практической политики.

Мои друзья Диана Хоффман, Дэниэль Китс Ситрон, Дон Гиффорд, Боб Кондлин и Уилл Мун сделали для меня Мэриленд настоящим академическим домом. Сью Маккарти и Дженнифер Элиса Чепман, работающие в библиотеке, были исключительно деликатны и внимательны. Мне жаль уезжать из Мэриленда как раз перед самым завершением этого проекта – мне хотелось бы отметить его здесь. Но я жду с нетерпением, когда в 2020 г. смогу работать с моими новыми коллегами в Бруклинской правовой школе. Они были необычайно приветливы и проницательны во время моего визита туда в 2019 году.

В 2016 г. Джек Баклин из Школы права в Йеле и Йельский проект информационного общества предоставили мне бесценную возможность выступить одним из организаторов конференции «Раскрыть черный ящик: обещание и пределы алгоритмической подотчетности в профессиях». На конференции были представлены работы многих исследователей, изучающих и развивающих алгоритмическую подотчетность. Многие продемонстрировали ключевую роль труда в оформлении сложных технических систем. Конференция и последующие визиты с выступлениями в Йельском проекте информационного общества оказались чрезвычайно полезными для данной работы.

Также я благодарен за возможность представить черновики отдельных глав этой книги во многих академических институтах. В Азии ученые из Исследовательского института социальных и гуманитарных наук Национального университета Тайваня, Academia Sinica, Национального университета Чэн Кунга и Гонконгского университета позволили мне многое узнать об этических, правовых и социальных следствиях ИИ. В Канаде Университет Квинс и Университет Торонто провели междисциплинарные воркшопы по ИИ и праву, в которых я принимал участие, а Хамбер-Колледж пригласил меня выступить по теме компьютерной оценки людей. Во время моих визитов в Австралию исследователи из Университета Западной Австралии, Университета Сиднея (включая Передовой исследовательский центр социальных и гуманитарных наук), Университета Мельбурна, Университета Монаша и Технологического университета Квинсленда отблагодарили меня щедрыми комментариями к идеям, представленным в этой книге. Я с нетерпением жду того, когда смогу продолжить там эту работу в текущем исследовательском проекте, посвященном автоматическому принятию решений. В Европе эксперты из Свободного университета Брюсселя, Лондонской школы экономики, Европейского университетского института, Папской академии социальных наук, Манчестерского университета, Центра исследований искусств, социальных и гуманитарных наук Кембриджского университета, Эдинбургского университета выслушали доклады по отдельным главам и разделам этой книги, выдвинув критические соображения, которые мне очень помогли.

Я благодарен многим североамериканским юридическим школам, которые приглашали меня рассказать о моих работах в области права и политики ИИ, в том числе Северо-Восточному университету, Университету Сан-Диего, Йелю, Гарварду, Университету Пенсильвании, Сетон-Холлу, Вашингтонскому университету, Джорджтауну, Осгуд-Холлу, Фордэму, Кейс-Вестерну, Государственному университету Огайо, Нью-Йоркскому университету, Темплу и Рутгерс-Камдену. Презентации в других университетских подразделениях также помогли мне отточить критику автоматизации. Тут можно упомянуть Школу международных и публичных вопросов в Колумбийском университете, относящуюся к историческому департаменту в подразделении социальных наук, Институт биоэтики Берман в Университете Джонса Хопкинса, Харири-институт вычислений, компьютерных наук и инженерии в Бостонском университете, Школу инженерии и прикладных наук, а также Институт передовых культурных исследований в Университете Вирджинии, Программу права и публичных вопросов в Принстоне.

Политики и чиновники также интересовались моим подходом, и было честью получить их комментарии. Материалы по автоматизированной публичной сфере я представил Медиаведомству Берлина и Бранденбурга, а также членам генеральной дирекции Еврокомиссии. Сотрудники Европейского медицинского агентства, Центра инноваций в области медицинского страхования и обеспечения, Национального комитета статистики жизни и здоровья, Управления по контролю за качеством пищевых продуктов и медикаментов стали для меня собеседниками, важными для развития моего подхода к правовому и политическому обеспечению медицинской автоматизации и робототехники. Выступления в качестве эксперта по вопросам политики данных и алгоритмов на Комиссии по энергетике и торговле в Конгрессе и на Сенатской комиссии по банковскому делу, недвижимости и городскому развитию стали для меня удачным поводом представить свои критические соображения о «машинах, судящих людей» и многое узнать у самих чиновников. Собеседники из Федеральной торговой комиссии, Управления уполномоченного по защите конфиденциальности Канады и Юридического комитета по административному праву Мэриленда внимательно выслушали и прокомментировали презентации отдельных частей этой книги.

Гражданские группы и НКО также помогли в создании этой книги. Я бесконечно благодарен Институту Al Now, «Данным и обществу» (Data & Society), Ассоциации за развитие политической экономии и права, Институту Гувера, Американскому обществу международного права, Исследовательскому совету по социальным наукам, Фонду Миндеру, Сети современных финансов, Королевскому обществу поощрения искусств, ремесел и торговли, Американскому обществу права, медицины и этики, Диалогу Нобелевской премии, Фонду Фридриха Эберта, Re: Publica, Фонду Розы Люксембург, Manchester Coop, gOv, Междисциплинарной конференции концепций подотчетности, Эдинбургскому институту будущего за то, что они все предоставили мне площадки для презентации моих исследований разнообразной аудитории, которая не ограничивается представителями университетов, государства и корпораций.

Также за комментарии на презентациях или за работы, повлиявшие на эту книгу, моих благодарностей не могут не удостоиться: Камел Аджии, Марк Андреевич, Сьюзен Бандис, Кристофер Бошан, Бенедетта Бревини, Рауль Карилло, Клеман Чен, Хун-Ю Чэн, Вентсон Чиу, Джули Коэн, Николь Девандре, Дэвид Голамбиа, Карен Грегори, Джон Хаскелл, Сьюзен Херман, Аманда Джарет, Кристин Джонсон, Чин-И Лю, Алис Марвик, Марта Маккласки, Джон Нотой, Джулиа Паулс, Ивэн Селинджер, Алисиа Солоу-Нидерман, Саймон Штерн и Эрай Эзра Уолдман.

Наконец, я искренне благодарен за ту постоянную поддержку, которую мне оказывал мой партнер Рэй. Он всегда легко и грациозно мирился с очень многим – с завалами книг и бумаг в нашей квартире, с моими постоянными отлучками на конференции, с работой допоздна и каникулами. Ни с кем другим я не хотел бы разделить хорошие и плохие времена, величие и нищету человеческого бытия.

Примечания

1

Полезный обзор максималистских предсказаний дает Кевин Драм, который приходит к выводу, что «какую бы работу ни назвать, роботы смогут ее делать». См.: Kevin Drum, “You Will Lose Your Job to a Robot – and Sooner Than You Think,” Mother Jones, November/ December 2017, at https://www.motherjones.com/politics/2017/1o/ you-will-lose-your-job-to-a-robot-and-sooner-than-you-think/.

2

Экономические смыслы этого нарратива подробно рассматриваются в следующих книгах: Мартин Форд, Роботы наступают: развитие технологий и будущее без работы (Москва: Альпина нон-фикшн, 2016); Jerry Kaplan, Humans Xeed.Not Apply: A Guide to Wealth and Work in the Age of Artificial Intelligence (New Haven: Yale University Press, 2015); Robin Hanson, The Age of Em: Work, Love, and Life When Robots Rule the Earth (Oxford: Oxford University Press, 2016).

3

Eric Brynjolffson and Andrew McAfee, Race against the Machine: How the Digital Revolution Is Accelerating Innovation, Driving Productivity, and Irreversibly Transforming Employment and the Economy (Lexington, MA: Digital Frontier Press, 2014).

4

Айзек Азимов, Хоровод, Чёрный столб (Москва: Знание, 1963). Позже Азимов ввел метапринцип, который он назвал нулевым законом робототехники (утверждающим, что люди не должны вредить человечеству). См.: Айзек Азимов, Миры Азейка Азимова. Кн. 8. Роботы и империя (Рига: Полярис, 1994). Isaac Asimov, Robots and Empire (New York: Doubleday, 1985), 312.

5

Jack Balkin, “The Three Laws of Robotics in the Age of Big Data,” Ohio State Law Journal 78 (2017): 1, 10. К чести Азимова следует отметить, что он вполне понимал эти двусмысленности и использовал их для создания драматического эффекта в своих рассказах.

6

Эти законы робототехники, как и законы Азимова, служат общим ориентиром, а потому возможны исключения и пояснения. Как хорошо известно специалистам по административному праву, многие нормативы являются не вполне прозрачными и нуждаются в пояснении (а также согласовании с другими, возможно, конфликтующими с ними, законами), предоставляемом специальными агентствами и судами.

7

В этом я следую второму принципу робототехники Исследовательского совета инженерных и физических наук Великобритании (UK EPSRC), которым утверждается, что «ответственность несут люди, а не роботы». См.: Margaret Boden, Joanna Bryson, Darwin Caldwell, Kirsten Dautenhahn, Lillian Edwards, Sarah Kember, Paul Newman et al., Principles of Robotics (2010), https:// epsrc.ukri.org/research/ourportfolio/themes/engineering/activities/ principlesofrobotics/.

8

Государство, гражданское общество, деловые ассоциации и профессиональные общества разрабатывали этические руководства для ИИ; одно из метаисследований подобных руководств см. в: Anna Jobin, Marcello lenca, and Effy Vayena, “The Global Landscape of Ethics Guidelines,” Nature Machine Intelligence i, 389–399 (2019), https://d0i.0rg/10.1038/s42256-019-0088-2. Также появилось много предложений и руководств, составленных регулирующими ведомствами. Согласно Агентству по основополагающим правам ЕС, в странах – членах ЕС насчитывается более 250 инициатив такого рода. Хотя четыре закона робототехники, предложенные в этой книге, не могут, скорее всего, служить основанием для всех этих, весьма разнообразных, документов, они на них в какой-то мере опираются, выделяя ключевые идеи, в которых отражаются общепринятые ценности.

9

Я сосредотачиваюсь на робототехнике, а не роботах, чтобы сделать упор на том, как в социальные системы встраивается технология датчика/процессора/активатора.

10

Harold Wilensky, “The Professionalization of Everyone?” American Journal of Sociology 70, no. 2: 137–158 (ядро профессионального статуса здесь описывается как «успешное притязание на исключительную техническую компетентность и следование идеалу службы»).

11

Эти средства правовой защиты также отражаются в более общей социальной расположенности к ИИ, выполняющему функцию дополнения. См.: The Federal Government of Germany, Artificial Intelligence Strategy 25 (2018), https://ec.europa.eu/knowledge4policy/publication/germany-artificial-intelligence-strategy_en («Потенциал ИИ, способного работать на благо всего общества, заключен в обещанном росте производительности, который должен сочетаться с улучшением ситуации, касающейся рабочей силы, делегированием монотонных или опасных работ машинам, чтобы люди могли сосредоточиться на применении своей креативности в решении проблем»).

12

Lucas Mearian, “A. I. Guardian-Angel Vehicles Will Dominate Auto Industry, Says Toyota Exec,” Computerworld, June 3, 2016.

13

Некоторые формы автопилотирования снижают квалификацию пилотов. См.: Николас Карр, Стеклянная клетка (Москва: КоЛибри, 2015). Но в то же время автопилотирование можно проектировать так, чтобы навыки пилота поддерживались или повышались, что позволит сохранить его профессионализм. См.: Дэвид Минделл, Восстание машин отменяется! Мифы о роботизации (Москва: Альпина нон-фикшн, 2017).

14

Так, даже фирмы, составляющие витрину революции ИИ, в частности Microsoft, утверждают, что их цель «не в том, чтобы заменить людей машинами, а в том, чтобы дополнить человеческие способности безграничной способностью ИИ анализировать огромные объемы данных и находить паттерны, которые в ином случае выявить было бы невозможно». См.: Microsoft, “The Future Computed: Artificial Intelligence and Its Role in Society” (2018), https://blogs.microsoft.com/wp-content/uploads/2018/o2/ The-Future-Computed_2.8.18.pdf.

15

Kate Crawford and Vladan Joler, Anatomy of an Al System (2018), https://anatomyof.ai/.

16

Information Technology Industry Council (ГП), Al Policy Principles Executive Summary 5 (2017), https://www.itic.org/public-policy/ ITIAIPolicyPrinciplesFINAL.pdf.

17

The Agency for Digital Italy, Artificial Intelligence at the Service of Citizens 37, 54, 62 (2018), https://ia.italia.it/assets/whitepaper.pdf. См. также: Artificial Intelligence Industry Alliance (China), Joint Pledge on Artificial Intelligence Industry Self-Discipline (2019), https://www. newamerica.org/cybersecurity-initiative/digichina/blog/translation-chinese-ai-alliance-drafts-self-discipline-joint-pledge/, где утверждается, что развитие ИИ не должно позволить «искусственному интеллекту ослабить или заменить позицию человека».

18

Frank Pasquale, “A Rule of Persons, Not Machines,” George Washington Law Review 87, no. 1 (2019): 1-55.

19

Beijing Academy of Al, Beijing Al Principles (2019), https://www. baai.ac.cn/blog/beijing-ai-principles.

20

Daniella K. Citron and Robert Chesney, “Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security,” California Law Review 107 (2019): 1753–1819.

21

European Group on Ethics in Science and New Technologies, European Commission, Statement on Artificial Intelligence, Robotics and ‘Autonomous’ Systems 16 (2018), https://publications.europa.eu/en/publication-detail/-/publication/dfebe62e-4ceg-ne8-beid-oiaa75ed7iai, где цитируется фундаментальный принцип человеческого достоинства. См. также: IEEE, Global Initiative on Ethics of Autonomous and Intelligent Systems, Ethically Aligned Design 39 (1st. ed., 2019), https:// standards.ieee.org/content/ieee-standards/en/industry-connections/ ec/autonomous-systems.html: «Обязанность уважать человеческое достоинство, возможно, потребует определенных ограничений функций и способностей искусственных интеллектов, сузив их возможность заменять людей, человеческие функции и/ или „центральную мыслительную деятельность человека“, примерами которой являются суждение, рассуждение и оценка… Также она, возможно, не позволит ИИ обманывать людей или манипулировать ими».

22

Термин «дети разума» я заимствую у Моравека, хотя у меня совершенно другое представление о будущем робототехники. См.: Hans Moravec, Mind Children: The Future of Robot and Human Intelligence (Cambridge, MA: Harvard University Press, 1990).

23

Даже в подобных случаях можно навязать «бремя самострахования». См.: David С. Viadeck, “Machines without Principals: Liability Rules and Artificial Intelligence,” Washington Law Review 89, no. 1 (2014): 117, 150.

24

Термин «потенциально ответственные стороны» опирается на документ: Comprehensive Environmental Response, Compensation, and Liability Act, or CERCLA. 42 U.S.C. § 9607(a) (2012), в котором определяются четыре категории сторон, потенциально связанных обязательствами.

25

Helena Horton, “Microsoft Deletes ‘Teen Girl’ Al after It Became a Hitler-Loving Sex Robot,” Telegraph, March 24, 2017, https://www.telegraph. co.uk/technology/2016/o3/24/microsofts-teen-girl-ai-turns-into-a-hitler-loving-sex-robot-wit/.

26

Различие между закрытой и открытой робототехникой см. в: M. Ryan Calo, “Open Robotics,” Maryland Law Review 70 (2011): 571, 583–591; Diana Marina Cooper, “The Application of a ‘Sufficiently and Selectively Open License’ to Limit Liability and Ethical Concerns Associated with Open Robotics,” in Robot Law, eds. Ryan Calo, A. Michael Froomkin, and Ian Kerr (Cheltenham, UK: Edward Elgar, 2016), 163, 164–165.

27

Staff of the US Securities and Exchange Commission and Staff of the US Commodity Futures Trading Commission, Joint Study on the Feasibility of Mandating Algorithmic Descriptions for Derivatives (April 2011), 16, 16П77, 24, https://www.sec.gov/news/studies/2011/719b-study.pdf.

28

John Markoff, “The Creature That Lives in Pittsburgh,” New York Times, April 21, 1991, http://www.nytimes.com/1991/04/21/business/ the-creature-that-lives-in-pittsburgh.html?pagewanted=all; Rodney Brooks, Flesh and Machines: Ноъо Robots Will Change Us (New York: Pantheon, 2002).

29

См.: Джон Маркофф, Homo Roboticus?Люди и машины в поисках взаимопонимания (Москва: Альпина нон-фикшн, 2017), где описывается первопроходческая работа в области ИИ Дага Энгельбарта и многих его последователей. См. также: Doug Engelbart, Augmenting Human Intellect: A Conceptual Framework (Washington, DC: Air Force Office of Scientific Research, 1962).

30

Marc Andreessen, “Why Software Is Eating the World,” Wall Street Journal, August 20, 2011, https://www.wsj.com/articles/SB1ooo1424053111903480904576512250915629460..

31

Ryan Calo, “Robotics and the Lessons of Cyberlaw,” California Law Review 103, no. 3 (2015): 513–563.

32

Ian Kerr, “Bots, Babes and the Californication of Commerce,” Ottawa Law and Technology Journal 1 (2004): 285–325.

33

Rachel Lerman, “Be Wary of Robot Emotions; ‘Simulated Love Is Never Love,’ ” Phys.org, April 26, 2019, https://phys.org/news/2019-04-wary-r0b0t-em0ti0ns-simulated.html.

34

Natasha Dow Schull, Addiction by Design: Machine Gambling in Las Vegas (Princeton: Princeton University Press, 2014); Ryan Calo, “Digital Market Manipulation,” George Washington Law Review 82 (2014): 995; Neil Richards, “The Dangers of Surveillance,” Harvard Law Review 126 (2019): 1934.

35

Mark Andrejevic, “Automating Surveillance,” Surveillance and Society 17 (2019): 7.

36

Neil Selwyn, Distrusting Educational Technology: Critical Questions for Changing Times (New York: Routledge, 2014).

37

Laurence H. Tribe, Channeling Technology through Law (Chicago: Bracton, 1973).

38

Deborah G. Johnson, “The Role of Ethics in Science and Technology,” Cell 29 (2010): 589–590; Deborah G.Johnson, “Software Agents, Anticipatory Ethics, and Accountability,” in “The Growing Gap between Emerging Technologies and Legal-Ethical Oversight, eds. Gary E. Marchant, Braden R. Allenby, and Joseph R. Herkert (New York: Spring, 2011), 61–76; Ari Ezra Waldman, Privacy as Trust (Oxford: Oxford University Press, 2018).

39

Mary Flanagan and Helen Nissenbaum, Values at Play in Digital Games (Cambridge, MA: MIT Press, 2014).

40

См., например: Ann Cavoukian, “Privacy by Design: The 7 Foundational Principles,” Office of the Information and Privacy Commissioner of Canada (2009).

41

Дополнительную информацию по вопросам конфиденциальности, возникающим в связи с роботами и предсказательной аналитикой, см. в: Drew Simshaw, Nicolas Terry, Kris Hauser, and M. L. Cummings, “Regulating Healthcare Robots: Maximizing Opportunities while Minimizing Risks,” Richmond Journal of Law and Technology 27, no. 3 (2016): 1-38, 3. Об интеграции права и принципов проектирования с целью эффективного извещения см.: Ari Ezra Waldman, “Privacy, Notice, and Design,” Stanford Technology Law Review 21, no. 1 (2018): 129–184.

42

Эту стратегию аргументации Хуфнегл называет «карточной колодой отрицателей». См.: Christopher Jay Hoofnagle, “The Denialists’ Deck of Cards: An Illustrated Taxonomy of Rhetoric Used to Frustrate Consumer Protection Efforts,” ScienceBlogs, February 9, 2007, https:// scienceblogs.com/denialism/the- denialists- deck- of- cards.

43

Frank Pasquale, “Technology, Competition, and Values,” Minnesota Journal of Law, Science, and Technology 8 (2007): 607–622; Peter Asaro, “Jus Nascendi, Robotic Weapons and the Martens Clause,” in Robot Law, eds. Ryan Calo, A. Michael Froomkin, and Ian Kerr (Cheltenham, UK: Edward Elgar, 2016), 367–386.

44

Frank Pasquale, “Technology, Competition, and Values,” Minnesota Journal of Law, Science, and Technology 8 (2007): 607–622.

45

См., например: Kenneth Anderson and Matthew C. Waxman, “Law and Ethics for Autonomous Weapon Systems: Why a Ban Won’t Work and How the Laws of War Can,” Hoover Institution Stanford University Task Force on XationalSecurity and Law (2013), где дается ответ на кампанию «Остановить роботов-убийц» (Campaign to Stop Killer Robots).

46

P. W. Singer, Wiredfor War: The Robotics Revolution and Conflict in the 21st Century (New York: Penguin, 2009), 435.

47

Ray Kurzweil, The Age of Spiritual Machines (New York: Penguin, 1999).

48

Rebecca Crootof, “A Meaningful F100r for Meaningful Human Control,” Temple International and Comparative Law Journal 30 (2016): 53–62; Paul Scharre, “Centaur Warfighting: The False Choice of Humans vs. Automation,” Temple International and Comparative Law Journal 30 (2016): 151–166.

49

Jeffrey L. Caton, Autonomous Weapon Systems: A Brief Survey of Developmental, Operational, Legal, and Ethical Issues (Carlisle, PA: US Army War College Press, 2015); Liang Qiao and Xiangsui Wang, Unrestricted Warfare: China’s Master Plan to Destroy America, trans. Al Santoli (Panama City: Pan American Publishing, 2000).

50

Проекты по анализу лиц, упомянутые в этом абзаце, критикуются в работе: Frank Pasquale, “When Machine Learning is Facially Invalid,” Communications of the ACM 61, no. 9 (2018): 25–27.

51

David Castlevecchi, “Can We Open the Black Box of Al?” Scientific American, October 5, 2016, https://www.scientificamerican.com/ article/can-we-open-the-black-box-of-ai/.

52

Jennifer Kavanagh and Michael D. Rich, Truth Decay: An Initial Exploration of the Diminishing Role of Facts and Analysis in American Public Life, Santa Monica, CA: RAND Corporation, 2018, https://www.rand. org/pubs/research_reports/RR23i4.html; Alice Marwick and Rebecca Lewis, Media Manipulation and Disinformation Online (New York: Data and Society, 2017), https://datasociety.net/pubs/oh/DataAndSocie-ty_MediaManipulationAndDisinformationOnline.pdf.

53

О различии между речью и поведении см., например: Claudia Haupt, “Professional Speech,” Yale Law Journal 125, no. 5 (2016): 1238–1303.

54

Как показывает Джил Эйал, экспертные знания вполне могут существовать вне эксперта, не только в виде набора пропозиционально выраженных знаний, но и в качестве институтов. См.: Gil Eyal, The Crisis of Expertise (Medford, MA: Polity Press, 2019).

55

Alex (Sandy) Pentland, Honest Signals: How They Shape Our World (Cambridge, MA: MIT Press, 2008), где обсуждаются социометрические индикаторы.

56

См.: Andrew Abbott, The System of Professions: An Essay on the Division of Expert Labor (Chicago: University of Chicago Press, 2014); Eliot Freidson, Professionalism, The Third Logic: On the Practice of Knowledge (Chicago: University of Chicago Press, 2001).

57

Подробное обсуждение «автоматизации добродетели» см. в: Ian Kerr, “Digital Locks and the Automation of Virtue,” in From Radical Extremism to Balanced Copyright: Canadian Copyright and the Digital Agenda, ed. Michael Geist (Toronto: Irwin Law, 2010), 247–303.

58

Hope Reese, “Updated: Autonomous Driving Levels о to 5: Understanding the Differences,” TechRepublic, January 20, 2016, http:// www.techrepublic.com/article/autonomous-driving-levels-o-to-5-understanding-the-differences/.

59

Кэти О’Нил, Убийственные большие данные: как математика превратилась в оружие массового поражения (Москва: ACT, 2018); Frank Pasquale, The Black Box Society: The Secret Algorithms That Control Money and Information (Cambridge, MA: Harvard University Press, 2015); Da-nah Boyd and Kate Crawford, “Critical Questions for Big Data: Provocations for a Cultural, Technological, and Scholarly Phenomenon.” Information, Communication, and Society 15, no. 5 (2012): 662–679.

60

Bryant Walker Smith, “How Governments Can Promote Automated Driving,” New Mexico Law Review 47 (2017): 99-138.

61

Ibid., 114.

62

Я привожу здесь лишь очевидные примеры. Подробное описание будущей работы, сосредоточенное в основном на приспособлении к новой технологии, см. в: Thomas Frey, “55 Jobs of the Future,” Futurist Speaker, November 11, 2011, http://www.futu-ristspeaker.com/business-trends/55-jobs-of-the-future/.

63

US Department of Transportation, Federal Automated Vehicles Policy: Accelerating the Next Revolution in Roadway Safety (September 2016), 9, https://www.transportation.gov/AV/federal-automated-vehicles-policy-september-2016.

64

Критическую роль будут играть правила, определяющие ответственность. См.: Marc Canellas and Rachel Haga, “Unsafe at Any Level: The U. S. NHTSA’s Levels of Automation Are a Liability for Automated Vehicles,” Communications of the ACM 63, no. 3 (2020): 31–34.

65

Чисто технологические проблемы тоже не так-то просто решить. См.: Roberto Baldwin, “Self-Driving Cars are Taking Longer to Build Than Everyone Thought,” Car and Driver, May 10, 2020, https://www.caranddriver.com/features/a32266303/self-driving-cars-are-taking-longer-to-build-than-everyone-thought/.

66

Al Now Institute, Al Now 201g Report, December 2019, 8, 45–47, https://ainowinstitute.org/AI_Now_2019_Report.pdf.

67

Henry Mance, “Britain Has Had Enough of Experts, says Gove,” Financial Times, June 3, 2016, https://www.ft.com/ content/3be49734-29cb-ne6-83e4-abc22d5dio8c.

68

Gil Eyal, The Crisis of Expertise (Cambridge, UK: Polity Press, 2019), 20.

69

По воспоминаниям генерала Рэймонда Томаса (Главное управление войск специального назначения США), который упомянул, что это было сказано ему в июле 2016 г. Эриком Шмидтом, председателем правления Google. См.: Kate Conger and Cade Metz, “ T Could Solve Most of Your Problems’: Eric Schmidt’s Pentagon Offensive,” Xew York Times, May 2, 2020, https://www.nytimes. com/2020/05/02/technology/eric-schmidt-pentagon-google.html.

70

Will Davies, “Elite Power under Advanced Neoliberalism,” Theory, Culture and Society 34, nos. 5–6 (2017): 233.

71

Я считаю, что эта интеграция демократических и экспертокра-тических ценностей может стать ключом к решению проблемы разделения между «диггерами» и «левеллерами» в исследованиях науки и технологии, которую отчетливо сформулировал Филип Мировски в своей недавней работе: Philip Mirowski, “Democracy, Expertise and the Post-truth Era: An Inquiry into the Contemporary Politics of STS,” (working paper, version 1.1, April 2020), https://www.academia.edu/42682483/Democracy_Expertise_ and_the_Post-Truth_Era_An_Inquiry_into_the_Contemporary_ Politics_of_STS.

72

Hubert L. Dreyfus, What Computers Still Can’t Do (Cambridge, MA: MIT Press, 1992).

73

Gert Р. Westert, Stef Groenewoud, John E.Wennberg, Catherine Gerard, Phil DaSilva, Femke Atsma, and David 0. Goodman, “Medical Practice Variation: Public Reporting a First Necessary Step to Spark Change,” International Journal for Quality in Health Care 30, no. 9 (2018): 731–735, https://doi.org/1o.1093/intqhc/mzyo92.

74

Anna B. Laakmann, “When Should Physicians Be Liable for Innovation?” Cardozo Law Review 36 (2016): 913–968.

75

Andy Kiersz, “These Are the Industries Most Likely to Be Taken Over by Robots,” World Economic Forum, April 25, 2019, https://www. weforum.org/agenda/2019/o4/these-are-the-industries-most-likely-to-be-taken-over-by-robots; Andrew Berg, Edward F. Buffie, and Luis-Felipe Zanna, “Should We Fear the Robot Revolution? (The Correct Answer Is Yes),” IMF Working Paper WP/18/116, May 21, 2018, https://www.imf.org/en/Publications/WP/Issues/2018/o5/21/Should-We-Fear-the-Robot-Revolution-The-Correct-Answer-is-Yes-44923.

76

Петро Домингос, Верховный алгоритм: как машинное обучение изменит наш мир (Москва: Манн, Иванов и Фербер, 2016).

77

Hugo Duncan, “Robots to Steal 15 Million of Your Jobs, Says Bank Chief: Doom-Laden Carney Warns Middle Classes Will Be ‘Hollowed Out’ by New Technology,” Daily Mail, December 5, 2008, http://www. dailymail.co.uk/news/article-4oo3756/Robots-steal-15m-jobs-says-bank-chief-Doom-laden-Carney-warns-middle-classes-hollowed-new-technology.html#ixzz4SDCt2Pql.

78

См., например: Clayton M.M. Christensen, Curtis W. Johnson, and Michael B. Horn, Disrupting Class (New York: McGraw-Hill, 2008); and Clayton M. Christensen, Jerome Grossman, and Jason Hwang, The Innovator’s Prescription: A Disruptive Solution for Health Care (New York: McGraw-Hill, 2009), где исследуются прорывные инновации в области здравоохранения.

79

Kenneth Scheve and David Stasavage, Taxing the Rich: A History of Fiscal Fairness in the United States and Europe (Princeton: Princeton University Press, 2016).

80

Alondra Nelson, “Society after Pandemic,” Items: Insights from the Social Sciences, April 23, 2020, at https://items.ssrc.org/covid-19-and-the-social-sciences/society-after-pandemic/. Джон Ури также утверждает, что «исследования будущего должны стать частью социальных наук, а также в определенной мере – частью повседневной жизни». См.: Джон Урри, Как выглядит будущее? (Москва: Издательский дом «Дело» РАНХиГС, 2018), Urry, What Is the Future? (Malden: Polity, 2016), 17–18.

81

Джозеф Вейценбаум, Возможности вычислительных машин и человеческий разум: от суждений к вычислениям (Москва: Радио и связь, 1982).

82

Aaron Smith and Monica Anderson, Automation in Everyday Life (Washington, DC: Pew Research Center, October 4, 2017), https:// www.pewinternet.org/2017/1o/o4/automation-in-everyday-life/.

83

Представление о телах как «оболочке» разума позаимствовано из работы: Richard К. Morgan, Altered Carbon (New York: Ballantine), 2003. Сама тема быстрого развития технологий медицинской помощи стареющим или отсрочки старости распространена в медицинском футуризме. См.: Aubrey De Grey, Ending Aging: The Rejuvenation Breakthroughs That Could Reverse Human Aging in Our Lifetime (New York: St. Martin’s, 2008).

84

Прекрасный обзор проблем права и планирования, который содержит более реалистичный подход, см. в: Ian Kerr and Jason Millar, “Robots and Artificial Intelligence in Healthcare” in Canadian Health Law & Policy, eds. Joanna Erdman, Vanessa Gruben and Erin Nelson (Ottawa: Lexis Nexis: 2017), 257–280.

85

Недостаточность данных во многих системах здравоохранения была наглядно продемонстрирована во время пандемии Covid в 2020 г., когда даже богатые нации не обладали инструментами тестирования, которые бы позволили понять величину и серьезность проблемы.

86

Sarah L. Cartwright and Mark P. Knudson, “Evaluation of Acute Abdominal Pain in Adults,” American Family Physician 77 (2008): 971-978.

87

Sharifa Ezat Wan Puteh and Yasmin Almualm, “Catastrophic Health Expenditure among Developing Countries,” Health Systems Policy and Research 4, no. 1 (2017), doi:10.21767/2254–9137.100069; Daniel Callahan and Angela A. Wasunna, “The Market in Developing Countries: An Ongoing Experiment,” in Medicine and the Market: Equity v. Choice (Baltimore: The Johns Hopkins University Press, 2006), 117.

88

Veronica Pinchin, “I’m Feeling Yucky: Searching for Symptoms on Google,” Keyword, June 20, 2016, https://googleblog.blogspot.com/2016/06/im-feeling-yucky-searching-for-symptoms.html.

89

Kelly Reller, “Mayo Assists Google in Providing Quick, Accurate Symptom and Condition Information,” Mayo Clinic, June 21, 2016, http://newsnetwork.mayoclinic.org/discussion/mayo-clinic-assists-google-in-providing-quick-accurate-symptom-and-related-condition-information/.

90

Ian Steadman, “IBM’s Watson Is Better at Diagnosing Cancer than Human Doctors,” Wired, February n, 2013, http://www.wired.co.uk/article/ibm-watson-medical-doctor.

91

Ajay Agrawal, Joshua Gans, and Avi Goldfarb, Prediction Machines: The Simple Economics of Artificial Intelligence (Cambridge, MA: Harvard Business Review Press, 2018).

92

Например, система «зрения» беспилотного автомобиля может интерпретировать знак «стоп» как «45 миль в час», если на знак наклеить несколько кусков ленты. См.: Kevin Eykholt, Ivan Evti-mov, Earlence Fernandes, Bo Li, Amir Rahmati, Chaowei Xiao, Atul Prakash, et al., “Robust Physical-World Attacks on Deep Learning Visual Classification,” arXiv:17O7.o8945v5 [cs.CR] (2018).

93

Eric Topol, Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again (New York: Basic Books, 2019).

94

Kim Saverno, “Ability of Pharmacy Clinical Decision-Support Software to Alert Users about Clinically Important Drug-Drug Interactions,” Journal of American Medical Informatics Association 18, no. 1 (2011): 32–37.

95

Lorenzo Moja, “Effectiveness of Computerized Decision Support Systems Linked to Electronic Health Records: A Systematic Review and Meta-Analysis,” American Journal of Public Health 104 (2014): ei2-e22; Mariusz Tybinski, Pavlo Lyovkin, Veronika Sniegirova, and Daniel Kopec, “Medical Errors and Their Prevention,” Health 4 (2012): 165–172.

96

Committee on Patient Safety and Health Information Technology Board on Health Care Services, Health IT and Patient Safety: Building Safer Systems for Better Care (Washington, DC: The National Academies Press, 2012), 39.

97

Lorenzo Moja, Koren Hyogene Kwag, Theodore Lytras, Lorenzo Ber-tizzolo, Linn Brandt, Valentina Pecoraro et al., “Effectiveness of Computerized Decision Support Systems Linked to Electronic Health Records: A Systematic Review and Meta-Analysis,” American Journal of Public Health 104 (2014): ei2-e22. См. также: Elizabeth Murphy, “Clinical Decision Support: Effectiveness in Improving Quality Processes and Clinical Outcomes and Factors that May Influence Success,” Yale Journal of Biology and Medicine 87 (2014): 187–197, где показано уменьшение риска на 41 % в таких ситуациях, как тромбоз глубоких вен и эмболия легочной артерии.

98

В частности, если говорить о субсидиях, в США некоторые субсидированные поставщики должны применять СППКР для проверки взаимодействий лекарств или вероятности аллергии. См., например: Health Information Technology for Clinical and Economic Health Act, 42 U.S.C. § 30033(13) (2009), где утверждается, что «квалифицированные электронные медицинские записи» должны быть наделены способностью «предоставлять помощь в принятии клинических решений»; см. также: 45 C.F.R. § 170.314 (2015); Medicare and Medicaid Programs; Electronic Health Record Incentive Program – Stage 3 and Modifications to Meaningful Use in 2015 through 2017, 80 Fed. Reg. 62761, 62838 (October 16, 2015)-

99

M. Susan Ridgely and Michael D. Greenberg, “Too Many Alerts, Too Much Liability: Sorting through the Malpractice Implications of Drug-Drug Interaction Clinical Decision Support,” St. Louis University Journal of Health Law & Policy 5, no. 2 (2012): 257, 274. Регулирующие ведомства co временем обратят внимание на «врачей с высокой степенью игнорирования предложенных рекомендаций», чтобы выяснить, в чем проблема: в СППКР или в суждении самого врача? См.: Karen С. Nanji, Sarah Р. Slight, Diane L. Seger, In-sook Cho, Julie M. Fiskio, Lisa M. Redden, Lynn A. Volk, and David W. Bates, “Overrides Of Medication-Related Clinical Decision Support Alerts in Outpatients, "Journal of American Medical Informatics Association 21, no. 3 (2014): 487–491.

100

A. Michael Froomkin, Ian Kerr, and Joelle Pineau, “When AIs Outperform Doctors: Confronting the Challenges of a Tort-Induced OverReliance on Machine Learning,” Arizona Law Review 61 (2019): 33-100.

101

В случае распознания лиц есть хорошо описанный сбой систем ИИ, которые плохо распознают лица цветных людей. См.: Joy Buolamwini, “Actionable Auditing: Coordinated Bias Disclosure Study,” MIT Civic Media Project, https://www.media.mit.edu/pro-jects/actionable-auditing-coordinated-bias-disclosure-study/over-view/. Эти сбои служат параллелью к расовым неравенствам в американском здравоохранении. См.: Dayna Bowen Matthew, Just Medicine: A Cure for Racial Inequality in American Health Care (New York: New York University Press, 2015).

102

Ziad Obermeyer, Brian Powers, Christine Vogeli, and Sendhil Mul-lainathan, “Dissecting Racial Bias in an Algorithm Used to Manage the Health of Populations,” Science 366 no. 6464 (2019): 447–453; Ruha Benjamin, “Assessing Risk, Automating Racism,” Science 366, no. 6464 (2019): 421–422. Существует много способов сократить подобные формы неравенства. См.: Frank Pasquale and Danielle Keats Citron, “Promoting Innovation while Preventing Discrimination: Policy Goals for the Scored Society,” Washington Law Review 89 (2014): 1413–1424.

103

Adewole S. Adamson and Avery Smith, “Machine Learning and Health Care Disparities in Dermatology,” JAMA Dermatology 154, no. 11 (2018): 1247. Подобная нехватка вариантов вредит также и генетическим исследованиям. См.: Alice В. Popejoy, Deborah I. Ritter, Kristy Crooks, Erin Currey, Stephanie M. Fullerton, Lucia A. Hin-dorff, Barbara Koenig, et al., “The Clinical Imperative for Inclusivity: Race, Ethnicity, and Ancestry (REA) in Genomics,” Human Mutation 39, no. 11 (2018): 1713–1720.

104

Tom Baker, The Medical Malpractice Myth (Chicago: University of Chicago Press, 2005); Alex Stein, “Toward a Theory of Medical Malpractice,” Iowa Law Review 97 (2012): 1201–1258.

105

Мередит Бруссард, Искусственный интеллект: пределы возможного (Москва: Альпина нон-фикшн, 2020), 53.

106

LeighAnne Olsen, J. Michael McGuinnis, and Dara Alsner, eds., Learning Healthcare System: Workshop Summary (Washington, DC: Institute of Medicine, 2007).

107

См., например: Eric Topol, Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again (New York: Basic Books, 2019), где выражается озабоченность «недобросовестным отбором результатов и недостаточной воспроизводимостью»; Matthew Zook, Solon Barocas, danah boyd, Kate Crawford, Emily Keller, Seeta Pena Gangadharan, Alyssa Goodman et al., “10 Simple Rules for Responsible Big Data Research,” PLoS Computational Biology 13, no. 3 (2017): Ш005399, где формулируются подобные ограничения; Danah Boyd and Kate Crawford, “Critical Questions for Big Data,” Journal of Information, Communication and Society 15 (2012): 662–679.

108

Кэролайн Криадо Перес, Невидимые женщины: почему мы живем в мире, удобном только для мужчин. Неравноправие, основанное на данных (Москва: Альпина нон-фикшн, 2020).

109

Там же, 314.

110

Jack Balkin, “The Three Laws of Robotics in the Age of Big Data,” Ohio State Law Journal 78 (2017): 1, 40.

111

Nathan Cortez, “The Mobile Health Revolution?” University of California at Davis Law Review 47 (2013): 1173–1230.

112

Wendy Wagner, “When All Else Fails: Regulating Risky Products through Tort Regulation,” Georgetown Law Journal 95 (2007): 693, 694.

113

Ibid.

114

John Villasenor, Products Liability and Driverless Cars: Issues and Guiding Principles for Legislation (Brookings Institution, 2014), https://www. brookings.edu/wp-content/uploads/2016/o6/Products_Liability_ and_Driverless_Cars.pdf.

115

Martha Т. McCluskey, “Defining the Economic Pie, Not Dividing or Maximizing It,” Critical Analysis of Law 5, no. 1 (2018): 77–98; Mariana Mazzucato, “The Value of Everything: Making and Taking in the Global Economy (New York: Hachette, 2018).

116

См., например: Tunkl v. Regents of the University of California, 383 P. 2d 441 (Cal. 1963), а также последующие судебные процессы в том же ряду.

117

Margaret Jane Radin, Boilerplate: The Fine Print, Vanishing Rights, and the Rule of Law (Princeton: Princeton University Press, 2012).

118

О переносе расходов на страховщиков писали многие комментаторы. См., например: Jacob Turner, Robot Rules: Regulating Artificial Intelligence (Cham, Switzerland: Palgrave MacMillan, 2019), 115.

119

National Academy of Sciences, Best Care at Lower Cost: The Path to Continuously Learning Health Care in America (Washington, DC: National Academies Press, 2013).

120

Frank Pasquale, “Health Information Law,” in The Oxford Handbook ofU. S. Health Law, eds. I. Glenn Cohen, Allison Hoffman, and William M. Sage (New York: Oxford University Press, 2016), 193–212; Sharona Hoffman, Electronic Health Records and Medical Big Data: Law and Policy (New York: Cambridge University Press, 2016).

121

Steven E. Dilsizian and Eliot L. Siegel, “Artificial Intelligence in Medicine and Cardiac Imaging: Harnessing Big Data and Advanced Computing to Provide Personalized Medical Diagnosis and Treatment,” Current Cardiology Reports 16 (2014): 441, 445.

122

Melissa F. Hale, Mark E Mcalindon, and Reena Sidhu, “Capsule Endoscopy: Current Practice and Future Directions,” World Journal of Gastroenterology 20 (2014): 7752.

123

James Н. Thrall, “Data Mining, Knowledge Creation, and Work Process Enhancement in the Second Generation of Radiology’s Digital Age,” Journal of the American College of Radiology 10 (2013): 161–162.

124

Simon Head, Mindless: Why Smarter Machines Are Making Dumber Humans (New York: Basic Books, 2014).

125

Nina Bernstein, “Job Prospects Are Dimming for Radiology Trainees,” Kew York Times, March 27, 2013, http://www.nytimes.com/2013/03/28/ health/trainees-in-radiology-and-other-specialties-see-dream-jobs-disappearing.html?pagewanted=all&_r=i&; European Society of Radiology, “The Consequences of the Economic Crisis in Radiology,” Insights into Imaging 6, no. 6 (2015): 573–577.

126

Giles W. L. Boland, “Teleradiology Coming of Age: Winners and Losers,” American Journal of Roentgenology 190 (2008): 1161.

127

Стратеги в этой области фокусировались на сокращении расходов, а не на инвестициях в развитие. Профессиональный взгляд на меняющуюся экономику рентгенографии см. в: Frank Levy and Max P. Rosen, “How Radiologists Are Paid: An Economic History, Part IV: End of the Bubble,” Journal of the American College of Radiology (2020), https://d0i.0rg/10.1016/j.jacr.2020.02.016.

128

Sharona Hoffman, “The Drugs Stop Here,” Food and Drug Law Journal 67, no. 1 (2012): 1.

129

Gerd Gigerenzer, Wolfgang Gaissmaier, Elke Kurz-Milcke, Lisa M. Schwartz, and Steven Woloshin, “Helping Doctors and Patients Make Sense of Health Statistics,” Psychological Science in the Public Interest 8 (2008): 53. В этой статье критикуется недостаточная образованность врачей в области статистики и особенно незнание такого важного в медицине показателя, как «число пролеченных больных на одного излеченного».

130

Geoff White, “Child Advice Chatbots Fail to Spot Sexual Abuse,” BBCKews, December 11, 2018, https://www.bbc.com/news/technology-46507900.

131

Dinesh Bhugra, Allan Tasman, Sounitra Pathare, Stefan Prebe, Shu-balade Smith, John Torous, Melissa Arbuckle et al., “The WPA Lancet Psychiatry Commission on the future of Psychiatry,” The Lancet Psychiatry 4, no. 10 (2017): 775–818.

132

Обзор проблем, связанных с конфиденциальностью, см. в: Piers Gooding, “Mapping the Rise of Digital Mental Health Technologies: Emerging Issues for Law and Society,” International Journal of Law and Psychiatry (2019): 1-11. Ключевой проблемой в США является то, что «в отличие от лицензированных специалистов, предоставляющих услуги в области традиционной психиатрии и психологии, чат-боты не несут никаких обязательств хранить конфиденциальность». См.: Scott Stiefel, “The Chatbot Will See You Now: Protecting Mental Health Confidentiality in Software Applications,” Columbia Science and Technology Law Review 20 (2019): 333–387.

133

Например, австралийские исследователи пришли к выводу, что «коммерческие агенты, включая крупных продавцов приложений и коммерческие третьи стороны, редко участвовали в официальных инициативах, несмотря на то что они оказывают значительное влияние на опыт пользователей и их результаты». См.: Lisa Parker, Lisa Вего, Donna Gillies, Melissa Raven, and Quinn Grundy, “The ‘Hot Potato’ of Mental Health App Regulation: A Critical Case Study of the Australian Policy Arena,” International Journal of Health Policy and Management 8 (2019): 168–176.

134

Simon Leigh and Steve Flatt, “App-Based Psychological Interventions: Friend or Foe?” Evidence Based Mental Health 18 (2015): 97–99.

135

Jack M. Balkin, “Information Fiduciaries and the First Amendment,” UC Davis Law Review 49 (2016): 1183–1234.

136

Maurice E. Stucke and Ariel Ezrachi, “Alexa et al., What Are You Doing with My Data?” Critical Analysis of Law 5 (2018): 148–169; Theodore Lee, “Recommendations for Regulating Software-Based Medical Treatments: Learning from Therapies for Psychiatric Conditions,” Food and Drug Law Journal 73 (2018): 66-102. Качественный общий анализ проблем доверия и конфиденциальности см. в: Ari Ezra Waldman, Privacy as Trust (Cambridge, UK: Cambridge University Press, 2018).

137

Daniel Carpenter, Reputation and Power: Organizational Image and Pharmaceutical Regulation at the FDA (Princeton: Princeton University Press, 2010).

138

Jennifer Akre Hill, “Creating Balance: Problems with DSHEA and Suggestions for Reform,” Journal of Food Law & Policy 2 (2006): 361–396; Peter J. Cohen, “Science, Politics, and the Regulation of Dietary Supplements: It’s Time to Repeal DSHEA,” American Journal of Law & Medicine 31 (2005): 175–214.

139

Джозеф Вейценбаум, Возможности вычислительных машин и человеческий разум: от суждений к вычислениям (Москва: Радио и связь, 1982), 27–28.

140

Enrico Gnaulati, Saving Talk Therapy: How Health Insurers, Big Pharma, and Slanted Science Are Ruining Good Mental Health Care (Boston: Beacon Press, 2018).

141

Elizabeth Cotton, “Working in the Therapy Factory,” Healthcare: Counselling and Psychotherapy Journal 20, no. 1 (2020): 16–18; Catherine Jackson and Rosemary Rizq, eds., The Industrialisation of Care: Counselling, Psychotherapy and the Impact of IAPT (Monmouth, UK: PCCS Books, 2019).

142

Peter Kramer, Against Depression (New York: Viking, 2005).

143

См., например: Йоханн Хари, Пункт назначения: счастье. Как путешествие длиною 40 ооо миль раскрыло реальные причины депрессии (Москва: Эксмо, 2019).

144

Frank A. Pasquale, “Privacy, Autonomy, and Internet Platforms,” in Privacy in the Modern Age: The Search for Solutions, ed. Marc Rotenberg, Julia Horwitz, and Jeramie Scott (New York: New Press, 2015), 165-173-

145

Также имеют значение режимы трудового права. Французские схемы защиты интересов рабочих закладывают более надежное основание для инициатив, связанных с охраной здоровья на рабочем месте, если сравнивать с правом в США. См.: Julie С. Suk, “Preventive Health at Work: A Comparative Approach,” American Journal of Comparative Law 59, no. 4 (2011): 1089–1134.

146

Natasha Dow Schilli, Addiction by Design: Machine Gambling in Law Vegas (Princeton: Princeton University Press, 2014).

147

Gordon Hull and Frank Pasquale, “Toward a Critical Theory of Corporate Wellness,” Biosocieties 13 (2017): 190–212; Уильям Дэвис, Индустрия счастья. Как Big Data и новые технологии помогают добавить эмоцию в товары и услуги (Москва: Эксмо, 2017).

148

Martha Nussbaum, Upheavals of Thought: The Intelligence of Emotions (New York: Cambridge University Press, 2001), 22.

149

Дэвис, Индустрия счастья.

150

Dayna Matthew, Just Medicine: A Cure for Racial Inequality in American Health Care (New York: New York University Press, 2015).

151

Frank Pasquale, “Professional Judgment in an Era of Artificial Intelligence,” boundary2 46 (2019): 73-101.

152

Brett Frischmann and Evan Selinger, Re-engineering Humanity (New York: Cambridge University Press, 2018).

153

Larissa MacFarquhar, “A Tender Hand in the Presence of Death,” Kew Yorker, July 11, 2016, http://www.newy0rker.com/magazine/2016/07/11/ the-work-of-a-hospice-nurse.

154

Nellie Bowles, “Human Contact Is Now a Luxury Good,” New York Times, March 23, 2019, https://www.nytimes.com/2019/03/23/sunday-review/human-contact-luxury-screens.html.

155

Gerijoy, “Care.Coach Intro Video,” YouTube, February 2, 2019, https:// www.youtube.com/watch?v=GSTHIG4vx_o, at 0:50.

156

Kathy Donaghie, “My Robot Companion Has Changed My Life,” Independent IE, April 15, 2019, https://www.independent.ie/life/health-wellbeing/health-features/my-robot-companion-has-changed-my-life-38009121.html.

157

Byron Reeves and Clifford Nass, The Media Equation: How People Treat Computers, Television, and New Media Like Real People and Places (New York: Cambridge University Press, 1996), 252.

158

Kate Darling, “ ‘Who’s Johnny?’ Anthropomorphic Framing in Human-Robot Interaction, Integration, and Policy,” in Robot Ethics 2.0: From Autonomous Cars to Artificial Intelligence, eds. Patrick Lin, Ryan Jenkins, and Keith Abney (New York: Oxford University Press, 2017), 173–192.

159

Особенно это относится к записи и предоставлению информации о поведении пожилых. См.: Ari Ezra Waldman, Privacy as Trust (New York: Cambridge University Press, 2018).

160

“Green Nursing Homes,” PBS, Religion and Ethics Newsweekly, July 20, 1997, http://www.pbs.0rg/wnet/religi0nandethics/2007/07/20/ july-20-20O7-green-house-nursing-homes/3i24/.

161

Sherry Turkle, “A Nascent Robotics Culture: New Complicities for Companionship,” AAAI Technical Report Series, July 2006, 1, http:// web.mit.edu/~sturkle/www/nascentroboticsculture.pdf.

162

Aviva Rutkin, “Why Granny’s Only Robot Will Be a Sex Robot,” New Scientist, July 8, 2016, https://www.newscientist.com/article/ 2096530-why-grannys-only-robot-will-be-a-sex-robot/.

163

Ai-Jen Poo, The Age of Dignity: Preparingfor the Elder Boom in a Changing America (New York: The New Press, 2015), 92–99.

164

См., например: Berry Ritholtz, “HavingTrouble Hiring?Try Paying More,” B100mberg Opinion, September 8, 2016, https://www.b100mberg.com/ view/articles/2 016-09-0 8/having-trouble-hiring-try-paying-more; Thijs van Rens, “Paying Skilled Workers More Would Create More Skilled Workers,” Harvard Business Review, May 19, 2016, https://hbr.org/2016/o5/paying-skilled-workers-more-would-create-more-skilled-workers.

165

См., например: Swiss Business Hub Japan, Healthcare Tech in Japan: A Booming Market, 2018, https://swissbiz.jp/wp-content/uploads/ 2018/oi/sge_healthcaretech_japan_infographic.pdf.

166

Joi Ito, “Why Westerners Fear Robots and the Japanese Do Not,” Wired, July 30, 2018, https://www.wired.com/story/ideas-joi-ito-robot-overlords.

167

“Japan Is Both Obsessed with and Resistant to Robots,” Economist, November, 2018, https://www.economist.com/asia/2018/11/o8/japan-is-both-obsessed-with-and-resistant-to-robots.

168

Selina Cheng, “ ‘An Insult to Life Itself’: Hayao Miyazaki Critiques an Animation Made by Artificial Intelligence,” Quartz, December 10, 2016, https://qz.com/859454/the-director-of-spirited-away-says-animation-made-by-artificial-intelligence-is-an-insult-to-life-itself/.

169

Madhavi Sunder, “Cultural Dissent,” Stanford Law Review 54 (2001): 495“568-

170

Amartya Sen, “Human Rights and Asian Values,” Sixteenth Annual Morgenthau Memorial Lecture on Ethics and Foreign Policy, May 25,1997, Carnegie Council for Ethics in International Rights, https://www. carnegiecouncil.org/publications/archive/morgenthau/254. https:// papers, ssrn.com/s0l3/papers.cfm?abstract_id=3O4619/.

171

Danit Gal, “Perspectives and Approaches in Al Ethics: East Asia,” in The Oxford Handbook of Ethics of Artificial Intelligence, eds. Markus Dub-ber, Frank Pasquale, and Sunit Das (Oxford: Oxford University Press, 2020), chapter 32.

172

Martha Fineman, “The Vulnerable Subject and the Responsive State,” Emory Law Journal 60 (2010): 251–276.

173

Huei-Chuan Sung, Shu-Min Chang, Mau-Yu Chin, and Wen-Li Lee, “Robot-Assisted Therapy for Improving Social Interactions and Activity Participation among Institutionalized Older Adults: A Pilot Study,” Asia Pacific Psychiatry 7 (2015): 1–6, https://onlinelibrary.wiley. com/doi/ep d f/10.1111/appy. 12131.

174

Nina j0ranson, Ingeborg Pedersen, Anne Marie Rokstad, Geir Aamodt, Christine Olsen, and Camilla Ihlebaek, “Group Activity with Paro in Nursing Homes: Systematic Investigation of Behaviors in Participants,” International Psychogeriatrics 28 (2016): 1345–1354, https:// d0i.0rg/10.1017/S1041610216000120.

175

Aimee van Wynsberghe, “Designing Robots for Care: Care Centered Value-Sensitive Design,” Science and Engineering Ethics 19, (2013): 4О7-433

176

Ik ben Alice [Alice Cares], directed and written by Sander Burger (Amsterdam: KeyDocs, 2015), DCP, 80 min.

177

European Commission, “Special Eurobarometer 382: Public Attitudes Towards Robots,” September 2012, http://ec.europa.eu/ public_opinion/archives/ebs/ebs_382_en.pdf.

178

Eliot L. Freidson, Professionalism: The Third Logic (Chicago: University of Chicago Press, 2001).

179

Определение «общего благополучия» см. в: U. S. Food and Drug Administration, General Wellness: Policy for Low Risk Devices (2019), at https://www.fda.gov/media/90652/download.

180

Jennifer Nicholas et al., “Mobile Apps for Bipolar Disorder: A Systematic Review of Features and Content Quality,” Journal of Medical Internet Research 17, no. 8 (2015): Ш98.

181

Vinayak К. Prasad and Adam S. Gifu, Ending Medical Reversal: Improving Outcomes, Saving Lives (Baltimore: Johns Hopkins University Press, 2015).

182

Xue Yujie, “Camera above the Classroom: Chinese Schools Are Using Facial Recognition on Students. But Should They?” Sixth Tone, March 26, 2019, http://www.sixthtone.com/news/1oo3759/camera-above-the-classroom.

183

Xue Yujie, “Camera above the Classroom.” См. также: Louise Moon, “Pay Attention at the Back: Chinese School Installs Facial Recognition Cameras to Keep An Eye on Pupils,” South China Morning Post, May 16, 2018, https://www.scmp.com/news/china/society/article/2146387/ pay-attention-back-chinese-school-installs-facial-recognition.

184

“Notice of the State Council Issuing the New Generation of Artificial Intelligence Development Plan,” State Council Document [2017] No. 35, trans. Flora Sapio, Weiming Chen, and Adrian Lo, Foundation for Law and International Affairs, https://flia.org/wp-con-tent/uploads/2017/07/A-New-Generation-of-Artificial-Intelligence-Development-Plan-i.pdf.

185

Melissa Korn, “Imagine Discovering That Your Teaching Assistant Really Is a Robot,” Wall Street Journal, May 6, 2016, http://www.wsj. com/articles/if-your-teacher-sounds-like-a-robot-you-might-be-on-to-something-1462546621.

186

IBM примерно так же определяла функцию системы Watson для юристов и врачей – преимущественно в качестве инструмента уже работающих специалистов, а не машины, которая их заменяет.

187

Tamara Lewin, “After Setbacks, Online Courses Are Rethought,” Kew York Times, December 10, 2016, https://www.nytimes.com/2013/12/11/ us/after-setbacks-online-courses-are-rethought.html.

188

Neil Selwyn, Distrusting Education Technology: Critical Questions for Changing Times (New York: Routledge 2014), 125.

189

David F. Labaree, “Public Goods, Private Goods: The American Struggle over Educational Goals,” American Educational Research Journal 34, no. i (Spring 1997): 39, 46; Danielle Allen, “What is Education For?” Boston Review, May 9, 2016, http://bostonreview.net/forum/ danielle-allen-what-education.

190

US Department of Education, “Education Department Releases College Scorecard to Help Students Choose Best College for Them,” press release, February 13, 2013, https://www.ed.gov/news/press-releases/ education-department-releases-college-scorecard-help-students-choose-best-college-them.

191

Claudia D. Goldin and Lawrence F. Katz, The Race Between Education and Technology (Cambridge, MA: Harvard University Press, 2009).

192

Charles Taylor, Human Agency and Language: Philosophical Papers, vol. i (Cambridge, UK: Cambridge University Press, 1985).

193

Jane Mansbridge, “Everyday Talk in the Deliberative System,” in Deliberative Politics: Essays on Democracy and Disagreement, ed. by Stephen Macedo (New York: Oxford University Press, 1999), 1-211.

194

Matthew Arnold, Culture and Anarchy (New York: Oxford University Press 2006).

195

Nikhil Goyal, Schools on Trial: How Freedom and Creativity Can Fix Our Educational Malpractice (New York: Doubleday, 2016).

196

Audrey Watters, “The Monsters of Education Technology,” Hack Education (blog), December 1, 2014, http://hackeducation.com/ 2014/12/01/the-monsters-of-education-technology.

197

Stephen Petrina, “Sidney Pressey and the Automation of Education 1924–1934,” Technology and Culture 45 (2004): 305–330.

198

Sidney Pressey, “A Simple Apparatus Which Gives Tests and Scores – And Teaches,” School and Society 23 (1926): 373–376.

199

B. F. Skinner, The Technology of Teaching, e-book ed. (1968; repr., Cambridge, MA: B. F. Skinner Foundation, 2003), PDF.

200

Audrey Watters, “Teaching Machines,” Hack Education (blog), April 26, 2018, http://hackeducati0n.com/2018/04/26/cuny-gc.

201

Natasha Dow Schiill, Addiction by Design (Princeton: Princeton University Press, 2012).

202

Rowan Tulloch and Holly Eva Katherine Randell-Moon, “The Politics of Gamification: Education, Neoliberalism and the Knowledge Economy,” Review of Education, Pedagogy, and Cultural Studies 40, no. 3 (2018): 204–226.

203

Tristan Harris, “How Technology Is Hijacking Your Mind – From a Magician and Google Design Ethicist,” Medium, May 18, 2016, htt-ps://medium.com/swlh/how-technology-hijacks-peoples-minds-from-a-magician-and-google-s-design-ethicist-56d62ef5edf3#. ryse2C3rl.

204

Kate Darling, “Extending Legal Protection to Social Robots: The Effects of Anthropomorphism, Empathy and Violent Behavior towards Robotic Objects,” in Robot Law, ed. Ryan Calo, A. Michael Froomkin, and Ian Kerr (Northampton, MA: Edward Elgar, 2016), 213–233.

205

Hashimoto Takuya, Naoki Kato, and Hiroshi Kobayashi, “Development of Educational System with the Android Robot SAYA and Evaluation,” International Journal of Advanced Robotic Systems 8, no. 3 (2011): 51–61.

206

Ibid., 52.

207

Ibid., 60.

208

Hashimoto Takuya, Hiroshi Kobayashi, Alex Polishuk, and Igor Verner, “Elementary Science Lesson Delivered by Robot,” Proceedings of the 8th ACM /IEEE International Conference on Human-Robot Interaction (March 2013): 133–134; Patricia Alves-Oliveira, Tiago Ribeiro, Sofia Petisca, Eugenio di Tullio, Francisco S. Melo, and Ana Paiva, “An Empathic Robotic Tutor for School Classrooms: Considering Expectation and Satisfaction of Children as End-Users,” in Social Robotics: International Conference on Social Robotics, eds. Adriana Tapus, Elisabeth Andre, Jean-Claude Martin, Francois Ferland, and Mehdi Ammi (Cham, Switzerland: Springer, 2015), 21–30.

209

Neil Selwyn, Should Robots Replace Teachers? (Medford, MA: Polity Press, 2019).

210

Bureau of Labor Statistics, “Employment Characteristics of Families Summary,” news release, April 18, 2019, https://www.bls.gov/news. release/famee.nro.htm. У 63 % детей младше 18 лет в 2018 г. оба родителя работали.

211

Noel Sharkey and Amanda Sharkey, “The Crying Shame of Robot Nannies: An Ethical Appraisal,” Interaction Studies 11 (2010): 161–163.

212

Amanda J. C. Sharkey, “Should We Welcome Robot Teachers?” Ethics and Information Technology 18 (2016): 283–297. Обсуждение возможных иллюзий людей, взаимодействующих с ботами, см. в: Ian Kerr, “Bots, Babes and the Californication of Commerce” Ottawa Law and Technology Journal 1 (2004): 285–325, где обсуждается аватара ElleGirlBuddy.

213

Это воспитание чувств, позволяющее согласиться с тем, что ИИ обладает определенной личностью, является, с моей точки зрения, ключом к пониманию классического «теста» Тьюринга, который является не философским стандартом успешности ИИ, а риторическом устройством, позволяющим приучить читателей к мысли о том, что статус личности может присваиваться после выполнения определенных задач.

214

Это важно, поскольку, как утверждала юрист и философ Мирей Хильдебрандт, «агентность, управляемая данными», обычная для алгоритмических систем, строится на «информации и поведении, а не на смысле и действии». См.: Mireille Hildebrandt, “Law as Information in the Era of Data-Driven Agency,” Modern Law Review 7$ (2016): 1, 2.

215

В главе 8 подробно обсуждается это различие.

216

Darling, “Extending Legal Protection to Social Robots.”

217

Benjamin Herold, “Pearson Tested ‘Social-Psychological’ Messages in Learning Software, with Mixed Results,” Education Week: Digital Education (blog), April 17, 2018, http://blogs.edweek.org/edweek/Digi-talEducation/2018/o4/pearson_growth_mindset_software.html.

218

См., например: James Grimmelmann, “The Law and Ethics of Experiments on Social Media Users,” Colorado Technology Law Journal 13 (2015): 219–227, где обсуждаются письма Гриммельмана и Лесли Мельтцер Генри об эмциональных экспериментах Facebook. См.: Chris Gilliard, “How Ed Tech Is Exploiting Students,” Chronicle of Higher Education, April 8, 2018, https://www.chronicle.com/article/ How-Ed-Tech-Is-Exploiting/243020.

219

Sarah Schwarz, “YouTube Accused of Targeting Children with Ads, Violating Federal Privacy Law,” Education Week: Digital Education (blog), April 13, 2018, http://blogs.edweek.org/edweek/DigitalEduca-tion/2018/o4/youtube_targeted_ads_coppa_complaint.html; John Montgallo, “Android App Tracking Improperly Follows Children, Study,” QR Code Press, April 18, 2018, http://www.qrcodepress.com/ android-app-tracking-improperly-follows-children-study/8534453/.

220

James Bridle, “Something Is Wrong on the Internet,” Medium, November 6, 2017, https://medium.com/(ajamesbridle/something-is-wrong-on-the-internet-c39C47i27id2.

221

Nick Statt, “YouTube Will Reportedly Release a Kids’ App Curated by Humans,” Verge, April 6, 2018, https://www.theverge. com/2 018/4/6/172 0853 2/youtube-kids-non-algorithmic-version-whitelisted- conspiracy-theories.

222

Natasha Singer, “How Companies Scour Our Digital Lives for Clues to Our Health,” New York Times, February 25, 2018, https://www.ny-times.com/2018/o2/25/technology/smartphones-mental-health. html.

223

Sam Levin, “Facebook Told Advertisers It Can Identify Teens Feeling ‘Insecure’ and ‘Worthless,’ ” Guardian, May 1, 2017, https:// www.theguardian.com/technology/2017/may/o1/facebook-advertising-data-insecure-teens.

224

Julie Е. Cohen, “The Regulatory State in the Information Age,” Theoretical Inquiries in Law 17, no. 2 (2016): 369–414.

225

Ирвинг Гофман, Представление себя другим в повседневной жизни (Москва: «КАНОН-пресс-Ц», «Кучково поле», 2000).

226

Пример австралийского судебного разбирательства, на котором суд отказался принять показания, основанные на записи, сделанной игрушкой ребенка, см.: Gorman & Huffman [2015] Fam-CAFC 127.

227

Complaint and Request for Investigation, Injunction, and Other Relief at 2, In re: Genesis Toys and Nuance Communications, submitted by the Electronic Privacy Information Center, the Campaign for a Commercial Free Childhood, the Center for Digital Democracy, and Consumers Union (December 6, 2016), https://epic.org/privacy/kids/ EPIC–IPR-FTC-Genesis-Complaint.pdf. Некоторые европейские власти нашли способ эффектно и креативно вмешаться в проблему. Норвежский совет потребителей представил способность игрушек к мониторингу в созданном им видеофильме. Немецкое федеральное агентство посоветовало родителям уничтожить такие игрушки, поскольку они нарушают закон, запрещающий скрытые шпионящие устройства.

228

Ibid., 10.

229

“Millions of Voiceprints Quietly Being Harvested as Latest Identification Tool,” Guardian, October 13, 2014, https://www.theguardian. com/technology/20i4/oct/i3/millions-of-voiceprints-quietly-being-harvested-as-latest-identification-tool.

230

Nicola Davis, “ ‘High Social Cost’ Adults Can Be Predicted from as Young as Three, Says Study,” Guardian, December 12, 2016, https:// www.theguardian.com/science/2016/dec/12/high-social-cost-adults-can-be-identified-from-as-young-as-three-says-study; Avshalom Cas-pi, Renate M. Houts, Daniel W. Belsky, Honalee Harrington, Sean Hogan, Sandhya Ramrakha, Richie Poulton, and Terrie E. Moffitt, “Childhood Forecasting of a Small Segment of the Population with Large Economic Burden,” Nature Human Behaviour 1, no. 1 (2017): article no. UNSP 0005.

231

Mary Shacklett, “How Artificial Intelligence Is Taking Call Centers to the Next Level,” Tech Pro Research, June 12, 2017, http:// www.techproresearch.com/article/how-artificial-intelligence-is-taking-call-centers-to-the-next-level/.

232

Обзор проблем, вызванных технообразованием, см. в: Audrey Watters, “The 100 Worst Ed-Tech Debacles of the Decade,” Hacked Education (blog), http://hackeducation.com/2019/12/31/what-a-shitshow.

233

Scott R. Peppet, “Unraveling Privacy: The Personal Prospectus and the Threat of a Full-Disclosure Future,” northwestern University Law Review 105 (2011): 1153, 1201.

234

Lisa Feldman Barrett, Ralph Adolphs, Stacy Marsella, Aleix M. Martinez, and Seth D. Pollak, “Emotional Expressions Reconsidered: Challenges to Inferring Emotion from Human Facial Movements,” Psychological Science in the Public Interest 20, no. 1 (2019), https://journals.sagepub.com/stoken/default4-domain/io. 1177 % 2F1529ioo61983293O-FREE/pdf.

235

Kate Crawford, Roel Dobbe, Theodora Dryer, Genevieve Fried, Ben Green, Elizabeth Kaziunas, Amba Kak, et al., Al Now 201g Report (New York: Al Now Institute, 2019), https://ainowinstitute.org/AI_ Now_2019_Report.html.

236

Ben Williamson, Sian Bayne, and Suellen Shayet, “The datafication of teaching in Higher Education: critical issues and perspectives,” Teaching in Higher Education 25, no. 4 (2020): 351–365.

237

Ханна Арендт, Между прошлым и будущим (Москва: Издательство Института Гайдара, 2014), 276: «Ответственность за становление ребенка – это в известном смысле ответственность против мира: ребенок нуждается в особом присмотре и уходе, чтобы

238

Seymour Papert, Mindstorms: Children, Computers and Powerful Ideas, 2nd ed. (New York: Basic Books, 1993), 5.

239

Кэти О’Нил, Убийственные большие данные: как математика превратилась в оружие массового поражения (Москва: ACT, 2018), 22.

240

Jacqueline M. Kory, Sooyeon Jeong, and Cynthia Breazeal, “Robotic Learning Companions for Early Language Development,” Proceedings of the 15th ACM on International Conference on Multimodal Interaction (2013), 71–72, https://dam-prod.media.mit.edu/x/files/wp-con-tent/uploads/sites/14/2015/oi/Ko ryJeongBrezeal-ICMI-13.pdf.

241

Jacqueline M. Kory and Cynthia Breazeal, “Storytelling with Robots: Learning Companion for Preschool Children’s Language Development,” Robot and Human Interactive Communication RO-MAN, The 23rd IEEE International Symposium on IEEE (2014), http://www.jakory.com/ static/papers/kory-storybot-roman-vi-revisionA.pdf.

242

Deanna Hood, Severin Lemaignan, and Pierre Dillenbourg, “When Children Teach a Robot to Write: An Autonomous Teachable Humanoid Which Uses Simulated Handwriting,” Proceedings of the Tenth Annual ACM / IEEE International Conference on Human-Robot Interaction АСМ (2015), 83–90, https://infoscience.epfl.ch/record/20489o/files/ h00d2015when.pdf.

243

Fisher Price, “Think & Learn Code-a-pillar,” https://www.fisher-price.com/en-us/product/think-learn-code-a-pillar-twist-gfp25; KinderLab Robotics, “Kibo,” http://kinderlabrobotics.com/kibo/; Nathan Olivares-Giles, “Toys That Teach the Basics of Coding,” Wall Street Journal, August 20, 2015, https://www.wsj.com/articles/ toys-that-teach-the-basics-of-coding-1440093255.

244

Darling, “Extending Legal Protection to Social Robots.”

245

A. Michael Froomkin and P. Zak Colangelo, “Self-Defense against Robots and Drones,” Connecticut Law Review 48 (2015): 1-70.

246

Evgeny Morozov, То Save Everything, Click Here: The Folly of Technological Solutionism (New York: Public Affairs, 2013).

247

Sherry Turkle, “A Nascent Robotics Culture: New Complicities for Companionship,” in Annual Editions: Computers in Society 10/11, ed. Paul De Palma, 16th ed. (New York: McGraw-Hill, 2010), chapter 37.

248

Margot Kaminski, “Robots in the Home: What Will We Have Agreed to?” Idaho Law Review 51 (2015): 661–678; Woodrow Hartzog, “Unfair and Deceptive Robots,” Maryland Law Review 74 (2015): 785–832; Joanna J. Bryson, “The Meaning of the EPSRC Principles of Robotics,” Connection Science 29, no. 2 (2017): 130–136.

249

Neda Atanasoski and Kalindi Vora, Surrogate Humanity: Race, Robots, and the Politics of Technological Futures (Chapel Hill: Duke University Press, 2019).

250

Kentaro Toyama, Geek Heresy: Rescuing Social Change from the Cult of Technology (New York: Public Affairs, 2015).

251

Пол Принслу предложил подробный и глубокий анализ глобальных влияний разницы в силе на датафикацию образования. См.: Paul Prins100, “Data Frontiers and Frontiers of Power in (Higher) Education: A View of/from the Global South,” Teachingin Higher Education: Critical Perspectives 25, no. 4 (2019): 366–383.

252

Andrew Brooks, “The Hidden Trade in Our Second-Hand Clothes Given to Charity,” Guardian, February 13, 2015, https://www.theguard-ian.com/sustainable-business/sustainable-fashion-blog/2015/feb/13/ second-hand-clothes-charity-donations-africa.

253

Shoshana Zuboff, “The Secrets of Surveillance Capitalism,” Frankfurter Allegemeine Zeitung, March 5, 2016, http://www.faz.net/aktuell/ feuilleton/debatten/the-digital-debate/shoshana-zuboff-secrets-of-surveillance-capitalism-14103616-p2.html.

254

Steven Rosenfeld, “Online Public Schools Are a Disaster, Admits Billionaire, Charter School-Promoter Walton Family Foundation,” AlterNet, February 6, 2016, http://www.alternet.org/educa-tion/online-public-schools-are-disaster-admits-billionaire-charter-school-promoter-walton; Credo Center for Research on Education Outcomes, Online Charter School Study 2015 (Stanford, CA: Center for Research on Education Outcomes, 2015), https://credo.stanford.edu/ pdfs/OnlineCharterStudyFinal2015.pdf.

255

Audrey Watters, “Top Ed-Tech Trends of 2016: The Business of Education Technology,” Hack Education (blog), December 5, 2016, http://2016trends.hackeducation.com/business.html; “Eschools Say They Will Appeal Audits Determining Inflated Attendance,” Columbus Dispatch, October 4, 2016, http://www.dispatch.com/news/20161003/ e schools-say-they-will-appeal-audits-de termining-infl ated-attendance/i; Benjamin Herold, “Problems with For-Profit Management of Pa. Cybers,” Education Week, November 3, 2016, http:// www.edweek.org/ew/articles/2016/11/o3/problems-with-for-profit-management-of-pa-cybers.html; Benjamin Herold, “A Virtual Mess: Inside Colorado’s Largest Online Charter School,” Education Week, November 3, 2016, http://www.edweek.org/ew/articles/2016/11/03/ a-virtual-mess-colorados-largest-cyber-charter.html; Erin McIntyre, “Dismal Performance by Idaho Virtual Charters Result in 20 % Grad Rate,” Education Dive, January 29, 2016, http://www.educationdive, com/news/dismal-performance-by-idaho-virtual-charters-result-in-20-grad-rate/4i2945/.

256

Watters, “Top Ed-Tech Trends of 2016”; “The 100 Worst Ed-Tech Debacles.”

257

Watters, “The Business of Education Technology.”

258

Donald Т. Campbell, “Assessing the Impact of Planned Social Change,” in Social Research and Public Policies, ed. Gene M. Lyons (Hanover, NH: University Press of New England, 1975), 35; Brian Kernighan, “We’re Number One!” Daily Prince Ionian, October 25, 2010.

259

Watters, “The Business of Education Technology.”

260

Lilly Irani, “Justice for ‘Data Janitors,’ ” Public Books, January 15, 2015, http://www.publicbooks.org/nonfiction/justice-for-data-jani-tors; Trebor Scholz, Introduction to Digital Labor: The Internet as Playground and Factory (New York: Routledge, 2013), 1.

261

Phil McCausland, “A Rural School Turns to Digital Education.

Is It a Savior or Devil’s Bargain?” NBC News, May 28, 2018, https:// www.nbcnews.com/news/us-news/rural-school-turns-digital-education-it-savior-or-devil-s-n877806.

262

Douglas Rushkoff, Program or be Programmed: Ten Commandsfor a Digital Age (New York: OR Books, 2010), 7–8.

263

Ibid., 9.

264

Ofcom, “Children and Parents: Media Uses and Attitudes Report: 2018,” January 29, 2019, 11, https://www.ofcom.org.uk/__data/as-sets/pdf_file/oo24/i349O7/children-and-parents-media-use-and-attitudes-2018.pdf; Gwenn Schurgin O’Keeffe and Kathleen Clarke-Pearson, “The Impact of Social Media on Children,” Pediatrics 127, no. 4 (2011): 800, 802.

265

Сенатор Берни Сандерс предложил план, который бы позволил помочь колледжам на этапе этого цифрового перехода, перенаправив фонды со спорта на «деятельность, которая улучшает качество образования и академические результаты». См.: College for All Act of 2019, S.1947,116th Cong. (2019).

266

Todd E. Vachon and Josef (Kuo-Hsun) Ma, “Bargaining for Success: Examining the Relationship between Teacher Unions and Student Achievement,” Sociological Forum 30 (2015): 391, 397–399. Майкл Годси утверждает, что «есть существенная разница между местным экспертом-учителем, использующим интернет и все его ресурсы для дополнения и улучшения своих уроков, и учителем, который упрощает образовательные планы крупных организаций. Почему эта линия не получает четкого публичного выражения и почему она не становится предметом общего обсуждения?». См.: Michael Godsey, “The Deconstruction of the K-12 Teacher: When Kids Can Get Their Lessons from the Internet, What’s Left for Classroom Instructors to Do?” Atlantic, March 25, 2015, https://www.theatlantic.com/educati0n/archive/2015/03/ the-deconstruction-of-the-k-i2-teacher/38863i/.

267

Дополнительное описание специальных комиссий, предложенных для решения проблем новых технологий, см.: Oren Bracha and Frank Pasquale, “Federal Search Commission? Access, Fairness, and Accountability in the Law of Search,” Cornell Law Review 93 (2008): 1149; Ryan Calo, “The Case for a Federal Robotics Commission,” Center for Technology Innovation at Brookings, September 15, 2014, https://www.brookings.edu/wp-content/uploads/2014/o9/ R0b0ticsC0mmissi0nR2_Cal0.pdf. Недавняя работа, в которой поддерживаются те же идеи: Elizabeth Warren, “Unsafe at Any Rate,” Democracy Journal, Summer 2007, no. 5, https://democracy-j0urnal.0rg/magazine/5/unsafe-at-any-rate/.

268

Hartmut Rosa, Social Acceleration: A New Theory of Modernity (New York: Columbia University Press, 2015).

269

График, демонстрирующий рекламные доходы американских газет в период 1950–2015 гг., см. в: Mark J. Perry, “US Newspaper Advertising Revenue: Adjusted for Inflation, 1950 to 2015,” American Enterprise Institute: Carpe Diem, June 16, 2016, http://www.aei.org/pub-lication/thursday-night-links-ю/. Исследование, показывающее, какая доля сетевых рекламных доходов была отнята у медиа и перешла к цифровым посредникам, см. в: PricewaterhouseCoopers, ISBA Programmatic Supply Chain Transparency Study (2020).

270

Anthony Nadler, Matthew Crain, and Joan Donovan, Weaponizing the Digital Influence Machine: The Political Perils of Online Ad Tech (New York: Data & Society, 2018), https://datasociety.net/output/weaponizing-the-digital-influence-machine/; Whitney Phillips, The Oxygen of Amplification: Better Practices for Reporting on Extremists, Antagonists, and Manipulators (New York: Data & Society, 2018), https://datasociety.net/ wp-content/uploads/2018/o5/FULLREPORT_Oxygen_of_Ampli-fication_DS.pdf; Martin Moore, Democracy Hacked: Political Turmoil and Information Warfare in the Digital Age (London: Oneworld, 2018).

271

Philip N. Howard, Lie Machines: How to Save Democracy from Troll Armies, Deceitful Robots, Junk News Operations, and Political Operatives (Oxford: Oxford University Press, 2020); Siva Vaidhyanathan, Anti-Social Media: How Facebook Disconnects Us and Undermines Democracy (Oxford: Oxford University Press, 2018).

272

Bence Kollanyi, Philip N. Howard, and Samuel C. Woolley, “Bots and Automation over Twitter During the Second U. S. Presidential Debate,” COMPROP Data Memo, October 19, 2016, http://politicalbots. org/wp-content/uploads/2016/io/Data-Memo-Second-Presidential-Debate.pdf.

273

Mark Andrejevic, Automated Media (New York: Routledge, 2019), 62.

274

Актуальное отношение между журналистами и ИИ профессионально проанализировано в: Nicholas Diakopolous, Automating the News: How Algorithms Are Rewriting the Media (Cambridge, MA: Harvard University Press, 2019).

275

Реформы, предлагаемые мной, помогут большинству других создателей контента находить сетевую аудиторию, в том числе предпринимателям. В этой главе основное внимание уделяется автоматизации медиа.

276

Amanda Taub and Max Fisher, “Where Countries Are Tinderboxes and Facebook Is a Match,” New York Times, April 21, 2018, htt-ps://www. nytimes.com/2018/o4/21/world/asia/facebook-sri-lanka-riots.html; Damian Tambini, “Fake News: Public Policy Responses,” London School of Economics Media Policy Brief No. 20, March 2017, http://eprints.lse.ac.Uk/73015/1/LSE%20MPP%20P0licy%20 Brief%2020%20-%20Fake%20news_final.pdf.

277

Stephan Russ-Mohl, “Bots, Lies and Propaganda: The New Misinformation Economy,” European Journalism Observatory, October 20, 2016, https://en.ejo.ch/latest-stories/bots-lies-and-propaganda-the-new-misinformation-economy; Carole Cadwalladr, “Facebook’s Role in Brexit – and the Threat to Democracy,” TED talk, filmed April 2019, TED2019 Conference, 15:16, https://www.ted.com/talks/ carole_cadwalladr_facebook_s_role_in_brexit_and_the_ threat_to_democracy/transcript?language=en.

278

Alex Shepard, “Facebook Has a Genocide Problem,” New Republic, March 15, 2018, https://newrepublic.com/article/147486/facebook-genocide-problem; Euan McKirdy, “When Facebook becomes ‘The Beast’: Myanmar Activists Say Social Media Aids Genocide,” CNN, April 6, 2018, https://www.cnn.com/2018/04/06/asia/myanmar-facebook-social-media-genocide-intl/index.html. Критику участия интернет-гигантов в разжигании ненависти см. в: Mary Ann Franks, The Cult of the Constitution (Palo Alto, CA: Stanford University Press, 2019).

279

Michael Н. Keller, “The Flourishing Business of Fake YouTube Views,” New York Times, August 11, 2018, https://www.nytimes.com/interac-tive/2018/08/n/technology/youtube-fake-view-sellers.html.

280

Zeynep Tufekci, “Facebook’s Ad Scandal Isn’t a ‘Fail,’ It’s a Feature,” New York Times, September 23, 2017, https://www.nytimes. com/2 017/09/2 3/opinion/sunday/faceb 00k-ad-scandal.html; Zeynep Tufekci, “YouTube, the Great Radicalizer,” New York Times, March 10, 2018, https://www.nytimes.com/2018/o3/1o/opinion/sun-day/youtube-politics-radical.html; Siva Vaidhyanathan, The Goog-lization of Everything {and Why We Should Worry) (Berkeley: University of Cal fornia Press, 2011); Siva Vaidhyanathan, Antisocial Media: How Facebook Disconnects Us and Undermines Democracy (New York: Oxford University Press, 2018).

281

Evelyn Douek, “Facebook’s ‘Oversight Board’: Move Fast with Stable Infrastructure and Humility,” North Carolina Journal of Law & Technology 21 (2019): 1-78.

282

Frank Pasquale, “Platform Neutrality: Enhancing Freedom of Expression in Spheres of Private Power,” Theoretical Inquiries in Law 17 (2017): 480, 487. Критику этой ситуации см. в: Olivier Sylvain, “Intermediary Design Duties,” Connecticut Law Review 50 (2018): 203–278; Ari Ezra Waldman, “Durkheim’s Internet: Social and Political Theory in Online Society,” New York University Journal of Law and Liberty 7 (2013): 345,373–379.

283

Cm.: Carole Cadwalladr, “How to Bump Holocaust Deniers off Google’s Top Spot?” Guardian, December 17,2016, https://www.theguardian.com/ technology/20i6/dec/17/holocaust-deniers-google-search-top-spot.

284

Sydney Schaedel, “Did the Pope Endorse Trump?” FactCheck.org, October 24, 2016, http://www.factcheck.org/2016/1o/did-the-pope-endorse-trump/; Dan Evon, “Spirit Cooking,” Snopes, November 5, 2016, http://www.snopes.com/john-podesta-spirit-cooking/.

285

Ian Bogost and Alexis C. Madrigal, “How Facebook Works for Trump,” Atlantic, April 18, 2020, https://www.theatlantic.com/tech-nology/archive/2020/04/how-facebooks-ad-technology-helps-trump-win/606403/. For YouTube analysis by engineer Guillaume Chaslot, see Paul Lewis, “ ‘Fiction is Outperforming Reality’: How YouTube’s Algorithm Distorts Truth,” Guardian, February 2, 2018, https://www. theguardian. com/technology/2 o18/feb/o2/ how-youtubes-algorithm-distorts-truth.

286

Kyle Chayka, “Facebook and Google Make Lies As Pretty As Truth,” Verge, December 6, 2016, http://www.theverge.c0m/2016/12/6/ 13 850230/fake-news-sites-google-search-facebook-instant-articles; Janet Guyon, “In Sri Lanka, Facebook Is Like the Ministry of Truth,” Quartz, April 22, 2018, https://qz.com/1259010/ how-facebook-rumors-led-to-real-life-violence-in-sri-lanka/.

287

Eric Lubbers, “There Is No Such Thing as the Denver Guardian, Despite that Facebook Post You Just Saw,” Denver Post, November 5, 2016, http://www.denverp0st.com/2016/11/05/there-is-no-such-thing-as-the-denver-guardian/.

288

Brett Molina, “Report: Fake Election News Performed Better Than Real News on Facebook,” USA Today, November 17, 2016, http://www. usatoday.com/story/tech/news/2016/11/17/report-fake-election-news-performed-better-than-real-news-facebook/94028370/.

289

Timothy B. Lee, “The Top 20 Fake News Stories Outperformed Real News at the End of the 2016 Campaign,” Vox, November 16, 2016, https://www.vox.com/new-money/2016/11/16/1365984o/facebook-fake-news-chart.

290

Joel Winston, “How the Trump Campaign Built an Identity Database and Used Facebook Ads to Win the Election,” Medium, November 18, 2016, https://medium.com/startup-grind/how-the-trump-campaign-built-an-identity-database-and-used-facebook-ads-to-win-the-election-4ff7d24269ac#.4oaz94q5a.

291

Paul Lewis, “ ‘Utterly Horrifying’: Ex-Facebook Insider Says Covert Data Harvesting Was Routine,” Guardian, March 20, 2018, https://www. theguardian.com/news/2018/mar/20/facebook-data-cambridge-analytica-sandy-parakilas; Nicol Perlroth and Sheera Frenkel, “The End for Facebook’s Security Evangelist,” New York Times, March 20, 2018, https://www.nytimes.com/2018/o3/20/technology/ alex-stamos-facebook-security.html.

292

Zeynep Tufekci, “Mark Zuckerberg Is in Denial,” New York Times, November 15, 2016, http://www.nytimes.com/2016/11/15/opinion/mark-zuckerberg-is-in-denial.html?_r=2.

293

Olivier Sylvain, “Intermediary Design Duties,” Connecticut Law Review 50, no. 1 (2018): 203; Danielle Keats Citron and Mary Anne Franks, “The Internet as a Speech Machine and Other Myths Confounding Section 230 Reform” (working paper, Public Law Research Paper No. 20-8, Boston University School of Law, Massachusetts, 2020); Carrie Goldberg, Nobody’s Victim: Fighting Psychos, Stalkers, Pervs, and Trolls (New York: Plume, 2019), 38.

294

Craig Silverman, “Facebook Is Turning to Fact-Checkers to Fight Fake News,” BuzzFeed News, December 15, 2016, https://www.buzz-feed.com/craigsilverman/facebook-and-fact-checkers-fight-fake-news?utm_term=.phQiyoOexV#.sn4XJ8ZoLA.

295

Timothy В. Lee, “Facebook Should Crush Fake News the Way Google Crushed Spammy Content Farms,” Vox, December 8, 2016, http://www.vox.eom/new-money/2 016/12/8/13 8759 6o/facebook-fake-news-google.

296

Safiya Umoja Noble, Algorithms of Oppression: How Search Engines Reinforce Racism (New York: New York University Press, 2018); Carole Cad-walladr, “Google, Democracy and the Truth about Internet Search,” Guardian, December 4,2016, https://www.theguardian.com/technology/ 20i6/dec/o4/google-democracy-truth-internet-search-facebook.

297

Manoel Horta Ribeiro, Raphael Ottoni, Robert West, Virgilio A. F. Almeida, and Wagner Meira Jr., “Auditing Radicalization Pathways on YouTube,” arXivngoS.08313 (2019), https://arxiv.org/abs/ 1908.08313.

298

Evan Osnos, “Can Mark Zuckerberg Fix Facebook before It Breaks Democracy?” New Yorker, September 10, 2018, https://www.newyorker.com/ magazine/2018/09/17/can-mark-zuckerberg-fix-facebook-before-it-breaks-democracy.

299

James Bridle, “Something Is Wrong on the Internet,” Medium, https://medium. com/(3;j amesbridle/some thing-is – wrong-on – the – internet-c39C47i27id2.

300

James Bridle, New Dark Age (New York: Verso, 2018), 230.

301

Max Fisher and Amanda Taub, “On YouTube’s Digital Playground, an Open Gate for Pedophiles,” New York Times, June 3, 2019, https://www. ny times. com/2019/0 6/03/world/americas/you tube – pedophiles. html.

302

Frank Pasquale, “Reclaiming Egalitarianism in the Political Theory of Campaign Finance Reform,” University of Illinois Law Review (2008): 599–660.

303

Rebecca Hersher, “What Happened When Dylann Roof Asked Google for Information about Race?” Houston Public Media, January 10, 2017, http://www.h0ust0npublicmedia.0rg/npr/2017/01/10/508363607/ what-happened-when-dylann-roof-asked-google-for-information-ab out-race/.

304

Hiroko Tabuchi, “How Climate Change Deniers Rise to the Top in Google Searches,” New York Times, December 9, 2017, https://www. nytimes.com/2017/12/29/climate/google-search-climate-change.html.

305

Noble, Algorithms of Oppression.

306

Cadwalladr, “Google, Democracy and the Truth.”

307

Ben Guarino, “Google Faulted for Racial Bias in Image Search Results for Black Teenagers,” Washington Post, June 10, 2016, https:// www.washingtonpost.com/news/morning-mix/wp/2016/o6/1o/ google-faulted-for-racial-bias-in-image-search-results-for-black-teenagers/?utm_term=.ia3595bb8624; также см.: Tom Simonite, “When It Comes to Gorillas, Google Photos Remains Blind,” Wired, January 11, 2018, https://www.wired.com/story/when-it-comes-to-gorillas-google-photos-remains-blind/. О более значительной проблеме см.: Aylin Caliskan, Joanna J. Bryson, and Arvind Nar-arayan, “Semantics Derived Automatically from Language Corpora Contain Human-Like Biases,” Science 356 (2017): 183–186.

308

Annalee Newitz, “Opinion: A Better Internet Is Waiting for Us,” New York Times, November 30, 2019, https://www.nytimes.com/interac-tive/2019/11/30/opinion/social-media-future.html.

309

Ibid.

310

“Preamble,” The Syllabus, accessed May 15, 2020, https://the-sylla-bus.com/preamble-mission/; Maurits Martijn, “The Most Important Technology Critic in the World Was Tired of Knowledge Based on Clicks. So He Built an Antidote,” Correspondent, March 26, 2020, https://thecorrespondent.com/369/the-most-important-technology-critic-in-the-world-was-tired-of-knowledge-based-on-clicks-so-he-built-an-antidote/789698745-92d7coee.

311

Я заимствую термин «инфодемия» из работы: Kate Starbird, “How to Cope with an Infodemic,” Brookings TechStream, April 27, 2020, https://www.brookings.edu/techstream/how-to-cope-with-an-infodemic/.

312

Tim Wu, The Curse of Bigness: Antitrust in the New Gilded Age (New York: Columbia Global Reports, 2019); Matt Stoller, Sarah Miller, and Zephyr Teachout, Addressing Facebook and Google’s Harms Through a Regulated Competition Approach, White Paper of the American Economic Liberties Project (2020).

313

Sanjukta Paul, “Antitrust as Allocator of Coordination Rights,” University of California at Los Angeles Law Review 67 (2020), 378–431.

314

Cat Ferguson, “Searching for Help,” Verge, September 7, 2017, https:// www.theverge.com/2017/9/7/16257 412/rehabs-near-me-google-search-scam-florida-treatment-centers.

315

Эндрю Макафи и Эрик Бриньолфсон, Машина, платформа, толпа: наше цифровое будущее (Москва: Манн, Иванов и Фербер, 2019).

316

David Dayen, “Google Is So Big, It Is Now Shaping Policy to Combat the Opioid Epidemic: And It’s Screwing It Up,” Intercept, October 17, 2017, https://theintercept.com/2017/1o/17/google-search-drug-use-opioid-epidemic/.

317

Ferguson, “Searching for Help”; Dayen, “Google Is So Big.”

318

2017 Fla. Laws 173 (codified at Fla. Stat. § § 397.55, 501.605, 501.606, 8170345)•

319

Ryan Singel, “Feds Pop Google for $50oM for Canadian Pill Ads,” Wired, August 24, 2011, https://www.wired.com/20n/o8/google-drug-fine/.

320

Drew Harwell, “Al Will Solve Facebook’s Most Vexing Problems, Mark Zuckerberg Says. Just Don’t Ask When or How,” Washington Post, April 11, 2018, https://www.washingtonpost.com/news/the-switch/wp/2018/04/n/ai-will-solve-facebooks-most-vexing-problems-mark-zuckerberg-says-just-dont-ask-when-or-how/?utm_term=. аоаусз4оас66.

321

Instagram, “Community Guidelines,” https://help.instagram.com/ 477434105621119; см. также: Sarah Jeong, “I Tried Leaving Facebook. I Couldn’t,” Verge, April 28, 2018, https://www.theverge. com/2018/4/28/17293056/facebook-deletefacebook-social-network-monopoly.

322

Joel Ross, Lilly Irani, M. Six Silberman, Andrew Zaldivar, and Bill Tomlinson, “Who Are the Crowdworkers? Shifting Demographics in Mechanical Turk,” CHI EA To: ACM Conference on Human Factors in Computing Systems (2010), 2863–2872.

323

Jaron Lanier, You Are Not a Gadget: A Manifesto (New York: Knopf, 2010).

324

Julia Powles, “The Case That Won’t Be Forgotten,” Loyola University Chicago Law Journal 47 (2015): 583–615; Frank Pasquale, “Reforming the Law of Reputation,” Loyola University Chicago Law Journal 47 (2015): 515-539.

325

Michael Hiltzik, “President Obama Schools Silicon Valley CEOs on Why Government Is Not Like Business,” Los Angeles Times, October 17, 2016, https://www.latimes.com/business/hiltzik/la-fi-hiltzik-obama-silicon-valley-20161017-snap-story.html.

326

Case C-131/12, Google Spain SL v. Agencia Espanola de Proteccion de Datos (AEPD), (May 13, 2014), http://curia.europa.eu/juris/docu-ment/document.jsf?text=&docid=152065&doclang=EN.

327

Материал не исчез полностью; он может выводиться, если поиск ведется по имени мужа или в результате других запросов. Требование приватности ограничивается здесь поисками по имени вдовы.

328

Julia Powles, “Results May Vary: Border Disputes on the Frontlines of the ‘Right to be Forgotten,’ ” Slate, February 25, 2015, http://www. slate.com/articles/technology/future_tense/2015/o2/google_and_ the_right_to_be_forgotten_should_delisting_be_global_or_lo-cal.html.

329

Justin McCurry, “Japanese Court Rules against Paedophile in ‘Right to be Forgotten’ Online Case,” Guardian, February i, 2017, https:// www.theguardian.com/world/2017/feb/o2/right-to-be-forgotten-online-suffers-setback-after-japan-court-ruling.

330

Более общее обсуждение человеческой гибкости см. в: Geoff Colvin, Humans Are Underrated: What High Achievers Know That Brilliant Machines Never Will (New York: Penguin, 2015); Hubert L. Dreyfus and Stuart E. Dreyfus, Mind over Machine: The Power of Human Expertise and Intuition in the Era of the Computer (New York: Free Press, 1988).

331

Dan Solove, Future of Reputation: Gossip, Rumor and Privacy on the Internet (New Haven, CT: Yale University Press, 2007); Sarah Esther La-geson, Digital Punishment Privacy, Stigma, and the Harms of Data-Driven Criminal Justice (Oxford: Oxford University Press, 2020).

332

Sarah T. Roberts, Behind the Screen: Content Moderation in the Shadows of Social Media (New Haven: Yale University Press, 2019); Lilly Irani, “Justice for ‘Data Janitors,’ ” Public Books, January 15, 2015, http:// www.publicbooks.org/nonfiction/justice-for-data-janitors.

333

Phillips, The Oxygen of Amplification; danah boyd, “Hacking the Attention Economy,” Points: Data & Society (blog), January 5, 2017, https:// points.datasociety.net/hacking-the-attention-economy-9fa1daca7a37; см. также: Pasquale, “Platform Neutrality”; Frank Pasquale, “Asterisk Revisited: Debating a Right of Reply on Search Results,” Journal of Business and Technology Law 3 (2008): 61–86.

334

Mark Bergen, “YouTube Executives Ignored Warnings, Letting Toxic Videos Run Rampant,” B100mberg News, April 2, 2019, https://www. b100mberg.com/news/features/2019-o4-o2/youtube-executives-ignored-warnings-letting-toxic-videos-run-rampant.

335

Здесь моя позиция созвучна названию группы Free Speech for People, выступающей против Citizens United, поскольку я считаю, что доктрина «компьютерной речи» может развиваться в том же опасном направлении, в каком развивалась доктрина корпоративной речи.

336

James Grimmelmann, “Copyright for Literate Robots,” Iowa Law Review 101 (2016): 657–682.

337

Danielle K. Citron and Robert Chesney, “Deep Fakes: A Looming Challenge for Privacy, Democracy, and National Security,” California Law Review 107 (2019): 1753–1819.

338

Mary Anne Franks and Ari Ezra Waldman, “Sex, Lies, and Videotape: Deep Fakes and Free Speech Delusions,” Maryland Law Review 78 (2019): 892–898. Какой бы интерес к автономии ни утверждался создателями подобных дипфейков, он должен быть соотнесен с заинтересованностью аудитории в наличии неискаженной публичной сферы. См.: Robyn Caplan, Lauren Hanson, and Joan Donovan, Dead Reckoning: Navigating Content Moderation after Fake News (New York: Data & Society, 2018), https://datasociety.net/library/ dead-reckoning/; Alice Marwick and Rebecca Lewis, Media Manipulation and Disinformation Online (New York: Data & Society, 2015), https://datasociety.net/pubs/oh/DataAndSociety_MediaManipula-tionAndDisinformationOnline.pdf.

339

James Grimmelmann, “Listeners’ Choices,” University of Colorado Law Review 90 (2018): 365–410.

340

The BCAP Code: The UK Code of Broadcast Advertising, Appendix 2 (September 1, 2010), http://www.asa.org.uk/uploads/assets/uploaded/e6e8bioa-20e6-4674-a7aa6dc15aa4f8i4.pdf. Американская Федеральная комиссия по коммуникациям дважды рассматривала вопрос, но ничего не сделала. См.: Ryan Calo, “Digital Market Manipulation,” George Washington Law Review 82 (2014): 995-1051.

341

Bolstering Online Transparency Act, California Business & Professions Code § § 17940-43 (2019).

342

Act to Add Article 10 (commencing with Section 17610) to Chapter 1 of Part 3 of Division 7 of the Business and Professions Code, relating to advertising, A.B. 1950, 2017–2018 Reg. Sess. (January 29, 2018), http://leginfo.legislature.ca.gov/faces/billNavClient. xhtml?bill_id=20172018oAB1950.

343

Frederic Lardinois, “The Google Assistant Will Soon Be Able to Call Restaurants and Make a Reservation for You,” TechCrunch, May 8, 2018, https://techcrunch.c0m/2018/05/08/the-g00gle-assistant-will-soon-be-able-to-call-restaurants-and-make-a-reservations-for-you/ (см. видео в момент 0:24).

344

Yaniv Leviathan, “Google Duplex: An Al System for Accomplishing Real-World Tasks over the Phone,” Google Al Blog, May 8, 2018, https://ai.googleblog.com/2018/o5/duplex-ai-system-for-natural-conversation.html?fbclid=IwARoK2LGSd9wLPeN31ejGQhj8TAaJif QLoaKPZgeivpBoQgTAwakOTbPPIMw.

345

Alice Gregory, “R U There? A New Counselling Service Harnesses the Power of the Text Message,” New Yorker, February 2, 2015, https:// www.newyorker.com/magazine/2015/02/09/r-u.

346

Nick Statt, “Google Now Says Controversial Al Voice Calling System Will Identify Itself to Humans,” Verge, May 10, 2018, https:// www.theverge.com/2018/5/10/17342414/google-duplex-ai-assistant-voice-calling-identify-itself-update.

347

Masahiro Mori, “The Uncanny Valley: The Original Essay by Masahiro Mori,” trans. Karl F. MacDorman and Norri Kageki, IEEE Spectrum, June 12, 2012, https://spectrum.ieee.org/automaton/robotics/ humanoids/the-uncanny-valley.

348

Natasha Lomas, “Duplex Shows Google Failingat Ethical and Creative Al Design,” TechCrunch, May io, 2018, https://techcrunch.com/2018/05/10/ duplex-shows-google-failing-at-ethical-and-creative-ai-design/.

349

James Vincent, “Google’s Al Sounds Like a Human on the Phone – Should We Be Worried?” Verge, May 9, 2018, https://www.thev-erge.com/2018/5/9/17334658/google-ai-phone-call-assistant-duplex-ethical-social-implications.

350

Rachel Metz, “Facebook’s Top Al Scientist Says It’s ‘Dust’ without Artificial Intelligence,” CNN, December 5, 2018, https://www.cnn. com/2018/12/05/tech/ai-facebook-lecun/index.html.

351

ИИ в автоматизированной публичной сфере является примером того, что Интрона и Вуд называют «молчащей» технологией, противопоставляемой «заметной». Она является встроенной, темной, гибкой и мобильной (реализуемой в программном обеспечении), а потому противостоит технологии, находящейся на поверхности, прозрачной и зафиксированной. См.: Lucas Introna and David Wood, “Picturing Algorithmic Surveillance: The Politics of Facial Recognition Systems,” Surveillance and Society 2, no. 2/3 (2002): 177–198.

352

Sam Thielman, “Q&A: Mike Ananny, On Facebook, Facts, and a Marketplace of Ideas,” Columbia Journalism Review, April 5, 2018, https:// www.cjr.org/tow_center/qa-usc-annenbergs-mike-ananny-on-face-books-fact-checkers-and-the-problem-with-a-marketplace-of-ideas. php; Mike Ananny, “The Partnership Press: Lessons for Platform-Publisher Collaborations as Facebook and News Outlet Teams to Fight Misinformation,” Tow Center for Digital Journalism Report, April 4, 2018, https://www.cjr.org/tow_center_reports/partnership-press-facebook-news-outlets-team-fight-misinformation.php.

353

Tim O’Reilly, “Media in the Age of Algorithms,” Medium, November 11, 2016, https://medium.com/the-wtf-economy/media-in-the-age-of-algorithms-63e8ob9boa73#.gl86jwgr4.

354

Abby Ohlheiser, “Three Days after Removing Human Editors, Facebook Is Already Trending Fake News,” Washington Post, August 29, 2016, https://www.washingtonpost.com/news/the-intersect/wp/ 2016/08/29/a-fake-headline-about-megyn-kelly-was-trending-on-facebook/?utm_term=.f857ac42b2e9; “Facebook: ‘No Evidence’ Conservative Stories Were Suppressed,” CBS News, May 10, 2016, http:// www.cbsnews.com/news/facebook-no-evidence-conservative-stories-trending-suppressed-gizmodo/.

355

Josh Sternberg, “Layoffs and Local Journalism,” Media Nut, May 14, 2020, https://medianut.substack.eom/p/layoffs-and-local-journalism.

356

Rachael Revesz, “Steve Bannon’s Data Firm in Talks for Lucrative White House Contracts,” Independent, November 23, 2016, http:// www.independent.co.uk/news/world/americas/cambridge-analytica-steve-bannon-robert-rebekah-mercer-donald-trump – conflicts-of-interest-white-a7435536.html; Josh Feldman, “CIA Concluded Russia Intervened in Election to Help Trump, WaPo Reports,” Mediaite, December 9, 2016, http://www.mediaite.com/online/cia-concluded-russia-intervened-in-election-to-help-trump-wapo-reports/.

357

Will Oremus, “The Prose of the Machines,” Slate, July 14, 2014, http:// www.slate.com/articles/technology/technology/2014/o7/automat-ed_insights_to_write_ap_earnings_reports_why_robots_can_t_ take_j ournalis ts. html.

358

Thorstein Veblen, Absentee Ownership and Business Enterprise in Recent Times (London: George Allen & Unwin, 1923); Christopher Meek, Warner Woodworth, and W Gibb Dyer, Managing by the Numbers: Absentee Ownership and the Decline of American Industry (New York: Addison-Wesley, 1988).

359

Проблема еще серьезнее за границей. Марк Цукерберг однажды отметил: «Белка, которая умерла у вас в саду, может быть для вас важнее, чем люди, умирающие в Африке». См.: Jaigris Hodson, “When a Squirrel Dies: The Rapid Decline of Local News,” The Conversation, September 13, 2017, https://theconversation.com/when-a-squirrel-dies-the-rapid-decline-of-local-news-82120. Это замечание стало честным отражением неоколониальной ментальности крупнейших технологических фирм. См.: Nick Couldry and Ulises A. Mejias, The Costs of Connection How Data Is Colonizing Human Life and Appropriating It for Capitalism (Redwood City: Stanford University Press, 2019).

360

Rahel Jaeggi, Alienation (trans. Frederick Neuhouser and Alan E. Smith) (New York: Columbia University Press, 2014), 1.

361

Britt Paris and Joan Donovan, Deepfakes and Cheap Fakes: The Manipulation of Audio and Visual Evidence (New York: Data & Society, 2019).

362

Mike Butcher, “The Robot-Recruiter Is Coming – VCV’s Al Will Read Your Face in a Job Interview,” TechCrunch, April 23, 2019, https:// techcrunch.com/2019/o4/23/the-robot-recruiter-is-coming-vcvs-ai-will-read-your-face-in-a-job-interview/.

363

Miranda Bogen and Aaron Rieke, Help Wanted: An Examination of Hiring Algorithms, Equity, and Bias (Washington, DC: Upturn, 2018), htt-ps://www. upturn.org/static/reports/2018/hiring-algorithms/files/ Upturn%20 – %20Help%20Wanted%20-%20An%20Exploration%20 of%20Hiring%20Algorithms,%20Equity%20and%20Bias.pdf.

364

Есть много примеров того, как технология, оценивающая людей, может воспроизводить и закреплять прежние формы незаслуженных привилегий, нечестных и неблагоприятных условий. См.: Ruha Benjamin, Race after Technology: Abolitionist Tools for the New Jim Code (Cambridge, UK: Polity Press, 2019); Safiya Umo-ja Noble, Algorithms of Oppression: How Search Engines Reinforce Racism (New York: New York University Press, 2018).

365

“Fairness, Accountability, and Transparency in Machine Learning,” FAT / ML, accessed May 1, 2020, https://www.fatml.org/.

366

James Vincent, “All of These Faces Are Fake Celebrities Spawned by Al,” Verge, October 30, 2017, https://www.theverge.com/2017/10/30/ 16569402/ai-generate-fake-faces-celebs-nvidia-gan.

367

Daniel J. Solove, “Privacy and Power: Computer Databases and Metaphors for Information Privacy,” Stanford Law Review 53 (2001): 1393–1462; Philip K. Dick, Ubik (New York: Doubleday, 1969).

368

Jathan Sadowski and Frank Pasquale, “The Spectrum of Control: A Social Theory of the Smart City,” First Monday 20, no. 7 (2015), htt-ps://doi.org/io.52io/fm.v2017.59O3.

369

Дискуссию специалистов по компьютерным наукам, использующим неэффективность в дизайне для того, чтобы «оставить место для человеческих ценностей», см.: Ohm and Jonathan Frankel, “Desirable Inefficiency,” Florida Law Review 70, no. 4 (2018): 777–838. Обсуждение того, как неэффективность дизайна противоречит устремлениям программистов, см. в: Clive Thompson, “Coders’ Primal Urge to Kill Inefficiency – Everywhere,” Wired, March 19, 2019, https://www.wired.com/story/coders-efficiency-is-beautiful/?curator=TechREDEF.

370

Arjun Jayadev and Samuel Bowles, “Guard Labor,” Journal of Development Economics no. 2 (2006): 328–348.

371

I. Bennett Capers, “Afrofuturism, Critical Race Theory, and Policing in the Year 2044,” New York University Law Review 94, no. 1 (2019): 1-60. См. также: William H. Simon, “In Defense of the Panopticon,” Boston Review 39, no. 5 (2014): 58–74.

372

Anthony Funnell, “Internet of Incarceration: How Al Could Put an End to Prisons As We Know Them,” ABC News, August 14, 2017, https://www.abc.net.au/news/2017-o8-14/how-ai-could-put-an-end-to-prisons-as-we-know-them/8794910.

373

Funnell, “Internet of Incarceration.”

374

Benjamin, Race after Technology, 137.

375

В az Dreisinger, Incarceration Nations: A Journey to Justice in Prisons around the World (New York: Other Press, 2016).

376

Big Brother Watch, “Face Off: Stop the Police Using Authoritarian Facial Recognition Cameras,” March 15, 2019, https://bigbrotherwatch. org.uk/all-campaigns/face-off-campaign/#breakdown.

377

Kevin Arthur, “Hartzog and Selinger: Ban Facial Recognition,” Question Technology (blog), August 4, 2018, https://www.questiontechnol-0gy.0rg/2018/08/04/hartz0g-and-selinger-ban-facial-rec0gniti0n/; Woodrow Hartzog and Evan Selinger, “Surveillance As Loss of Obscurity,” Washington and Lee Law Review 72 (2015): 1343–1388.

378

Joy Buolamwini and Timnit Gebru, “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification,” Proceedings of Machine Learning Research 81 (2018): 1-15, http://proceedings. mlr.press/v8i/buolamwini18a/buolamwini18a.pdf.

379

Richard Feloni, “An MIT Researcher Who Analyzed Facial Recognition Software Found Eliminating Bias in Al Is a Matter of Priorities,” Business Insider, January 23, 2019, https://www.businessinsider.com/ biases-ethics-facial-recognition-ai-mit-joy-buolamwini-2019-1.

380

Jacob Snow, “Amazon’s Face Recognition Falsely Matched 28 Members of Congress with Mugshots,” ACLU, July 26, 2018, https:// www.aclu.org/blog/privacy-technology/surveillance-technologies/ amazons-face-recognition-falsely-matched-28.

381

Zoe Samudzi,“BotsAreTerribleat Recognizing Black Faces. Let’s Keep It that Way,” Daily Beast, February 8,2019, https://www.thedailybeast.com/ bots-are-terrible-at-recognizing-black-faces-lets-keep-it-that-way.

382

Alondra Nelson ((Hjalondra), “Algorithmic Accountability Is Tremendously Important. Full Stop,” Twitter, February 9, 208, 5:48 p. m., htt-ps://twitter.com/alondra/status/962095979553OO9665.

383

Evan Selinger and Woodrow Hartzog, “What Happens When Employers Can Read Your Facial Expressions?” New York Times, October 17, 2019, https://www.nytimes.com/2019/1o/17/opinion/facial-recognition-ban.html.

384

Подробный анализ следствий такого универсального наблюдения см. в: John Gillion and Torin Monahan, Supervision: An Introduction to the Surveillance Society (Chicago: University of Chicago Press, 2012); Ian G. R. Shaw, Predator Empire: Drone Warfare and Full Spectrum Dominance (Minneapolis: University of Minnesota Press, 2018).

385

Evan Selinger and Woodrow Hartzog, “Opinion: It’s Time for an About-Face on Facial Recognition,” Christian Science Monitor, June 22, 2015, https://www.csmonitor.com/World/Passcode/Passcode-Voices/ 2015/0622/Opinion-It-s-time-for-an-about-face-on-facial-recognition.

386

Amy Hawkins, “Beijing’s Big Brother Tech Needs African Faces,” Foreign Policy, July 24, 2018, https://foreignpolicy.com/2018/o7/24/ beijings-big-brother-tech-needs-african-faces/.

387

Darren Byler, “China’s Hi-Tech War on Its Muslim Minority,” Guardian, April 11, 2019, https://www.theguardian.com/news/2019/apr/11/ china-hi-tech-war-on-muslim-minority-xinjiang-uighurs-surveillance-face-recognition; Chris Buckley, Paul Mozur, and Austin Ramzy, “How China Turned a City into a Prison,” New York Times, April 4, 2019, https://www.nytimes.com/interactive/2019/04/04/w0rld/asia/xinjiang-china-surveillance-prison.html; Mozur, “One Month, 500,000 Face Scans.”

388

Luke Stark, “Facial Recognition Is the Plutonium of Al,” XRDS: Crossroads, The ACM Magazine for Students 25, no. 3 (Spring 2019): 50–55; Woodrow Hartzog and Evan Selinger, “Facial Recognition Is the Perfect Tool for Oppression,” Medium, August 2, 2018, https://medium.com/ s/s tory/facial-recognition-is-the-perfect-tool-for-oppression-bc2ao8fofe66.

389

Robert Pear, “On Disability and on Facebook? Uncle Sam Wants to Watch What You Post,” New York Times, March 10, 2019, https://www. nytimes.com/2019/o3/1o/us/politics/social-security-disability-trump-facebook.html.

390

Julie Е. Cohen, Configuring the Networked Self: Law, Code, and the Play of Everyday Practice (New Haven: Yale University Press, 2012). Концепция Коэн о семантической прерывности применима и в сети, где она также защищает пространства анонимности.

391

Margaret Hu, “Big Data Blacklisting,” Florida Law Review 67 (2016): 1735–1809; Eric J. Mitnick, “Procedural Due Process and Reputational Harm: Liberty as Self-Invention,” University of California Davis Law Review 43 (2009): 79-142.

392

Sam Levin, “Face-Reading Al Will Be Able to Predict Your Politics and IQ, Professor Says,” Guardian, September 12, 2017, https:// www.theguardian.com/technology/2017/sep/12/artificial-intelligence-face-recognition-michal-kosinski.

393

Sam Biddle, “Troubling Study Says Artificial Intelligence Can Predict Who Will Be Criminals Based on Facial Features,” Intercept, November 18, 2016, https://theintercept.com/2016/11/18/troubling-study-says-artificial-intelligence-can-predict-who-will-be-criminals-based-on-facial-features/.

394

Matt McFarland, “Terrorist or Pedophile? This Start-Up Says It Can Out Secrets by Analyzing Faces,” Washington Post, May 24, 2016, htt-ps://www.washingtonpost.com/news/innovations/wp/20i6/o5/24/ terrorist-or-pedophile-this-start-up-says-it-can-out-secrets-by-analyzing-faces/?noredirect=on&utm_term=.5ao60615a547. Компания Faception намеревается также классифицировать людей и в более позитивных категориях. См.: Faception, “Our Technology,” https://www.faception.com/our-technology.

395

Dan McQuillan, “People’s Councils for Ethical Machine Learning,” Social Media + Society, April-June 2018: 1-10.

396

Judea Pearl and Dana McKenzie, The Book of Why: The New Science of Cause and Effect (New York: Basic Books, 2018).

397

Frank Pasquale and Glyn Cashwell, “Prediction, Persuasion, and the Jurisprudence of Behaviourism,” University of Toronto Law Journal 68 supp. (2018): 63–81. Также мы должны с осторожностью относиться к данным, основанным на практиках, которые, как было доказано, являются дискриминационными. См.: Rashida Richardson, Jason М. Schultz, and Kate Crawford, “Dirty Data, Bad Predictions: How Civil Rights Violations Impact Police Data, Predictive Policing Systems, and Justice, ” New York University Law Review 94 (2019): 192–233.

398

Fabio Ciucci, “Al (Deep Learning) Explained Simply,” Data Science Central (blog), November 20, 2018, https://www.datasciencecentral. com/profiles/blogs/ai-deep-learning-explained-simply («Методы машинного обучения дают сбой, когда прежние данные достаточно быстро становятся менее значимыми или просто ложными, что бывает часто. Задача или выученные правила должны оставаться теми же, самое большее – изредка обновляться, чтобы вы могли заново провести обучение»).

399

Kiel Brennan-Marquez, “Plausible Cause: Explanatory Standards in the Age of Powerful Machines,” Vanderbilt Law Review 70 (2017): 1249–1302.

400

Robert Н. Sloan and Richard Wagner, “Avoiding Alien Intelligence: A Plea for Caution in the Use of Predictive Systems,” https://papers. ssrn.com/s0l3/papers.cfm?abstract_id=3i63664; Guido Noto La Die-ga, “Against the Dehumanization of Decision-Making: Algorithmic Decisions at the Crossroads of Intellectual Property, Data Protection, and Freedom of Information,” Journal of Intellectual Property, Information Technology andE-commerce Law 9, no. 1 (2018): https://www.jipitec. eu/issues/jipitec-9-1-2018/4677.

401

Patrick Tucker, “The US Military Is Creating the Future of Employee Monitoring,” Defense One, March 26, 2019, https://www.defen-seone.com/technology/2019/o3/us-military-creating-future-employee-monitoring/155 8 2 4/.

402

О ненадежности полиграфа и его запрете в контекстах найма в США см.: Joseph Stromberg, “Lie Detectors: Why They Don’t Work, and Why Police Use Them Anyway,” Vox, Dec 15, 2014, https://www. vox.com/2014/8/14/5999119/polygraphs-lie-detectors-do-they-work.

403

Цит. по ее интервью в: Martin Ford, Architects of Intelligence: The Truth about Al from the People Building It (Birmingham, UK: Packt Publishing, 2018), 217; Мартин Форд, Архитекторы интеллекта: вся правда об искусственном интеллекте от его создателей (Санкт-Петербург: Питер, 2020), 176 (перевод исправлен. – Прим. пер.}.

404

Ifeoma Ajunwa, Kate Crawford, and Jason Schulz, “Limitless Worker Surveillance,” California Law Review 105 (2017): 735–776.

405

Marika Cifor, Patricia Garcia, T. L. Cowan, Jasmine Rault, Tonia Sutherland, Anita Say Chan, Jennifer Rode Anna Lauren Hoffmann, Niloufar Salehi, and Lisa Nakamura, Feminist Data Manifest-No, htt-ps://www.manifestno.com/.

406

Danielle Keats Citron and Frank Pasquale, “The Scored Society: Due Process for Automated Predictions,” Washington Law Review 89 (2014): 1-34. Одним из наиболее амбициозных предложений, нацеленных на устранение угроз конфиденциальности, обсуждавшихся в этой главе, является закон «О подотчетности и прозрачности данных» (Data Accountability and Transparency Act) 2020 г., внесенный на рассмотрение сенатором США Шерродом Брауном.

407

Privacy International, “Case Study: Fintech and the Financial Exploitation of Customer Data,” August 30, 2017, https://www.pri-vacyinternational.org/case-studies/757/case-study-fintech-and-f inancial-exploitation-customer-data.

408

Ibid.

409

Rachel Botsman, “Big Data Meets Big Brother as China Moves to Rate its Citizens,” Wired, Oct. 21, 2017. For a scholarly analysis of SCS’s, see Yu-Jie Chen, Ching-Fu Lin, and Han-Wei Liu, “ ‘Rule of Trust’: The Power and Perils of China’s Social Credit Megaproject,” Columbia Journal of Asian Law 32 (2018): 1-36.

410

James Rufus Koren, “Some Lenders Are Judging You on Much More Than Your Finances,” Los Angeles Times, December 19, 2015, https://www. latimes.com/business/la-fi-new-credit-score-20151220-story.html.

411

Ryen W. White, Р. Murali Doraiswamy, and Eric Horvitz, “Detecting Neurogenerative Disorders from Web Search Signals,” NPJ Digital Medicine 1 (2018): article no. 8, https://www.nature.com/articles/ s41746-018-0016-6.pdf.

412

Louise Seamster and Raphael Charron-Chenier, “Predatory Inclusion and Education Debt: Rethinking the Racial Wealth Gap,” Social Currents 4 (2017): 199–207.

413

Donald Bradley, “КС Man Pays $50,000 Interest on $2,500 in Payday Loans,” Kansas City Star, May 17, 2016, https://www.kansascity.com/ news/local/article78174997.html.

414

“I Borrowed £150… Now I Owe £iok: Christmas Warning over Payday Loans,” Sun, December 16, 2012, updated April 4, 2016, https://www. thesun.co.uk/archives/news/342926/i-borrowed-15o-now-i-owe-1ok/.

415

Kevin P. Donovan and Emma Park, “Perpetual Debt in the Silicon Savannah,” Boston Review, September 20, 2019, http://bostonreview.net/ class-inequality-global-jus tice/kevin-p-dono van-emma-park-perpetual-debt-silicon-savannah.

416

Tressie McMillan Cottom, Lower Ed: The Troubling Rise of For-Profit Colleges in the New Economy (New York: The New Press, 2018).

417

Lauren Berlant, Cruel Optimism (Durham, NC: Duke University Press, 2011); David J. Blacker, The Falling Rate of Earning and the Neoliberal Endgame (Washington, DC: Zero Books, 2013); Andrew McGettigan, The Great University Gamble: Money, Markets and the Future of Higher Education (London: Pluto Press, 2013); Christopher Newfield, The Great Mistake: How We Wrecked Public Universities and How We Can Fix Them (Baltimore: Johns Hopkins University Press, 2016).

418

Frank Pasquale, “Democratizing Higher Education: Defending and Extending Income Based Repayment Programs,” Loyola Consumer Law Review 28 (2015): 1-30.

419

В США тоже есть такая программа, но реализуется она настолько плохо, что ее сложно рекомендовать. Например, в соответствии с ней, кредиты должны прощаться после десяти лет государственной службы, но из первой группы в тысячу истцов менее 1 % получили удовлетворение. См.: Annie Nova, “Here Are the Facts about Public Service Loan Forgiveness,” CNBC, December 21, 2018, https://www.cnbc.com/2018/12/21/1-percent-of-people-were-approved-for-public-service-loan-forgiveness.html. Частные компании, обслуживающие американское студенческое кредитование, зарабатывают тем больше денег, чем дольше они держат заемщиков на крючке выплат, поэтому документы они обрабатывают с крайней медлительностью (а поданные формы часто теряют). Очевидный вывод, который можно сделать из американского опыта, состоит в том, что лучше всего – это простая и ясная программа, которая не должна управляться организациями, заинтересованными в сохранении задолженности.

420

Также исследователи признают ограниченность кредитов как формы социального обеспечения. См.: Abbye Atkinson, “Rethinking Credit as Social Provision,” Stanford Law Review 71 (2019): 1093–1162.

421

Adam Kotsko, Creepiness (Washington, DC: Zero Books, 2015); см. также: Omer Tene and Jules Polonetsky, “A Theory of Creepy: Technology, Privacy, and Shifting Social Norms,” Yale Journal of Law and Technology 16 (2014): 59-102, где приводятся примеры в контексте конфиденциальности, когда «нездоровое поведение давит на традиционные социальные нормы».

422

Например, см.: Jessica Leber, “This New Kind of Credit Score Is All Based on How You Use Your Cell Phone,” Fast Company, April 27, 2016, https://www.fastcompany.com/3058725/this-new-kind-of-credit-score-is-all-based-on-how-you-use-your-cellphone, где обсуждаются гарантии компании Equifax, утверждающей, что в ней были достойные практики безопасности данных и конфиденциальности.

423

ACLU of California, “Metadata: Piecing Together a Privacy Solution,” February 2014, https://www.aclunc.org/sites/default/files/Metada-ta%20report%20FINAL%202%202i%20i4%20cover%20%2B%20in-side%20for%20web%20%283%29.pdf.

424

Ajunwa, Crawford, and Schultz, “Limitless Workplace Surveillance.”

425

Шошана Зубофф, Эпоха надзорного капитализма: битва за человеческое будущее на новых рубежах власти (Москва: Издательство Института Гайдара, 2022).

426

Davis Polk, “Time to Get Serious about Microchipping Employees and Biometric Privacy Laws,” Law Fuel, February 14, 2019, http://www.lawfuel.com/blog/time-to-get-serious-about-microchipping-employees-and-biometric-privacy-laws/.

427

Clement Yongxi Chen and Anne S. Y. Cheung, “The Transparent Self under Big Data Profiling: Privacy and Chinese Legislation on the Social Credit System,” Journal of Comparative Law 12 (2017): 356–378.

428

State Council Notice, Planning Outline for the Construction of a Social Credit System, исходный текст и английский перевод доступны в: China Copyright and Media (June 14, 2014, updated April 25, 2015), htt-ps://chinacopyrightandmedia.wordpress.com/20i4/o6/i4/planning-outline-for-the-construction-of-a-social-credit-system-2014-2020/. Исходный официальный текст доступен на сайте китайского правительства: http://www.gov.cn/zhengce/content/2014-o6/27/ content_8913.htm.

429

Evelyn Cheng and Shirley Tay, “China Wants to Track and Grade Each Citizen’s Actions – It’s in the Testing Phase,” CNBC, July 25, 2019, https://www.cnbc.com/2019/07/26/china-s0cial-credit-system-still-in-testing-phase-amid-trials.html. См. также: Sophia Yan, “The Village Testing China’s Social Credit System: Driven by Big Data, Its Residents Earn a Star Rating/’ South China Morning Post, June 2, 2019, https://www.scmp.com/magazines/post-magazine/long-reads/ article/3012574/village-testing-chinas-social-credit-system.

430

Cheng and Tay, “China Wants to Track and Grade Each Citizen’s Actions.” Ченг и Тай цитируют доклад Credit China о тестировании системы социального кредита в Жунчэне (провинция Шаньдун), выпущенный 5 февраля 2018 г. и доступный на сайте китайского правительства: https:// www.creditchina.gov.cn/chengxinwenhua/chengshichengxinwen-hua/201802/t20180205_io8i68.html.

431

Cheng and Tay, “China Wants to Track and Grade Each Citizen’s Actions.”

432

Чен и Чеун назвали этот эффект волновым. См.: Yongxi Chen and Anne S. Y. Cheung, “The Transparent Self under Big Data Profiling: Privacy and Chinese Legislation on the Social Credit System,” Journal of Comparative Law 12 (2017): 356–378. Он напоминает «косвенный ущерб» уголовного приговора или нарушения долговых обязательств в США. См., например: Michael Pinard, “Collateral Consequences of Criminal Convictions: Confronting Issues of Race and Dignity,” New York University Law Review 85 (2010): 457–534.

433

Southern Metropolis Daily, “The Parents Owed Their Debts, and 31 Children Were Recommended by the Court to Drop Out of School,” sr/mgy/, July 18, 2018, https://rn.21jingji.com/article/20180718/herald/ baoff13df6dcb5196cdcb6f886e4726b.html. Этот аспект оценки репутации описывается и критикуется в: Hu Jianmiao, “Can the Children of Those Who Run Red Lights be Restricted from Attending School,” Legal Daily, January 13, 2016, http://opinion.people.com.cn/ m/20i6/oii3/cioo3-28046944.html. Критика Ху указывает на надежные основания, позволяющие противостоять сетевым следствиям в рамках самой правовой системы Китая.

434

Jay Stanley, “China’s Nightmarish Citizen Scores Are a Warning for Americans,” ACLU (blog), October 5, 2015, https://www.aclu.org/ blog/privacy-technology/consumer-privacy/chinas-nightmarish-citizen-scores-are-warning-americans.

435

Возможно, предугадывая негативные репутационные эффекты, гонконгские протестующие против Билля об экстрадиции (2019) использовали маски, карты системы Octopus и лазеры, чтобы подорвать системы распознавания лиц, которые могли бы навсегда стигматизировать их, определив в качестве диссидентов или неблагонадежных.

436

Жиль Делез, «Post scriptum к обществам контроля», в: Жиль Делез, Переговоры (Санкт-Петербург: Наука, 2004); Frank Pasquale, “The Algorithmic Self,” Hedgehog Review, Spring 2015.

437

Nathan Vanderklippe, “Chinese Blacklist an Early Glimpse of Sweeping New Social-Credit Control,” Globe and Mail, January 3, 2018, updated January 18, 2018, https://www.theglobeandmail.com/news/world/ chinese-blacklist-an-early-glimpse-of-sweeping-new-social-credit-control/article374933oo/; Frank Pasquale and Danielle Keats Citron, “Promoting Innovation while Preventing Discrimination: Policy Goals for the Scored Society,” Washington Law Review 89 (2014): 1413–1424; Citron and Pasquale, “The Scored Society.”

438

Dan McQuillan, “Algorithmic States of Exception,” European Journal of Cultural Studies 18 (2015): 564–576.

439

Jathan Sadowski and Frank Pasquale, “The Spectrum of Control: A Social Theory of the Smart City,” First Monday 20, no. 7 (July 6, 2015), https://firstmonday.org/article/view/5903/466o.

440

Violet Blue, “Your Online Activity Is Now Effectively a Social ‘Credit Score,’ ” https://www.engadget.com/2020/o1/17/your-online-activity-effectively-social-credit-score-airbnb/.

441

Audrey Watters, “Education Technology and the New Behaviorism,” HackEducation (blog), December 23, 2017, http://hackeducation. com/2017/12/23/top-ed-tech-trends-social-emotional-learning.

442

Michael Walzer, Spheres of Justice: A Defense of Pluralism and Equality (New York: Basic Books, 1984).

443

О силе и ограниченности утилитаристских и деонтологических теорий см.: Cohen, Configuring the Networked Self Расходясь с западными стандартами либерализма, философия Уолцера хорошо стыкуется с теориями социальной гармонии, которые часто ассоциируются с восточноазиатскими философиями.

444

В идеале значение должны иметь не только корреляции, но и описания причинно-следственной связи. См., например: Kiel Brennan-Marquez, “ ‘Plausible Cause’: Explanatory Standards in the Age of Powerful Machines,” Vanderbilt Law Review 70 (2018): 1249–1301. Мы можем понять, почему задержки платежей в прошлом должны получить кредитную оценку; записывать их – честная игра. Но применять в таких суждениях другие большие данные, не ограничивающиеся ролью человека в качестве должника, уже не так законно, как бы хорошо они ни предсказывали проблемы с выплатами.

445

Jurgen Habermas, The Theory of Communicative Action, vol. 2, Lifeworld and System: A Critique of Functionalist Reason, trans. Thomas McCarthy (Boston, MA: Beacon Press, 1987). Введение в эти идеи см. в: Hugh Baxter, “System and Lifeworld in Habermas’s Theory of Law,” Cardozo Law Review 23 (2002): 473–615.

446

Ирония формулировки Хабермаса (восходящей ко временам, когда «экспертные системы» ИИ можно было легко проинтерпретировать) в том, что метафора «юридификации» указывала на правовое поле как особенно непрозрачную и излишне сложную методику социального упорядочивания, тогда как сегодня базовый для правовой системы стандарт обоснования становится стандартом подотчетности, если применить его к автоматизированным системам.

447

Эта инструментализация самого себя критикуется как разновидность отчуждения в работе: Hartmut Rosa, Resonance: A Sociology of Our Relationship to the World, trans. James Wagner (Cambridge, UK: Polity Press, 2019). См. также: Richard M. Re and Alicia Solow-Niederman, “Developing Artificially Intelligent Justice,” Stanford Technology Law Review 22 (2019): 242, 275, где обсуждается отчуждение от автоматизированных систем.

448

David Beer, The Data Gaze: Capitalism, Power and Perception (Los Angeles: Sage, 2018); Бруссард, Искусственный интеллект: пределы возможного.

449

Charles Taylor, “Foucault on Freedom and Truth,” Political Theory 12, no. 2 (1984): 152–183.

450

Уильям Дэвис, Нервные государства (Москва: ACT, 2021).

451

Adolph A. Berle, Power (New York: Harcourt, 1969); John Gaventa, Power and Powerlessness: Quiescence and Rebellion in an Appalachian Valley (Urbana: University of Illinois Press, 1980); Стивен Льюке, Власть: радикальный взгляд (Москва: Издательский дом ГУ ВШЭ, 2010).

452

Jonathan Schell, The Unconquerable World: Power, Nonviolence, and the Will of the People (New York: Metropolitan Books, 2003).

453

Elizabeth Warren and Amelia Warren Tyagi, The Two-Income Trap: Why Middle-Class Mothers and Fathers Are Going Broke (New York: Basic Books, 2003); Robert Frank, Falling Behind: How Rising Inequality Harms the Middle Class (Berkeley: University of California Press, 2007).

454

Pasquale, “Reclaiming Egalitarianism in the Political Theory of Campaign Finance Reform,” (2008): 599–660.

455

David Silver, Julian Schrittwieser, Karen Simonyan, loannis Antono-glou, Aja Huang, Arthur Guez, Thomas Hubert et al., “Mastering the Game of Go without Human Knowledge,” Nature 550 (2017): 354-359-

456

Peter Galison, “The Ontology of the Enemy: Norbert Wiener and the Cybernetic Vision,” Critical Inquiry 21 (1994): 228–266.

457

Future of Life Institute, “Slaughterbots,” YouTube, November 13, 2017, https://www.youtube.com/watch?v=HipTO_7mUOw; Jessica Gussins, “Al Researchers Create Video to Call for Autonomous Weapons Ban at UN,” Future of Life Institute, November 14, 2017, https://futu-reoflife.org/2017/11/14/ai-researchers-create-video-call-autonomous-weapons-ban-un/?cn-reloaded=i.

458

Shane Harris, “The Brave New Battlefield,” Defining Ideas, September 19, 2012, http://www.hoover.org/research/brave-new-battlefield; Benjamin Wittes and Gabriella Blum, The Future of Violence- Robots and Germs, Hackers and Drones: Confronting the New Age of Threat (New York: Basic Books, 2015).

459

Gabriella Blum, “Invisible Threats,” Hoover Institution: Emerging Threats, 2012, https://www.hoover.org/sites/default/files/research/ docs/emergingthreats_blum.pdf.

460

P. W. Singer and August Cole, Ghost Fleet: A Novel of the Next World War (New York: Houghton, 2015).

461

P. W. Singer, “Military Robots and the Future of War,” TED talk, February 2009, https://www.ted.com/talks/pw_singer_on_robots_of_ war; P. W. Singer, “News and Events,” https://www.pwsinger.com/ news-and-events/; MCOE Online, “August Cole Discusses Future Fighting Possibilities,” YouTube, March 3, 2016, https://www.you-tube.com/watch?v=vl_J9_x-yOk.

462

Анатолий Днепров, Крабы идут по острову (Москва: Мир, 1968), ю: «…Я ведь вам сказал, что хочу усовершенствовать свои автоматы. – Ну так что же? Берите чертежи и думайте, как это сделать. При чем же тут эта междоусобица? Этак они начнут пожирать друг друга! – Вот именно! И выживут самые совершенные». (Благодарю Майкла Фрумкина за то, что он привлек мое внимание к этому рассказу.)

463

Педро Домингос придумал гипотетический Парк роботов по модели Парка юрского периода – «огромная фабрика по производству роботов. Вокруг нее – тысяча квадратных миль джунглей, каменных и не очень… На мастер-классе DARPA [Управления перспективных исследовательских проектов] я предложил эту идею в рамках мысленного эксперимента, и один из присутствующих в зале высших чинов сухо заметил: „Да, это реализуемо“». См.: Петро Домингос, Верховный алгоритм: как машинное обучение изменит наш мир (Москва: Манн, Иванов и Фербер, 2016), 143.

464

Bill Joy, “Why the Future Doesn’t Need Us,” Wired, April 1, 2000, https://www.wired. com/2 000/0 4/j oy- 2/.

465

Brad Turner, “Cooking Protestors Alive: The Excessive-Force Implications of the Active Denial System,” Duke Law & Technology Review n (2012): 332-356

466

Michael Schmitt, “Regulating Autonomous Weapons Might Be Smarter than Banning Them,” Just Security, August 10, 2015, https://www.justse-curity.org/25333/regulating-autonomous-weapons-smarter-banning/.

467

Конечно, могут быть и не распознающие объект роботы-убийцы, которые должны убить всякого, кто встретится им на пути на определенной территории, или любого человека определенной наружности. Они в этом плане напоминают те виды разрушительных вооружений, которые давно учтены военным правом.

468

Ronald Arkin, “The Case for Banning Killer Robots: Counterpoint,” Communications of the ACM 58, no. 12 (2015): 46–47.

469

Noel Е. Sharkey, “The Evitability of Autonomous Robot Warfare,” International Review of the Red Cross 94 (2012): 787–799. Критическую оценку заместительной автоматизации персонала правоохранительных органов см. в: Elizabeth Е. Joh, “Policing Police Robots,” UCLA Law Review Discourse 64 (2016): 516–543.

470

Thomas Gibbons-Neff, “U. S. Troops Deployed to Bolster Security at American Embassy in South Sudan,” Washington Post, July 13, 2016, https://www.washingtonpost.com/news/checkpoint/wp/2016/o7/13/ u-s-troops-deployed-to-bolster-security-at-american-embassy-in-south-sudan/?utm_term=.8825ec86285d; David E. Sanger and Eric Schmitt, “Yemen Withdraws Permission for U. S. Antiterror Ground Missions,” New York Times, February 7, 2017, https://www.nytimes. com/2017/02/07/world/middleeast/yemen-special-operations-missions.html.

471

Peter W. Singer, LikeWar: The Weaponization of Social Media (Boston: Houghton Mifflin Harcourt, 2018); Peter Pomerantsev, “The Hidden Author of Putinism: How Vladislav Surkov Invented the New Russia,” Atlantic, November 7, 2014, https://www.theatlantic.com/international/archive/2014/ii/hidden-author-putinism-russia-viadisiav-surkov/ 382489/.

472

Alexander Kott, David Alberts, Amy Zalman, Paulo Shakarian, Fernando Maymi, Cliff Wang, and Gang Qu, “Visualizing the Tactical Ground Battlefield in the Year 2050: Workshop Report,” US Army Research Laboratory, June 2015, https://www.arl.army.mil/arl-reports/2015/ARL-SR-O327.pdf; Lucy Ash, “How Russia Outfoxes Its Enemies,” BBC News, January 29, 2015, http://www.bbc.com/news/ magazine-31020283.

473

Rebecca Crootof, “The Killer Robots Are Here,” Cardozo Law Review 36 (2015): 1837–1915.

474

1977 Protocol 1 Additional to the Geneva Conventions of August 12, 1949, and Relating to the Protection of Victims of Non-International Armed Conflicts, article 51(3); 1978 Protocol 1 Additional to the Geneva Conventions of August 12, 1949, and Relating to the Protection of Victims of Non-International Armed Conflicts, article 13(3).

475

Bonnie Docherty, Losing Humanity: The Case against Killer Robots (New York: Human Rights Watch, 2012), 31.

476

Mike Crang and Stephen Graham, “Sentient Cities: Ambient Intelligence and the Politics of Urban Space,” Information Communication and Society 10 (2007): 789, 799 («Главным элементом этого нового типа конфликта, который погружает новые „боевые пространства“ в глубь городской гражданской жизни, является мобилизация среды как разведывательной системы. Такое погружение в городские инфраструктуры обеспечивает „осведомленность о боевом пространстве“, необходимую для отслеживания и выцеливания скрывающихся повстанцев, террористов и других „целей“»).

477

Грегуар Шамаю, Теория дрона (Москва: Ad Marginem, 2020), 174; Luke A. Whittemore, “Proportionality Decision Making in Targeting: Heuristics, Cognitive Biases, and the Law,” Harvard National Security Journal 7 (2016): 577, 593 («На каждом этапе командир должен взвешивать вероятности, чтобы выбрать ту категорию или другую. Свяжите эту неопределенность с размытостью терминов, и станет ясно, что принятие решений человеком при соблюдении принципа дискриминации, скорее всего, будет опираться на эвристические принципы оценки вероятностей и предсказания результатов»).

478

1977 Protocol 1 Additional to the Geneva Conventions of August 12, 1949, and Relating to the Protection of Victims of Non-International Armed Conflicts, art. 51(5) (b).

479

United States Air Force Judge Advocate General International and Operations Law Division, Air Force Operations and the Law: A Guidefor Air and Space Forces (Washington, DC: International and Operations Law Division, Judge Advocate General’s Department, 2002), 27.

480

U. C. Jha, Killer Robots: Lethal Autonomous Weapon System Legal, Ethical and Moral Challenges (New Delhi: Vij Books India Pvt. Ltd., 2016).

481

Peter Asaro, Jus Nascendi, “Robotic Weapons, and the Martens Clause,” in Robot Law, ed. Ryan Calo, Michael Froomkin, and Ian Kerr (Cheltenham, UK: Edward Elgar Publishing, 2016), 377.

482

Ibid., 378. Эта позиция подтверждается моей прежней работой: Frank Pasquale, “A Rule of Persons, Not Machines: The Limits of Legal Automation,” George Washington Law Review yty (2019): 1-55, где описываются недостатки автоматизированного применения права.

483

Quinta Jurecic, “The Lawfare Podcast: Samuel Moyn on ‘How Warfare Became Both More Humane and Harder to End,’ ” Lawfare, October 22, 2016, https://www.lawfareblog.com/lawfare-podcast-samuel-moyn-how-warfare-became-both-more-humane-and-harder-end.

484

Harold Hongju Koh, “The War Powers and Humanitarian Intervention,” Houston Law Review 53 (2016): 971-1034.

485

Шамаю, Теория дрона, ю8.

486

Там же, 172–173 («Если вы можете грохнуть, кого пожелаете, с большой точностью, то из этого еще не следует, что вы теперь лучше научились отличать легитимную мишень от нелегитимной»).

487

См. там же, 177.

488

Размытая граница между обороной и нападением является также темой литературы о кибервойнах (и она же определяла криптографию по крайней мере с 1930-х гг.). См.: Galison, “Ontology of the Enemy.”

489

William Bogard, The Simulation of Surveillance: Hypercontrol in Telematic Societies (New York: Cambridge University Press, 1996), 85.

490

Paul Scharre, Army of None: Autonomous Weapons and the Future of War (New York: Norton, 2018).

491

Kathleen Belew, Bring the War Home: The White Power Movement and Paramilitary America (Cambridge, MA: Harvard University Press, 2018); Andrew Macdonald, The Turner Diaries (Charlottesville, VA: National Vanguard Books, 1999).

492

Brian Massumi, Ontopower: War, Powers, and the State of Perception (Durham, NC: Duke University Press, 2006); Joseph A. Schumpeter, The Economics and Sociology of Capitalism, (Princeton: Princeton University Press, 1991), 157.

493

Peter W Singer, Wired for War: The Robotics Revolution and Conflict in the 21st Century (New York: Penguin Books, 2009), 12/.

494

Ibid., 127.

495

Ian Kerr and Katie Szilagyi, “Evitable Conflicts, Inevitable Technologies? The Science and Fiction of Robotic Warfare and IHL,” Law, Culture, and Humanities 14, no. 1 (2014): 45–82, http://lch.sagepub.com/ content/early/20i4/oi/oi/1743872ii3509443.full.pdf+html (описывается, как летальные автономные роботы могут стать «мультипликатором военной необходимости»).

496

Ariel Ezrahi and Maurice E. Stucke, Virtual Competition: The Promise and Perils of the Algorithm-Driven Economy (Cambridge, MA: Harvard University Press, 2016), 13. Ценовые алгоритмы компании Amazon попали в заголовки газет, когда привели к непреднамеренной эскалации цены на книгу Питера Лоуренса «Как сделать муху» (Peter Lawrence, The Making of a Fly). На пике ее цена составляла 23698 655,93 Долл, (плюс 3,99 долл, за доставку).

497

Ezrahi and Stucke, Virtual Competition, 13.

498

Nathanial Popper, “Knight Capital Says Trading Glitch Cost It $440 Million,” New York Times: DealBook, August 2, 2012, https://dealbook. nytimes.com/2012/08/02/knight-capital-says-trading-mishap-c0st-it-440-million/.

499

US Securities and Exchange Commission (SEC) and the US Commodity Futures Trading Commission (CFTC), Findings Regarding the Market Events of May 6, 2010, September 30, 2010, https://www.sec. gov/news/studies/2010/marketevents-report.pdf.

500

Frangoise Hampson, “Military Necessity,” in Crimes of War: What the Public Should Know, 2nd ed., ed. Roy Guttman, David Rieff, and Anthony Dworkin (New York: Norton, 2007), 297.

501

Protocol Additional to the Geneva Conventions of 12 August 1949, and Relating to the Protection of Victims of International Armed Conflicts (Protocol I), December 12, 1977, 1125 U.N.T.S. 609, Art. 1(2); Rupert Ticehurst, “The Martens Clause and the Laws of Armed Conflict,” International Review of the Red Cross 7 у (1997): 133–142; Theodor Meron, “The Martens Clause, Principles of Humanity, and Dictates of Public Conscience,” American Journal of International Law 94 (2000): 78–89.

502

Хотя такие термины, как «общественное сознание», могут быть слишком смутными даже для человеческих юридических решений, определение основополагающих общественных ценностей сыграло важную роль в конституционной юриспруденции США. См. дело Roper v. Simmons, 543 U.S. 551 (2005), где было доказано, что казнь людей, которым на момент совершения преступления, караемого смертной казнью, было менее 18 лет, запрещается Восьмой и Четырнадцатой поправками; см. также дело Atkins v. Virginia, 536 U.S. 304 (2002), в котором было принято решение о том, что смертная казнь – жестокое и необычное наказание для преступников с психическими болезнями, о чем говорит Восьмая поправка.

503

Charli Carpenter, “Science Fiction, Popular Culture, and the Concept of Genocide,” Duck of Minerva (blog), June 10, 2009, http://duck-ofminerva.com/2009/o6/science-fiction-popular-culture-and.html.

504

Campaign to Stop Killer Robots, “About Us,” https://www. stopkill-errobots.org/about-us/.

505

Далее в этой главе под термином «мина» имеется в виду наземная противопехотная мина.

506

Boutros Boutros-Ghali, “The Land Mine Crisis: A Humanitarian Disaster,” Foreign Affairs 73 (September / October 1994): 8-13.

507

Eric Stover, Allen S. Keller, James Cobey, and Sam Sopheap, “The Medical and Social Consequences of Land Mines in Cambodia,” Joz/r-nal of the American Medical Association 272 (1994): 331–336.

508

Ben Wittes and Gabriella Blum, The Future of Violence: Robots and Germs, Hackers and Drones – Confronting a New Age of Threat (New York: Basic Books, 2015), 239.

509

Don Huber, “The Landmine Ban: A Case Study in Humanitarian Advocacy,” Thomas J. Watson Jr. Institute for International Studies 42 (2000), http://www.watsoninstitute.org/pub/op42.pdf.

510

Подробнее о технологиях сетевого подключения мин и «звонка домой» см.: “Along Came a Spider: The ХМ-7 RED Mine,” Defense Industry Daily, August 27, 2013, https://www.defenseindustry-daily.com/along-came-a-spider-the-xm-7-red-o4966/; Lester Haines, “Introducing the ‘Matrix’ Laptop-Triggered Landmine,” Register, April 12, 2005, https://www.theregister.c0.uk/2005/04/12/lap-top_triggered_landmine/; Brian Bergstein, “ ‘Smart’ Land Mines, with Remote Control,” NBC News.com, April 4, 2004, http://www. nbcnews.c0m/id/4664710/ns/techn0l0gy_and_science-science/t/ smart-land-mines-remote-control/.

511

Convention on the Prohibition of the Use, Stockpiling, Production and Transfer of Anti-Personnel Mines and on their Destruction, September 18,1997, 2056 U.N.T.S., 211.

512

Convention on the Prohibition of the Use, Stockpiling, Production and Transfer of Anti-Personnel Mines and on their Destruction.

513

P. W. Singer, “Military Robots and the Laws of War,” New Atlantis 23 (2009): 25-45-

514

Ibid., 44–45. Ребекка Крутоф широко применяла понятие правонарушения в этой области. См.: Rebecca Crootof, “War Torts: Accountability for Autonomous Weapons,” University of Pennsylvania Law Review 164 (2016): 1347–1402.

515

См., например: Samir Chopra and Laurence White, Legal Theory of Autonomous Artificial Agents (Ann Arbor: University of Michigan Press, 2011).

516

Dustin A. Lewis, Gabriella Blum, and Naz K. Modirzadeh, “War-Algorithm Accountability,” Harvard Law School Program on International Law and Armed Conflict Research Briefing, August 2016, https://papers.ssrn.com/soi3/papers.cfmPabstract_icD2832734. В целом работа по атрибуции дронов уже ведется. См.: Joseph Lorenzo Hall, “ ‘License Plates’ for Drones,” CDTBlog, March 8, 2013, https://cdt.org/blog/license-plates-for-drones/.

517

См., например: Hall, “License Plates for Drones”; 14 C.F.R. § 48.100 (2016): в августе 2016 г. все небольшие беспилотные летательные аппараты, за исключением моделей самолетов, требовали регистрации. Об опасностях ^атрибутированных полетов дронов см.: A. Michael Froomkin and Р. Zak Colangelo, “Self-Defense against Robots and Drones,” Connecticut Law Review 48 (2015): 1-70.

518

Ellen Nakashima, “Cyber Researchers Confirm Russian Government Hack of Democratic National Committee,” Washington Post, June 20, 2016, https://www.washingtonpost.com/world/national-security/cyber-researchers-confirm-russian-government-hack-of-democratic-national-committee/20i6/o6/20/e7375bco-3719-ne6-9ccd-d6oo5beac8b3_story.html?utm_term=.9oafb7ecbcc6; Man-diant Consulting, “M-Trends 2016,” February 2016, https://www2. fireeye.com/PPC-m-trends-2016-trends-statistics-mandiant.html.

519

Paul Ohm, “The Fourth Amendment in a World without Privacy,” Mississippi Law Journal 81 (2012): 1346–1347.

520

Paul Scharre, “The False Choice of Humans vs. Automation,” Temple International and Comparative Law Journal 30 (2016): 151–165.

521

Nick Bilton, “Fake News Is about to Get Even Scarier Than You Ever Dreamed,” Vanity Fair, January 26, 2017, http://www.vanityfair.com/ news/2017/oi/fake-news-technology.

522

Paul Ohm and Jonathan Frankel, “Desirable Inefficiency,” Florida Law Review 70 (2018): 777–838. Понятие «гарнизонного государства» было разработано в: Harold D. Lasswell, “The Garrison State,” American Journal of Sociology 46, no. 4 (1941): 455–468.

523

Stockholm International Peace Research Institute, “World Military Expenditure Grows to $1.8 Trillion in 2018,” Sipri, April 29, 2019, https://www.sipri.org/media/press-release/2019/world-military-expenditure-grows-18-trillion-2018.

524

Christopher A. Preble, The Power Problem: How American Military Dominance Makes Us Less Safe, Less Prosperous, and Less Free (Ithaca, NY: Cornell University Press, 2009); John Mueller and Mark Stewart, Chasing Ghosts: The Policing of Terrorism (Oxford: Oxford University Press, 2015).

525

Цит. по: Katrin Bennhold, “ ‘Sadness’ and Disbelief from a World Missing American Leadership, New York Times, April 23, 2020.

526

Andrew Bacevich, The Age of Illusions: How America Squandered Its Cold War Victory (New York: Metropolitan Books, 2020); Nikhil Pal Singh, Quincy Institute for Responsible Statecraft, “Enough Toxic Militarism,” Quincy Brief, December 4, 2019, https://quincyinst. org/2019/12/04/quincy-brief-enough-toxic-militarism/.

527

T. X. Hammes, “The Future of Warfare: Small, Many, Smart vs. Few & Exquisite?” War on the Rocks, July 16, 2014, https://warontherocks. com/2014/07/the-future-of-warfare-small-many-smart-vs-few-exquisite/.

528

Sulmaan Wasif Khan, Haunted by Chaos: China’s Grand Strategy from Mao Zedong to Xi Jinping (Cambridge, MA: Harvard University Press, 2018), 232. Применение Си Цзиньпином «военной силы подорвало более важную стратегическую цель, которую намеревались достичь с ее помощью, а именно стабильность в соседних странах. Такие страны, как Япония и Вьетнам, не отступили, когда столкнулись с угрозой рыболовецкого ополчения и авианосцев. Демонстрация силы, видимо, подтолкнула их самих наращивать военную мощь».

529

Henry Farrell, “Seeing Like a Finite State Machine,” Crooked Timber (blog), November 25, 2019, http://crookedtimber.org/2019/11/25/ seeing-like-a-finite-state-machine/.

530

Robert A. Burton, “Donald Trump, Our A. I. President,” New York Times, May 22, 2017, https://www.nytimes.com/2017/o5/22/opinion/ donald-trump-our-ai-president.html.

531

John Glaser, Christopher H. Preble, and A. Trevor Thrall, Fuel to the Fire: How Trump Made America’s Broken Foreign Policy Even Worse (and How We Can Recover) (Washington, DC: Cato Institute, 2019).

532

Bernard Harcourt, Critique and Praxis (New York: Columbia University Press, 2020).

533

Etel Solingen, Nuclear Logics: Contrasting Paths in East Asia and the Middle East (Princeton: Princeton University Press, 2007), 253.

534

Noam Schreiber and Kate Conger, “The Great Google Revolt,” New York Times Magazine, February 18, 2020, https://www.nytimes.com/ interactive/2020/02/18/magazine/google-revolt.html; Letter from Google Employees to Sundar Pichai, Google Chief Executive, 2018, https://statico1.nyt.com/files/2018/technology/googleletter.pdf; Scott Shane and Daisuke Wakabayashi, “ ‘The Business of War’: Google Employees Protest Work for the Pentagon,” New York Times, April 4, 2018, https://www.nytimes.com/2018/o4/o4/technology/google-letter-ceo-pentagon-project.html.

535

Kate Conger, “Google Removes ‘Don’t Be Evil’ Clause from Its Code of Conduct,” Gizmodo, May 18, 2018, https://gizmodo.com/google-removes-nearly-all-mentions-of-dont-be-evil-from-1826153393.

536

Tom Upchurch, “How China Could Beat the West in the Deadly Race for Al Weapons,” Wired, August 8, 2018, https://www.wired.co.uk/article/ artificial-intelligence-weapons-warfare-project-maven-google-china.

537

Elsa В Kania, “Chinese Military Innovation in the Al Revolution,” RUSI Journal 164, nos. 5–6 (2019): 26–34. «В китайском Тяньцзине новый военно-гражданский центр обработки информации с применением ИИ… расположенный рядом с Национальным суперкомпыотерным центром, был создан местным правительством в партнерстве с Академией военных наук».

538

Ashwin Acharya and Zachary Arnold, Chinese Public Al R&D Spending: Provisional Findings (Washington, DC: Center for Security and Emerging Technology, 2019), https://cset.georgetown.edu/wp-content/up-loads/Chinese-Public-AI-RD-Spending-Provisional-Findings-i.pdf. Ачарья и Арнольд выяснили, что затраты Китая на военный ИИ ниже ранее предполагавшихся.

539

Luciano Floridi and Mariarosaria Taddeo, eds., The Ethics of Information Warfare (Cham, CH: Springer, 2014); Singer and Brooking, LikeWar.

540

Samuel Bowles and Arjun Jayadev, “Guard Labor: An Essay in Honor of Pranab Bardhan,” University of Massachusetts Amherst Working Paper 2004–2015 (2004), https://scholarworks.umass.edu/econ_workingpaper/63/; Harold Lasswell, “The Garrison State,” American Journal of Sociology 46 (1941): 455–468.

541

Ryan Gallagher, “Cameras Linked to Chinese Government Stir Alarm in U. K. Parliament,” Intercept, April 9, 2019, https://thein-tercept.com/2019/04/09/hikvisi0n-cameras-uk-parliament/; Arthur Gwagwa, “Exporting Repression? China’s Artificial Intelligence Push into Africa,” Council on Foreign Relations: Net Politics (blog), December 17, 2018, https://www.cfr.org/blog/exporting-repression-chinas-artificial-intelligence-push-africa.

542

“Companies Involved in Expanding China’s Public Security Apparatus in Xinjiang,” ChinAI Newsletter #11, trans. Jeff Ding, May 21, 2018, https://chinai.substack.com/p/chinai-newsletter-11-companies-involved-in-expanding-chinas-public-security-apparatus-in-xinjiang.

543

Doug Bandow, “The Case for a Much Smaller Military,” Fortune 135, no. 12 (1997): 25–26.

544

Bernard Harcourt, The Counterrevolution: How Our Government Went to War against Its Own Citizens (New York: Public Books, 2018).

545

Имеется в виду Posse Comitatus Act, закон 1878 г., ограничивающий применение федеральным правительством войск и воинского состава для укрепления рядов полиции. – Прим. пер.

546

Sina Najafi and Peter Galison, “The Ontology of the Enemy: An Interview with Peter Galison,” Cabinet Magazine, Fall/Winter 2003, http:// cabinetmagazine.org/issues/12/najafi2.php.

547

William E. Connolly, The Fragility of Things: Self-Organizing Processes, Neoliberal Fantasies, and Democratic Activism (Durham, NG: Duke University Press, 2013).

548

Rosa Brooks, How Everything Became War and the Military Became Everything: Tales from the Pentagon (New York: Simon & Schuster, 2017).

549

Deborah Brautigam, The Dragon’s Gift: The Real Story of China in Africa (New York: Oxford University Press, 2009). См. также: Michael Feher, Rated Agency: Investee Politics in a Speculative Age, trans. Gregory Elliott (New York: Zone Books, 2018).

550

Например, хотя эксперты по здравоохранению предупреждали администрацию Джорджа У. Буша о том, что «лучший способ обуздать биотерроризм – это улучшить управляемость существующих угроз общественному здоровью», чиновники «в срочном порядке состряпали программу вакцинации от сибирской язвы и оспы, основываясь на фантастических сценариях, которым позавидовал бы даже Том Клэнси». См.: Майк Дэвис, Птичий грипп. Глобальная угроза новой пандемии (Москва: Добрая книга, 2006), 177–178 (перевод исправлен. – Прим, перев.). См. также: Amy Kapczynski and Gregg Gonsalves, “Alone against the Virus,” Boston Review, March 13, 2020, http://bostonreview.net/class-inequality-science-nature/ amy-kapczynski-gregg-gonsalves-alone-against-virus.

551

Ian G. R. Shaw, Predator Empire: Drone Warfare and Full Spectrum Dominance (Minneapolis: University of Minnesota Press, 2016).

552

Исследования права и политической экономии выдвигают на передний план эту методологическую инновацию. См.: Jeded-iah S. Britton-Purdy, David Singh Grewal, Amy Kapczynski, and K. Sabeel Rahman, “Building a Law-and-Political-Economy Framework: Beyond the Twentieth-Century Synthesis,” Yale Law Journal 130 (2020): 1784–1835.

553

Martha McCluskey, “Defining the Economic Pie, Not Dividing or Maximizing It,” Critical Analysis of Law 5 (2018): 77–98.

554

Термин «локальный» имеет здесь многозначный смысл, обозначая чувство географической близости к ИИ ⁄ роботизированным системам и в то же время функциональную специальную экспертизу. См.: Clifford Geertz, Local Knowledge: Further Essays in Interpretive Anthropology (New York: Basic Books, 1983).

555

Подробнее о том, как это может быть сделано в секторах промышленности и услуг, которые не рассматриваются в этой книге, см.: Roberto Unger, The Knowledge Economy (New York: Verso, 2019).

556

Roger Boesche, “Why Could Tocqueville Predict So Well?” Political Theory n (1983): 79-103.

557

Joseph Е. Aoun, Robot-Proof: Higher Education in the Age of Artificial Intelligence (Cambridge, MA: MIT Press, 2017).

558

Термин «более передовые способы производства» я заимствую из работы: Unger, The Knowledge Economy.

559

Eliza Mackintosh, “Finland Is Winning the War on Fake News. What It’s Learned May Be Crucial to Western Democracy,” CNN, May 2019, https://www.cnn.com/interactive/2019/05/eur0pe/ finland-fake-news-intl/.

560

В частности, обсуждение кнопок реакции в Facebook см. в: David Auerbach, Bitwise: Му Life in Code (New York: Random House, 2018).

561

Luke Stark, “Algorithmic Psychometrics and the Scalable Subject,” Social Studies of Science 48, no. 2 (2018): 204–231.

562

Avner Offer, The Challenge of Affluence: Self-Control and Well-Being in the United States and Britain since iggo (Oxford: Oxford University Press, 2006); Avner Offer, Rachel Pechey, and Stanley Ulijaszek, eds., Inequality, Insecurity, and Obesity in Affluent Societies (Oxford: Oxford University Press, 2012).

563

Michael Simkovic, “The Knowledge Tax,” University of Chicago Law Review 82 (2015): 1981–2043. В стандартных моделях бюджетов эти вклады обычно не отражаются. См.: Michael Simkovic, “Biased Budget Scoring and Underinvestment,” Tax Notes Federal 166, no. 5 (2020): 75-765.

564

The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems, Ethically Aligned Design: A Vision for Prioritizing Human Well-Being with Autonomous and Intelligent Systems, 1st. ed. (2019), 102.

565

Robert Lee Hale, Freedom through Law (New York: Columbia University Press, 1952).

566

Brishen Rogers, “The Law and Political Economy of Workplace Technological Change,” Harvard Civil Rights-Civil Liberties Law Review Vol. 55, No. 2, Summer 2020.

567

Elizabeth Anderson, Private Government: How Employers Rule Our Lives (And Why We Don’t Talk about It} (Princeton: Princeton University Press, 2018).

568

Veena В. Dubai, “Wage Slave or Entrepreneur?: Contesting the Dualism of Legal Worker Identities,” California Law Review 105 (2017): 101–159; Sanjukta Paul, “Uber as For-Profit Hiring Hall: A Price-Fixing Paradox and Its Implications,” Berkeley Journal of Employment and Labor Law 38 (2017): 233–264.

569

Ответы на критику профессиональных организаций см. в: Sandeep Vaheesan and Frank Pasquale, “The Politics of Professionalism,” Annual Review of Law & Social Science 14 (2018): 309–327.

570

Крайне важны для исследования этих ценностей гуманитарные и социальные науки. Также в решении этой задачи играет свою роль религия, и некоторые религиозные институты иногда комментируют развитие ИИ и роботов. См., например: Pontifical Academy of Sciences and Pontifical Academy of Social Sciences, Final Statement from the Conference on Robotics, Al and Humanity, Science, Ethics and Policy (2019), http://www.academyofsciences.va/content/ac-cademia/en/events/2019/robotics/statementrobotics.html.

571

Charles Duhigg, “Did Uber Steal Google’s Intellectual Property?” New Yorker, October 15, 2018, https://www.newyorker.com/magazine/ 2018/10/22/did-uber-steal-googles-intellectual-property.

572

Ben Green, The Smart Enough City: Putting Technology in Its Place to Reclaim Our Urban Future (Cambridge, MA: MIT Press, 2019).

573

James Kwak, Economism: Bad Economics and the Rise of Inequality (New York: Pantheon Books, 2017).

574

John Lanchester “Good New Idea” London Review of Books 41, no. 14 (2019), https://www.lrb.co.uk/the-paper/v41/n14/john-lanchester/ good-new-idea.

575

Hartmut Rosa, Resonance: A Sociology of Our Relationship to the World, trans. James Wagner (Medford, MA: Polity Press, 2019).

576

Cristobal Orrego, “The Universal Destination of the World’s Resources,” in Catholic Social Teaching, eds. Gerard V. Bradley and E. Christian Brugger (Cambridge, UK: Cambridge University Press, 2019), 267–299.

577

Gar Alperovitz and Lew Daly, Unjust Desserts: How the Rich Are Taking Our Common Inheritance (New York: New Press, 2010); Guy Standing, Basic Income: A Guidefor the Open Minded (New Haven: Yale University Press, 2017).

578

Daren Acemoglu and Pascual Restrepo, “Automation and New Tasks: How Technology Displaces and Reinstates Labor,” Journal of Economic Perspectives 33, no. 2 (2019): 3, 25.

579

Elizabeth Warren United States Senator for Massachusetts, “Senator Warren Unveils Proposal to Tax Wealth of Ultra-Rich Americans,” press release, January 24, 2019, https://www.warren.senate.gov/news-room/press-releases/senator-warren-unveils-proposal-to-tax-wealth-of-ultra-rich-americans.

580

“Tax on Extreme Wealth,” Issues, Friends of Bernie Sanders, accessed May 13, 2020, https://berniesanders.com/issues/tax-extreme-wealth/.

581

Karl Widerquist, “The Cost of Basic Income: Back-of-the-Envelope Calculations,” Basic Income Studies 12, no. 2 (2017): 1-13.

582

Thomas Piketty, Capital and Ideology (Cambridge, MA: Harvard University Press, 2020).

583

Paul Fain, “Huge Budget Cut for the University of Alaska,” Inside Higher Ed, June 29, 2019, https://www.insidehighered.com/ quicktakes/2019/06/29/huge-budget-cut-university-alaska.

584

Важный источник см. в: Ganesh Sitaraman and Anne L. Alstott, “The Public Option: How to Expand Freedom, Increase Opportunity, and Promote Equality (Cambridge, MA: Harvard University Press, 2019).

585

Pavlina Tcherneva in conversation with David Roberts, “30 Million Americans are Unemployed. Here’s How to Employ Them,” Vox, May 4, 2020, https://www.v0x.c0m/science-and-health/2020/5/4/21243725/ coronavirus-unemployment-cares-act-federal-job-guarantee-green-new-deal-pavlina-tcherneva. Pavlina Tcherneva, “The Job Guarantee: Design, Jobs, and Implementation,” Levy Economics Institute, Working Papers Series No. 902 (2018), https://papers.ssrn.com/s0l3/pa-pers.cfm?abstract_id=3155289.

586

William J. Baumol and William G. Bowen, Performing Arts: The Economic Dilemma (New York: Twentieth Century Fund, 1966).

587

Carolyn Demitri, Anne Effland, and Neilson Conklin, “The 20th Century Transformation of U. S. Agriculture and Farm Policy,” USDA Economic Inf ormation Bulletin 3 (June 2005): 1, 6, https://www.ers.usda.gov/ webdocs/publications/eib3/i3566_eib3_i_.pdf?v=4io55; John Seabrook, “The Age of Robot Farmers,” New Yorker, April 8, 2019, https:// www.newyorker.com/magazine/2019/o4/15/the-age-of-robot-farmers.

588

Ian D. Wyatt and Daniel E. Hecker, “Occupational Changes during the 20th Century,” Monthly Labor Review (2006): 35, 55. Например, фермерство составляло 33 % американской рабочей силы в 2010 г. и только 2,1 % в 2000 г. См.: Donald M. Fisk, “American Labor in the 20th Century,” Monthly Labor Review: US Bureau of Labor Statistics, September 2001, https://www.bls.gov/0pub/mlr/2001/article/american-lab0r-in-the-20th-century.htm. Промышленность (включая горное дело) и строительство составляли 31 % американской рабочей силы в 2ОЮ г. и только 19 % в 1999 г.

589

Jack Balkin, “Information Fiduciaries and the First Amendment,” UC Davis Law Review 49 (2016): 1183–1234. Балкин в основном стремится возложить определенные доверительные обязательства на фирмы и людей, которые разрабатывают и продают системы ИИ, включая роботов.

590

Natasha Dow Schiill, Addiction by Design: Machine Gambling in Law Vegas (Princeton: Princeton University Press, 2012).

591

Goss v. Lopez, 419 U.S. 565 (1975).

592

Frank Pasquale, “Synergy and Tradition: The Unity of Research, Service, and Teaching in Legal Education,” Journal of the Legal Profession 40 (2015): 25–48.

593

David Stark, The Sense of Dissonance: Accounts of Worth in Economic Life (Princeton: Princeton University Press, 2011).

594

Harold J. Wilensky, “The Professionalization of Everyone?” American Journal of Sociology 70, no. 2 (1964): 137–158.

595

Mark Blyth, “End Austerity Now,” Project Syndicate, August 20, 2013, https://www.project-syndicate.org/commentary/why-austerity-is-the-wrong-prescription-for-the-euro-crisis-by-mark-blyth?barrier=accessreg.

596

Phil Wahba and Lisa Baertlein, “McDonald’s, Walmart Feel the Pinch As Low-Income Shoppers Struggle in the Slow Recovery,” Huffington Post, August 16, 2013, http://www.huffingtonpost.com/2013/o8/16/ mcdonalds-walmart-low-income-shoppers_n_3765489.html.

597

Matthew Yglesias, “The Skills Gap Was a Lie,” Vox, January 9, 2019, https://www.vox. com/2 019/1/7/1816 6951/skills-gap-modestino-shoag-ballance.

598

National Science and Technology Council, Committee on Technology, Preparing for the Future of Artificial Intelligence (Executive Office of the President, October 2016), https://www.whitehouse.gov/sites/de-fault/files/whitehouse_files/microsites/ostp/NSTC/preparing_for_ the_future_of_ai.pdf?mc_cid=b2a6abaa55&mc_eid=aeb68cfb98; National Science and Technology Council, Networking and Information Technology Research and Development Subcommittee, The National Artificial Intelligence Research and Development Strategic Plan (Executive Office of the President, October 2016), https://www.whitehouse.gov/sites/default/files/whitehouse_files/microsites/ostp/ N STC/national_ai_rd_s trategic_plan.pdf.

599

Al Now, The Al Now Report: The Social and Economic Implications of Artificial Intelligence Technologies in the Near-Term, September 22, 2016, https://ainowinstitute.org/AI_Now_2016_Report.pdf.

600

Dan Diamond, “Obamacare: The Secret Jobs Program,” Politico, July 13, 2016), http://www.politico.com/agenda/story/2016/o7/ what-is-the-effect-of-obamacare-economy-000164.

601

Alyssa Battistoni, “Living, Not Just Surviving,” Jacobin Magazine, August 2017, https://jacobinmag.com/2017/o8/living-not-just-surviving/.

602

Eamonn Fingleton, In Praise of Hard Industries: Why Manufacturing, Not the Information Economy, Is the Key to Future Prosperity (New York: Houghton Mifflin, 1999); Andy Grove, “How America Can Create Jobs,” B100mberg (July 1, 2010), https://www.b100mberg.com/news/ articles/20io-o7-oi/andy-grove-how-america-can-create-jobs.

603

Douglas Wolf and Nancy Folbre, eds., Universal Coverage of Long-Term Care in the United States Can We Get There from Here? (New York: Russell Sage Foundation, 2012).

604

Nancy Folbre, For Love and Money: Care Provision in the United States (New York: Russell Sage Foundation, 2012).

605

Jason Furman, “Is This Time Different? The Opportunities and Challenges of Al,” Experts Workshop Al Now Institute 2016 Symposium, July 7, 2016, video, 32:39, https://ainowinstitute.org/symposia/vide-os/is-this-time-different-the-opportunities-and-challenges-of-ai.html.

606

Такая оценка квалифицированно проводится в работе: Amala-voyal V. Chari, John Engberg, Kristin N. Ray, and Ateev Mehrotra, “The Opportunity Costs of Informal Elder-Care in the United States: New Estimates from the American Time Use Survey,” Health Services Research 50 (2015): 871–882.

607

Amalavoyal V. Chari, John Engberg, Kristin N. Ray, and Ateev Mehro-tra, “The Opportunity Costs of Informal Elder-Care in the United States: New Estimates from the American Time Use Survey.”

608

Baumol, The Cost Disease, 182.

609

LaRue Allen and Bridget В. Kelly, eds, Transforming the Workplace for Children Birth through Age 8: A Unifying Foundation (Washington, DC: Institute of Medicine and National Research Council of the National Academies, 2015).

610

David S. Fallis and Amy Brittain, “In Virginia, Thousands of Day-Care Providers Receive No Oversight,” Washington Post, August 30, 2014, https://www.washingtonpost.com/sf/investigative/2014/o8/3o/ in-virginia-thousands-of-day-care-providers-receive-no-oversight/?hpid=z3&tid=a_inl&utm_term=.oa5aff6ie742.

611

Stephanie Kelton, The Deficit Myth: Modern Monetary Theory and the Birth of the People’s Economy (New York: Public Affairs, 2020).

612

L. Randall Wray, Modern Monetary Theory, 3d ed. (New York: Palgrave MacMillan, 2012).

613

Мариана Маццукато, Предпринимательское государство: развеем мифы о государстве и частном секторе (Москва: Издательский дом Высшей школы экономики, 2021).

614

Kate Aronoff, Alyssa Battistoni, Daniel Aldana Cohen, and Thea Ri-ofrancos, A Planet to Win: Why We Need a Green New Deal (New York: Verso, 2019).

615

Gregg Gonsalves and Amy Kapczynski, “The New Politics of Care,” Boston Review (2020), http://bostonreview.net/politics/gregg-gonsalves-amy-kapczynski-new-politics-care.

616

Комментарии об этой стороне складывающейся исследовательской повестки С МТ см. в: Nathan Tankus, “Are General Price Level Indices Theoretically Coherent?” http://www.nathantankus.com/ notes/are-general-price-level-indices-theoretically-coherent.

617

Курт Воннегут, Утопия 14. Библиотека современной фантастики, том 12 (Москва: Молодая гвардия, 1967).

618

Эдвард Морган Форстер, Машина останавливается. Гости страны Фантазии (Москва: Мир, 1968).

619

Возможно, однажды мы сможем говорить о «болезни отсутствия издержек», которая будет тщательно изучена в качестве причины значительной части проблем современных медиа. См.: Chris Jay Hoofnagle and Jan Whittington, “Free: Accounting for the Costs of the Internet’s Most Popular Price,” University of California at Los Angeles Law Review 61 (2014): 606–670.

620

Jeff Spross, “How Robots Became a Scapegoat for the Destruction of the Working Class,” Week, April 29, 2019, https://theweek.com/ articles/837759/how-robots-became-scapegoat-destruction-working-class.

621

Daniel Akst, “What Can We Learn from Past Anxiety over Automation?” Wilson Quarterly, Summer 2013, http://wilsonquarterly.com/ quarterly/summer-2014-where-have-all-the-jobs-gone/theres-much-learn-from-past-anxiety-over-automation/.

622

David H. Autor, “Polanyi’s Paradox and the Shape of Employment Growth,” NBER Working Paper No. 20485 (September 2014), http:// www.nber.org/papers/w20485.

623

См., например: Stephen Cave, Kanta Dihal, and Sarah Dillon, eds., Al Narratives: A History of Imaginative Thinking about Intelligent Machines (Oxford: Oxford University Press, 2020).

624

Питер Фрейз считает, что «научная фантастика относится к футуризму так же, как социальная теория к теории заговора – это более содержательное, честное и в то же время скромное предприятие». Он сам пишет в новом жанре социальной научной фантастики, который должен обосновать научно-фантастические спекуляции в области социологии. См.: Peter Frase, Four Futures: Life after Capitalism (New York: Verso, 2016), 27; William Davies, ed., Economic Science Fictions (London: Goldsmiths Press, 2018); Manu Saadia, Trekonomics: The Economics of Star Trek (Oakland, CA: Pipertext, 2016); William Bogard, The Simulation of Surveillance (Cambridge, UK: Cambridge University Press, 1992).

625

Ричард Браун составил каталог таких пересекающихся терминов моральной и онтологической направленности. См.: Richard Н. Brown, A Poetic for Sociology: Toward a Logic of Discovery for the Human Sciences (New York: Cambridge University Press, 1977), 125–126.

626

Шанталь Муфф и Нэнси Фрейзер убедительно описывают (и критикуют) эти риторические позиции. См.: Chantal Mouffe, The Return of the Political (New York: Verso, 2019); Nancy Fraser, The Old Is Dying and the New Cannot Be Born (New York: Verso, 2020).

627

Frank Pasquale, “To Replace or Respect: Futurology as if People Mattered,” Boundary 2 Online, January 20, 2015, https://www.boundary2. org/2015/oi/to-replace-or-respect-futurology-as-if-people-mattered/.

628

О «глубинных историях» см.: Arlie Hochschild, Strangers in Their Own Land: Anger and Mourning on the American Right (New York: New Press, 2016). О базовых нарративных формах см.: George Lakoff, Thinking Points: Communicating Our American Values and Vision (New York: Farrar, Straus and Giroux, 2006).

629

Clifford Geertz, The Interpretation of Cultures (New York: Basic Books, 1973). 89.

630

Убедительный анализ робототехники в контексте поп-культуры см. в: Robert М. Geraci, Apocalyptic Al: Visions of Heaven in Robotics, Artificial Intelligence, and Virtual Reality (New York: Oxford University Press, 2010). В Википедии есть постоянно обновляемая статья «ИИ в кинематографе»: Wikipedia, “List of Artificial Intelligence in Films,” https://en.wikipedia.org/wiki/List_of_artificial_ intelligence_films. Неудивительно, что альтернативного списка «Усиление интеллекта в кинематографе» не существует.

631

Langdon Winner, Autonomous Technology: Technics-out-of-Control as a Theme in Political Thought (Cambridge, MA: MIT Press, 1977).

632

Подобные подходы, вероятно, уже используются рекламщиками: сообщалось, что они применяют изображения, похожие на зрителя, чтобы вызвать положительную реакцию.

633

Yuval Noah Harari, “The Rise of the Useless Class,” Ideas.Ted.com, February 24, 2017, https://ideas.ted.com/the-rise-of-the-useless-class/.

634

Douglas McCollam, “It Is What It Is… But What Is It?” Slate, February 15, 2008, https://slate.com/culture/2008/02/it-is-what-it-is-a-sports-cliche-for-our-times.html.

635

Недавний обзор см. в: Nicholas Weaver, “Inside Risks of Cryptocurrencies,” Communications of the ACM 61, no. 6 (2018): 1–5. Базовые сведения см. в: David Columbia, The Politics of Bitcoin: Software as Right-Wing Extremism (Minneapolis: University of Minnesota Press, 2016).

636

Эта позиция обоснованно критикуется Анджелой Уолш. См.: Angela Walch, “The Path of the Blockchain Lexicon (and the Law),” Review of Banking and Financial Law 36 (2017): 713–765.

637

Evan Osnos, “Doomsday Prep for the Super-Rich,” New Yorker, January 22, 2017, https://www.newyorker.com/magazine/2017/o1/3o/ doomsday-prep-for-the-super-rich.

638

Noah Gallagher Shannon, “Climate Chaos Is Coming – and the Pinkertons Are Ready,” New York Times Magazine, April 10, 2019, https://www.nytimes.com/interactive/2019/04/10/magazine/ciimate-change-pinkertons.html.

639

Douglas Rushkoff, “Survival of the Richest,” Medium, July 5, 2018, https://medium.com/s/futurehuman/survival-of-the-richest-9ef6cd-ddocci; Bill McKibben, Falter: Has the Human Game Begun to Play Itself Out? (New York: Henry Holt, 2019).

640

Frank Pasquale, “Paradoxes of Privacy in an Era of Asymmetrical Social Control,” in Ales Zavrsnik, Big Data, Crime, and Social Control (New York: Routledge, 2018), 31–57.

641

Richard Susskind and Daniel Susskind, The Future of the Professions: How Technology Will Transform the Work of Human Experts (New York: Oxford University Press, 2016), 247.

642

Олаф Стэплдон, Последние и первые люди: история близлежащего и далекого будущего (Москва: ACT, 2004).

643

Devin Fidler, “Here’s How Managers Can Be Replaced by Software,” Harvard Business Review, April 21, 2015, https://hbr.org/2015/04/ heres-how-managers-can-be-replaced-by-software.

644

RAND Corp., “Skin in the Game: How Consumer-Directed Plans Affect the Cost and Use of Health Care,” Research Brief no. RB-9672, 2012, http://www.rand.org/pubs/research_briefs/RB9672/index1.html.

645

Alison Griswold, “Uber Drivers Fired in New York Can Now Appeal before a Panel of Their Peers,” Quartz, November 23, 2016, https://qz.com/843g67/uber-drivers-fired-in-new-york-can-now-appeal-before-a-panel-of-their-peers/.

646

Trebor Scholz and Nathan Schneider, Ours to Hack and to Own: The Rise of Platform Cooperativism (New York: OR Books, 2017).

647

Иэн Макьюэн, Машины как я (Москва: Эксмо, 2019), ю.

648

Там же, 76.

649

Erik Gray, “Machines Like Me, But They Love You,” Public Books, August 12, 2019, https://www.publicbooks.org/machines-like-me-but-they-love-you/.

650

Макьюэн, Машины как я, 175–176.

651

Марк Андреевич отмечает: «Автоматизация следует логике непосредственности (невидимости или исчезновения медиума), которая выступает параллелью с обещаниями виртуальной реальности… Это обещание машинного „языка“, который отличается от человеческого именно тем, что он не является репрезентационным. Для машины нет зазора между знаком и референтом: нет „нехватки“ в языке, который в себе завершен. В этом отношении язык машины является „психотическим“… и совершенствование социальной жизни ищется за счет ее уничтожения». См.: Andrejevic, Automated Media, 72.

652

Richard Powers, Galatea 2.2 (New York: Picador, 1995).

653

Лю Цысинь, Задача трех тел (Москва: Эксмо, Fanzon, 2017). Такое же незрелое описание прозрачности как пути к человеческому совершенствованию было выражено в длинной хвале компании Neuralink Илона Маска. См.: Tim Urban, “Neuralink and the Brain’s Magical Future,” Wait but Why, April 20, 2017, https://waitbut-why.com/2017/04/neuralink.html.

654

Abeba Birhane and Jelle van Dijk, “Robot Rights? Let’s Talk about Human Welfare Instead,” arXiv, January 14, 2020, https://arxiv.org/ abs/2001.05046.

655

Макьюэн, Машины как я, 210.

656

На 20 апреля 2020 г. выражение «безупречный милостивец» (impeccably eleemosynary) Google известно не было. Читатель сразу бы понял, в чем смысл этого выражения, если бы я использовал словосочетание «безупречный филантроп». Однако выбранное мной выражение обладает определенными коннотациями, которые теряются в более простой версии. Если бы я читал эту книгу вслух, я бы передал эти коннотации, произнеся это выражение с нотками сарказма и в то же время смакования, словно чтобы подчеркнуть определенное удовольствие от оценки действий Адама (и в то же время дистанцированность от них). Поведение робота похвально, но какой дух скрывается за ним – да и скрывается ли вообще? Эта моральная неопределенность коренится в старых спорах об относительной ценности веры и трудов, намерения и результатов. Я попытаюсь, пусть и неловко, осмыслить нормативные противоречия, ориентируясь на слово «безупречный», которое в его английском варианте impeccable напоминает о латинском peccavi, означавшем признание в грехе с определенной надеждой на его отпущение. «Милостивец» – необычное и даже устаревшее слово, которое коннотирует странность (и даже примитивность) действий Адама. Подробнее о необходимости сохранять подобные нерегулярности и двусмысленности языка см. мое обсуждение поэмы Лоуренса Джозефа «Кто так говорит?» в: Frank Pasquale, “The Substance of Poetic Procedure,” Law & Literature (2020): 1-46. Я не вижу, как компьютерные системы могли бы, хотя бы в принципе, действительно постичь все выраженные здесь оттенки значений, не говоря уже о тех, что остались в виде полунамека.

657

Макьюэн, Указ, соч., 312.

658

Макьюэн, Машины как я, 315.

659

Там же, 317.

660

Там же, 319.

661

Там же.

662

Там же, 346.

663

Там же.

664

Людвиг Витгенштейн, Философские исследования. Философские работы, ч. 1 (Москва: Гнозис, 1994), 99

665

Художественное описание цифровых сущностей с потенциально ограниченным сроком жизни, но обладающих личностью и интеллектом, см. в: Ted Chiang, The Lifecycle of Software Objects (Burton, MI: Subterranean Press, 2010).

666

Hubert L. Dreyfus, What Computers Still Can’t Do, rev. ed. (Cambridge, MA: MIT Press, 1992). «Мой тезис, который многим обязан Витгенштейну, состоит в том, что всякий раз, когда человеческое поведение анализируется в категориях правил, такие правила всегда должны содержать условие ceteris paribus, то есть они применяются „при прочих равных условиях", и что именно является „прочим", и в чем оно „равно" – все это в каждой конкретной ситуации никогда нельзя прояснить полностью без регресса. Кроме того, это условие ceteris paribus – не просто помеха… Скорее, оно указывает на фон практик, которые являются условием возможности любой правилосообразной деятельности. Объясняя наши действия, мы рано или поздно должны вернуться к нашим повседневным практикам и просто сказать „вот что мы делаем“ или „вот что значит быть человеком". Поэтому в конечном счете любая понятность и любое понятное поведение должны возводиться к нашему ощущению того, кто мы такие, которое, согласно этой логике, если только избегать бесконечного регресса, обязательно является тем, что мы не никогда не можем в явной форме знать» (Ibid., 56–57). Другими словами, «поскольку у разума должна быть своя ситуация, он не может быть отделен от остальной человеческой жизни» (Ibid., 62).

667

Бруссард, Искусственный интеллект: пределы возможного.

668

Carrie Goldberg, Nobody’s Victim: Fighting Psychos, Stalkers, Pervs, and Trolls (New York: Plume, 2019).

669

Sasha Costanza-Chock, Design Justice: Community-Led Practices to Build the Worlds We Need (Cambridge, MA: MIT Press, 2020).

670

George Lakoff and Mark Johnson, Philosophy in the Flesh: The Embodied Mind and the Challenge to Western Thought (New York: Basic Books, 1999), 4.

671

Ник Востром, Искусственный интеллект. Этапы. Угрозы. Стратегии (Москва: Манн, Иванов и Фербер, 2016), 214–215.

672

Примеры таких недостатков см. в: Rana Foroohar, Don’t Be Evil: How Big Tech Betrayed Its Founding Principles – And All of Us (New York: Currency, 2019); Amy Webb, The Big Nine: How the Tech Titans and Their Thinking Machines Could Warp Humanity (New York: Public Affairs, 2019).

673

Байрон Риз весьма категоризирует эти метафизические вопросы в работе: Byron Reese, The Fourth Age: Smart Robots, Conscious Computers, and the Future of Humanity (New York: Simon and Schuster, 2018),15-54.

674

Paul Dumouchel and Luisa Damiano, Living with Robots, trans. Malcolm DeBevoise (Cambridge, MA: Harvard University Press, 2017), 21–23, 167–169.

675

И здесь тоже применимы возражения Сержа Тиссерона на механизированную эмоцию как «запрограммированную иллюзию». См.: Catherine Vincent, “Serge Tisseron: ‘Les Robots vont Modifier la Psychologic Humaine,’” Le Monde, July 12, 2018, https://www. Iemonde.fr/idees/article/2018/o7/12/serge-tisseron-les-robots-vont-modifier-la-psychologie-humaine_5330469_3232.html.

676

Конечно, человеку можно было бы ввести обезболивающее, и, возможно, медицина в будущем сможет применять безопасные и быстродействующие болеутоляющие. Но даже если такой желательный краткосрочный паллиатив возможен, трудно представить, как он мог бы постоянно применяться во время восстановления от травмы, учитывая, что боль может работать в качестве показателя неспособности излечиться.

677

Kiel Brennan-Marquez and Stephen E. Henderson, “Artificial Intelligence and Role-Reversible Judgment,” The Journal of Criminal Law and Criminology 109, no. 2 (2019): 137–164.

678

Matthew Lopez, The Inheritance (London: Faber, 2018), 8.

679

Литературную точку зрения на две эти возможности см. в: Walker Percy, “The Man on the Train,” in Message in a Bottle: How Queer Man Is, How Queer Language Is, and What One Has to Do with the Other (New York: Picador USA, 2000), 83-100.

680

GertJ. J. Bietsa, The Beautiful Risk of Education (London: Routledge, 2016).

681

Brett Frischmann and Evan Selinger, Re-engineering Humanity (Cambridge: Cambridge University Press, 2018), 269–295.

682

Frank Pasquale, “Cognition-Enhancing Drugs: Can We Say No?” Bulletin of Science, Technology, and Society 30, no. 1 (2010): 9-13; John Patrick Leary, “Keywords for the Age of Austerity 19: Resilience,” Keywords: The New Language of Capitalism (blog), June 23, 2015, https://keywordsforcapitalism.com/2015/o6/23/keywords-for-the-age-of-austerity-19-resilience/.

683

Джонатан Крэри, 24/7: поздний капитализм и цели сна (Москва: Издательский дом Высшей школы экономики, 2021).

684

Ray Kurzweil, The Age of Spiritual Machines: When Computers Exceed Human Intelligence (New York: Penguin, 1999), 166.

685

Sean Dorrance Kelly, “A Philosopher Argues That an Al Can’t Be an Artist: Creativity Is, and Always Will Be, a Human Endeavor,” MIT Technology Review, February 21, 2019, https://www.technologyreview. com/s/612913/a-philosopher-argues-that-an-ai-can-never-be-an-artist/.

686

Описание многочисленных пробелов в тесте Тьюринга см. в: Brett Frischmann and Evan Selinger, Re-engineering Humanity.

687

Margaret Boden, Al: Its Nature and Future (Oxford: Oxford University Press, 2016), 119. To же относится и к эмоции, о чем мы говорили, когда обсуждали «заботящихся» роботов в главе 2.

688

Gabe Cohn, “Al Art at Christie’s Sells for $432,500,” New York Times, October 25, 2018, https://www.nytimes.com/2018/10/25/arts/design/ ai-art-sold-christies.html.

689

Tyler Sonnemaker, “No, an Artificial Intelligence Can’t Legally Invent Something – Only ‘Natural Persons’ Can, Says US Patent Office,” Business Insider, April 29, 2020, https://www.businessinsider. com/artificial-inteligence-cant-legally-named-inventor-us-patent-office-ruling-2020-4.

690

Korakrit Arunanondchai, With History in a Room Filled with People with Funny Names 4, 2018, DCP, 24:00; Adriana Blidaru, “How to Find Beauty in a Sea of Data: Korakrit Arunanondchai at CLEARING,” Brooklyn Rail, May 2017, https://br00klynrail.0rg/2017/05/film/H0w-to-find-beau ty-in-a-sea-of-data-Korakrit-Arunanondchai-at-C–L-E-A-R-I-N-G.

691

Lawrence Joseph, “Visions of Labour,” London Review of Books 37, no.

12 (June 18, 2015), https://www.lrb.co.uk/v37/n12/lawrence-joseph/ visions-of-labour. Я хотел бы поблагодарить Джозефа Лоренса за разрешение использовать отрывок из «Картин труда».

692

Anthony Domestico, “An Heir to Both Stevens and Pound,” dotCom-monweal, October 20, 2015, https://www.commonwealmagazine.org/ blog/heir-both-stevens-pound.

693

Chris Arnold, “Despite Proven Technology, Attempts to Make Table Saws Safer Drag on,” NPR, August 10, 2017, https://www.npr. org/2017/08/10/542474093/despite-proven-technology-attempts-to-make-table-saws-safer-drag-on.

694

W. Brian Arthur, “Increasing Returns and the New World of Business,” Harvard Business Review, July-August 1996, https://hbr.org/1996/07/ increasing-returns-and-the-new-world-of-business.

695

Ken Johnson, “Review: Simon Denny Sees the Dark Side of Technology at MOMA,” New York Times, May 28, 2015, https://www.nytimes. com/2015/05/29/arts/design/review-simon-denny-sees-the-dark-side-of-technology-at-moma-psi.html.

696

Ken Johnson, “Review: Simon Denny Sees the Dark Side of Technology at MOMA,” New York Times, May 28, 2015, https://www.nytimes. com/2015/05/29/arts/design/review-simon-denny-sees-the-dark-side-of-technology-at-moma-psi.html.

697

Говоря о работах Сола Левитта, представляющих собой бесконечно повторяемые математически выверенные решетки и коробки, Розалинда Краусс отметила: «А переизбыток частностей у Левитта, его нагромождения почти одинаковых примеров сплошь подчинены системе и порядку. Как говорится, в этом безумии есть метод. В „Вариациях с неполными разомкнутыми кубами“ перед нами предстает „система“ упрямства, непоколебимый ритуал невротика, который со всей возможной добросовестностью, аккуратностью, скрупулезностью разворачивается в бездне иррационального. В каком-то смысле это рисование без причины, рисование, вышедшее из-под контроля». См.: Розалинд Краусс, Подлинность авангарда и другие модернистские мифы (Москва: Художественный журнал, 2003), 254.

698

William Е. Connolly, The Fragility of Things: Self-Organizing Processes, Neoliberal Fantasies, and Democratic Activism (Durham, NC: Duke University Press, 2013).

699

См., например: Philip N. Meyer, “The Darkness Visible: Litigation Stories & Lawrence Joseph’s Lawyerland, ” Syracuse Law Review 53, no. 4 (2003): 1311.

700

Roger Cotterrell, Law, Culture and Society: Legal Ideas in the Mirror of So-cialTheory (London: Routledge, 2006): 15.

701

Richard Н. Brown, A Poetic for Sociology: Toward a Logic of Discovery for the Human Sciences (New York: Cambridge University Press, 1977), 26.

702

Эту терминологию я позаимствовал из работы Юргена Хабермаса: Jurgen Habermas, The Theory of Communicative Action, vol. 2, System and Lifeworld (Cambridge, UK: Polity Press, 1985). Три области субъективного, объективного и интерсубъективного более или менее соответствуют идеям красоты, истины и справедливости.

703

См.: “Critical Algorithm Studies: A Reading List,” updated December 15, 2016, https://socialmediacollective.org/reading-lists/critical-algorithm-studies/. Недавнюю критику бихевиоризма см. в: Fri-schmann and Selinger, Re-engineering Humanity.

704

Rob Kitchin, The Data Revolution (London: Sage, 2014), 2 («Строго говоря, книга должна была бы называться „Революция капта“»). Фотограф Эдвард Штейхен отметил, что «каждая фотография является фейком с начала и до конца, поскольку совершенно безличный, свободный от целей манипуляции фотограф является практически невозможным». См.: Edward J. Steichen, “Ye Fakers,” Camera Work 1 (1903): 48. См. также: Wallace Stevens, “The Man with the Blue Guitar,” in Collected Poetry and Prose, eds. Joan Richardson and Frank Kermode (New York: Penguin, 1997).

705

В работе «Языковое животное» Чарльз Тэйлор проводит различие между дезигнативным и конститутивным взглядами на язык, выбирая последний вариант как более полное описание «человеческой языковой способности»: Charles Taylor, The Language Animal: The Full Shape of the Human Linguistic Capacity (Cambridge, MA: Harvard University Press, 2014).

706

Taylor, The Language Animal:, 24. Понятие резонанса формально разрабатывается и подробно разъясняется в работе: Hartmut Rosa, Resonance: A Sociology of the Relationship to the World (London: Polity Press, 2019). Тэйлор также замечает, что «подобное изменение на более абстрактном и объективируемом уровне аналогично изменению модуса научного исследования за счет сдвига парадигм» (Taylor, op. cit., 24–25). И далее: «Самопонимание и человеческое понимание в целом можно развить, если признать новые модели; вот почему литература является столь важным источником прозрения… Гумбольдт считает, что мы стремимся… открыть для речи те области, которые ранее были невыразимыми. Этим заняты, несомненно, поэты. Так, Т. С. Элиот говорит о „рейдах на территорию неартикулированного“. Гумбольдт, со своей стороны, полагает влечение [Trieb], заставляющее „связывать все, прочувствованное душой, со звуком“».

707

Robert J. S biller, Narrative Economics: How Stories Go Viral and Drive Major Economic Events (Princeton: Princeton University Press, 2019).

708

Steve LeVine, “The Economist Who Wants to Ditch Math,” Marker: Medium, November 5, 2019, https://marker.medium.com/robert-shiller-says-economics-needs-to-go-viral-to-save-itself-f157eceb4C7d.

709

Jens Beckert and Richard Bronk, eds., Uncertain Futures: Imaginaries, Narratives, and Calculation in the Economy (Oxford: Oxford University Press, 2018).

710

J. M. Balkin, Cultural Software: A Theory of Ideology (New Haven: Yale University Press, 1998), 479.

711

Frank Pasquale, Lenore Palladino, Martha T. McCluskey, John D. Haskell, Jedidiah Kroncke, James K. Moudud, Raul Carrillo et al., “Eleven Things They Don’t Tell You about Law & Economics: An Informal Introduction to Political Law and Economics,” Law & Inequality: A Journal of Theory and Practice $7 (2019): 97-147.

712

Maurice Stucke and Ariel Ezrachi, Competition Overdose: How Free Market Mythology Transformed Us from Citizen Kings to Market Servants (New York: HarperCollins, 2020).

713

Mireille Hildebrandt, “A Vision of Ambient Law,” in Regulating Technologies, eds. Roger Brownsword and Karin Yeung (Portland, OR: Hart Publishing, 2008), 175.

714

Catherine Despont, “Symbology of the Line,” in Ernesto Caivano, Settlements, Selected Works 2002–2013 (New York: Pioneer Works Gallery, 2013). «Очевидно, в произведении Кайвано пересказывается эпическая история, в которой влюбленные, разделенные поисками, должны воссоединиться, несмотря на флуктуации времени и множественность измерений» (31).

715

Ernesto Caivano, Settlements, Selected Works 2002–2013 (New York: Pioneer Works Gallery, 2013).

716

David Edward, Artscience: Creativity in the Post-Google Generation (Cambridge, MA: Harvard University Press, 2010).

717

Caivano, Settlements, Selected Works 2002–2019, 40–53.

718

Hartmut Rosa, The Social Acceleration of Time (New York: Columbia University Press, 2013).

719

Brian J. Robertson, Holacracy: The New Management System for a Rapidly Changing World (New York: Holt, 2015).

720

9 8. Katherine Barr, “Al Is Getting Good Enough to Delegate the Work It Can’t Do,” Harvard Business Review, May 12, 2015, https://hbr.org/2015/05/ ai-is-getting-good-enough-to-delegate-the-work-it-cant-do.

721

Alex Rosenblat and Luke Stark, “Algorithmic Labor and Information Asymmetries: A Case Study of Uber’s Drivers,” International Journal of Communication 10 (2016): 3758–3784; но см. также: Alison Griswold, “Uber Drivers Fired in New York Can Now Appeal Before a Panel of Their Peers,” Quartz, November 23, 2016, https://qz.com/843967/ uber-drivers-fired-in-new-york-can-now-appeal-before-a-panel-of-their-peers/.

722

Описание и критический комментарий см. в начале работы: Nick Dyer-Whiteford, Cyber-Proletariat: Global Labour in the Digital Vortex (Chicago: University of Chicago Press, 2015): 1–4.

723

Illah Reza Nourbakhsh, Robot Futures (Cambridge, MA: MIT Press, 2013), xix-xx.

724

Simone Weil, Gravity and Grace, trans. Arthur Wills (New York: Putnam, 1952), 10.

725

Вальтер Беньямин, О понятии истории. Учение о подобии. Медиа-эстетические произведения (Москва: РГГУ, 2012), 242. В своем девятом тезисе работы 1940 г. «О понятии истории» Вальтер Беньямин пишет о работе Пауля Клее Angelus Novus: «Так должен выглядеть ангел истории… Ветер неудержимо несет его в будущее, к которому он обращен спиной, в то время как гора обломков перед ним поднимается к небу. То, что мы называем прогрессом, и есть этот шквал». Обсуждение интереса Беньямина к работе Клее Angelus Novus см. в: Enzo Traverso, Left-Wing Melancholia: Marxism, History, and Memory (New York: Columbia University Press, 2017), 178–181.

726

Masahiro Mori, “The Uncanny Valley: The Original Essay by Masahiro Mori,” trans. Karl F. MacDorman and Norri Kageki, IEEE Spectrum, June 12, 2012, https://spectrum.ieee.org/automaton/robotics/ humanoids/the-uncanny-valley.

727

Инсталляция Тейдзи Фурухаси «Любовники» является компьютерной пятиканальной дисковой/звуковой инсталляцией с пятью проекторами, двумя аудиосистемами, двумя проекторами слайдов и слайдами (цветными и звуковыми). Описание и видео работы на экспозиции 2016–2017 гг. в Музее современного искусства см.: “Teiji Furuhashi: Lovers,” МоМА, 2016, https:// www.moma.org/calendar/exhibitions/1652.

Content

Фрэнк Паскуале

1. Введение

Законы робототехники Азимова

Новые законы робототехники

Профессионализм и экспертные знания

Два кризиса экспертных знаний

Выгода издержек

План книги

2. Лечение людей

Решение об обращении за медицинской помощью

Базовые компетенции ИИ: недопущение обычных ошибок

Данные, дискриминация и неравенство в медицинском обеспечении

Четыре всадника безответственности

Кто будет учить обучающуюся систему медицинской помощи?

На кого работает ваше терапевтическое приложение?

Освобождение людей, ухаживающих за больными, или автоматическая медицинская помощь?

Политическая экономия роботизированного ухода

Сохранение человеческого контакта в медицине

3. За пределами машинного обучения

Разнообразие целей образования

Простая неолиберальная позиция

Автоматизация образования

На кого работает ваш учитель-робот?

Минусы постоянного внимания

Исправление образовательно-технологического контроля или отказ от него

Положительные варианты применения роботов-помощников

С чем сравнивать: образовательная технология и менее развитые страны

Сопротивление новому бихевиоризму

Человеческое образование

4. Чуждый интеллект автоматических медиа

Когда слова убивают

Проблема уклонения больших технологических компаний от своих обязанностей собственника

Восстановление ответственности в сфере сетевых медиа

Разрушительная сила сетевого внимания

Справедливое и инклюзивное правление не может быть алгоритмическим

Право быть забытым: испытание человечной автоматизации

Приручение автоматической публичной сферы

Лучший телефонный робот

Возвращение к журналистскому профессионализму

Гуманизация ИИ автоматизированных медиа

5. Машины, судящие людей

Привлекательные черты (и опасность) роботизированных суждений

Нераспознание как неуважение

Судить о книге по обложке: от распознавания лиц к их анализу

Когда широкий доступ к финансовым услугам становится хищническим и жутким

Приучение к покорности в обществе рейтинга

Обратить правила судящего ИИ против него самого

Производительность и власть

6. Автономные силы

Как представить роботизированную бойню

Ненадежный аргумент в пользу роботов-убийц

Роботы-убийцы и военное право

Рост ставок в соперничестве крупных держав

Помехи запретам

Ответственность за военных роботов

Удорожание силы

Логика кооперации

«Технари не будут это делать»: внутреннее сопротивление коммерциализации военного ИИ

Пути кооперации

7. Новый взгляд на политическую экономию автоматизации

От профессионального обучения к управлению инновациями

От субсидий к субсидиарности

Самоценное и инструментальное в высшем образовании

Перестройка налоговой политики в эпоху автоматизации

От безусловного базового дохода к гарантии занятости

Вопросы к «болезни издержек»

Естественный экономический переход

Как за это платить: обновление государственных финансов

От большего ИИ к лучшему ИИ

8. Вычислительная мощность и человеческая мудрость

Политика, экономика и культура автоматизации

Экзальтация как самообман

Последний прорыв

Телесные сознания и искусственные процессоры информации

Аутсорс человечности

Искусство, подлинность и симулякры

Картина труда

Расширение границ высказываемого

Эстетический ответ и моральное суждение

Автоматизация автоматизаторов

Совместное создание будущего труда

Слова благодарности

Примечания