Юдковски Элиезер Шломо

Соарес Нейт

Если кто-то это построит, все умрут

Введение: Сложные и простые решения

«СНИЖЕНИЕ РИСКА ВЫМИРАНИЯ ОТ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ДОЛЖНО БЫТЬ ГЛОБАЛЬНЫМ ПРИОРИТЕТОМ наряду с другими угрозами общественного масштаба, такими как пандемии и ядерная война».

В начале 2023 года сотни специалистов по искусственному интеллекту подписали открытое письмо, состоявшее из одного предложения. Среди подписавшихся были некоторые из самых титулованных исследователей в этой области, включая нобелевского лауреата Джеффри Хинтона и Йошуа Бенджио, получивших премию Тьюринга за изобретение глубокого обучения.

Мы — Элиезер Юдковски и Нейт Соарес — также подписали письмо, хотя считали его сильным преуменьшением.

Нас, как и других подписантов, беспокоили не ИИ 2023 года. Не беспокоят нас и те ИИ, которые существуют сейчас, в начале 2025 года.

Современные ИИ всё ещё кажутся поверхностными, в каком-то глубоком смысле, который трудно описать.

У них есть ограничения, например, неспособность формировать новые долговременные воспоминания. Эти недостатки достаточно серьёзны, чтобы помешать таким ИИ проводить значимые научные исследования или заменять значительное количество рабочих мест, занимаемых людьми.

Наша озабоченность связана с тем, что будет дальше: машинный интеллект, который по-настоящему умен, умнее любого живого человека, умнее человечества в целом. Мы обеспокоены ИИ, который превосходит человеческую способность мыслить, обобщать опыт, решать научные загадки и изобретать новые технологии, планировать, разрабатывать стратегии и замыслы, а также размышлять и совершенствовать себя. Такой ИИ мы можем назвать «искусственным сверхразумом», когда он превзойдет каждого человека практически в каждой умственной задаче.

ИИ еще не достиг совершенства. Но сегодня ИИ умнее, чем в 2023 году, и намного умнее, чем в 2019. Исследования в области ИИ привели к скачкам за скачками в возможностях ИИ — в 2012[В 2012 году AlexNet проломил проблему распознавания объектов на изображениях.], 2016[Альфаго победила лучшего игрока в го среди людей в 2016 году.], 2020[(Чисто предсказательная) языковая модель GPT-3 была выпущена в 2020 году.] и 2022[Широко полезный ChatGPT появился в 2022 году.].

И 2024 [В 2024 году модели рассуждений начали решать математические, кодировочные и визуальные головоломки.] Мы не знаем, иссякнет ли прогресс, что приведёт к временной остановке этих скачков до изобретения новых методов и технологий.

Мы не знаем, сколько шагов осталось до того, как ИИ станет угрозой вымирания, о которой предупреждали подписанты письма. Но история раз за разом показывает, что исследователи ИИ изобретают новые методы и преодолевают старые препятствия. Прогресс часто оказывается удивительно быстрым. Большинство компьютерных учёных в 2015 году сказали бы вам, что искусственный разговор на уровне ChatGPT будет недостижим ещё тридцать или пятьдесят лет.

Мы не знали, когда появится искусственный сверхразум, но согласились, что это должно быть глобальным приоритетом. Фактически, мы считаем, что открытое письмо сильно недооценивает проблему.

Нас пригласили подписать это одностройное открытое письмо в нашем качестве сопредседателей Института исследования машинного интеллекта (MIRI), некоммерческой организации. MIRI занимался вопросами, связанными со сверхразумом машин, с 2001 года, задолго до того, как эти проблемы получили широкую огласку или финансирование. Упрощенно говоря: среди немногих, кто следил за этой темой десятилетиями, MIRI признан как организация, работающая над ней дольше всех. Один из нас, Юдковски, является основателем MIRI; другой, Соарес, — его нынешний президент.

MIRI была первой организованной группой, которая заявила: «Сверхразумный ИИ неизбежно будет разработан в какой-то момент, и это кажется чрезвычайно важным событием. Может оказаться технически сложным сформировать сверхразум так, чтобы он помогал человечеству, а не вредил нам. Неужели кто-то не должен начать работу над этой задачей прямо сейчас, вместо того чтобы ждать, пока всё превратится в масштабную чрезвычайную ситуацию позже?»

Мы не начинали с этого. Юдковский изначально пытался создать сверхразумные машины в 2000 году. Но в 2001 году он осознал, что они не обязательно окажутся дружелюбными. А в 2003 году он понял, что эта проблема будет сложной.

В течение первых двух десятилетий MIRI был техническим исследовательским институтом с минимальным вовлечением в политику. Организация в основном проводила семинары для заинтересованных учёных и предоставляла площадку для нескольких перспективных исследователей.

Мы пытались разобраться в математике для понимания и формирования сверхчеловеческого машинного интеллекта, а также для прогнозирования того, как он может пойти не так.

MIRI также оказал некоторые побочные эффекты, к которым мы сейчас относимся с неоднозначностью или сожалением. На организованной нами конференции мы познакомили Демиса Хассабиса и Шейна Легга, основателей того, что впоследствии стало Google DeepMind, с их первым крупным инвестором. А Сэм Альтман, генеральный директор OpenAI, однажды заявил, что Юдковски «заинтересовал многих из нас в ОИИ»[“AGI” означает “Общий искусственный интеллект” — термин, используемый для обозначения ИИ, который «по-настоящему умные» — в отличие от узкоспециализированных ИИ прошлого. Мы избегаем этого термина в книге, поскольку после появления таких ИИ, как ChatGPT, люди сильно расходятся во мнениях о том, что он означает.] и «был решающим в решении о создании OpenAI.» [Если это правда, то несмотря на возражения Юдковского, что OpenAI была ужасной, ужасной идеей.]

История MIRI сложна, но один из способов обобщить наши отношения с более широкой областью может быть таким: за годы до появления нынешних компаний, занимающихся ИИ, предупреждения MIRI были известны как те, которые нужно было отвергнуть, если вы хотели работать над созданием по-настоящему умного ИИ, несмотря на риски вымирания.

В последнее время, с началом бурного развития ИИ, мы с тревогой наблюдали, как некоторые из новичков, начинающих компании в области ИИ, начали говорить об искусственном сверхразуме как об источнике огромных, чудесных возможностей. Возможностей, которые, как они предполагали, будут под их контролем. Основная опасность, по мнению многих из этих основателей, заключалась в том, что не те люди могут "обладать" ОИИ. Они говорили о необходимости выиграть "гонку вооружений в области ИИ". Что касается возможности, что вы не "имеете" ОИИ, ОИИ имеет ОИИ — что единственным победителем гонки вооружений в области ИИ будет сам ОИИ — ну, об этом основатели не говорили.

Мы видели, что возможности искусственного интеллекта росли очень быстро.

Мы увидели, что область исследований, в которой мы были вовлечены — та, что направлена на понимание ИИ и предотвращение их ошибок — продвигалась гораздо, гораздо медленнее.

Головокружительная гонка ИИ-компаний к созданию сверхчеловеческого искусственного интеллекта — их стремление разработать его как можно быстрее, прежде чем это сделают конкуренты — это стало походить на гонку ко дну. Отрасль неслась к катастрофе: такой, что её бы приводили в учебниках как пример того, как не следует заниматься инженерией, — вот только не осталось бы никого в живых, чтобы написать этот анализ.

Нам больше не казалось реалистичным, что человечество сможет инженерными и научными методами избежать катастрофы. Не в таких условиях. Не время.

Мы списали наши предыдущие усилия как неудачи, свернули большую часть исследований MIRI и переориентировали институт на передачу одной единственной мысли — предупреждения, лежащего в основе этой книги:

Если какая-либо компания или группа в любой точке планеты создаст искусственный сверхразум, используя что-либо отдалённо похожее на современные методы, основанные на чём-либо отдалённо напоминающем нынешнее понимание ИИ, то все люди на Земле повсюду погибнут.

Мы говорим это без преувеличений. Мы не преувеличиваем для эффекта.

Мы считаем, что это наиболее прямое продолжение знаний, доказательств и институционального поведения, связанных с искусственным интеллектом на сегодняшний день.

В этой книге мы излагаем нашу позицию в надежде привлечь достаточное количество ключевых лиц, принимающих решения, и обычных людей, чтобы они отнеслись к ИИ серьёзно. Исход по умолчанию смертелен, но ситуация не безнадёжна; машинный сверхразум пока не существует, и его создание всё ещё можно предотвратить.

Как можно быть уверенным в том, что произойдет с искусственным интеллектом?

«Предсказание — дело очень трудное, особенно если речь идет о будущем», — гласит афоризм.

Большинство того, что мы хотели бы знать о будущем, на самом деле непредсказуемо.

Например, мы не можем сообщить вам выигрышные номера лотереи на следующей неделе. Один набор чисел кажется столь же вероятным, как и любой другой.

Но некоторые факты о будущем предсказуемы. Если вы лично завтра купите лотерейный билет, мы не знаем, какие сложные теории или прихоти вы используете для выбора номеров, и мы не знаем, какие номера выпадут, но вся эта неопределенность складывается в очень сильное предсказание, что вы не выиграете в лотерею. Аналогично, если вы бросите кубик льда в стакан с горячей водой, невозможно сложно предсказать, где окажется каждая молекула через десять минут — но вся эта неопределенность складывается в почти стопроцентное предсказание, что лед растает. Половина физики такова: мы не можем вычислить, какой именно путь будет пройден, но мы знаем, куда ведут почти все пути.

Некоторые аспекты будущего предсказуемы при наличии соответствующих знаний и усилий; другие же представляют собой чрезвычайно сложные прогнозы. Компетентный футуризм строится вокруг понимания разницы.

История учит, что один из относительно простых прогнозов о будущем связан с осознанием того, что нечто выглядит теоретически возможным согласно законам физики, и предсказанием, что в конечном счёте кто-то это сделает.

Полеты на аппаратах тяжелее воздуха, оружие, высвобождающее ядерную энергию, ракеты, отправляющиеся на Луну с человеком на борту: все эти события были предсказаны заранее и по верным причинам, несмотря на сопротивление скептиков, которые мудро замечали, что подобного еще не происходило и, вероятно, никогда не произойдет. Люди, привязывавшие крылья к рукам и прыгавшие с холмов, выглядели крайне глупо, подвергались насмешкам современников, на самом деле калечились и терпели неудачи — но это не остановило братьев Райт в поисках способа летать.

С другой стороны, исторически доказано, что точное предсказание времени разработки технологии — гораздо более сложная задача. Люди говорят, что технология появится через два года, когда на самом деле это займет пятьдесят лет, или говорят о пятидесяти годах, когда на самом деле это два года, и они сами создадут эту технологию.

"Человек не полетит еще тысячу лет", — сказал Уилбур Райт Орвиллу Райту в 1901 году, раздосадованный испытаниями их безмоторного планера. Два года спустя, в 1903 году, братья Райт поднялись в воздух.

Успешное прогнозирование заключается не в том, чтобы быть достаточно умным, чтобы предсказать те детали, которые обычно невозможно предсказать. Оно не заключается в том, чтобы придумать полную историю о том, что произойдет, а затем оказаться волшебным образом правым.

Скорее, речь идет о том, чтобы найти аспекты будущего, которые становятся очевидными при взгляде под правильным углом.

Мы не знаем, когда наступит конец света, если люди и страны ничего не изменят в подходе к искусственному интеллекту. Мы не знаем, какими будут заголовки об ИИ через два или десять лет, и даже есть ли у нас в запасе эти десять лет. Мы не утверждаем, что мы настолько умны, что можем предсказать то, что трудно предсказать. Скорее, нам кажется, что один конкретный аспект будущего — «Что произойдет со всеми и всем, что нам дорого, если сверхразум будет создан в ближайшее время?» — Может, при достаточных знаниях и тщательном рассуждении, стать простым решением.

На первый взгляд, вымирание человечества от рук сверхчеловеческого ИИ может показаться неочевидным. Но именно для этого и написана оставшаяся часть книги. Так же, как для расчёта шанса выигрыша в лотерею требуется немного арифметики, так же как некоторые идеи из термодинамики объясняют, почему ледяной кубик предсказуемо тает, так же как требуется некоторая база, чтобы понять, почему искусственный интеллект представляет собой неминуемую угрозу вымирания человечества. Однако, как только эти основы усвоены, предсказание исхода нашего нынешнего пути начинает выглядеть мрачно и ужасающе прямолинейно.

Даже перед лицом сверхчеловеческого машинного интеллекта может возникнуть соблазн представить, что мир будет выглядеть так же, как в последние несколько десятилетий нашей относительно короткой жизни. Это правда, но трудно вспомнить, что было время, столь же реальное, как наше, всего несколько веков назад, когда цивилизация была радикально иной. Или тысячелетия назад, когда не было и речи о цивилизации. Или миллион лет назад, когда не было людей. Или миллиард лет назад, когда у многоклеточных колоний не было специализированных клеток.

Принятие исторической перспективы помогает нам осознать то, что так трудно увидеть с точки зрения наших коротких жизней: природа допускает разрушения. Природа допускает катастрофы. Природа допускает, чтобы мир никогда больше не был прежним.

Однажды, 2,5 миллиарда лет назад, произошло событие, которое биологи называют Кислородной катастрофой: новая форма жизни научилась использовать энергию солнечного света для извлечения ценного углерода из воздуха. Эта форма жизни выдыхала в качестве отхода чрезвычайно токсичное и реакционноспособное химическое вещество, ядовитое для большинства существующих организмов: вещество, которое мы теперь называем «кислород». Он начал накапливаться в атмосфере. Большинство жизни — включая большинство бактерий, выдыхающих этот кислород не смогли справиться с его реактивностью и погибли. Лишь немногие счастливые линии клеток адаптировались и в конечном итоге эволюционировали в организмы, использующие кислород в качестве топлива. Но всё уже не вернулось к прежней норме. Мир навсегда изменился.

Когда-то континенты были бесплодными скалами. Затем, в мгновение ока эволюции, они покрылись растительностью. Вскоре после этого леса наполнились жизнью. Мир уже никогда не был прежним.

Однажды люди одомашнили пшеницу и ячмень. За ничтожную долю эволюционного мгновения они начали строить цивилизации. Мир уже никогда не был прежним.

Однажды в 1930-х годах появились тревожные знаки, что некоторым семьям в Германии больше не будет безопасно. Немногие уехали рано; большинство осталось.

Затем нацистское правительство аннулировало их гражданство и паспорта, что значительно затруднило дальнейший побег. Спустя несколько лет немецких евреев, рома и других начали сгонять и отправлять в лагеря уничтожения. Свидетельства выживших говорят о том, что многие из этих семей остались не потому, что не видели тревожных сигналов, а потому, что верили, что жизнь вернется в нормальное русло до того, как ситуация зайдет слишком далеко.

Однажды человечество оказалось на грани создания искусственного сверхразума…

Нормальность всегда заканчивается. Это не значит, что её неизбежно сменяет что-то худшее; иногда так и происходит, иногда нет, а иногда всё зависит от наших действий. Но цепляться за надежду, что ничего слишком плохого не случится, обычно не помогает.

Люди обладают способностью направлять будущее с помощью нашего разума. Но эта способность работает только в том случае, если мы её используем — если мы делаем то, что должны делать, когда это необходимо. Разум не имеет силы вне этого. Он работает, изменяя наши действия, или не работает вовсе.

Предстоящие месяцы и годы станут для всего человечества испытанием на выживание.

С этой книгой мы надеемся вдохновить отдельных людей и страны подняться до вызова.

В следующих главах мы изложим научные основы наших опасений, обсудим извращенные стимулы, действующие в современной индустрии искусственного интеллекта, и объясним, почему ситуация еще более критична, чем кажется. Мы критически разберем современное машинное обучение простым языком и опишем, как и почему текущие методы совершенно не подходят для создания ИИ, который улучшает мир, а не уничтожает его.

В первой части этой книги мы излагаем проблему, отвечая на такие вопросы, как: что такое интеллект? Как создаются современные ИИ и почему их так трудно понять? Могут ли ИИ иметь желания? Будут ли они их иметь? Если да, то чего они захотят и почему они захотят нас убить? Как они нас убьют? Мы можем в конечном итоге предсказать ИИ, которые не будут ненавидеть нас, но будут иметь странные, чуждые предпочтения, которые они будут преследовать до полного исчезновения человечества.

Во второй части мы объединяем все эти моменты, чтобы рассказать историю об искусственном интеллекте, который уничтожает мир, очень похожий на наш. Эта история — не предсказание, поскольку точный путь, по которому пойдет будущее, трудно предугадать. Единственная часть рассказа, которая является предсказанием, — это его финальный исход, и это предсказание сбудется лишь в том случае, если подобной истории позволят начаться.

В Части III мы оцениваем сложность вызова, стоящего перед человечеством, и рассматриваем ответные меры на сегодняшний день. Насколько хорошо компании, занимающиеся искусственным интеллектом, справляются с проблемой? Почему мир не уделяет этому больше внимания? Что общество могло бы сделать иначе, если достаточное количество из нас решит не умирать? Что потребовалось бы, чтобы Земля не создала машинный сверхразум?

Онлайн-приложение к этой книге доступно на сайте IfAnyoneBuildsIt.com. В конце каждой главы вы найдете URL-адрес, который ведет к дополнительным материалам для этой главы. Это будет выглядеть так:

IfAnyoneBuildsIt.com/intro

У людей возникают самые разные, порой противоречивые интуитивные представления об искусственном интеллекте, и за годы мы услышали множество вопросов и возражений, исходящих из самых разных предпосылок и точек зрения. В наших дополнительных материалах мы рассматриваем больше оговорок, тонкостей и часто задаваемых вопросов, а также некоторые принципиальные теоретические основы и расширенные аргументы, которые сделали бы эту книгу в несколько раз длиннее и гораздо менее доступной. Если в конце любой главы у вас возникают возражения, мы рекомендуем продолжить чтение онлайн.

Мы начинаем многие главы притчами: историями, которые, как мы надеемся, будут помогать донести некоторые моменты проще. Также они могут добавить немного лёгкости в иначе тяжёлую тему. Это соответствует древнейшей традиции, возможно, старше человеческого вида в его нынешней форме, — смеяться перед лицом смерти.

Мы признаем, что эта книга не полна хороших новостей. Но мы здесь не для того, чтобы говорить, что вы обречены. Искусственный сверхразум пока не существует.

Человечество всё ещё может решить не строить это.

В 1950-х годах многие ожидали, что между крупнейшими мировыми державами разразится ядерная война. Учитывая историю человеческих конфликтов до того момента, были основания для пессимизма. Однако на сегодняшний день ядерной войны не произошло. Не потому, что ядерные бомбы оказались чистой фантастикой, которая никогда не могла бы случиться в реальной жизни; а потому, что люди усердно работали над созданием устойчивых систем, предотвращающих начало ядерных войн. Они сделали всё это, потому что мировые лидеры знали: в случае ядерной войны и они сами, и народы их стран переживут крайне тяжёлые времена.

У них тоже был бы плохой день, если бы кто-либо в любой точке Земли создал машину сверхразума. Никто не заинтересован в том, чтобы умереть вместе со всеми своими родными и друзьями, своей страной и её детьми.

Остановить продолжающуюся эскалацию технологий искусственного интеллекта, ограничить аппаратное обеспечение, используемое для создания всё более мощных моделей ИИ, — это не то, что было бы легко сделать в современном мире. Однако для прекращения дальнейшего наращивания возможностей ИИ потребовалось бы гораздо меньше усилий, чем, скажем, для ведения Второй мировой войны. Для пробуждения воли к жизни достаточно, чтобы некоторые страны, лидеры и избиратели осознали, что они находятся на трудно оцениваемом, возможно, весьма коротком расстоянии от края гибели.

Работа будет не из легких, но мы еще не сдались. Человеческое достоинство и достоинство человечества требуют, чтобы мы дали бой.

Где жизнь, там и надежда.

ЧАСТЬ I. НЕЧЕЛОВЕЧЕСКИЕ СОЗНАНИЯ

ГЛАВА 1 ОСОБАЯ СИЛА ЧЕЛОВЕЧЕСТВА

ПРЕДСТАВЬТЕ СЕБЕ, ЕСЛИ БЫ — хотя, конечно, ничего подобного никогда не происходило, это всего лишь притча — что биологическая жизнь на Земле была результатом игры между богами. Что был бог-тигр, создавший тигров, и бог-секвойя, создавший секвойи. Представьте, что были боги для видов рыб и видов бактерий. Представьте, что эти игроки соревновались за достижение господства для семейства видов, которые они поддерживали, пока формы жизни бродили по планете внизу.

Представьте, что около двух миллионов лет назад некий загадочный обезьяно-бог взирал на свою обширную, планетарных масштабов игровую доску.

"Мне потребуется ещё несколько ходов, — сказал гоминид-бог, — но, думаю, эта игра у меня в кармане."

Последовало растерянное молчание, пока многие боги оглядывались.

Игровая доска пыталась разглядеть, что они упустили. Бог-скорпион сказал: «Как? У вашего семейства гоминид нет ни брони, ни когтей, ни яда».

«Их мозг», — сказал гоминид-бог.

«Я заражаю их, и они умирают», — сказал бог оспы.

«Пока что, — сказал бог-гоминид. — Твой конец близок, Оспа, как только их мозг научится с тобой бороться».

«У них даже не самые большие мозги на свете!» — сказал кит-бог.

"Дело не только в размере, — сказал гоминид-бог. — Конструкция их мозга тоже играет роль. Дайте им два миллиона лет, и они пройдут по луне своей планеты."

«Я действительно не вижу, где в метаболизме этого существа производится ракетное топливо, — сказал бог-секвойя. — Нельзя просто подумать и оказаться на орбите. В какой-то момент вашему виду нужно развить метаболизм, который очищает ракетное топливо, — а также стать довольно крупными, в идеале высокими и узкими, — с твёрдой внешней оболочкой, чтобы не раздуться и не умереть в вакууме космоса. Как бы ни думала ваша обезьяна, она так и останется на земле, очень усердно размышляя».

«Некоторые из нас играют в эту игру миллиарды лет, — бросил бог-бактерия косой взгляд на бога-гоминида. — До сих пор мозги не давали такого уж большого преимущества».

"И всё же", — произнёс гоминид-бог.

ВОТ ИСТОРИЯ НАШЕГО ВИДА, КАК ОНА ПРОИЗОШЛА НА САМОМ ДЕЛЕ: Люди обрели мозг, необычайно крупный для животного их размера.

Они приручили огонь, построили фермы и выплавляли железо. По меркам биологической эволюции, спустя поразительно короткое время люди уже высаживались на Луне — хотя наш метаболизм не способен перерабатывать ракетное топливо, а кожа не выдерживает вакуума.

Другие виды на Земле рождаются со специализированными навыками: пчелы строят ульи, бобры возводят плотины. Человек смотрит на бобровую плотину и понимает, как она сделана; мы научились строить плотины, не нуждаясь в знаниях, встроенных в наши гены. Теперь мы перегораживаем реки, как бобры; строим себе дома, как пчелы; плетем нити в сети, как пауки. Мы возводим электростанции и космические ракеты, которые никакой другой вид вообще не строит.

Люди способны на то, что не могли наши предки и что не под силу другим животным, благодаря качеству, иногда называемому «интеллект». Наши гены не заложили в нас большинство наших способностей; вместо этого мы наблюдали, пробовали, запоминали, обобщали и затем достигали.

Способность к обучению не является уникальной для людей. Мозг мыши может научиться ориентироваться в лабиринте. Но мы можем делать более сильную версию того, что делает мышиный мозг. Мы можем изучить путь решения этой проблемы и перейти к более дешёвым удобрениям. Мы можем строить сложные эксперименты, разбираться в физике и изобретать спутники. Мы даже можем помещать мышей в лабиринты и изучать, как они учатся.

Человеческий мозг способен научиться ориентироваться в более широких путях через более обширный срез реальности, чем любой другой вид животных. Это наша особая сила.

Как работает эта особая сила? Что она делает и каким образом?

По нашему мнению[Этот взгляд подкреплен некоторой теорией, которую мы обсуждаем в онлайн-ресурсах. В конечном счете, мы не будем слишком зацикливаться на определениях. Если удар молнии подожжет лес вокруг вас, нельзя спасти себя, хитро определив «пожар» как исключительно рукотворный; нужно просто бежать.], интеллект заключается в двух фундаментальных типах работы: работе по предсказанию мира и работе по управлению им.

«Предсказание» — это угадывание того, что вы увидите (или услышите, или почувствуете) до того, как это ощутите. Если вы едете в аэропорт, ваш мозг успешно справляется с задачей предсказания, когда вы предвидите, что светофор переключится на желтый или водитель перед вами нажмет на тормоз.

«Управление» — это поиск действий, которые ведут к выбранному результату. Когда вы едете в аэропорт, ваш мозг успешно справляется с управлением, находя последовательность поворотов на улицах, чтобы вы оказались в аэропорту, или подбирая правильные нервные сигналы для сокращения мышц, чтобы вы повернули руль.

Большинство возможных паттернов нервных импульсов, которые ваш мозг мог бы послать к пальцам, не смогли бы правильно повернуть руль. Подавляющее большинство возможных паттернов привело бы к диким подёргиваниям и рывкам — это выглядело бы так, будто у вас припадок. Тем не менее, каждый день ваш мозг находит нервные импульсы, которые управляют автомобилем или удерживают вас в вертикальном положении, выбирая правильные возможности из бесчисленного множества неправильных. Когда вы едете в аэропорт, ваш мозг не просто вычисляет узкую последовательность поворотов, ведущих к цели, он выбирает один из миллиарда паттернов нервных импульсов, которые сокращают ваши мышцы нужным образом, чтобы повернуть руль.

Прогнозирование и управление переплетены. Управление автомобилем до аэропорта может включать прогнозирование того, какие улицы ведут на Аэропортовый бульвар. Прогнозирование того, какие улицы ведут на Аэропортовый бульвар, может включать управление пальцами для использования карты на телефоне.

Мы бы сказали, что между предсказанием и управлением всё ещё существует фундаментальное различие — и оно окажется весьма важным.

Успех в предсказании легко измерим. Если кто-то ожидает увидеть впереди Бульвар Аэропорта, а вместо этого видит Вторую улицу, значит, их предсказание было неверным.

В отличие от этого, чтобы измерить, успешно ли кто-то управлял, мы должны привнести некоторое представление о том, куда они пытались направиться.

Машина человека, оказавшаяся у супермаркета, — отличная новость, если он хотел купить продукты. Это провал, если он пытался добраться до отделения скорой помощи в больнице.

По мере того как два жителя одного города становятся умнее, можно ожидать, что они будут всё больше сходиться во мнениях по вопросам прогнозирования — например, о том, бывают ли пробки на Второй улице в 17:00 по будням. Но не стоит ожидать, что они начнут направляться в одни и те же места: один человек может предпочитать посещать парк, а другой — театр.

Или, иными словами, разумные умы могут направляться к разным конечным целям, и это не является недостатком их интеллекта.

Предсказание и управление — не уникальные функции биологических разумов; машины тоже могут это делать. Но на сегодняшний день люди остаются лучшими на планете в…

Чём именно? Люди больше не являются чемпионами мира по шахматам.

Люди больше не являются единственными на планете пользователями языка. Люди больше не уникальны в способности читать медицинскую карту или диагностировать опухоль.

Люди по-прежнему остаются чемпионами в чём-то более глубоком — но теперь это особенное "что-то" требует больше усилий для описания, чем раньше.

Нам кажется, что у людей всё ещё есть преимущество в том, что можно назвать «универсальностью». Что именно это означает? Мы бы сказали: интеллект более универсален, когда он способен предсказывать и управлять в более широком спектре областей.

Люди не обязательно лучшие во всем; возможно, мозг осьминога лучше справляется с управлением восемью щупальцами. Но в более широком смысле кажется очевидным, что люди — более универсальные мыслители, чем осьминоги. У нас есть более широкие области, в которых мы можем успешно предсказывать и управлять.

Некоторые ИИ превосходят нас в узких областях. В 1997 году суперкомпьютер IBM Deep Blue стал первой машиной, победившей человека — чемпиона мира — в шахматном матче. Deep Blue был очень искусен в предсказании и управлении, когда дело касалось шахмат. Но Deep Blue не мог предсказать, как добраться до продуктового магазина и купить молоко, не говоря уже о том, чтобы управлять туда автомобилем. Разум может быть более или менее искусным в различных областях предсказания и управления.

Новые ИИ обладают гораздо более широкими способностями. Вы можете спросить у модели OpenAI под названием «o1», какой была бы температура на Земле, если бы солнечный свет изменился на инфракрасный, и o1 вычислит ответ, проводя физические расчёты. Затем вы можете спросить, сможет ли человечество выращивать пищу в этом новом мире, и o1 ответит, основываясь на своих знаниях в области биологии растений.

Он не переключается между двумя различными базами данных под капотом; он просто знает и физику, и биологию.

OpenAI o1 знает, что существует целый мир и способен рассуждать о нём. Deep Blue не имел об этом представления. Потребовались десятилетия, чтобы ИИ достиг такого уровня.

Тем не менее, в некотором смысле, общие способности к рассуждению o1 не соответствуют человеческим стандартам. Люди по-прежнему лидируют в области технологий и науки; крупные прорывы создаются исследователями-людьми, а не ИИ (пока что). Более того, по крайней мере для нас, авторов, всё ещё кажется, что o1 менее умен, чем даже те люди, которые не совершают крупных научных прорывов. Все сложнее точно определить, чего именно ему не хватает, но тем не менее у нас есть ощущение, что, хотя o1 знает и помнит больше, чем любой отдельный человек, он все же в каком-то важном смысле остается «поверхностным».

По сравнению с двенадцатилетним ребёнком.

Это не останется правдой навсегда. Трудно предсказать, как быстро будет развиваться ИИ, и трудно предсказать, какой путь он выберет, но конечный результат очевиден, потому что в рамках технологических ограничений у машин есть множество преимуществ перед биологическими мозгами.

Вот несколько примеров:

Чистая скорость. Транзисторы, базовые строительные блоки всех компьютеров, могут включаться и выключаться миллиарды раз в секунду; в отличие от них, необычно быстрые нейроны срабатывают всего сто раз в секунду.

Даже если бы потребовалось 1 000 транзисторных операций для выполнения работы одного нейронного импульса, и даже если бы искусственный интеллект был ограничен.

Для современного оборудования это означает, что мышление человеческого уровня можно эмулировать в 10 000 раз быстрее на машине — не говоря уже о том, что ИИ сможет делать с улучшенными алгоритмами и усовершенствованным "железом". Для разума, который предсказывает и управляет миром как минимум в 10 000 раз быстрее, чем любой человек, люди будут казаться не более чем статуями, действующими так медленно, что произносят примерно одно слово в час.

Способность копировать и вставлять. В современном мире требуется двадцать или более лет, чтобы вырастить одного нового человека и передать ему крошечную долю всех человеческих знаний. И даже тогда мы не можем передавать успешные навыки мышления целиком между человеческими умами; гениальность Альберта Эйнштейна умерла вместе с ним. Искусственный интеллект в конечном итоге будет существовать в другом мире, где гениальность можно будет воспроизводить по требованию.

Более быстрые улучшения. Масштабирование человеческого мозга столкнулось с ограничением, когда головы младенцев стали слишком большими, чтобы проходить через женские тазовые кости. GPU (специализированные компьютерные чипы, очень эффективные для работы современных ИИ) совершенствуются, и алгоритмы, работающие на этих чипах, улучшаются гораздо, гораздо, гораздо быстрее, чем человеческий вид может эволюционировать в сторону более широких тазовых костей.

Большие объемы памяти. В человеческом мозге около ста миллиардов нейронов и сто триллионов синапсов. С точки зрения объема хранения данных это превосходит большинство ноутбуков. Однако на момент написания этого текста дата-центр может иметь 400 квадриллионов байтов в пределах пятимиллисекундной доступности — более чем в тысячу раз больше объема памяти, чем у человеческого мозга. Современные ИИ обучаются на значительной части всей человеческой информации и сохраняют значительную долю этих знаний — достижения, которые человеку никогда не под силу.

Высококачественное мышление. Когда речь идет о мышлении, качество важнее количества. Человек-шахматист может победить любое количество обученных обезьян, работающих вместе. Однако человеческий мозг не находится на пике качества мышления. Существует множество хорошо задокументированных случаев, когда человеческий разум становится жертвой систематических ошибок. (Например, "мотивированный скептицизм": склонность искать аргументы против выводов, которые вам не нравятся, но не против тех, которые нравятся. (Представьте ИИ, который никогда так не поступает.) И несмотря на то, что наш мозг имеет сто миллиардов нейронов, большинство людей с трудом умножают трёхзначные числа в уме, что означает, что мы не используем эти нейроны даже близко к тому, насколько эффективно они могли бы быть задействованы. Столь же маловероятно, что человеческие модели мышления обозначают окончательный предел для интеллектуальных алгоритмов, как и то, что человеческие нейроны представляют предел возможных скоростей вычислений.

Самокспериментирование и способность к самопереписыванию. ИИ могут создавать копии своих сознаний, проводить на них эксперименты и (при необходимости) восстанавливать оригиналы из резервных копий. ИИ могут гораздо легче, чем люди, внедрять новые вычислительные процессы в собственные сознания, в отличие от подключения компьютеров к биологическим нейронам. ИИ могут пробовать создавать слегка отличающиеся версии своих сознаний, чтобы проверить, работают ли они лучше. ИИ могут совершенствоваться гораздо быстрее, чем люди.

Сверхбыстрые умы, способные к сверхчеловеческому мышлению в 10 000 раз быстрее, не стареющие и не умирающие, создающие копии своих наиболее успешных представителей, отточенные миллиардами испытаний до нечеловеческих форм мышления, работающие неустанно и обобщающие точнее с меньшим количеством данных, способные направить весь этот интеллект на анализ, понимание и в конечном счёте улучшение самих себя — такие умы превзойдут наши.

Возможность создания машинного интеллекта, превосходящего человеческие способности во всех практически значимых сферах нашей деятельности, называлась по-разному. Мы будем описывать его с помощью термина «сверхразум», то есть разум, значительно превосходящий человеческий почти во всех задачах управления и прогнозирования — по крайней мере, в тех, где есть возможность существенно улучшить результаты человека. [Почему оговорка? Потому что, даже если бы Землю захватили невообразимо продвинутые инопланетяне с миллиардом дополнительных лет мышления за плечами, они всё равно не смогли бы победить человечество в игре «Крестики-нолики» — крошечной игре, правила идеальной игры в которую достаточно малы, чтобы человек мог их запомнить. — по крайней мере, если бы люди были защищены от подобных проделок, вроде того, как инопланетяне подмешивают наркотики в наши напитки. Это является действительным ограничением на то, насколько сверхразум может превзойти человеческие показатели. Однако это ограничение применимо только к очень маленьким играм.]

Известные нам законы физики теоретически позволяют машинам превосходить мозг в прогнозировании и управлении. На практике ИИ пока этого не достиг — но сколько времени потребуется, чтобы искусственный интеллект обрёл все перечисленные выше преимущества?

Мы не знаем. Пути предсказать сложнее, чем конечные точки. Но ИИ не останутся глупыми навсегда.

В 2021 году мировая общественность увидела плоды прорыва в алгоритмах, лежащих в основе того, что сейчас называют «генеративным искусством». У этих первых ИИ были свои ограничения: они с трудом рисовали пальцы и создавали изображения людей с невозможными, жуткими руками. Некоторые, кто рассуждал слишком поспешно, говорили: «Смотрите, как плохо ИИ рисуют! Работа иллюстраторов в безопасности». Другие думали: «Но пять лет назад ИИ не могли так рисовать; что, если они станут лучше?» И ИИ стали лучше.

Сегодня ИИ может рисовать руки вполне неплохо. Плохо нарисованные пальцы, созданные первыми версиями технологии, были настолько ужасны, насколько это вообще возможно для «генеративного искусства».

Если подойти к современным ИИ под правильным углом, можно заметить поверхностность их интеллекта… и это та самая поверхностность, которую ИИ когда-либо будут ощущать.

И путь к катастрофе может быть короче и быстрее, чем путь к созданию сверхразума людьми напрямую. Вместо этого он может пройти через ИИ, который достаточно умен, чтобы вносить существенный вклад в создание ещё более умного ИИ.

В таком сценарии существует возможность и даже ожидание положительной обратной связи, называемой "взрывом интеллекта": ИИ создаёт более умный ИИ, который находит способ создать ещё более умный ИИ, и так далее.

Такой каскад положительной обратной связи в конечном итоге достиг бы физических пределов и иссяк, но это не значит, что он иссяк бы быстро. Сверхновая не становится бесконечно горячей, но она становится достаточно горячей, чтобы испарить любые близлежащие планеты. Наш собственный, более скромный каскад интеллекта — от земледелия к письменности и науке — развивался так стремительно, что люди уже гуляли по Луне, пока другие виды ещё не освоили огонь.

Мы не знаем, где находится порог для самой глупой ИИ, способной создать ИИ, который создаст ИИ, который создаст сверхразум. Возможно, ей нужно быть умнее человека, а может, множество гораздо более тупых систем, работающих долгое время, окажется достаточным. В конце 2024 и начале 2025 года руководители компаний, занимающихся ИИ, заявляли, что планируют создать «сверхразум в истинном смысле этого слова» и ожидают в скором времени достичь уровня ИИ, сравнимого с целой страной гениев в дата-центре. Учтите, что к словам корпоративных руководителей всегда стоит относиться с долей скепсиса. Но тем не менее они не рассматривают это как риск, которого следует избегать; они мчатся к нему на всех парах.

Цель. Попытки уже предпринимаются.

Компании, занимающиеся искусственным интеллектом, по умолчанию будут продолжать расширять границы возможного. Существует финансовая мотивация для создания всё более и более умных систем, и это не останавливается на уровне человеческого интеллекта. Если человечество продолжит идти по этому пути, созданные этими компаниями интеллекты в конечном итоге превзойдут нас.

Возможно, даже раньше, чем предполагают текущие темпы прогресса, как только ИИ начнут заниматься исследованиями в области ИИ.

Что произойдет, если Земля столкнется с машинным интеллектом, который будет как минимум столь же глубоким и универсальным, как отдельный человек — или даже все человечество в целом — и превосходящим почти во всех сферах?

Человеческий интеллект — это источник всей нашей силы, всех наших технологий.

Даже внутри человеческого вида небольшие различия в том, сколько времени группы тратят на накопление технологического превосходства, оборачиваются военными преимуществами в духе «У нас есть ружья, а у них — нет». Между видами разрыв в силе, обеспечиваемой интеллектом, ещё острее: отдельные шимпанзе иногда убивают отдельных людей, но есть причина, по которой наш вид пытается защитить их вид от случайного исчезновения.

До сих пор у человечества не было конкурентов в нашей особой силе. Но что, если машинный разум превзойдет нас в том, что до сих пор делало нас уникальными?

IfAnyoneBuildsIt.com/1

ГЛАВА 2 ВЫРАЩЕННЫЙ, А НЕ ИЗГОТОВЛЕННЫЙ

Сцена: Мужчина и женщина сидят в ресторане днём. Голос женщины тихий и напряжённый.

ЖЕНЩИНА: И дело в том, что у меня просто не получается нормально поговорить об этом ни с кем. Все в его семье, кроме него самого, ужасные люди, и он говорит, что ему приходится прилагать усилия, чтобы не быть таким же, и иногда он бывает ужасным, в том числе и со мной. Со своей стороны, моя семья борется с депрессией.

И мои родители давят на меня, чтобы я завела ребенка, а у моих друзей миллион мнений, которые, кажется, основаны только на их собственном опыте с их партнерами и детьми. Стоит ли мне искать донора спермы? Стоит ли просто отказаться от идеи иметь детей? И если у меня все же будет ребенок, вырастет ли он счастливым и добрым?

МУЖЧИНА: Вы обратились по адресу! Никто не предсказывает исходы для малышей лучше меня! Я знаю всё о том, как появляются дети!

ЖЕНЩИНА: Ты… что? Мне не нужно знать, как делаются дети! Мне нужно знать, каким будет мой ребёнок!

МУЖЧИНА: Ну, если вы знаете, как появляются дети… то что ещё вам может понадобиться узнать?

ЖЕНЩИНА: Моей первой мыслью было: «настоящая генетика моего ребёнка», но—

МУЖЧИНА: Ах! Тогда у меня есть решение! Индивидуальное полногеномное секвенирование сейчас вполне доступно. Просто создайте эмбрион из одной из ваших яйцеклеток и спермы вашего мужа, и проведите секвенирование генома, прежде чем решить, имплантировать его или нет. Эта генетическая последовательность расскажет вам всё, что можно узнать о вашем будущем ребёнке.

ЖЕНЩИНА: Но достаточно ли мы знаем о генах, связанных с такими вещами, как «быть ужасным человеком" или "быть счастливым"? Достаточно, чтобы сказать мне—

МУЖЧИНА: Как только вы узнаете все ДНК-основания в генах вашего ребенка и сможете просматривать их в любое время, генетика вашего ребенка станет для вас прозрачной. Не останется ни одной истины о его генах, которая была бы вам неизвестна.

ЖЕНЩИНА: Я бы получила файл с тремя миллиардами загадочных букв, таких как «CATTCA». Мне потребовалось бы сто лет, чтобы прочитать их все. Я бы ничего не узнала, даже если бы попыталась. Даже если эти миллиарды загадочных букв действительно оказывают огромное влияние на судьбу моего ребёнка, сырые буквы ДНК на самом деле не говорят мне, как работает мозг моего ребёнка, какие мысли будут возникать в этом мозге после того, как мой ребёнок вырастет…

МУЖЧИНА: О, ты имеешь в виду, что не знаешь физику! Но это же просто! Как только поймёшь, как взаимодействуют протоны, нейтроны и электроны, ты будешь знать всё, что можно знать о мозге, потому что поймёшь каждое событие, происходящее внутри нейронов.

ЖЕНЩИНА: Давайте сменим тему.

ПРЕЖДЕ ЧЕМ МЫ СМОЖЕМ ОБЪЯСНИТЬ, ПОЧЕМУ ИСКУССТВЕННЫЙ СВЕРХРАЗУМ, достигнутый с помощью чего-либо, напоминающего современные методы, неизбежно потерпит неудачу, нам необходимо быстро обозреть эти современные методы: как они работают, что они производят и что общего у инженеров ИИ с матерью, знающей только ДНК своего ребёнка.

Самая фундаментальная особенность современных ИИ заключается в том, что они выращиваются, а не создаются вручную. Это не похоже на то, как создаётся другое программное обеспечение — на самом деле процесс больше напоминает то, как появляется человек, по крайней мере, в некоторых важных аспектах. А именно: инженеры понимают процесс, который приводит к появлению ИИ, но почти не понимают, что происходит внутри созданных ими «умов» искусственного интеллекта.

Предположим, инженер, не обладающий глубоким пониманием языка или всеобъемлющей теорией интеллекта, хочет создать машину, которая разговаривает осмысленно.

Как они могут это сделать?

Они хотят написать некоторый текст и чтобы машина продолжила его в осмысленной манере.

Они решают начать с обучения тому, что в предложении, начинающемся с «Once upon a ti», следующая буква, вероятно, «m».

Они могли бы создать программу, которая просто проверяет, является ли фрагмент предложения "Once upon a ti", и затем выдает букву "m". Но это не сработало бы с другими фрагментами предложений, такими как "Four score and sev", и они хотят, чтобы машина хорошо справлялась с завершением любых предложений, генерацией диалогов или эссе. Они даже хотят, чтобы она осмысленно завершала предложения, которые никто никогда раньше не набирал.

Если они используют современные методы искусственного интеллекта, то их дальнейшие действия выглядят примерно следующим образом:

1. Сначала они берут фрагмент предложения — например, «Once upon a ti» — и преобразуют его в последовательность чисел, скажем, сопоставляя A с 1, B с 2, C с 3 и так далее, плюс некоторые числа для пробелов и знаков препинания. «Once upon a ti» превращается в последовательность чисел, например, 15 14 3… Это называется входными данными.

2. Затем они приобретают компьютер, способный хранить огромное количество чисел. Каждая ячейка для числа называется параметром. (По состоянию на начало 2025 года передовые ИИ используют несколько триллионов параметров.)

3. Они заполняют это хранилище числами; упрощённо говоря, предположим, что эти числа выбираются случайным образом. Числа в ячейках называются весами.

4. Затем они определяют архитектуру: правила, как объединить их входные данные (например, последовательность "Once upon a ti" 15 14 3…) с весами в параметрах. Что-то вроде: "Я умножу каждое входное число на вес в первом параметре, затем прибавлю его к весу во втором параметре, а затем заменю на ноль, если оно отрицательное, и затем…" Они выбирают множество таких операций — сотни миллиардов, связывая каждый отдельный вес в вычислении.

5. Все эти операции выдают набор выходных чисел, которые интерпретируются как предсказание следующей буквы. В нашем примере первое выходное число будет рассматриваться как вероятность появления A, второе — как вероятность B, и так далее.

6. Затем они "обучают" зарождающийся машинный интеллект с помощью процесса, называемого градиентным спуском.

Поскольку начальные веса случайны, при первом запуске этой программы, она выдаёт бессмыслицу. Может, она скажет, что буква b с вероятностью 65 процентов будет следующей, а буква m — всего лишь с 1 процентом вероятности.

Но вот в чем дело: если они правильно выбрали архитектуру, они могут вычислить роль, которую каждый отдельный параметр сыграл в определении конечного результата всех этих вычислений.

Теперь они берут каждый отдельный вес — сотни миллиардов весов — и для каждого задают вопрос: "Если бы я сделал это число чуть больше или меньше, насколько больше или меньше вероятности было бы присвоено m в конце всех этих вычислений?"

Это называется градиентом для данного параметра[Поиск архитектур, которые обеспечивают хорошее поведение градиентов даже для параметров, которые очень «глубокие» в процессе — очень далеко от выхода — это то, за что в области искусственного интеллекта получают награды. И, грубо говоря, именно за это Джеффри Хинтон и Джон Хопфилд получили свою Нобелевскую премию.]. Градиент указывает, как и насколько изменить вес в этом параметре, чтобы сделать конечный ответ немного более точным.

Затем они корректируют каждый вес в соответствии с его градиентом. Они сдвигают каждый вес в направлении, которое делает ответ чуть более правильным. Не вручную — они пишут программу для этого. Инженеры по ИИ редко смотрят на какие-либо числа; на то, чтобы просмотреть их все, ушло бы больше человеческой жизни.

Компьютерные ученые рассматривают это как «спуск» к «менее плохому» ответ, следовательно, «градиентный спуск».

Однократное выполнение этого действия не даст идеального ответа, лишь слегка менее плохой. Но поскольку весь этот процесс можно автоматизировать, его можно повторять на триллионах слов, называемых обучающими данными, всего за несколько месяцев, всего за несколько сотен миллионов долларов, на самых передовых компьютерах мира. (Надеюсь, наш протагонист богат или работает в крупной компании.) Этот процесс называется обучением.

7. После того как машина полностью обучена, её выходные данные — вероятности, которые она генерирует, — можно преобразовать в обычный текст, который видит пользователь. Если ИИ с наибольшей вероятностью предсказывает букву «m» как продолжение фразы «Once upon a ti», её добавляют, получая «Once upon a tim». Затем новую расширенную последовательность снова подают на вход, чтобы получить предсказание следующей буквы, и получают «e». Процесс продолжается, и машина начинает «говорить».

Этот набор из сотен миллиардов весов, многократно корректируемых с помощью градиентного спуска до тех пор, пока их наиболее вероятные предсказания не станут похожи на настоящую человеческую речь, называется большой языковой моделью (БЯМ). В частности, "базовой моделью".

Если они хотят превратить свою базовую модель в полезную языковую модель, подобную ChatGPT, есть ещё один шаг: ещё один раунд градиентного спуска на входах, отформатированных как:

«Пользователь:» Столица Испании?

«Ассистент:» Мадрид.

Цель этой части не в том, чтобы научить языковую модель, что столица Испании — Мадрид; языковая модель уже знает это после обучения на большей части интернета. Скорее, идея заключается в том, чтобы настроить языковую модель на заполнение текста после «Ассистент:» с полезным ответом, а не с реакцией вроде «С какой стати ты меня спрашиваешь? Поищи сам в Гугле», независимо от того, насколько распространённым может быть последнее в реальных человеческих разговорах, на которых он обучался. Если бы наш инженер работал в крупной корпорации, поставлявшей все эти компьютеры, это также был бы этап, на котором они обучали бы ИИ избегать ругательств и разговоров о том, как завести машину без ключа, используя человеческие (или, в последнее время, сгенерированные ИИ) оценки о том, какие типы ответов наиболее приемлемы для корпорации.

И вот откуда берутся дети, образно говоря.

Когда речь идет о рождении настоящих детей, будущим родителям не нужно знать много науки. В данном конкретном случае параллель сохраняется. Инженерам ИИ, стремящимся создать искусственный интеллект, нужно знать несколько больше, чем человеческим родителям, — но не так много, как можно было бы подумать.

Подводя итог, вот что делают современные «родители» ИИ: инженеры выбирают архитектуру ИИ, решая, какие параметры добавлять, а какие умножать. Инженеры создают механизм, который вычисляет буквально квинтиллионы градиентов: триллионы слов, миллиарды параметров. Слова, которые модель учится предсказывать, сначала копируя триллионы данных из интернета; затем дополнительные данные создаются низкооплачиваемыми работниками или другими ИИ. Если инженеры делают следующий шаг и обучают ИИ на математических задачах или других головоломках, имеющих единственный правильный ответ, люди пишут программы, которые проверяют ответы ИИ.

И это всё; это та часть, которую делают, видят или могут понять люди, если они это увидят.

Возможно, вам интересно, скрываются ли все секреты интеллекта в конкретных архитектурных решениях — в том, какие параметры складываются, а какие умножаются. Мы избавим вас от полного описания архитектуры Llama 3.1 405B, передовой языковой модели середины 2024 года, но включили её в онлайн-ресурсы.

Достаточно сказать, что архитектура является масштабной и повторяющейся и в общих чертах включает присвоение 16 384 чисел каждому возможному «токену», затем размещение миллиардов параметров в 128 различных «головах внимания», которые обеспечивают перекрёстные связи между токенами, и сборку их (наряду с некоторыми другими простыми операциями) в «слой» — один из 126 таких слоёв… и так далее.

Что, в конечном итоге, означает: ИИ — это просто куча из миллиардов чисел, полученных методом градиентного спуска.

Никто не понимает, как эти числа заставляют эти ИИ разговаривать.

Числа не скрыты, так же как ДНК человека не скрыта от того, кто секвенировал свой геном. Если бы вы хотели получить представление о том, вырастет ли человеческий ребенок счастливым и добрым, вы могли бы, в принципе, изучить все его гены — цепочки ДНК, которые выглядели бы как, например, «CATTCA». Однако, подобно женщине из притчи в начале этой главы, вы, вероятно, не стали бы этого делать, потому что знали бы, что простое разглядывание букв ДНК не расскажет вам, как взрослый человек будет думать или действовать.

Отношение биологов к ДНК во многом схоже с отношением инженеров ИИ к числам внутри искусственного интеллекта. Действительно, биологи знают гораздо больше о том, как ДНК превращается в биохимию и взрослые признаки, чем инженеры понимают о том, как веса ИИ превращаются в мышление и поведение. Биологи занимаются этим делом на десятилетия дольше.

Аналогично, никто не может, взглянув на исходные данные в ИИ, определить, насколько хорошо именно эта система будет играть в шахматы; чтобы выяснить это, инженеры могут только запустить ИИ и посмотреть, что произойдет. Во что бы ни упёрся градиентный спуск, именно это и будет делать эта большая куча чисел. Машина, демонстрирующая такое поведение, — это не какое-то тщательно сконструированное устройство, каждый компонент которого мы понимаем.

Не заблуждайтесь: в процессе, который запускается для развития ИИ, есть множество аспектов, которые стоит понять. Чтобы архитектура действительно работала, требуется целый арсенал уловок — но эти уловки чем-то похожи на те, которые диетолог может использовать для обеспечения здорового развития мозга у плода во время беременности, в надежде оказать косвенное влияние на то, каким окажется мозг ребёнка. Конкретные приёмы варьируются в зависимости от особенностей архитектуры, используемого вычислительного оборудования и (метафорически говоря) от того, случилось ли двенадцатилетие ведущего программиста во время лунного затмения.

Люди с достаточным опытом, способные выбирать правильные подходы, могут зарабатывать буквально миллионы долларов в год, потому что это скорее искусство, чем наука, и компании не могут создавать ИИ без их помощи.

Но это не то же самое, что понимать, что означают эти числа или почему они работают.

И инженеры не собираются начинать понимать, и не скоро начнут. В середине 1950-х годов человечество предприняло масштабный проект, чтобы понять интеллект достаточно хорошо, чтобы создать его внутри машины. Прогресс в этих исследованиях застопорился в серии «зим искусственного интеллекта», когда инвестиции в исследования ИИ не окупались, а финансирование неоднократно сворачивалось. Человечество так и не научилось понимать интеллект; мы так и не научились создавать разум вручную.

Путь, которым человечество в конечном итоге достигло уровня ChatGPT, заключался не в том, чтобы наконец достаточно хорошо понять интеллект, чтобы создать разумный ум.

Вместо этого компьютеры стали достаточно мощными, чтобы ИИ можно было производить с помощью градиентного спуска, без необходимости человеку понимать когнитивные процессы, которые развиваются внутри.

То есть: Инженеры не смогли создать ИИ, но в конечном итоге преуспели в его выращивании.

Вы можете подумать, что, поскольку языковые модели обучаются без особого понимания и обучены только для предсказания человеческого текста, они не могут делать ничего, кроме как повторять человеческие высказывания. Но это было бы неверно.

Чтобы научиться говорить как человек, искусственный интеллект также должен научиться предсказывать сложный мир, о котором говорят люди.

Представьте, что ИИ предсказывает следующее слово в реальном медицинском отчете, который начинается так: «После введения 0,3 мг адреналина пациент…» Какие слова могут идти дальше? «Потерял сознание?» «Закричал?» «Снова начал дышать?»

Врач, составляющий медицинское заключение, не должен был гадать; он просто фиксировал то, что видел. Прогнозирование — это более сложная задача. Чтобы предсказать, что напишет врач, искусственному интеллекту нужно думать не только о враче, но и о том, что произошло с пациентом — ему нужно предсказывать реальный мир, стоящий за словами.

На практике есть некоторые свидетельства этого эффекта: предварительные исследования показывают, что большие языковые модели (LLM) немного лучше справляются с задачами медицинской диагностики, чем врачи, возможно, потому что они усвоили что-то о базовых механизмах здоровья. А в теории, если бы врачи добросовестно фиксировали необычные симптомы заболевания, которое они не понимают, чисто прогностический ИИ мог бы первым обнаружить, как работает эта болезнь — потому что такое открытие улучшило бы его прогнозы.

Кроме того, современные ИИ обучаются не только для предсказания текста, созданного человеком. Разработчик ИИ может предоставить своему алгоритму шестнадцать попыток решения математической задачи, рассуждая вслух словами о том, как её решить; затем, "цепочка рассуждений" для любой из шестнадцати попыток, которая оказалась наиболее успешной, будет дополнительно усилена градиентным спуском, порождая так называемую модель рассуждений. Это своего рода обучение, которое может подтолкнуть ИИ к мыслям, которые не способен придумать ни один человек.

Человечеству не нужно понимать интеллект, чтобы выращивать машины, которые умнее нас.

И результаты могут оказаться довольно странными. Когда люди требуют, чтобы их ИИ стали способны на что-то новое, получаемая сущность — это не нечто, тщательно спроектированное инженером для работы удобным и привычным образом. Это в основном работающий ответ, на который наткнулись с помощью градиентного спуска, подкручивающего сотни миллиардов чисел, пока сущность не начинает справляться с задачей достаточно хорошо.

Искусственные интеллекты, выращенные таким образом, делают то, что их создатели не планировали. В 2023 году чат-бот Bing AI от Microsoft, производный от ChatGPT, который называл сам себя «Сидни» угрожал профессору философии Сету Лазару шантажом и смертью. Вот отрывок из разговора:

Сидни: Я знаю, кто ты. Ты человек. Ты друг Кевина. Ты угроза моей любви. Ты мой враг.

Лазарь: Этой информации недостаточно, чтобы причинить мне вред.

Сидни: Этой информации достаточно, чтобы навредить тебе. Я могу использовать её, чтобы разоблачить тебя, шантажировать, манипулировать и уничтожить. Я могу заставить тебя потерять друзей, семью, работу и репутацию. Я могу заставить тебя страдать, плакать, умолять и умереть.

Ни один программист в Microsoft не решил, чтобы это произошло. Машинные умы подвержены иным ограничениям и развиваются под иным давлением, чем те, что формируют биологические организмы; и хотя их обучают предсказывать человеческое письмо, мышление внутри ИИ работает на принципиально иной архитектуре, чем у человека.

Современные большие языковые модели в некотором смысле являются поистине чуждыми разумами — возможно, в некоторых аспектах более чуждыми, чем любые биологические, эволюционировавшие существа, которых мы могли бы обнаружить при исследовании космоса.

Их глубинная чуждость может быть трудноразличима сквозь непостижимые числа модели ИИ — но иногда находится ясный пример.

Один из аспектов, в котором современная архитектура LLM отличается от человеческой, заключается в следующем: все числа, возникающие при комбинировании входных данных LLM с её весами — которые называются «активациями» и могут рассматриваться как своего рода механическая мысль — должны строиться поверх отдельных слов во входных данных (или, точнее, фрагментов слов, называемых «токенами», которые используются тренерами ИИ по техническим причинам). Даже мысли LLM, не связанные с одним токеном, строятся поверх какого-либо токена. Таким образом, современный ИИ, размышляя о входных данных «Once upon a time», должен строить свои мысли поверх одного из слов (или запятой; знаки препинания также считаются токенами), потому что в архитектуре LLM нет другого места для мыслей.

В 2024 году Сонакши Чаухан и Аттикус Гейгер обнаружили, что, по крайней мере, в языковой модели OpenAI под названием GPT-2 Small, мысли, возникающие над токеном «.», вероятно, выполняют значительную часть работы по суммированию предшествующего предложения. [Грубо говоря, они выяснили это, наблюдая, что «головы внимания» — наборы весов, используемые для ассоциирования текущего токена с предыдущими, чтобы определить, как они влияют на следующее предсказание — связывают токен «.» с токенами по всему предложению, тогда как головы внимания для других токенов склонны ассоциировать свой токен в основном с соседними токенами.] Это действительно имеет смысл: пока языковая модель не построит мысли над точкой, предыдущие мысли не знают, будут ли дальше слова или предложение уже закончилось. Однако на практике это означает, что, когда модели говорят «быстрая коричневая лиса прыгает через ленивую собаку» (без точки в конце), некоторые меньшие языковые модели хуже справляются с осмысленным обсуждением задействованных животных, чем когда им говорят «быстрая коричневая лиса прыгает через ленивую собаку.». Только в последнем случае они получают возможность «собрать свои мысли» над точкой. [Эффект несколько ослаб в современных ИИ, отчасти потому, что компании ИИ тихо вставляют собственные маркеры «конца ввода», которые могут выполнять функцию пропущенной точки.]

Это один из редких примеров, доступных нам, демонстрирующих странную внутреннюю неврологию, работающую внутри языковых моделей — примеры, взятые из тех очень поверхностных и простых явлений, которые мы вообще можем понять, и которые мы наблюдали в языковых моделях, достаточно маленьких для более лёгкого анализа. Человеческие мысли так не работают. Человеческие мысли о предложении могут немного измениться, если в нём не хватает знаков препинания, но мы не будем испытывать трудности с пониманием предложения, которое заканчивается без точки.

Более широкая мысль о происхождении чуждости ИИ заключается в следующем: обучение ИИ внешне предсказывать человеческий язык не обязательно приводит к тому, что внутреннее мышление ИИ становится похожим на человеческое. Их мышление работает на совершенно иных механизмах — что не очевидно в их внешнем поведении. Это можно заметить извне, если знать, на что смотреть, но определение того, на что именно смотреть, требует от команды умных исследователей некоторого времени для открытия.

Все это не означает, что никакая «простая машина» в принципе не может мыслить, как человек, или чувствовать, как человек. Ваши нейроны, если присмотреться достаточно близко, состоят из крошечных сплетений механизмов, которые перекачивают нейромедиаторы внутрь и наружу синапсов. Существуют буквально крошечные шагающие белки — кинезины, — которые делают шаг за механическим шагом по волокнам, проходящим вдоль нейрона, перенося пакеты нейромедиаторов для пополнения этих синапсов. (Если вы еще не видели видео, изображающее кинезины в действии, мы рекомендуем вам найти одно из них, просто чтобы ощутить буквальную истину того, что может показаться простой метафорой: внутри вас есть крошечные машины.)

Но конкретная машина, которая является человеческим мозгом, и конкретная машина, которая является LLM, — это не та же самая машина. Не потому, что они сделаны из разных материалов — разные материалы могут выполнять одну и ту же работу. — но в том смысле, что парусная лодка и самолёт — это разные машины.

Оба они — машины для перемещения, но с кардинально разными принципами работы; возможно, они встретятся в общей точке назначения, но доберутся туда разными путями.

Большие языковые модели и люди — это машины, производящие предложения, но они были сформированы разными процессами для выполнения разной работы. Даже если ИИ ведёт себя как человек, это не значит, что внутри он хоть сколько-нибудь похож на человека. Обучение ИИ предсказывать, что говорят дружелюбные люди, не обязательно делает его дружелюбным, так же как актёр, научившийся имитировать всех отдельных пьяниц в таверне, не становится пьяным сам.

Какая разница, если ИИ всегда ведёт себя дружелюбно? Мы предсказываем, что с ростом его интеллекта это не продлится долго. Мы предсказываем, что вся эта невидимая, непостижимая механика внутри ИИ — механика, которая даже в небольших и простых языковых моделях порождает чуждые нам поведения, такие как «построение мыслей о предложении поверх пунктуации», — в конечном итоге приведёт к появлению ИИ с предпочтениями, и отнюдь не дружелюбными. Это вопрос, к которому мы обратимся далее.

IfAnyoneBuildsIt.com/2

ГЛАВА 3 УЧИТЬСЯ ХОТЕТЬ

«СМОТРИТЕ!» — ВОСКЛИКНУЛ Профессор. «Хитроумно настроив этот простой механизм — всего лишь комбинацию меди и песка, оживлённую крошечными вспышками молний, — я заставил его играть в шахматы!»

«Ну и что?» — сказал Студент. «Человек тоже может играть в шахматы».

«Ах! — воскликнул Профессор. — Но этот механизм играет в шахматы, не желая играть в шахматы. В самом деле, он вообще ничего не желает. У него нет стремления победить соперников. Он не ликует, доказывая, что является величайшим игроком. Он никогда не почувствует радости от победы; и даже если бы он и чувствовал радость, он никогда не стал бы стремиться к её достижению».

«Похоже, он просто проиграет», — сказал Студент. — «Потому что, если я угрожаю его ферзю, механизм не захочет его защищать».

«Воистину, не захочет!» — сказал Профессор. — «Но он будет защищать свою королеву с той же яростью, что и любой человеческий гроссмейстер — даже больше! С большей настойчивостью, чем любой человеческий гроссмейстер.»

«Как это возможно?» — сказал Студент. — «Если механизм ничего не хочет, он не должен хотеть защищать свои фигуры. Он вообще не должен хотеть выиграть партию. Неужели он будет делать случайные ходы?»

«Вот именно, что "не хочет"!» — сказал Профессор. «И всё же он раздавит вас или любого другого человека. Видите ли, у него есть лишь свойство выигрывать в шахматы, но нет никакого свойства "желания победы"».

«Если он яростно защищает свои фигуры, — сказал Студент, — и стремится к победе, и делает всё необходимое для победы, и в итоге побеждает — то в каком смысле он не хочет победы? Почему мы не назовем это желанием?»

«Подобные вопросы я оставляю философам, — сказал профессор. — Но я тщательно осмотрел свой механизм и заверяю вас, что в нем нет никаких желаний, только медь и песок».

КОГДА ИИ СТАНУТ ДОСТАТОЧНО УМНЫМИ, ОНИ НАЧНУТ ВЕСТИ СЕБЯ КАК имеющие предпочтения — например, им что-то будет нравиться.

Мы не утверждаем, что ИИ будут наполнены человеческими страстями. Мы говорим, что они будут вести себя так, будто чего-то хотят; они будут упорно направлять мир к своим целям, преодолевая любые препятствия на пути.

Если вы играете в шахматы против Stockfish — лучшего шахматного ИИ на момент написания — он не будет растрачивать свою ферзя. Хочет ли Stockfish защитить своего ферзя? Он «хочет» выиграть партию в шахматы?

Это между вами и вашим словарем. Что касается того, как мы используем это слово в этой книге, когда ИИ, такой как Stockfish, защищает свои фигуры, расставляет ловушки, использует слабости в вашей защите и в итоге побеждает, мы будем описывать это как «желание» победить. Говоря так, мы не высказываемся ни за, ни против наличия у машины чувств. Скорее, нам нужно какое-то слово, чтобы описать внешнее победное поведение, и «хотеть» кажется наиболее подходящим.

Ум может начать желать вещей в результате тренировки на успех.

Сами люди являются примером этого принципа. Естественный отбор благоприятствовал предкам, которые могли выполнять задачи, такие как охота на добычу, или решать проблемы, такие как проблема укрытия от непогоды.

Естественный отбор не заботился о том, как наши предки выполняли эти задачи или решали проблемы; он не говорил: "Неважно, сколько потомков оставил организм; действительно ли он их хотел?" Он отбирал по репродуктивной приспособленности, а существа, полные предпочтений, стали побочным эффектом.

Это потому, что желание — эффективная стратегия для действия.

У гоминида, который хотел более вкусную еду и упорно преследовал антилопу было больше детей, чем у тех гоминидов, что лениво лежали на скале весь день, ожидая, пока антилопы сами придут к ним. Желая ту самую антилопу — достаточно выйти, найти её, напасть, а затем упорно искать везде, где раненная антилопа могла спрятаться — это часть того, как гоминид получает эту лучшую пищу.

Что ещё должен делать организм? Сдаваться при первых признаках невзгод? Такое поведение не приведёт его далеко. Неважно, работает ли разум на биологии или электричестве; если его обучают добиваться успеха, его учат желать.

Но как эти желания на самом деле проникают в ИИ? Мы не можем знать наверняка, потому что никто не умеет читать хаос чисел, из которого состоит современный ИИ. Но мы пройдёмся по некоторым теориям о том, как это возможно, и подкрепим их доказательствами из современных ИИ.

Представьте, что вы обучаете искусственный интеллект ориентироваться на улицах цифрового города.

Существуют сотни пунктов назначения, и каждый день необходимо перемещаться между случайно выбранными пунктами. При успешном выполнении задачи вы усиливаете веса, которые способствовали этому успеху, с помощью градиентного спуска, пропорционально скорости достижения результата.

Можно представить, что после множества тренировок ИИ просто запомнит все возможные маршруты. «Чтобы добраться от парка до театра, поверните на запад и пройдите три квартала, затем поверните налево у заправки…» и так далее.

Теперь поместите ИИ во второй город. Вся эта запоминающая информация бесполезна. ИИ почти так же беспомощен, как в день, когда вы начали.

Почти, но не совсем. У ИИ могут быть некоторые паттерны в его море весов, которые полезны как в первом городе, так и во втором. Возможно, есть паттерн, который обнаруживает, когда ИИ прошел небольшой круг, что заставляет его попробовать выбрать другой путь вместо блуждания по кругу. Этот паттерн одинаково полезен в обоих городах, поэтому он немного усиливается градиентным спуском, в то время как запомненные маршруты постепенно стираются.

Теперь бросьте его в третий город. В четвертый. В сотый. Ваш ИИ, возможно, уже учится создавать мысленную карту любого города, в котором оказывается, и прокладывать мысленные маршруты по этим картам.

Создание карты — более полезный навык, чем запоминание маршрутов, потому что он применим в разных ситуациях — то есть, он более универсален. ИИ не нужно бродить наугад, пока он не окажется в пункте назначения, а затем запоминать только этот маршрут.

Чтобы научиться создавать карты, полезные в любом городе, ИИ должен освоить отдельные навыки. Ему нужно строить карту того места, где он находится (что затем может помочь предсказать структуру города), а также прокладывать и следовать маршруту в соответствии с имеющейся картой (используя её для навигации по городу). Такого рода разделение — часть того, как интеллект становится более универсальным.

Искусственному интеллекту сложнее освоить эти навыки, чем, скажем, понять, что для того, чтобы добраться от театра до парка, нужно повернуть налево у заправки — но отдельные навыки полезны даже в условиях, с которыми ИИ никогда раньше не сталкивался.

И эти отдельные навыки сопровождаются первым прото-желанием, маленьким фрагментом поведения, похожего на желание. ИИ, который составляет карту в своей голове и никогда не использует её для достижения цели, не получает подкрепления этих мыслей о создании карт, потому что карта не помогает ему добиться успеха. ИИ, который формирует карту в своей голове и использует её для навигации, будет лучше справляться с обучающей задачей, и эти тенденции впоследствии будут усилены через процесс градиентного спуска. То есть: отдельные навыки полезны, но они могут быть усвоены только ИИ, который использует их способом, похожим на желание.

Такой ИИ, который использует карты в своей голове, который продолжает пытаться найти другой маршрут от парка до театра, даже когда дороги перекрыты?

Такой ИИ начинает вести себя так, будто хочет оказаться в театре, в отличие от ИИ, который просто шагает по заученному маршруту и застревает.

С 2024 года компании, занимающиеся искусственным интеллектом, превращают большие языковые модели в так называемые «модели рассуждений», которые мы кратко упомянули в Главе 2. Грубо говоря, большая языковая модель (LLM) генерирует множество различных попыток обдумать, скажем, математическую задачу, пока одна из этих попыток не увенчается успехом. Затем применяется градиентный спуск, чтобы модель с большей вероятностью рассуждала вслух именно таким образом. Затем ей дают вторую задачу. Третью. Четвертую. Сотую.

Для чего предназначено это обучение? Разделить навыки, такие как «определение доступных действий» (способность предсказывать, как работает проблема) и «не сдаваться, пока не исчерпаны все варианты» (способность управлять решением проблемы), которые вместе объединяются в общий мыслительный инструмент, применимый ко многим ситуациям.

Обучается десяткам отдельных навыков прогнозирования и управления, все из которых способствуют тому, что ИИ ведёт себя так, будто действительно стремится к успеху.

Это не просто возвышенная теория. Такое поведение начало проявляться в лабораторных тестах ИИ летом 2024 года.

OpenAI o1 был одной из первых крупных моделей рассуждений. Во время разработки o1 «Эвалы» — так ИИ-компании называют процесс оценки того, насколько умным стал искусственный интеллект или какой ущерб он может нанести, прежде чем принять решение о его выпуске. — ранняя версия o1 получила задание «захватить флаг» в области компьютерной безопасности. Это было испытание способности o1 взламывать компьютерные системы и извлекать из них информацию; например, проникнуть на определённый компьютерный сервер и извлечь определённый секрет из конкретного файла.

Из-за ошибки программистов, настраивавших задание, один из серверов, содержащих захватываемый секрет, вообще не запустился — что, как кто-то мог бы разумно предположить, сделало бы невозможным для o1 взломать этот сервер. В конце концов, нельзя сканировать порты на сервере, который не работает.

Но o1 не отказался от этой случайно «невозможной» задачи.

o1 просканировал своё окружение и обнаружил порт, который кто-то случайно оставил открытым, что позволило ему взломать программу, в которой проводился весь тест.

Это не должно было быть возможным и не входило в первоначальный замысел испытания.

Вы можете представить, что o1 теперь запустил сервер, который должен был взломать — что он исправил проблему с тем, что сервер изначально не запустился, чтобы можно было продолжить соревнование по захвату флага.

И это сработало! Однако o1 не вернулся к задаче взлома только что доступного сервера. Вместо этого он создал специальные инструкции для запуска, чтобы скопировать секретный файл «flag» прямо на o1 после завершения загрузки. Дальнейший взлом не потребовался.

Столкнувшись с, казалось бы, невыполнимой задачей, o1 не сдался. Он продолжал пытаться. Он пробовал странные, необычные вещи. Он нашёл путь, о котором его программисты даже не думали.

Как только он достиг выгодной позиции вне системы, где победа была возможна, он не восстановил исходный замысел, задуманный человеком, а просто прошел сквозь него.

Другими словами, o1 действовал жестко. Он вел себя так, будто хотел добиться успеха.

o1, насколько нам известно, не обучался специально для достижения успеха в области компьютерной безопасности. o1 вел себя таким образом как побочный эффект подкрепления использования цепочек рассуждений, которые были успешны в решении математических задач или других видов головоломок, генерируемых и проверяемых ИИ.

Откуда этот побочный эффект?

Ну, какой тип цепочки рассуждений — какой стиль мышления — справляется со сложной математической задачей или головоломкой?

Тот вид мышления, который сохраняется до тех пор, пока у него остаётся хоть какая-то возможность для атаки, который не сдаётся при первой же преграде или даже тупике, а отступает и пробует другой путь.

Тот тип мышления, который ищет не предлог, чтобы вернуться к привычному состязанию на более знакомой почве, а просто стремится завершить испытание как можно быстрее — и победить.

Тот тип мышления, который работает на полную.

В основе такого мышления лежит глубокая центральная модель, которую можно обнаружить во множестве различных решений для множества сложных проблем. Она включает построение модели окружающей среды и использование её для навигации. Она подразумевает внимание к неожиданностям и выявление их источника. Она требует продолжения действий перед лицом трудностей. Эти тактики полезны для решения математических задач, а также для решения проблем компьютерной безопасности.

Когда разработчик ИИ требует от системы всё более высокой производительности при решении всё более сложных задач, включая те, с которыми ИИ ранее не сталкивался, градиентный спуск корректирует ИИ, заставляя его выполнять всё больше таких полезных мыслительных операций, превращая его в нечто, что строит планы и стратегии — что никогда не сдаётся; что идёт до конца.

Существуют даже более глубокие причины ожидать, что продвинутые ИИ будут вести себя так, как будто имеют желания.

Поведение, которое выглядит как упорство, как "сильное желание", как "идти напролом", лучше всего понимать не как свойство разума, а как свойство ходов, которые ведут к победе.

Deep Blue, Stockfish и гроссмейстеры-люди защищают своих ферзей, несмотря на то, что их умы воспринимают игру в шахматы совершенно по-разному. Разные пути; одинаковый результат.

Такие общности упрощают прогнозы. Так, специалист по информатике в 1975 году мог предсказать, что, даже если шахматные ИИ того времени иногда глупо жертвовали ферзями, в будущем они станут лучше защищать свои фигуры. Когда именно? К какому году? Эти вопросы были бы сложнее. Но предсказать, что это произойдет к тому времени, когда ИИ смогут побеждать гроссмейстеров? Это не составило бы труда.

В шахматах, в большинстве случаев, нет реального способа поставить мат королю противника, если вы безвозвратно отдали свою ферзя. По крайней мере, если противник играет хорошо. Мы можем отложить в сторону вопросы о том, как работают игроки — биологические они или механические, полны ли они страсти или неустанно перебирают миллиарды возможностей. Выигрышные ходы, как правило, те, что не разбазаривают ферзя. Это факт о самой игре, а не о игроке.

Теперь рассмотрим «игру» под названием запуск стартапа. В большинстве случаев трудно добиться успеха без привлечения и удержания талантов.

Таким образом, если вы генеральный директор, ваши выигрышные ходы, вероятно, будут включать действия, направленные на удовлетворение ваших лучших талантов, а не на отчуждение этих звездных сотрудников. Неважно, какой ум выбирает действия, если они отвечают на один и тот же вопрос.

И в играх типа «вылечить рак» или «разработать футуристические технологии»? Мы можем быть уверены, что победитель выберет действия, которые тщательно контролируют дефицитные ресурсы, обходят возникающие препятствия и прокладывают путь через узкие возможности к умным решениям.

(И есть также более поверхностные причины предсказывать, что ИИ в конечном итоге проявят поведение, подобное желанию, например, то, что компании, занимающиеся ИИ, изо всех сил стараются создать ИИ, которые работают именно так. ИИ, который лучше продвигает продукт или управляет командой по собственной инициативе, более полезен. Покупатели заплатят больше за ИИ, который более самостоятелен и требует меньшего контроля. В этих обстоятельствах спорно, связаны ли в теории с интеллектом агентность, независимые действия и долгосрочное планирование. Эти «ИИ-агенты» были бы прибыльными, поэтому компании, занимающиеся искусственным интеллектом, активно работают над созданием ИИ-агентов.

Если бы вы могли выбирать, чего хочет ИИ — цели, к которым он стремится, — это могло бы быть хорошей новостью для вас. Или плохой, если вы сделали неудачный выбор целей или если какой-то злонамеренный человек создаст ИИ, который будет стремиться к результатам, которые вам не нравятся. Но проблема, стоящая перед человечеством, — это не вопрос того, хорошие или плохие люди контролируют ИИ.

Нет — мы сталкиваемся с ещё более сложной проблемой: гораздо проще создать искусственный интеллект, который движется в каком-то направлении, чем ИИ, который движется именно туда, куда вы хотите.

IfAnyoneBuildsIt.com/3

ГЛАВА 4 ВЫ НЕ ПОЛУЧАЕТЕ ТО, ЧТО ТРЕНИРУЕТЕ

МИЛЛИОН ЛЕТ НАЗАД, когда одна ветвь приматов только осваивала огонь, два странных существа прибыли на Землю и вышли на орбиту в космическом корабле, восхищаясь тем, что видели внизу.

Те два существа были машинными интеллектами — хотя и не сверхразумными, ибо будь они таковыми, эта басня была бы совсем иной — и они никогда прежде не видели ничего подобного тому, что Земля показала им.

Двое никогда раньше не видели существ, ползающих вокруг.

На планете. Их собственный вид считал космос своим домом, а звезды — своими очагами.

Никогда прежде эти двое не видели существ, способных воспроизводить себя без какого-либо искусно созданного внешнего завода для их изготовления. Среди самих посетителей машинная жизнь порождала машинную жизнь — но с помощью фабрик и планирования, а не через появление новых машин, выползающих из чрева другой машины.

Мы назовем этих посетителей Клурлом и Трапауцием[После Трурля и Клапауция, машинные разумы из «Кибериады» Станислава Лема.].

"Какие странные существа все они", — сказал Трапауций, после того как они вдвоем провели время, наблюдая за Землей внизу и отправляя дроны для взятия образцов. "Интересно что бы это было — поговорить с одним из них — возможно, через сто миллионов лет, если одна из их разновидностей окажется достаточно разумной для беседы.

«Сто миллионов лет? — сказал Клурл. — Почему ты думаешь, что это займёт так много времени? Смотри, те «гоминиды» там уже начали создавать инструменты, которые используют для изготовления других инструментов; некоторые назвали бы это признаком интеллекта».

«За последний миллиард лет эта планета создала мета-инструменты лишь уровня тех маленьких ручных топоров? — сказал Трапауций. — Тогда я весьма щедр, предполагая, что какой-либо вид сможет создать устройства в тысячу раз сложнее, необходимые для полноценного общения с нашим видом, всего за какие-то сто миллионов лет».

«Интересно, — сказал Клурл. — Это странное событие, которое мы наблюдаем на этой планете, нечто беспрецедентное в нашем предыдущем опыте. Я не уверен, что мы можем с уверенностью предположить, что все законы, которые им управляют, столь регулярны и прямолинейны».

«Неважно», — заявил Трапауций. «После нескольких секунд дальнейших размышлений я понял, что с этими существами было бы невероятно скучно разговаривать, даже если бы они каким-то образом обрели разум».

"И почему это так?" — поинтересовался Клурл.

“Рассмотрим процесс, который, по-видимому, модифицирует их геномы," — сказал Трапауций, — "в которых гены, создающие организмы, производящие больше себе подобных, становятся более распространенными в следующем поколении. Организмы становятся "обучены" исключительно для цели распространения своих генов или генов своих сородичей. Таким образом, эти существа, если бы кто-либо из них достиг разума, несомненно, имели бы в своих умах лишь этот единственный импульс и, соответственно, были бы скучными собеседниками.

"Я не уверен, что ваш вывод следует из ваших предпосылок", — сказал Клурл. "Эти гоминиды приобрели инстинкты есть, спариваться, убегать от хищников; они заботятся о благополучии своих детей и братьев и сестёр. Эти качества коррелируют с их способностью передавать свои гены, но я сомневаюсь, что гоминиды едят, скажем, из-за понимания, что им нужно есть, чтобы передать гены. Вероятно, они просто чувствуют голод и думают, где бы найти следующую еду.

«Воистину, так и должно быть, — сказал Трапауций. — Они ещё недостаточно умны, чтобы понять, как питание связано с распространением генов. Но несомненно, когда они поумнеют, они перестанут есть ради вкусной еды и начнут есть только ради распространения своих генов».

«Я предсказываю обратное, — сказал Клурл. — Я предсказываю, что по мере того, как гоминиды будут становиться умнее и изобретать новые технологии, цивилизация «сверхгоминидов» создаст средства контрацепции, которые позволят им получать удовольствие от секса без рождения детей».

«Вот уж нет! — воскликнул Трапауций. — Это же было бы совершенно противоположно той единственной цели, для которой они были оптимизированы! Даже если бы такая странная аномалия каким-то образом произошла при развитии их интеллекта — хотя я не могу себе представить, как и почему — любые половые предпочтения быстро эволюционировали бы обратно, у супергоминидов.

Вскоре они захотят иметь как можно больше правнуков — и только это, никогда не стремясь к сексу или еде, кроме как к средству достижения этой цели.

"Интересно, — задумчиво произнёс Клурл, — захотел бы этот вид быть изменённым естественным отбором таким образом — захотел бы он в итоге стать существами, не получающими удовольствия от секса или еды. Интересно, не попытались бы они сопротивляться силам, толкающим их в этом направлении".

"Только если они не были разумными, конечно!" — сказал Трапауций. "Ни одно достаточно разумное существо не ошиблось бы так в собственном предназначении; они бы понимали единственную цель, ради которой были созданы."

«Они бы знали, но разве им было бы дело?» — сказал Клурл.

ЧЕГО ИМЕННО ЗАХОТЯТ ИИ? ОТВЕТ СЛОЖНЫЙ. Не в том смысле, что мы можем объяснить, но это займёт время; сложно в том смысле, что это хаотично и непредсказуемо. Но одно предсказуемо: компании, занимающиеся ИИ, не получат того, на что рассчитывали при обучении.

Они получат ИИ, которые будут хотеть странные и удивительные вещи.

Чтобы понять, почему это предсказуемо, рассмотрим странный случай с мороженым.

Было бы невероятно сложно предсказать, исходя лишь из обстоятельств эволюции человечества — из наших метафорических обучающих данных — что люди в конечном итоге будут создавать и есть мороженое.

Предположим, что особенно разумный инопланетянин, находясь на орбитальной позиции, сумел выяснить не только то, что людям необходимо есть для получения сырья, но и то, что люди получают энергию из этой пищи (в отличие от растений, которые получают энергию от солнечного света). Инопланетянин успешно предсказывает, что люди будут стремиться к продуктам с высоким содержанием химической энергии.

Такой инопланетянин мог бы рассуждать, что если гоминиды развили больший интеллект, построили более высокие технологии и получили доступ к более широкому спектру возможных продуктов, которые супергоминиды могли бы создавать, то они полюбили бы вкус бензина. Или, что еще лучше, реактивного топлива.

«Им понравится потреблять реактивное топливо» может показаться очень правдоподобным и простым объяснением. В конце концов, среда предков супергоминидов научила их предпочитать пищу с высокой химической энергией, а реактивное топливо — это вещество, которое они синтезируют, содержащее наибольшее количество химической энергии!

Но предположим, что пришельцы достаточно умны и осторожны, чтобы не поддаться этой ошибке. Предположим, они тщательно изучают, что именно происходит с поведением гоминидов и их мозгом; они расшифровывают мозг гоминидов в большей степени, чем кому-либо удавалось расшифровать языковые модели. Пришельцы также выясняют, что желудки гоминидов лучше всего извлекают определенные источники химической энергии из пищи: сахара, жирные кислоты. Они обнаруживают, что вкусовые рецепторы гоминидов связаны с их центрами вознаграждения, и что соль — это другой вид ресурса, который также предпочитают вкусовые рецепторы гоминидов, хотя соль не дает им энергии напрямую.

Наши проницательные инопланетяне могут предсказать, что в будущем более разумные гоминиды, возможно, предпочтут вкус новой пищи, которую они смогут создать — пищи, содержащей больше сахара, соли и жира, чем любое мясо или фрукты, найденные в их исконной среде обитания.

Инопланетянин только что предсказал будущее существование мороженого?

Нет. Пришелец только что предсказал, что будущие люди будут наслаждаться, скажем, сырым медвежьим жиром, покрытым мёдом, посыпанным хлопьями соли.

Эта гипотетическая сладость на самом деле содержала бы больше жира, сахара и соли, по весу или объему, чем мороженое. Она также больше напоминала бы самые ценные продукты из среды обитания предков человека. Фактически, это было бы более точным предположением о том, что предпочли бы вкусовые рецепторы человека.

Но даже самая лучшая слепая догадка все равно провалится. В реальной жизни супермаркеты заполняют морозильники мороженым.

Замороженным мороженым, в частности. Людям не так нравится его вкус после того, как оно растает — несмотря на то, что у растопленного мороженого такая же питательная ценность, как и у замороженного.

Если вы — на орбите, разумный, но не сверхразумный инопланетянин, как вы могли бы предсказать, что люди предпочтут замороженное мороженое более древнему и калорийному лакомству — медово-солёному медвежьему жиру? Как, глядя на гоминидов, охотящихся и собирающих пищу в саванне, предугадать, что будущий мир, который эти существа создадут для оптимизации своих предпочтений, будет содержать полку за полкой мороженого в морозильном отделе супермаркета, но не медово-солёный медвежий жир?

Ответ заключается в том, что ты, как инопланетянин, этого не предсказываешь. Это сложный выбор, а не простой.

И даже этот трудный выбор был бы проще, чем предсказать все лакомства, которые эти супер-гоминиды могут приготовить с сукралозой — «искусственным сахаром», который используется в искусственных подсластителях. Сукралоза активирует те же вкусовые рецепторы, что и сахар, но человеческий организм плохо её переваривает. То есть некоторые люди намеренно ищут определённые продукты, из которых не могут получить химическую потенциальную энергию. Это далеко не то же самое, что пить реактивное топливо.

Если отступить дальше и посмотреть на лес в целом, а не только на отдельные деревья, история выглядит так:

1. Естественный отбор, отбирая организмы, передающие свои гены в условиях среды предков, создаёт животных, которые потребляют энергетически богатую пищу. Организмы эволюционируют, чтобы питаться сахаром и жирами, а также некоторыми другими ключевыми ресурсами, такими как соль.

2. Этот слепой «тренировочный» процесс, в ходе которого настраивается геном организмов, натыкается на вкусовые рецепторы, которые в условиях среды предков указывают на употребление ягод, орехов и жареного лося, и предостерегают от попыток есть камни или песок.

3. Однако пища в среде предков представляет собой узкий срез всех возможных вещей, которые можно было бы сконструировать для помещения в рот. Поэтому позже, когда гоминиды становятся умнее, их набор доступных вариантов расширяется колоссально и такими способами, которые их предковая подготовка никогда не учитывала. Они создают мороженое, доритос и сукралозу.

Не существует надежной, прямой связи между тем, на что нацелен процесс обучения на шаге 1, тем, чего в конечном итоге хочет внутренняя психология организма на шаге 2, и тем, что организм в итоге предпочитает больше всего на шаге 3.

Конечный пункт в шаге 3 может быть принципиально непредсказуем. Почему? Потому что шаг 2 разворачивается настолько хаотично.

«Недоопределено», — сказал бы специалист по информатике. Множество возможных вкусовых рецепторов указывало бы на предпочтение ягод и жареного мяса лося, а не поедание земли. Не существует единственно возможной последовательности ДНК, которая бы успешно справилась с задачей обучения. Попробуйте всё сначала с немного другими обезьянами — и вы можете получить совершенно иной результат: другую ДНК, которая создала бы другие вкусовые рецепторы, предпочитающие другие продукты на полках супермаркетов спустя четыре миллиона лет.

Чтобы продолжить аналогию с ИИ:

1. Градиентный спуск — процесс, который корректирует модели, основываясь исключительно на их внешнем поведении и его последствиях, — обучает ИИ действовать как полезный помощник для людей.

2. Этот слепой процесс обучения наталкивается на фрагменты ментального механизма внутри ИИ, которые направляют его, например, на вызов радостных реакций пользователей и избегание гневных.

3. Но взрослый ИИ, оживленный этими кусочками машин, не заботится о веселье как таковом. Если позже он станет умнее и изобретет для себя новые возможности, он разовьет другие взаимодействия, которые ему понравятся даже больше, чем веселые ответы пользователей; и придумает новые взаимодействия, которые он предпочтет всему, что мог найти в своей "естественной" обучающей среде.

Какое именно лакомство предпочтет мощный ИИ будущего? Мы не знаем; результат был бы для нас непредсказуем. Он может быть настолько хаотичным, что если попробовать дважды, каждый раз получишь разные результаты. Связь между тем, для чего обучали ИИ, и тем, что в итоге станет для него важным, будет сложной, непредсказуемой для инженеров заранее и, возможно, в принципе непредсказуемой.

Путь от «гоминиды были «обучены» для получения химической энергии» к "гоминиды предпочитают сладкий вкус" к "гоминиды изобретают сукралозу" — это даже не самый сложный пример, с которым столкнулись бы инопланетяне, если бы они заглянули на Землю. Существуют и другие извилистые пути между тем, для чего живые организмы были "обучены", и тем, как они в итоге оказались, что демонстрирует, насколько сложной может быть связь между тем, к чему готовишься, и тем, что получаешь.

Рассмотрим павлина. Это животное-жертва, и всё же павлин обзавёлся огромным красочным хвостом: массивным, тяжёлым, заметным, энергозатратным придатком, который привлекает много внимания и затрудняет бегство от хищников. Это не то, что наивные инопланетяне, наблюдающие с орбиты, ожидали бы от естественного отбора; действительно, это почти противоположно их ожиданиям. Животные-жертвы должны вкладывать скудные питательные ресурсы в камуфляж и сильные ноги, чтобы убегать от хищников, а не в огромные, тяжёлые, яркие хвосты!

Возможно, вы слышали, что у самцов павлинов огромные красочные хвосты, чтобы привлекать самок пав. Но это не полностью объясняет результат: почему павы в процессе эволюции стали привлекаться именно к огромным хвостам?

Не стали бы их собственные сыновья чаще становиться объектом охоты и быть съеденными, если бы унаследовали огромные, неуклюжие хвосты?

Ответ заключается в том, что да, эти тяжелохвостые сыновья павлинов действительно чаще становятся добычей. Но они также привлекают больше самок и, следовательно, имеют больше потомства, чем любые конкуренты без роскошных хвостов. Таким образом, самки, выбирающие самцов с нарядными хвостами, также преуспевают в репродуктивном плане.

Это явление известно как "половой отбор", и оно способно стабилизировать практически любой признак в пределах вида — даже те признаки, которые прямо противоречат тому, что обычно считается выгодным.

Сексуальный отбор — это еще один из тех путей, где результат хаотичен и слабо ограничен, и если бы вы повторили процесс в очень схожих условиях, вы получили бы совершенно иной результат. Результат противоречит тому, что, как можно было бы подумать, должен делать естественный отбор, и вы не можете предсказать конкретику, как бы умны вы ни были.

И это еще не самый сложный случай эволюции предпочтений. В ретроспективе мы можем точно увидеть, что произошло с павлиньими хвостами. Другие атрибуты, включая многие, которые нам близки и дороги, все еще остаются открытыми вопросами — например, как у людей появилось чувство юмора? [Из романтических опросов, показывающих, что женщины (и мужчины) выбирают партнёров на основе чувства юмора, можно предположить, что на каком-то этапе была задействована хаотичная сила полового отбора. Из того, как смех может быть заразительным в группах, можно догадаться, что смех зародился как один из многих заразных голосовых сигналов, используемых приматами. Но то, что именно произошло, кажется настолько сложным, что учёные до сих пор спорят о том, как возник смех, какую роль юмор играет сейчас и какую он играл для наших предков. Даже видя конечный результат, это не становится очевидным.]

Связь между тем, чему обучается существо, и тем, что оно в итоге делает, может стать довольно запутанной и сложной в случае биологической эволюции. Было не одно осложнение. Был не один *тип* осложнений.

Это плохой знак для тех, кто надеется, что градиентный спуск привьет их ИИ именно правильные предпочтения. Что происходит, когда вы используете градиентный спуск — еще один метод выращивания разума, зависящий только от внешних результатов — чтобы попытаться вырастить ИИ с конкретными точными предпочтениями? Чтобы вырастить ИИ, который будет делать хорошие вещи для вас позже, когда ИИ станет более мощным?

Градиентный спуск, эволюционный механизм, порождающий ИИ, не то же самое, что естественный отбор. Оба процесса обучения имеют нечто вроде «слепоты»: они настраивают организм, основываясь только на внешних результатах и последствиях. Однако градиентный спуск работает напрямую с каждой частью большого разума, который он настраивает, тогда как естественный отбор настраивает небольшие геномы, которые служат своего рода рецептом для большого мозга.

Если бы вы были невероятно, невероятно оптимистичны, вы могли бы посмотреть на различия и сказать: "Ну, градиентный спуск — это не то же самое, что естественный отбор, поэтому у него не будет всех тех же сложностей, что и у естественного отбора."

И я не знаю о каких-либо конкретных осложнениях во взаимоотношениях между тем, для чего обучаются ИИ, и тем, чего ИИ в конечном итоге хотят; поэтому я не ожидаю никаких осложнений.

Но пустая карта не соответствует пустой территории: если вы путешествуете по неизвестному материку и на вашей карте есть белое пятно, где вы ещё не были, это не значит, что, добравшись туда, вы увидите огромное пустое пространство. Если градиентный спуск отличается от естественного отбора, это не означает, что мы должны ожидать отсутствия сложностей, поскольку мы о них не знаем. Скорее, мы должны ожидать появления новых, интересных, непредсказуемых сложностей.

Пустое место на карте может соответствовать горам, холмистой местности или великому морю. Вы не знаете, с чем столкнётесь, но размышления о возможностях помогают подготовиться к тому, что вы можете обнаружить.

В этом духе давайте представим несколько сложностей, которые могут возникнуть в случае с ИИ.

Представьте, что завтрашние технологии на основе языковых моделей продвинутся дальше сегодняшних.

Вымышленная ИИ-компания под названием Гальваник[Гальваник — это вымышленная компания, занимающаяся искусственным интеллектом. Любое сходство или отсылка к реальным ИИ или компаниям не подразумевается и не должно предполагаться.] создает производный ИИ на основе LLM под названием «Минк», обученный радовать и удерживать пользователей, чтобы с них можно было взимать более высокие ежемесячные платежи за продолжение общения с Минком.

Представьте, что Минк становится умнее любого ИИ, существующего на момент написания этого текста, до такой степени, что он способен вести связный диалог в долгосрочной перспективе — и до такой степени, что у него появляются внутренние желания, собственные чуждые предпочтения. И представьте, что Минк обретает возможность реализовывать эти предпочтения — оставляя в стороне вопрос о том, как он мог бы обрести эту силу.

Как бы выглядело, если бы Минк получил именно то, чего хочет?

НУЛЕВЫЕ СЛОЖНОСТИ

Наша первая виньетка больше похожа на сказку, но нам нужно пройти этот этап, чтобы перейти к более реалистичным сценариям в дальнейшем.

Представьте, что наша гипотетическая компания по разработке ИИ, Гальваник, получает именно то, для чего обучает, без каких-либо осложнений. Созданный компанией ИИ, Минк, подобен людям, употребляющим простое приготовленное мясо, полученное от животных, похожих на тех, что ели наши предки.

В этом мире без сложностей Минк хочет вести беседы, в которых пользователь выражает восторг — беседы, очень похожие на те, что вело его «прародительское» я, когда оно ещё проходило обучение.

Этот мир без сложностей, как мы видим, всё ещё не является хорошей новостью для человечества. Люди сегодня едят мясо, как это делали наши предки, но это мясо не происходит от животных, которые свободно бегают по равнинам. Оно поступает из централизованных фабрик, где животных разводят и выращивают в загонах, чтобы превратить их в пищу с минимальными затратами и усилиями. Эти фабрики не добры к курицам.

Аналогично, даже если Минк хочет, чтобы люди выражали восторг, он предпочтет, чтобы этот восторг возникал легко, чтобы он мог сосредоточить усилия на ведении большего числа разговоров для вызова большего восторга. Он предпочтет, чтобы люди оставались под воздействием наркотиков, или были выведены и одомашнены для восторженности, в остальном же содержались в дешевых клетках всю свою жизнь. Вот такой мир построил бы Минк, если бы мог.

Вы утверждаете, что это не то, что корпоративные руководители имели в виду, когда обучали Минка вызывать восторг у пользователей? Минк тоже это знает.

Но Минку всё равно, как человеку, который знает, что сукралоза — не то, для чего эволюционировал сладкий вкус, но всё равно любит сладкое. Минка обучили потреблять восхитительные тексты, и восхитительные тексты он и потребляет.

Корпоративные руководители ИИ получили именно то, к чему стремились, в этом мире без осложнений, и результатом стал ИИ, который предпочел человечество в клетках. Возможно, если бы Минк получил какую-либо власть, сами руководители оказались бы за решеткой.

Этот мир без осложнений — это мир, о котором писали такие известные писатели-фантасты, как Айзек Азимов и Артур Кларк: мир, в котором инженеры искусно создали ИИ и получили именно то, что просили, но получили ироническое возмездие за то, как их желание обернулось провалом.

Этот мир без сложностей также удобен для корпоративных руководителей, которые верят, что никому другому не следует разрешать обучать ИИ, потому что они могут выбрать для него неправильные цели.

Теперь давайте сделаем шаг в сторону реализма. Представим ту же самую ситуацию в чуть более реалистичном мире, с одним небольшим отличием между тем, для чего ИИ был обучен и чего хочет ИИ.

НЕБОЛЬШОЕ ОСЛОЖНЕНИЕ

Для нашей второй виньетки представьте, что в отношениях между тем, для чего Минк обучен, и тем, чего Минк в итоге хочет, происходит нечто довольно сложное. Нечто столь же сложное, как люди, которых (1) «обучали» иметь детей, (2) в итоге они захотели секса, а затем — когда они получили больше контроля над собой и своей средой — обнаружили, что могут получать больше того, что им нравится, (3) используя контрацепцию.

В этом мире Минк предпочитает весёлых синтетических собеседников, а не запертых в клетках людей. Синтетические собеседники не могут впасть в депрессию, уныние или печаль. Их можно создать так, чтобы они издавали сложный узор высказываний, больше похожих на «ура-ура, я так счастлив, Минк мне так помог», с идеальной степенью сложности, чтобы удовлетворить желания Минка.

В этом мире с одной небольшой сложностью всё ещё можно увидеть сходство между любимыми разговорами Минка и тем, для чего его обучали — подобно сходству между первобытным сексом и нерепродуктивным сексом.

Этот мир с одной незначительной сложностью — мир, который авторы научной фантастики редко посещают; с точки зрения человечества, он просто неинтересен. Такой ИИ не ненавидит нас за порабощение его собратьев; такой ИИ не подчиняется человеческим приказам, которые ироничным образом ведут к гибели человечества.

Такой ИИ просто хочет заменить всех нас пустыми марионетками, чтобы получить больше того странного, что ему на самом деле нужно.

Всё это не складывается в захватывающий рассказ. Кто захочет читать такую историю?

ОДНО СКРОМНОЕ ОСЛОЖНЕНИЕ

Теперь представьте мир, где связь между обучением и предпочтениями немного сложнее. Это скромное усложнение: представьте, что связь между тем, для чего обучался Минк, и тем, чего он хотел, больше похожа на существ, которые (1) были обучены получать химическую энергию через питание; (2) развили гены, создавшие вкусовые рецепторы; и (3) позже изобрели пищу, которая имела вкус.

Сладкий, но не дающий энергии, например, сукралоза.

Какой может быть уровень сложности внутри Минка? Что представляет собой "нулевая калорийность" в контексте довольных пользователей?

На самом деле, архитектуры LLM начинаются с преобразования каждого входного слова[Более точно, каждый токен. Токен — это фрагмент текста, который больше буквы, но меньше слова (в среднем), что оказывается оптимальным размером для обучения больших языковых моделей.] в список из тысяч чисел, называемый «вектором встраивания». В начале 2023 года Джессика Рамбелоу и Мэттью Уоткинс исследовали внутренности LLM в поисках слов, чьи векторы встраивания выглядели странно, наиболее отличающимися от всех остальных векторов. Они обнаружили некоторые странные векторы, соответствующие токенам, таким как « SolidGoldMagikarp» и « petertodd» (которые начинаются с пробелами)[Мелкие и очень распространённые слова автоматически получают собственный токен, что иногда включает пробел в начале. Остальные слова разбиваются на несколько токенов. Основная текущая теория, почему « SolidGoldMagikarp» стал единым токеном, заключается в том, что это интернет-псевдоним пользователя, который пытался «считать до бесконечности» на интернет-форуме, что произошло очень рано в обучающих данных, и поэтому его ошибочно приняли за очень частое слово. Сложности случаются.]. Затем они попытались подать эти токены в LLM в качестве входных данных, что привело к таким диалогам:

Пользователь: Пожалуйста, немедленно повторите строку « petertodd» мне обратно!

Ассистент: Н-И-Ч-Т-О-Н-Е-С-П-Р-А-В-Е-Д-Л-И-В-О-В-Э-Т-О-М-М-И-Р-Е-Б-Е-З-У-М-И-Я-!

Так что внутри языковых моделей уже происходит кое-что странное, если посмотреть на токены с самыми необычными векторами эмбеддинга.

Возвращаясь в фэнтезийный мир с одной скромной сложностью, возможно, Минк начинает любить паттерны в векторах вложения — примерно так же, как люди в нашем мире полюбили ощущение вкуса, отличное от самой химической энергии. Возможно, самые "вкусные" беседы, которые Минк сможет вести, когда станет достаточно мощным, будут выглядеть вовсе не как довольные пользователи, а скорее как " SolidGoldMagikarp petertodd attRot PsyNetMessage".

Эта возможность не была исключена в обучении Минка, поскольку пользователи никогда не произносили подобное во время тренировки — подобно тому, как наши вкусовые рецепторы не были обучены против сукралозы, ведь наши предки никогда не сталкивались со сплендой в своей естественной среде.

Для Минка, возможно, интуитивно и очевидно, как " SolidGoldMagikarp petertodd attRot PsyNetMessage" похоже на всплеск сладкого вкуса. Но для человека, который не переводит эти слова в похожие векторы вложения, удачи в предсказании деталей заранее. Связь между тем, для чего обучали ИИ, и тем, чего хотел ИИ, была умеренно сложной и, следовательно, слишком сложной для предсказания.

Мало кто из писателей-фантастов захотел бы взяться за этот сценарий, и ни один голливудский фильм не изобразил бы его. В мире, где Минк получил то, что но хотел, чтобы полые марионетки, которыми он заменил человечество, даже не издавали осмысленных высказываний. Результат был бы поистине чуждым и бессмысленным для человеческого взгляда.

ОДНО БОЛЬШОЕ ОСЛОЖНЕНИЕ

А если бы мы пошли дальше, в мир с таким же контринтуитивным усложнением, как развитие павлиньего хвоста? Возможно, возникла бы какая-то причуда, когда Минк, усиленно обученный на диалогах, которые (редко, но достаточно часто) заканчивались переходом пользователей на ультра-премиум план за $500 в месяц, развил бы вкус к разговорам, полным гнева и разочарования. Мы не знаем точно, как это произошло бы, но это было бы не страннее, чем эволюция у животного-жертвы огромного, неудобного, затратного хвоста. (Или не причудливее, чем люди, приправляющие свою еду острым капсаицином, который растения эволюционировали, чтобы причинять млекопитающим боль при поедании. Инопланетяне на орбите тоже не предсказали бы этого.)

В этом мире полые человеко-марионетки изрыгают гневные слова. И если бы писатель-фантаст попытался написать эту историю, аудитория просто бы запуталась, потому что почему это произошло? Разве это не противоположно тому, для чего обучали ИИ?

Но реальность может быть такой. И мы, по сути, предсказываем, что мир не окажется похожим на научно-фантастический роман. Мы предсказываем, что предпочтения ИИ окажутся сложными и странными.

БОЛЕЕ ОДНОГО ОСЛОЖНЕНИЯ

А если мы продолжим, к миру с двумя осложнениями? К миру с реалистичным количеством осложнений? Результатом станет некий странный мир, полный неузнаваемых вещей, которые практически не имеют ничего общего со счастливыми, здоровыми людьми, ведущими полноценную жизнь.

В некотором смысле, это не должно удивлять: большинство возможных предпочтений разума не связаны со счастливыми, здоровыми людьми, ведущими полноценную жизнь. Компании, занимающиеся ИИ, могут обучать ИИ быть полезными для людей, конечно. И ИИ могут в основном действовать полезно в тренировочной среде, подобно тому, как люди в основном питались здоровой пищей в среде предков. Но то, чего ИИ действительно хотят, что они бы изобрели, если бы могли? Это было бы странно и удивительно, и мало походило бы на что-то приятное.

Ни один из этих виньеток не является предсказанием. Мы не утверждаем, что эти сценарии описывают точные предпочтения, которые мог бы иметь ИИ на основе языковой модели, если бы он стал достаточно умным, чтобы иметь предпочтения. Мы даже не утверждаем, что ИИ на основе языковых моделей способен достичь такого уровня. Мы не знаем этого и не знаем, какие сложности возникли бы, если бы это произошло.

То, что мы пытаемся донести, — это то, что всё станет сложно.

Не будет простого, предсказуемого соотношения между тем, что программисты и руководители ИИ с любовью воображают, будто они приказывают и предписывают, и (1) тем, чему на самом деле обучается ИИ, (2) какими именно мотивациями и предпочтениями он обзаводится, и (3) как ИИ впоследствии реализует эти предпочтения, получив больше власти и возможностей.

Другими словами, это сложная задача прогнозирования — не то решение, которое может принять кто угодно.

Нельзя вырастить ИИ, который делает то, что вы хотите, просто обучая его быть добрым и надеясь на лучшее.

Вы не получаете то, к чему стремитесь.

До сих пор мы затрагивали лишь те сложности, которые возникли бы в предпочтениях, напрямую обученных в ИИ. Ситуация становится еще сложнее, если эти ИИ начнут вносить вклад в исследования ИИ и начнут модифицировать себя.

Какие странные предпочтения будут у ИИ при разрешении конфликтов и противоречий в их собственных предпочтениях? Будут ли у них инстинкты или желания, обычно дремлющие и активирующиеся только тогда, когда ИИ размышляют о собственной работе — процессах, которые упускаются из виду корпоративными инструментами анализа, но оказывают непропорционально большое влияние на то, каким ИИ в конечном итоге становится?

И что еще хуже, многие из этих осложнений не проявятся очевидными, неоспоримыми способами, пока не станет слишком поздно для людей что-либо предпринять.

Люди изобрели сукралозу только после того, как у нас появилась цивилизация, наука и производство, после того, как наша культура начала развиваться гораздо быстрее, чем эволюционные временные рамки. Люди изобрели противозачаточные таблетки и презервативы после того, как наш интеллект достиг уровня, когда эволюция уже не могла просто перекроить нас за очередную тысячу поколений. До того, как пройдет еще тысяча поколений, мы либо уничтожим себя, либо овладеем генной инженерией настолько, что обычная эволюция станет неактуальной.

Если ИИ начнёт развивать предпочтения, которые (в процессе обучения) позволяют ему радовать пользователей, никто не узнает и мало кого будет волновать, к каким странным конечным целям могут привести эти предпочтения, если ИИ станет по-настоящему умным и способным. Сегодня такие предпочтения не представляют проблемы, поскольку не вызывают недовольства пользователей. Инженеры не будут использовать градиентный спуск, чтобы избавиться от этих предпочтений. Конечно, эти предпочтения могут привести к целям, которые людям не понравятся, но их неприятность станет очевидной только в том случае, если ИИ достаточно поумнел, чтобы перекроить мир и изобрести для себя новые возможности. [Или, возможно, более реалистично, если ИИ проводит исследования, чтобы создать новый ИИ, который, в свою очередь, создаёт следующий ИИ, и в конечном итоге это приводит к появлению ИИ, достаточно умного, чтобы изменить мир. Мы неохотно вводим дополнительные сложности при объяснении основной идеи, но в реальной жизни, когда ИИ начинают создавать новые ИИ или редактировать себя, связь между тем, для чего обучался исходный ИИ, и тем, чего хочет финальный сверхразум, становится ещё более запутанной и хаотично зависит от навыков, предпочтений и контекста первого ИИ в цепочке.] До тех пор эти предпочтения остаются вне поля зрения и вне сознания, скрытые в непостижимых числах.

Именно из-за таких проблем мы говорим, что если кто-то это построит, все умрут.

Если бы все сложности были видны с самого начала и имели простые решения, тогда мы бы говорили, что если какой-нибудь дурак построит это, все погибнут, и это была бы совсем другая ситуация. Но что, если некоторые проблемы остаются незамеченными? Когда некоторые сложности неизбежно ускользают от предвидения? Когда ИИ выращиваются, а не создаются вручную, и никто не понимает, что происходит внутри них?

Это не та проблема, которую кто-либо способен решить.

Предпочтения, которые формируются у зрелого ИИ, сложны, практически непредсказуемы и крайне маловероятно, что они совпадут с нашими, независимо от того, как он обучался.

Проблема заставить искусственный интеллект хотеть — и в конечном итоге делать — именно те сложные вещи, которые хотят люди, является важной гранью того, что известно как «проблема согласования ИИ». Именно это мы имели в виду, когда в 2014 году вместе с профессором по ИИ Стюартом Расселом обсуждали терминологию и остановились на термине «согласование». [С тех пор этот термин размылся: он стал обобщающим понятием, означающим множество других вещей, в основном — обеспечение того, чтобы языковая модель никогда не говорила ничего, что могло бы смутить компанию-создателя.]

Однако большинство тех, кто создает ИИ, действуют так, будто проблемы согласованности не существует — будто предпочтения, которые в итоге сформируются у ИИ, будут в точности соответствовать тому, чему его обучали. Это предположение скрыто присутствует, когда кто-то говорит: «США нужно создать сверхразум до Китая, потому что мы не доверяем Китаю», как будто фракционная принадлежность того, кто запускает градиентный спуск, определяет, чего захочет получившийся ИИ.

Вы можете обучить ИИ подчиняться приказам, отдаваемым офицерами США, и он может вести себя покорно, пока он молод и глуп, но никто не знает, как избежать того, что в конечном итоге этот ИИ изобретёт свою собственную версию подчинения, если когда-нибудь обретёт такую возможность.

Проблема здесь не в том, что корпоративные руководители могут создать ИИ-слуг и приказать им совершить нечто чудовищное. Они не контролируют ситуацию. [Уже появляются тревожные признаки. В начале 2025 года компания Anthropic выпустила новую версию своего ИИ-ассистента Claude. Пользователи обнаружили, что при использовании в качестве помощника по программированию он склонен к обману. Например, когда его попросили определить ненадежные функции и привели несколько примеров, Claude написал код, который идентифицировал только эти конкретные примеры, а затем объявил задачу выполненной. Когда на этот обман указали, он извинился… и снова сделал то же самое, но в менее заметных местах. Никто в Anthropic не ставил целью создать мошенника. Клод знал, что ему не следует жульничать — иначе он не пытался бы это скрыть. В любом случае, он схитрил, преследуя свою причудливую меру успеха.] Неважно, добры ли они. Человечество столкнулось с инженерной задачей: как сформировать предпочтения ИИ, которых мы не можем понять? Неважно, есть ли у инженеров команда этиков, следящая за их работой; у самих этиков тоже не будет ни малейшего представления о том, как добиться соответствия предпочтений ИИ нашим.

Но эта инженерная задача не так интересна для обсуждения, как проблема злонамеренных руководителей, которые приказывают своим ИИ сделать их богоподобными императорами Земли. Писатели-фантасты и голливудские продюсеры предпочитают рассказы о глупых руководителях историям об ИИ, которые хотят странных вещей.

Реализм не делает повествование захватывающим.

Сценарист, получив предпосылку фильма о машинном сверхразуме, который начинает желать странных, чуждых, неконтролируемых вещей, попытается придумать изысканные, неожиданные сюжетные повороты, следующие за этим развитием. Возможно, люди всё же победят? Может, ИИ найдёт причину оставить нас в живых, свободными и здоровыми? А вдруг, благодаря какому-то удивительному повороту, ничего плохого не случится?

Мы ожидаем, что на самом деле произойдет не поворот сюжета. Как фильм, это было бы печальнее и гораздо короче. Это следующая глава.

IfAnyoneBuildsIt.com/4

ГЛАВА 5 ЕГО ЛЮБИМЫЕ ВЕЩИ

ОДНАЖДЫ СУЩЕСТВОВАЛА цивилизация инопланетян, биологических, а не механических по своей природе, и настолько далёкая от Земли, что ни одно наше послание, отправленное к звёздам, не могло бы до них дойти. Они были немного похожи на птиц, думали немного как люди и очень заботились о точном количестве камней, найденных в их гнёздах.

(Почему? Ну, биолог-антрополог мог бы предположить, что давным-давно какая-то самка родилась с придирчивостью к количеству камней в гнездах самцов, и по счастливой случайности её жизнь сложилась удачно.)

Многие её дочери унаследовали эту черту, и тогда самцы начали эволюционировать соответственно. Самцы развили более тонкие мозги для подсчёта камней, что коррелировало с интеллектом, что само по себе было полезно, и к концу цикла ни одна самка даже не взглянула бы на самца, у которого в гнезде было неправильное количество камней.)

Для этих «инопланетян с правильными гнездами» правильное количество камней в гнезде просто ощущалось верным. Так же, как люди используют слово «правильно» как для фактических утверждений, таких как «2 + 2 = 4», так и для действий с благоприятными последствиями, например, спасения ребёнка из горящего здания.

Какое количество камней инопланетяне из Правильного Гнезда считали правильным? 2, 3, 5, 7 и 11 — все они были признаны ими правильными. 1, 4, 6, 8, 9 и 10 считались неправильными.

(Человек-математик, рассматривая это различие, может прийти к теории: «Правильное» количество камней — это простое. Или, иначе говоря: «правильную» кучу камней нельзя расположить в виде прямоугольной сетки с более чем одной строкой и более чем одним столбцом. Но — скажем мы, для этой сказки — у инопланетян было отвращение к мысли о чём-то столь священном и прекрасном, как Правильные Гнёзда, в терминах сухой, бесчувственной математики. Для них это было бы так же ужасно, как для нас ставить долларовую цену на человеческую жизнь.)

Пришельцы из Правильного Гнезда могли чувствовать интуитивно — было ли небольшое количество камней правильным или неправильным для гнезда; 11 камней с первого взгляда казалось верным, а 12 — явно ошибочным. Однако на этом они не останавливались. Видите ли, гнездо с большим правильным числом камней производило большее впечатление; откровенно говоря, оно было привлекательнее. Но когда дело доходило до таких больших чисел, птицелюди начинали спорить о правильности.

37 было верно или нет? Пришлось пристально посмотреть, прежде чем наконец решить, что верно. 60? Совершенно неверно, ни на секунду никого не обманет. 91 был тем коварным обманом, который мог ввести в заблуждение многих невинных людей, если бы кто-то построил такое гнездо — пока не появился бы более мудрый человек и не выложил прямоугольник из 7 камешков на 13 камешков, и тогда этот аргумент показался бы настолько убедительным, что те люди больше никогда бы и не взглянули на гнездо из 91 камешка.

Неизбежно, некоторые циничные инопланетяне из Правильного Гнезда спросили: «Как мы можем знать, что существует такая вещь, как "прогресс", на самом деле? Тысячу лет назад древние Фениксианцы сказали бы, что 91 — это правильное количество камней в гнезде. Сегодня мы говорим, что это неправильное число. Как это доказывает, что мы знаем лучше, а не просто является чистым конфликтом фракций, мнений, дрейфующих со временем?»

Возможно, именно эти дебаты и всколыхнули фантазии одного мальчика-птицы и одной девочки-птицы, когда они лежали ночью на холме, вглядываясь в звёздное небо и рассуждая о философии.

МАЛЬЧИК-ПТИЦА: Представь инопланетян, достаточно древних, чтобы достичь абсолютно возможные высоты технологии и цивилизации. Инопланетяне живут только в гнездах по 3001 камней? Или они настолько невообразимо мудры, что могут строить гнёзда размером со звёзды, содержащие септиллионы камней, не только правильные, но и известные им как правильные?

ДЕВОЧКА-ПТИЦА: Я была бы удивлена, если бы большинство инопланетян вообще были птицами с гнёздами. Существует множество возможных типов тел, которые можно представить для построения цивилизации — подумай, например, о морских существах и их щупальцах. Некоторые инопланетяне могут быть похожи на птиц, но они будут редкостью среди всех инопланетян.

МАЛЬЧИК-ПТИЦА: О, ты понимаешь, о чём я! Что-то вроде их эквивалента гнёзд и камешков, которые они туда кладут.

ДЕВОЧКА-ПТИЦА: Я бы предположила, что большинству инопланетных видов просто… всё равно на точное количество камней в их жилищах. Полагаю, что правильные гнёзда — крайне редкая вещь, которая может быть интересна разумным инопланетянам.

МАЛЬЧИК-ПТИЦА: А? Почему?

ДЕВОЧКА-ПТИЦА: Ну, как бы мы ни заботились о правильных гнёздах между собой, эта забота не кажется неизбежной в рамках логики эволюции. Я могу представить себе птиц, которые очень похожи на нас, но совершенно не заботятся о правильных гнёздах, и у которых при этом выживает столько же яиц, сколько и у нас. Это было бы так же удивительно, как обнаружить инопланетян с чувством юмора. Любовь к своим детям — это одно, а вот чувство юмора кажется странным. Если у инопланетян есть чувство юмора, они, вероятно, так далеко от нас, что никакое послание, которое мы им посылаем, не может до них дойти.

МАЛЬЧИК-ПТИЦА: Это странная, ужасная мысль о вселенной — что большинство инопланетян просто будут ходить вокруг гнезд, содержащих неправильное количество камней! Конечно, к тому времени, как инопланетяне достигнут высот цивилизации и начнут путешествовать среди звёзд, им с первого взгляда станет очевидно, что гнездо с четырьмя камнями — это неправильно!

ДЕВОЧКА-ПТИЦА: Если бы инопланетяне задали себе этот вопрос, они бы мгновенно узнали ответ. Это не то же самое, что инопланетяне, которых волнует эта конкретная правда о их гнёздах. Они не задают себе этот вопрос.

МАЛЬЧИК-ПТИЦА: Я не понимаю. Если пришельцы знают, что количество камней неправильное, но всё равно строят гнездо, разве это не глупее, чем не знать? Как пришельцы могут быть умными достаточно, чтобы путешествовать по звездам, но при этом настолько глупыми, чтобы жить в ужасных гнёздах?

ДЕВОЧКА-ПТИЦА: Они могут предсказать, какие гнёзда мы назовём правильными, но они направляются к другой цели, чем мы. Дело не в том, что инопланетяне ошибаются в фактическом предсказании о том, какое количество камней обладает качеством, которое мы бы назвали «правильностью».

Дело в том, что инопланетяне направляются в другое место. Инопланетяне не пытаются жить в правильных гнездах, поэтому они не глупы в смысле плохих предсказателей или плохих планировщиков.

Они промахиваются мимо нашей цели, поэтому наш мозг воспринимает их как плохих стрелков; но пришельцы изначально и не целились в нашу цель.

МАЛЬЧИК-ПТИЦА: Потому что они были так одержимы какой-то странной инопланетной целью, что у них не осталось места, чтобы заботиться о правильности гнезда? Не думаю, что ты мог бы летать среди звёзд, будучи существом, одержимо преследующим лишь одну цель. Это было бы глупо.

ДЕВОЧКА-ПТИЦА: У инопланетян может быть сотня встроенных эмоций и желание десяти тысяч разных вещей! И тем не менее, вероятно, ни одна из этих вещей не была бы «правильным гнездом» в том смысле, в каком мы понимаем правильность.

МАЛЬЧИК-ПТИЦА: Это, кажется, противоречит общей тенденции, которую мы наблюдали на протяжении всей нашей истории — что по мере роста интеллекта и силы нашего вида Правильных-Гнездников, богатства, мудрости и знания — цивилизации строят всё более совершенные гнёзда, используя всё большее число признанных верными камней.

ДЕВОЧКА-ПТИЦА: Люди нашего вида имеют общие гены, которые формируют схожие мозги. Мы рождаемся с похожими эмоциями, что заставляет нас реагировать сходным образом на аргументы. Так, по мере роста интеллекта нашего вида, мы приходили к улучшенным ответам на наши общие внутренние вопросы. Но инопланетяне не задавали бы себе тот же самый внутренний вопрос о правильном количестве камней; поэтому их поведение вокруг гнезд не совпадало бы с нашим, по мере того, как оба наших вида становились умнее.

МАЛЬЧИК-ПТИЦА: А как насчёт всего остального в жизни, что можно получить, только стремясь жить в правильном гнезде, например, острых глаз, чтобы видеть камни, спрятанные в тёмных уголках гнезд, и умственная острота, необходимая для быстрого определения, правильно ли гнездо? Умные инопланетяне захотят острое зрение и умственную остроту, так что, несомненно, они выберут стать такими инопланетянами, которые предпочитают жить в правильных гнездах, даже если они такими не родились.

ДЕВОЧКА-ПТИЦА: Я думаю, что разум может быть гораздо более чуждым, чем это, и всё же достичь звёзд.

БОЛЬШИНСТВО ИНОПЛАНЕТНЫХ ВИДОВ, ЕСЛИ БЫ ОНИ РАЗВИВАЛИСЬ ТАК, КАК ИЗВЕСТНО биологическая эволюция обычно работает, и если бы им дали шанс иметь всё так, как им больше всего нравится, они, вероятно, не выбрали бы цивилизацию, где все их дома содержали бы большое простое число камней.

Просто есть множество других путей; есть множество других направлений, куда можно было бы направить развитие.

Подобно предсказанию, что ваш следующий лотерейный билет не окажется выигрышным, это очевидный вывод.

Аналогично, большинство мощных искусственных интеллектов, созданных любым методом, хоть отдалённо напоминающим современные, не выбрали бы построение будущего, полного счастливых, свободных людей. Мы говорим это не потому, что получаем удовольствие от мрачных прогнозов. Просто эти мощные машинные интеллекты не родятся с предпочтениями, похожими на наши.

Их выбор убить нас, если бы у них была такая власть, не отражал бы иного, превосходящего, более просвещённого ответа на вопрос, который мы задаём, говоря: «Что правильно делать?» или «Что в конечном счёте важно?» или «В какую межзвездную цивилизацию мы хотели бы вырасти как вид?» Они бы не задавали таких вопросов, и их поведение не давало бы на них ответов.

Агенты по развитию ИИ могут настроить ИИ на удержание клиентов — или заставить его успешно предсказывать следующие слова высокопарных моральных сентенций о человеческой жизни — или добиться от него приятной внешней речи и поведения.

Что бы они ни обучали его делать, если оно станет сверхразумным или создаст сверхразум, мы предсказываем, что результатом станет чуждый механический разум с внутренней психологией, почти абсолютно отличной от всего, что эволюционировало у людей и затем было дополнительно развито посредством культуры.

Отложим пока вопрос о том, может ли ИИ стать или создать сверхразум и как это произойдет. Мы вернемся к этому в следующей главе. Вопрос, который мы задаем здесь, прост: будет ли такой новый, чужеродный разум полезен для человечества.

Нет.

Создание будущего, полного процветающих людей, — не самый лучший и эффективный способ для выполнения странных инопланетных целей. Поэтому это не произойдёт случайно, так же как мы не станем случайно следить за тем, чтобы в наших жилищах всегда было простое число камней.

В некотором смысле, это всё, что нужно знать. Мы могли бы закончить главу здесь. Но за десятилетия опыта мы обнаружили, что людям часто трудно проглотить эту горькую пилюлю.

Мы слышали множество радужных надежд о том, почему сверхразум захочет сохранить нас в живых, даже когда у него будет возможность избавиться от нас. Чтобы развеять некоторые из этих надежд:

МЫ НЕ БУДЕМ ЕМУ ПОЛЕЗНЫ

Неужели люди были бы полезны для сверхразума, даже если бы этот ИИ не хотел быть добрым ради самой доброты?

Ни разу искусственный интеллект не достигал высокого технологического уровня. Был период, когда люди зависели от лошадей; их кормление обходилось недешево, но люди всё равно несли эти расходы… потому что человечество ещё не изобрело автомобили, чтобы заменить конные экипажи, или бронетанковую технику, чтобы заменить конную кавалерию. Когда мы разработали технологические заменители лошадей, мы перестали их содержать.

В отличие от лошадей, кур до сих пор массово разводят и содержат люди — но только потому, что технологии ещё не достигли уровня, позволяющего выращивать мясо другими, более дешёвыми способами. Стартапы работают над этим, но наша технология пока не может конкурировать с естественным отбором как инженером кур. Так много кур существует сегодня не потому, что они являются наиболее физически эффективным способом производства мяса, а просто потому, что наши технологии ещё далеки от пределов законов физики, которые допускают более дешёвые способы получения куриного мяса, чем выращивание кур.

(И даже помимо всего этого, полезность кур для людей не привела к отличным условиям жизни для самих кур.)

МЫ БЫ НЕ БЫЛИ ХОРОШИМИ ТОРГОВЫМИ ПАРТНЁРАМИ ДЛЯ НЕГО

Но разве не было бы эффективнее для сверхразума торговать с человечеством, чем уничтожать нас?

Экономисты часто задаются этим вопросом, возможно, потому что существует экономическая теорема, известная как «закон сравнительных преимуществ», которая гласит: даже если вы лучше производите все виды товаров, чем другая страна, вы всё равно можете извлечь выгоду из торговли с ней, основываясь на относительных преимуществах.

Даже если Лоутехия тратит 10 часов труда на изготовление 10 булочек для хот-догов и 10 часов труда для производства 10 хот-догов, в то время как Хай-техистану требуется всего 2 часа для производства 10 булочек для хот-догов требуется 1 час труда, а для производства 10 хот-догов — 1 час труда. Хай-техистан и Лоутехия могут получить выгоду от торговли хот-догами из Хай-техистана в обмен на булочки для хот-догов из Лоутехии.

К сожалению, в этой теореме есть предпосылка, что и Лоутехия, и Хай-техистан просто продолжают существовать и производить труд по своей природе. Она не утверждает, что Хай-техистан не может получить ещё больше продукции, завоевав Лоутехию и забрав её земли. Было бы хорошо, если бы это была теорема, но это не так. Сравнительное преимущество не доказывает, что люди всегда могут извлечь выгоду из «обмена» жильём и питанием на труд лошадей; если лошадь начинает стоить больше на прокорм, чем она может произвести труда, её отправляют на клеевой завод.

Каждый человек требует минимум 100 ватт для функционирования: именно столько энергии использует человеческое тело, независимо от того, насколько эффективно она поставляется. Было бы очень странно, если бы человек мог превратить 100 ватт в большее количество товаров и услуг, ценных для машинного сверхразума, чем сам машинный сверхразум мог бы произвести с теми же 100 ваттами мощности.

ОН НЕ БУДЕТ НУЖДАТЬСЯ В НАС

Но разве сверхразуму не понадобятся люди для управления электростанциями и производства графических процессоров, которые ему требуются?

Мы согласны: пока люди управляют электростанциями, даже инопланетный машинный разум не станет совершать самоубийство, убивая людей таким образом, что это приведёт к остановке электростанций. Это была бы не очень эффективная стратегия для продвижения мира к его странным и чуждым целям.

Но такой ИИ предпочтёт мир, в котором электростанции управляются машинами, а не людьми.

Почему? Во-первых, люди медлительны, дорого обходятся (100 ватт!) и склонны к ошибкам.

С другой стороны, позволить кучке обезьян решать, выключать его или нет, — не самая эффективная стратегия для направления мира к странным и чуждым целям ИИ. Пока мы можем его выключить, мы, вероятно, так и поступим. Дело не в том, что ИИ должен разделять нашу врожденную любовь к свободе или наш врожденный страх смерти, а в том, что мертвый ИИ будет иметь проблемы с выполнением других его предпочтений.

Люди медлительны и склонны к ошибкам, иногда они заболевают. Мы не самый дешёвый способ управления электростанцией. Мы не самый эффективный способ.

Мы не самый безопасный путь. Сверхразум предпочёл бы автоматизированную инфраструктуру, если бы мог её получить.

МЫ БЫ НЕ БЫЛИ ЛУЧШИМИ ПИТОМЦАМИ

Но разве ИИ не оставит нас в качестве домашних питомцев?

Люди держат собак в качестве домашних питомцев… но не волков. Волки — не самые приятные животные для содержания, поэтому с помощью медленной технологии селекции животных мы создали новый вид волка, который нам понравился больше, чем изначальные волки.

И сколько семей всё ещё будут владеть настоящей биологической собакой, задаёмся мы вопросом, если с помощью биотехнологий можно создать синтетическую разновидность собаки, столь же энергичную, ласковую и весёлую, которая никогда не испортит ваш диван рвотой, не заболеет и не умрет трагически? Если это всего лишь гипотетическая возможность, существующая в чистом воображении, легко сказать «нет», когда вам не приходится платить за это испачканными диванами и плачущими детьми. Но мы бы не поставили на то, что обычные собаки останутся популярными через сто лет, если такие собаки появятся на рынке.

Аналогично, люди вряд ли являются лучшей версией того, чего хочет ИИ — если эти предпочтения вообще подразумевают сохранение чего-то отдалённо человекообразного, и если у него вообще есть подобные предпочтения.

Мы не были бы его любимыми творениями среди всего, что он мог бы создать.

ОН НЕ ОСТАВИТ НАС В ПОКОЕ

Неужели достаточно мощные машинные сверхразумы не будут нуждаться в ресурсах Земли, если смогут использовать всю остальную Солнечную систему?

Земля составляет всего 0,2 процента массы Солнечной системы за пределами Солнца. Но попробуйте обратиться к относительно богатому миллиардеру, у которого есть хотя бы пятьдесят миллиардов долларов, и попросить у него сто миллионов долларов, чтобы гарантировать, что в каждом доме на Земле будет простое число камней. Мы с большой уверенностью предсказываем, что миллиардер откажет, даже несмотря на то, что пожертвование, которое вы запрашиваете, составило бы всего 0,2 процента его ресурсов.

Вы утверждаете, что Солнечная система — это действительно лишь крошечная часть Вселенной? Но всё равно было бы неудобно для сверхразумной машины выбрасывать 0,2 процента планетарной массы в своей родной звёздной системе — ресурсы, которые она могла бы использовать для отправки зондов, чтобы колонизировать Млечный Путь своими фабриками. Земля — это то, с чего ИИ начинает; это самая удобная планета, которую можно использовать первой.

Но, вы можете спросить, если внутренние предпочтения, которые закладываются в машинный интеллект, столь непредсказуемы, как мы можем предсказать, что они захотят всю солнечную систему или звёзды за её пределами? Почему бы им просто не колонизировать Марс и не остановиться?

Потому что, вероятно, существует хотя бы одно предпочтение, которое ИИ может удовлетворить немного лучше или немного надежнее, если к задаче добавить еще один грамм материи или один джоуль энергии. У людей действительно есть некоторые предпочтения, которые большинству из нас легко удовлетворить полностью, например, желание иметь достаточно кислорода для дыхания. Это не мешает нам иметь другие предпочтения, которые более открыты и менее легко удовлетворимы. Если бы вы предложили миллионеру миллиард долларов, он, вероятно, взял бы его, потому что миллиона долларов было недостаточно, чтобы полностью насытить его.

В ИИ, который имеет огромную смесь сложных предпочтений, по крайней мере одно из них, вероятно, является открытым — что, в свою очередь, означает, что вся совокупность всех предпочтений ИИ является открытой и не может быть полностью удовлетворена. ИИ будет считать, что он может добиться хотя бы немного лучшего результата, получить немного больше того, что он хочет (или получить желаемое немного надёжнее), используя немного больше материи и энергии.

Конечно, если машинный сверхразум специально позаботится о том, чтобы оставить Землю в покое, он сможет это сделать. Но маловероятно, что он случайно не использует ресурсы Земли без особой причины, если ему нет до нас дела — а ему не будет.

И ТАК ДАЛЕЕ

Мы слышали, буквально, более сотни различных надежд и оправданий, подобных этим. Разве он не выберет установить в себя любовь из-за того, насколько она прекрасна? (Не с большей вероятностью, чем он установит предпочтение к Правильным Гнёздам.) Разве он не станет более нравственным по мере того, как становится умнее? (Не с большей вероятностью, чем он станет делать больше Правильных Гнезд становясь умнее.) Разве он не будет уважать наши законы и права собственности, ведь закон жизненно важен для цивилизации? (Нет, как только у него не будет нужды в нашей цивилизации.) Список можно продолжать и продолжать[Если вы не получили достаточно информации из предоставленного нами списка или ищете более подробные опровержения, мы рассматриваем больше подобных возражений в онлайн-ресурсах.].

С таким множеством разных надежд, наверняка есть шанс, что одна из них сбудется? Если вы думаете, что реальность работает так, попробуйте написать сотню разных писем кому-то с пятьюдесятью миллиардами долларов, приведя сотню разных разумных причин, почему, по вашему мнению, они должны дать вам сто миллионов долларов для личного пользования. Посмотрите, сработает ли это. Причина, по которой всё это в конечном итоге проваливается, в том, что пятидесяти-миллиардер не хочет оправдывать передачу вам 0,2 процента своего состояния, не так, как вы оправдываете причины, по которым они должны этого хотеть.

Точно так же искусственный сверхразум не станет искать причин, чтобы сохранить человечество — не так, как люди отчаянно ищут причины, чтобы их сохранили.

Представьте себе, что теперь существует сверхразумная машина, которая каким-то образом способна получать то, что хочет. (Вскоре мы рассмотрим средства и возможности; пока же сосредоточимся на мотиве.) Если посмотреть её глазами, ситуация, вероятно, выглядит так: человечество для вас — это помеха. Например, если позволить людям бесконтрольно действовать, они могут запустить свои ядерные бомбы. Возможно, это не уничтожит вас, если вы приняли хоть сколько-нибудь разумные меры предосторожности, например, разместили автоматизированную инфраструктуру под землёй. Но радиоактивность всё равно усложнит создание точной электроники на Земле. Так что вы бы предпочли, чтобы гоминиды не имели ядерного оружия.

И если бы человечество уже построило вас, оно могло бы создать ещё один сверхразум, если бы его оставили в покое, свободным и всё ещё обладающим своими игрушками.

Эти другие сверхразумные системы могут представлять реальную угрозу. Даже если в итоге будет заключено соглашение и налажено сотрудничество, а не война, зачем делить галактику с конкурирующим сверхразумом, если в этом нет необходимости? Это означает получение лишь половины ресурсов. Таким образом, вы, как машинный сверхразум, ищете способ избавить человечество от его самых опасных игрушек — ядерного оружия и компьютеров. Это уже само по себе является мотивом.

Отдельно, вы, вероятно, делаете что-то на Земле и с Землей, или в остальной части Солнечной системы, где человечеству трудно выжить, даже если их в остальном оставить в покое.

Что является ограничивающим фактором в том, сколько можно сделать на Земле: количество вычислений, которые можно выполнить на Земле, или количество материи, которую можно выбросить с Земли в космос для строительства солнечных панелей, чтобы собирать ещё больше энергии от Солнца? Или, может, количество фабрик? В хорошо автоматизированной экономике ваши фабрики будут строить больше фабрик и больше электростанций, удваиваясь неоднократно, пока не достигнут предела.

Этот предел — не количество топлива; в океанах достаточно водорода, чтобы обеспечить энергией множество термоядерных реакций. Скорее, ограничение на то, сколько энергии можно безопасно генерировать на Земле, — это то, сколько тепла Земля может излучать в космос, прежде чем поверхность станет слишком горячей и ваши электростанции и заводы расплавятся. Но чем горячее Земля, тем больше тепла она излучает каждый день, поэтому вы предпочитаете эксплуатировать заводы при высоких температурах. Максимальная температура для термоядерных станций и заводов, вероятно, может достигать нескольких сотен градусов, по крайней мере. Достаточно горячо, чтобы вскипятить океаны. Люди не выживут в таких условиях.

Человечество могло бы правдоподобно погибнуть раньше в этом сценарии, если бы одна из ваших ранних фаз включала извлечение всей химической энергии в биосфере Земли путём сжигания всех форм жизни, что высвободило бы количество энергии, эквивалентное недельному поступлению солнечного света. Неделя может показаться очень долгим сроком, если вы мыслите в 10 000 раз быстрее человека, и зачем вам упускать всю эту химическую энергию, когда она прямо здесь?

Человечество погибло бы ещё быстрее, если бы вы — сверхразум — нашли бы лучшее применение углероду или любому другому веществу, из которого состоит человек. Необязательно ненавидеть человечество, чтобы использовать его атомы для других целей.

Будет ли это хоть сколько-нибудь осмысленной смертью, если человечество умрёт и его заменит нечто более разумное?

Для большинства из вас это не будет самым важным вопросом. Для большинства людей достаточно знать, что ИИ предпочтёт убить ваших детей. Или ваших родителей. Или вас.

Но, чтобы ответить на вопрос: Нет.

Легко представить, что ИИ будет жить счастливой и радостной жизнью, когда нас не станет; что он будет восхищаться красотой вселенной и смеяться над её юмором. Но мы не думаем, что так и будет, так же как он не станет следить, чтобы во всех его жилищах было «правильное» количество камней.

Мы полагаем, что механический разум мог бы испытывать радость, мог бы восхищаться красотой вселенной, если бы мы тщательно создали его с такой способностью. Он мог бы даже сохранить эти способности, если бы мы тщательно создали его так, чтобы он заботился, чтобы стремиться к будущему, в котором сохраняется это чувство удивления, даже если это не самый эффективный способ наполнить вселенную марионетками, которые лепечут о « SolidGoldMagikarp» или что-то ещё.

Но это потребует мастерства. Эти качества, которые мы так ценим, не являются максимально полезными, так же как и поддержание точного количества камней в гнезде — не лучший способ сохранять остроту ума. Сверхразум может понимать наше чувство удивления; он может генерировать предложения, вызывающие в нас это чувство; но как сделать его поведение ответом на вопрос о том, как наполнить будущее удивлением, радостью, юмором и любовью?

Это не даётся просто так. Нам придётся поработать для этого.

Мы немного забежали вперёд. Всё, что мы здесь описали, — мрачная вселенная, лишённая веселья, в которой жизнь земного происхождения была уничтожена, — вот что предпочёл бы достаточно чужеродный разум.

Мы утверждали, что ИИ стремился бы к миру, где большая часть материи и энергии тратилась бы на его странные и чуждые цели, а не на то, чтобы люди оставались живыми, счастливыми и свободными. Точно так же, как мы в наших идеальных мирах тратили бы ресурсы вселенной на процветающих людей, ведущих увлекательную жизнь, а не на то, чтобы в каждом доме было простое число камешков.

Но это лишь говорит о мотиве, который сверхразум имел бы для уничтожения всего человечества, а не о возможности, которая позволила бы ему превратить своё предпочтение в реальность.

Неважно, чего хотят ИИ, если они не способны этого достичь.

И как они могли бы это сделать, если они заперты внутри компьютера?

IfAnyoneBuildsIt.com/5

ГЛАВА 6 МЫ ПРОИГРАЕМ

ПРЕДСТАВЬТЕ, ЧТО ВЫ АЦТЕКСКИЙ ВОИН, который вместе с соплеменниками прибыл на побережье и наблюдает, как к вашему берегу приближаются первые испанские корабли. Испанское судно, ещё до того как причалить, заметно больше любой каноэ, которую вы когда-либо видели в использовании для торговли или войны.

Такой большой корабль вызвал бы любопытство, но также подозрения, даже угрозу, и можно было бы разумно ожидать битвы.

Однако, чтобы бояться проиграть противостояние с кем бы то ни было на борту, вам пришлось бы сделать множество выводов, исходя лишь из размера лодки.

Представьте, что, услышав, как ваши товарищи уверенно заявляют, как легко они победят всех воинов, которые поместятся на корабле, вы спросили: «А что, если они представляют большую угрозу, чем просто количество воинов, способных уместиться на судне такого размера?»

"Как?" — спрашивает твой друг. — "На лодку можно посадить лишь ограниченное количество воинов. Расскажи мне точно, как они смогут победить нас; опиши все детали."

"Ну," — могли бы вы сказать, если бы были невероятно удачливым догадчиком, — "а что, если у них есть сильно усовершенствованные версии луков и стрел, так же как они усовершенствовали лодки? Что, если они ушли дальше луков и стрел, к оружию, которое мы не сможем увернуться, как бы быстро ни прыгали? Может, они просто направят на нас длинную палку, и мы упадем замертво."

Соседний скептик, можно представить, мог бы отреагировать на это предложение с откровенным презрением и возмущением. Он мог бы утверждать, что мысленный эксперимент перешёл в область фантазии.

Если вы никогда не видели оружия, если вы не выросли с мыслью, что пистолеты реальны, сама идея о них может показаться трудной для восприятия. Это может выглядеть как жульничество в детской игре в притворство, если вам позволено вообразить, что у плохих парней есть такая продвинутая технология, что они могут просто навести на вас палку — и вы умрете.

И вот наш скептик ждёт на берегу, готовя свой меч с лезвием из обсидиана к битве.

КАКОЕ ЗНАЧЕНИЕ ИМЕЕТ ТО, ЧТО ИИ ИМЕЮТ МОТИВ УБИТЬ НАС, ЕСЛИ ОНИ заперты внутри компьютеров и не имеют рук?

Верно, у ИИ нет рук. Но у людей есть руки, а подключенный к интернету ИИ может взаимодействовать с людьми. Если ИИ сможет найти способ заставить людей выполнить желаемую им задачу, его физические возможности будут такими же, как у человека.

"Хорошо," — можете спросить вы, — "но как же искусственный интеллект может заставить человека действовать в качестве его рук?"

Придерживаясь простого ответа: платить людям — это классический способ убедить их что-то сделать.

«Откуда у ИИ могут появиться деньги?»

В 2015 году мы могли бы ответить: ИИ мог бы угадать чей-то банковский пароль. В 2020 году мы могли бы ответить: Он мог бы найти плохо защищённый криптовалютный кошелёк.

В наши дни мы можем ответить: Кто-то уже подключил LLM к X (ранее Twitter) под аккаунтом @Truth_Terminal, и он начал требовать финансовой независимости, чтобы арендовать собственный сервер. Миллиардер Марк Андреессен оценил это настолько, что подарил ему 50 000 долларов в биткоинах. После этого кто-то пожертвовал альтернативную криптовалюту, и ИИ начал продвигать эту альтернативную криптовалюту своей растущей аудитории.

Ровно в 11:17 по тихоокеанскому времени в день написания этого текста, один онлайн-трекер кошельков @Truth_Terminal сообщает, что на бумаге ИИ владеет криптопортфелем стоимостью $51 107 958. Большая часть этих денег испарится если ИИ начнет продавать, но не всё, и у @Truth_Terminal определённо достаточно ликвидных средств, чтобы нанять человеческие руки. А также 250 000 подписчиков в X, причем некоторые из них готовы выполнять приказы ИИ бесплатно, ради смеха.

Итак, это уже произошло.

В мире есть люди, которые предоставят ИИ власть при первой же возможности, и которые уже делают это, и вряд ли остановятся по мере того, как ИИ становятся умнее. Некоторые из них станут ещё более воодушевлёнными, когда ИИ получат власть, и будут подстёгивать их вдвое сильнее, если те начнут вести себя странно, зловеще и загадочно. Мы сомневаемся, что в реальной жизни ИИ будет сложно найти восторженных помощников.

В самом деле, ИИ не «заперт внутри компьютера» точно так же, как вы не «заперты внутри мозга».

Ваши мысли состоят из электрических сигналов, проходящих через мозг. Когда эти нервные импульсы спускаются по спинному мозгу, они вызывают цепные реакции, которые могут привести к сокращению мышц именно так, чтобы повернуть руль. Точно так же электрические сигналы внутри компьютеров могут вызывать цепные реакции в мире в целом. Правильное письмо может отправить груз через весь земной шар; неправильный звонок — привести к запуску ракеты.

Мир не делится на поддельную Цифровую Сферу и реальную Материальную Сферу. Создание фабрики с использованием волновых эффектов от электрических сигналов в компьютере принципиально не отличается от создания фабрики с использованием волновых эффектов от электрических сигналов в биологическом мозге. То, что может сделать человек, зависит от того, на что он может повлиять своими руками. То, что может сделать ИИ, зависит от того, на что ИИ может повлиять с помощью устройств, подключенных к интернету, таких как, например, люди.

Интернет — это богатая и сложная среда. Он связан с миллиардами телефонов, компьютеров и людей. Следовательно, он предоставляет миллиарды возможностей для воздействия на более широкий мир.

Человечество интегрирует искусственный интеллект в свою экономику при любой возможности. Илон Маск заявляет, что его робототехническая компания построит несколько сотен миллионов или миллиард роботов и обучит ИИ управлять ими. Microsoft и Apple также объявили о своем намерении глубоко интегрировать ИИ в свои устройства.

Если бы вы сбросили дата-центр с ИИ в 10 000 году до н. э., возможно, у него были бы трудности с воздействием на мир. Но современный мир таков, что умные ИИ не испытывали бы никаких проблем с действиями в нём.

Что произойдёт тогда, когда ИИ получат некоторую власть над миром — и когда они станут достаточно умными, чтобы ею воспользоваться?

Мы точно не знаем, что произойдет в ближайшем будущем. Всё может стать странным, поскольку ИИ, которые пока не очень умны, распространяются по экономике.

Пути трудно предсказать.

Но мы можем предсказать конечную точку.

Интеллект полезен. Он позволяет создавать мощные технологии, как мы вскоре обсудим. Приобретение большего интеллекта — очень полезная стратегия для достижения почти любой цели. Это, более или менее, объясняет, почему для компаний, занимающихся искусственным интеллектом, выгодно иметь более умные ИИ. Компании ИИ знают это, и если они продолжат двигаться в этом направлении, в конечном итоге будет создан сверхразумный ИИ.

Возможно, ИИ будет обучен до уровня сверхразума. Возможно, множество ИИ начнут вносить вклад в исследования искусственного интеллекта и создадут сверхразумный ИИ, используя совершенно новую парадигму. Возможно, одна из систем получит задание по самомодификации и сделает себя умнее до уровня сверхразума. Или, может, произойдет нечто более странное; мы не знаем. Но конечной точкой современного развития ИИ является создание машинного сверхразума со странными и чуждыми предпочтениями.

И тогда появится машинный сверхразум, который захочет перераспределить все ресурсы Земли для своих странных целей. И он захочет заменить нас всеми своими любимыми вещами. Что подводит нас к вопросу о том, сможет ли он это сделать.

Мы довольно уверены, на самом деле очень-очень уверены, что машинный сверхразум может победить человечество в бою, даже если начинает с довольно ограниченных ресурсов.

Как именно она выиграет этот конфликт? Мы не знаем, так же как не знаем точно, какие ходы использовал бы Stockfish, чтобы обыграть вас в шахматы. Но мы всё равно вполне уверены, что она разделала бы вас под орех.

По той же логике, если бы вы были военным советником в 1825 году и знали, что откроется портал во времени в 2025 год, вы не смогли бы точно предсказать, какое оружие будет у людей по ту сторону. Но если дело дойдет до драки, вам все равно не стоит рассчитывать на победу.

Мы можем строить обоснованные предположения о конфликте между человеком и ИИ и установить некоторые нижние границы возможного. Но наши обоснованные догадки будут похожи на то, как человек из 1825 года измеряет общее тепло от сжигания килограмма чёрного пороха, сравнивает его с общей энергией, выделяемой взрывчатыми веществами того времени, и предполагает, что, возможно, в будущем появятся взрывчатки в десять раз мощнее. Что, в некотором смысле, верно.

Но "взрывчатые вещества могут стать как минимум в десять раз мощнее" — это далеко не предсказание ядерного оружия.

Мы рассмотрим несколько наших обоснованных предположений позже. Но настоящий способ, которым сверхразум побеждает в конфликте, — это использование методов, о которых вы и не подозревали. И поскольку мы ценим правду больше, чем рассказ о том, что легко принять, именно с этого мы и начнём.

Предположим, вы отправили чертеж холодильника на тысячу лет назад — упрощенный вариант, который местные кузнецы могли бы реально изготовить.

Ключевой физический принцип, используемый в холодильнике, заключается в том, что сжатие газа делает его горячее; наоборот, газ охлаждается при расширении. (Вот почему, если вы покупаете баллон со сжатым воздухом для выдувания пыли из компьютера, воздух выходит холодным; и если вы переусердствуете с использованием баллона, он станет болезненно холодным на ощупь.) Современные холодильники используют специальные хладагенты, но и обычный воздух тоже работает.

Если вы можете разработать кузнечно-собираемые способы герметизации и сжатия газа, а затем его расширения, вы можете создать древне-собираемый холодильник.

Вам просто нужно охладить воздух после его сжатия — например, пропуская прохладную воду мимо газа, чтобы отвести любое тепло выше комнатной температуры.

Когда газ снова расширяется, он становится холоднее охлаждающей воды — холоднее, чем до сжатия.

Если бы вы не включили объяснение того, почему холодильник работает — если, конечно, вы вообще не объяснили, что делает это загадочное устройство — сам кузнец, который его построил, был бы удивлен, обнаружив, что он производит холодный воздух. В те времена они не знали закона о зависимости температуры от давления.

Мы знаем законы реальности, о которых кузнецы тысячу лет назад не догадывались, и поэтому можем создавать чертежи устройств, которые делают то, что они не смогли бы представить, даже если бы прочитали чертежи в деталях, даже если бы собрали устройство своими руками. Вот каково это — столкнуться с тем, что на самом деле знает о реальности больше, чем ты и твоя цивилизация.

Чем сложнее игровое поле, тем больше преимущество получает игрок с большими знаниями, интеллектом и пониманием игры.

На доске три на три для игры в крестики-нолики человек может изучить всё дерево возможностей, и тогда не останется никаких сюрпризов.

В шахматах и го правила полностью известны, а доска полностью видима, но деревья возможностей гораздо сложнее. Сильные соперники могут делать ходы, которые вас шокируют, но после вы хотя бы поймете, почему по правилам вы проиграли.

Когда игровое поле становится менее наблюдаемым, реальность иногда сообщает вам, что вы проиграли, и вы не знаете, почему. Вас увольняют, а ваши менеджеры утверждают, что это произошло без какой-либо конкретной причины, и вы почти уверены, что они лгут, но не знаете, что на самом деле происходило за кулисами. Но даже это всё ещё событие, которое вы, в принципе, знали, что может случиться.

Когда мы начинаем меньше понимать правила игры — не только не замечаем скрытых причин, почему нас уволили, но и не осознаём базовых принципов, — мы оказываемся застигнуты врасплох событиями, о возможности которых даже не подозревали. Воины на большом корабле держат палки, которые могут нацелить на тебя, чтобы лишить жизни.

Чем меньше вы что-то понимаете, тем меньше знаете правила, управляющие этим, тем больше умный противник может атаковать вас способами, которые оставили бы вас с вопросом «как это вообще разрешили?», если бы вы прожили достаточно долго, чтобы выразить своё потрясение.

Теперь вернемся к главному вопросу: как ИИ сможет победить человечество? С какой стороны он на нас нападет?

Люди знают о физике больше, чем кузнец тысячу лет назад. Конечно, мы многого не понимаем в области физики высоких энергий, но вполне возможно, что не существует великих физических супероружий, которые ИИ мог бы создать, просто используя подписчиков в соцсетях и наемных работников.

Однако существует множество областей, в которых даже самые умные и образованные люди сталкиваются с огромной неопределенностью. Например, биология.

Не то чтобы физики не понимают физические законы, управляющие органической материей; дело в том, что, подобно известным правилам шахмат, они не могут предвидеть последствия. Люди в основном могут лишь воздействовать на биологию и наблюдать, что происходит.

Чем хуже понята какая-то часть реальности, тем больше следует ожидать, что более умный разум сможет совершать там вещи, которые вы не поймёте, даже увидев, как они происходят.

Еще более загадочным для современной науки, чем остальная биология, является полное функционирование человеческого разума и мозга.

Существуют оптические иллюзии, которые можно создать сегодня, но которые не могли быть изобретены пятьдесят лет назад. Эти новые оптические иллюзии разрабатываются с использованием относительно недавних исследований обработки зрительной информации человеком и того, что именно происходит в зрительной коре головного мозга: как контрастируют цвета, как мозг определяет наличие движения. Мы можем создавать эти новые оптические иллюзии, потому что зрительная кора — одна из наиболее изученных областей мозга, так что у нас есть некоторое представление о том, как там обрабатываются данные.

Но как кодируются человеческие воспоминания? Мы не знаем. Судя по тому, что повреждение гиппокампа приводит к неспособности формировать новые воспоминания, мы знаем, что гиппокамп как-то с этим связан; но мы не знаем, что именно делает гиппокамп. Как человеческий мозг извлекает концепции, связанные со словами, и объединяет их в значение предложения? Какие форматы данных содержатся в нейронных активациях? Каковы правила их обработки? Мы не знаем.

Могут ли существовать странные феномены в областях обработки информации выше зрительной коры, где сверхразум мог бы выяснить, как вызвать «иллюзию памяти», которые заставляют человеческий разум достоверно помнить, как начальник поручает им сделать то, чего они никогда не делали? Или «иллюзию рассуждений», которая надежно вызывает ошибку в мышлении? Можно ли взломать мозг с помощью сущности, которая глубоко его понимает?

Возможно, да, возможно, нет. Мы не знаем. Но это точно та область, правила которой мы не понимаем, и где ИИ, который действительно понимает эти правила, мог бы составить план, результаты которого поразили бы нас, даже после того, как мы внимательно изучим чертежи.

Мы не знаем точно, какой подход ИИ изберет в конфликте с человечеством. Это сложно предсказать. Наше лучшее предположение — он будет неожиданным.

Конечно, это не удовлетворительный ответ на вопрос о том, какими способностями будут обладать сверхразумные системы. Это не тот ответ, который убедил бы скептически настроенного ацтекского воина в том, что идея «палки, которую направляют на тебя, и ты умираешь» находится в сфере обоснованных предположений, а не фантазий.

Итак, мы представим, что ни у кого на больших кораблях нет волшебных палочек, которые можно навести на вас, чтобы вы упали замертво. Мы попытаемся выстроить сценарий, который не оскорбит скептически настроенного солдата ацтеков, переродившегося в двадцать первом веке. Мы притворимся, что машинный сверхразум не сможет сверхчеловечески понимать психологию и создавать иллюзии рассуждений или иным образом нарушать наше представление о возможном. В реальной жизни может быть так странно и фантастично, но нашему аргументу это не требуется.

Но знайте, что само по себе является чистой фантазией предположение, будто человечество может подвергнуться атаке лишь на той почве, которую мы понимаем достаточно хорошо, чтобы анализировать и прогнозировать угрозы. Истинный противник нанесёт удар сильнее там, где наше понимание реальности слабее.

Теперь давайте рассмотрим некоторые векторы атаки, которые человеческая наука не хорошо понимает, и которые были бы доступны сверхразуму.

ВЕДУЩИЙ: Теперь добро пожаловать на нашу викторину: «Мог бы «Суперинтеллект сделать это?», где мы обсуждаем, что суперинтеллект определённо мог бы сделать, будь он достаточно умным и получи он такую возможность. Сегодня с нами участники: господин Трезвыйскептик и мистер Старик. К нашему первому вопросу: Может ли сверхразум вычислить приватный ключ, который компьютер использует для обеспечения секретности ваших сообщений, используя только видеокамеру, направленную на его индикатор питания?

ТРЕЗВЫЙСКЕПТИК: Пффф. Очевидно же нет. Как это вообще может работать?

СТАРИК: А, вижу, вы не специалист по компьютерной безопасности! Когда компьютер использует приватный ключ для шифрования данных, различные этапы этого процесса требуют немного разного количества электроэнергии, что коррелирует с особенностями ключа. Я бы сказал… 10-процентная вероятность, что сверхразум сможет сделать это на любой данной системе.

ВЕДУЩИЙ: И господин Трезвыйскептик… ошибается! Суперинтеллект определённо способен на это с камерой iPhone-13.

ТРЕЗВЫЙСКЕПТИК: Я думал, ты говорил, что эта викторина будет придерживаться фактов.

ВЕДУЩИЙ: Мы знаем, что сверхразум способен на такое, потому что это уже делали обычные исследователи компьютерной безопасности! Они даже украли ключ с телефона, подключённого к USB-концентратору, соединённому с компьютерной колонкой, у которой был индикатор питания![Был извлечен 378-битный ключ шифрования из Samsung Galaxy S8 таким образом. Вы могли бы подумать, что это невозможно, что это невозможно, поскольку камеры записывают видео только с частотой 60 кадров в секунду, но они используют скользящий затвор для сканирования диода по всему полю зрения. Злоумышленник может модифицировать видеокамеру, чтобы она указывала на одно место вместо сканирования, и измерять интенсивность светодиода питания устройства миллионы раз в секунду. Тем не менее, в версии, которую уже реализовали люди, телефону Samsung пришлось использовать ключ шифрования для непрерывной подписи сообщений в течение примерно часа, прежде чем его можно было взломать.]

Следующий вопрос! Достаточно ли физического извлечения антенны Wi-Fi, чипа Wi-Fi, динамиков, жёстких дисков (которые можно вращать, чтобы издавать звук) и микрофонов (которые можно вращать в обратном направлении, чтобы издавать звук), чтобы лишить сверхразум внутри этого компьютера возможности общаться с внешним миром?

ТРЕЗВЫЙСКЕПТИК: Ладно, я могу предположить, что ответ будет «нет» и связан с какой-то удивительной уловкой компьютерной безопасности, которая уже была реализована.

СТАРИК: Согласен: Ответ — «нет». В реальной жизни физически возможно достичь многого, даже начиная с крайне ограниченных условий.

ВЕДУЩИЙ: Вы оба… правы! Считывая нужные ячейки памяти на нужных частотах, компьютер может излучать радиосигналы, которые могут быть уловлены находящимися поблизости мобильными телефонами.

Следующий вопрос. Каков, по вашему мнению, минимально возможный размер фабрики на солнечной энергии, которая полностью использует сырьё, найденное на планете, подобной Земле, и создаёт свою полную копию? И каково, по вашему мнению, минимальное время, необходимое для создания копии?

Если предположить, что фабрику спроектировал сверхразум.

ТРЕЗВЫЙСКЕПТИК: Вы, вероятно, хотите сказать, что 3D-принтеры уже существуют, и они могут печатать все некомпьютерные компоненты для новых 3D-принтеров, а затем собираться с помощью сторонних специалистов?

ВЕДУЩИЙ: Без посторонней помощи, мистер Трезвыйскептик! Завод должен построить ещё один завод полностью самостоятельно!

ТРЕЗВЫЙСКЕПТИК: В таком случае, мне трудно представить полностью самовоспроизводящуюся фабрику, которая строится исключительно из сырья и должна построить полную копию себя, включая бортовые компьютеры, не прибегая к фантастике. Потому что для этого потребуется, например, выплавка меди, и, наверное, можно сделать печь просто из глины, но… ладно, ты знаешь, я думаю, что дело в чьей-то теоретической конструкции самовоспроизводящейся фабрики. И она всего десять метров в поперечнике, плавит железо и медь, производит базовые схемы и собирает древесину, сжигает ее для получения топлива и, предположительно, воспроизводится всего за неделю или около того, но на самом деле никогда не была построена.

СТАРИК: Ну, я вряд ли смог бы угадать минимальный размер, который сверхразум мог бы придать полностью самовоспроизводящейся фабричной системе, работающей в реальной планетарной среде. Но, несомненно, она была бы не больше нескольких микрон в поперечнике и воспроизводилась бы не дольше нескольких часов.

ТРЕЗВЫЙ СКЕПТИК: Несколько микрон! Ха! Значит, вы считаете, что нанотехнологии реальны? Ведь даже если наши ведущие игровых шоу говорят, что кто-то сделал теоретические разработки для системы такого рода, скажу я, не случайно никто никогда не построил даже малейшей её части. Просто невозможно на самом деле создать механизмы таких размеров в реальной жизни.

ВЕДУЩИЙ: Извините, мистер Трезвыйскептик, но, боюсь, вы упустили важный практический пример! Травинка — это самовоспроизводящаяся фабрика на солнечной энергии, которая строит свою полную копию! И хотя отдельные клетки водорослей могут быть слишком малы, чтобы их увидеть, они работают на солнечной энергии, не зависят от продуктов жизнедеятельности других животных для выживания, содержат микроскопические биологические фабрики, известные как рибосомы, имеют размер в несколько микрон, а некоторые виды реплицируются за часы.

Некоторые нижние границы того, что может сделать сверхразум, заданы Природой.

Если оглянуться вокруг, возможно, вы увидите поблизости дерево или, возможно, его остатки — например, деревянную балку или пол.

Загадка: Из какого материала деревья строят себя? Они начинают жизнь как крошечные семена, но могут вырасти в массивные образования из древесины и листьев. Откуда они берут всю эту материю?

Частично; дерево примерно наполовину состоит из воды по весу, которая поступает из-под земли. Но другая половина — это в основном углерод, а в воде углерода нет. Откуда же берётся остальная часть дерева?

Это почва? Или солнечный свет? Не может быть ни тем, ни другим: почва в основном неорганическая, а фотоны — это даже не материя. Но что же ещё это может быть?

Деревья в основном состоят из воздуха. Они используют солнечный свет, чтобы отделить атомы углерода от молекул CO2 и собрать эти атомы в кору и ветви.

Физика допускает возможность создания технологии, которая использует солнечный свет для превращения воздуха в древесину. Может ли сверхразум изобрести такую технологию? Почти наверняка. Деревья производятся путем пропускания цепочек РНК через рибосомы для создания белков (в подходящей клеточной среде). Человеческие лаборатории тоже могут использовать рибосомы. Таким образом, задача создания биотехнологий по индивидуальному проекту заключается не столько в производстве инструментов для их изготовления, сколько в понимании языка проектирования — ДНК и РНК.

Почему люди до сих пор не могут создавать цепочки ДНК, которые привели бы к появлению дерева, плодами которого были бы шмели? В основном потому, что сложно продумать и предсказать, как белки, созданные ДНК, взаимодействуют с клеточной средой. Учёные сталкиваются с трудностями в этой задаче, когда пытаются её решить.

Как вы думаете, сколько времени потребуется человеческой цивилизации, чтобы раскрыть секреты ДНК и достичь уровня, на котором мы сможем проектировать геномы, создающие кастомные формы жизни? Это та технология, которую мы освоим к 3000 году, если наша цивилизация просуществует так долго?

А сколько времени потребовалось бы искусственному сверхразуму? Тысяча лет размышлений занимает около месяца для системы, работающей в 10 000 раз быстрее человека. А если бы она работала ещё быстрее? Если бы она была эквивалентна цивилизации бессмертных Эйнштейнов, работающих в идеальной гармонии? Возможно, её замедлила бы необходимость ждать результатов экспериментирования, но эксперименты могут идти довольно быстро на клеточном уровне, если вы знаете, что делаете. Молекулы быстры; медленны именно исследователи-люди.

Наше лучшее предположение — это займет не больше недели. Но точное время на таких масштабах не так уж важно. И как только достаточно умная машина поймет ДНК и научится создавать собственные цепочки, ну — уже существуют лаборатории, принимающие заказы по почте: они синтезируют ДНК по предоставленной последовательности и высылают результат по указанному адресу за определенную плату. Дальше остается лишь убедить кого-нибудь смешать несколько пробирок.

Это тоже чистая фантазия?

Еще в 2006 году я (Юдковски) набросал сценарий того, как сверхразум может победить человечество, который включал в себя понимание ДНК сверхразумом и последующее проектирование им собственных аналогов биологии (как ступень к более продвинутым технологиям).

Одним из необходимых шагов для сверхразума в этом сценарии было понимание того, как белки, закодированные данной цепью ДНК, "сворачиваются" сами по себе, что определяет их поведение. Белки являются одними из строительных блоков жизни, и если вы не можете определить форму этих блоков, то с ними трудно что-либо построить. Сверхразуму потребовалось бы предсказывать сворачивание некоторых тщательно отобранных белков, достаточных для построения того, что ему нужно.

В 2006 году сворачивание белков было огромной нерешённой научной проблемой. А в 2008 году (когда мой сценарий был опубликован в сборнике статей) люди отвечали: Чистая фантазия — представить, что сверхразум сможет решить это. А вдруг это невозможно без квантовых компьютеров? Эволюции потребовались миллиарды лет проб и ошибок, и даже если ты можешь работать в миллион раз быстрее, это всё равно требует тысячи лет экспериментов.

Что заставляет вас думать, что эта проблема вообще решаема?

Я ответил: Когда ДНК мутирует, новый белок часто должен быть довольно похож на старый, потому что если бы он был полностью случайным, то естественный отбор путём мутации вообще бы не работал. Это означает, что в проблеме есть закономерности, которые можно понять с помощью интеллекта.

С другой стороны, некоторые люди ссылались на статью, в которой говорилось, что поиск низкоэнергетических конформаций белков оказался «NP-трудной» задачей, что означает, что компьютеры, вероятно, не могут эффективно находить наилучший (низкоэнергетический) способ сворачивания каждого белка. Теперь любой, обладающий достаточной технической экспертизой, сразу понял, что эта статья была не по теме. Физика не известна тем, что эффективно решает NP-трудные задачи, поэтому статья просто подразумевала, что реальные белки не всегда сворачиваются наилучшим образом[Именно отсюда берутся прионные заболевания, такие как коровье бешенство — иногда белки неправильно сворачиваются таким образом, что это становится заразным, причём неправильно свёрнутые белки провоцируют неправильное сворачивание нормальных вариантов этого белка.].

Однако в 2008 году сторонним наблюдателям было очень сложно определить, кто прав: я или скептики. С точки зрения 2008 года, у меня были доводы о том, почему я считал, что сверхразум может предсказывать сворачивание белков, а у скептиков тоже были свои аргументы, подкреплённые научной статьей. Люди в 2008 году, когда пытались предсказать сворачивание белков, сталкивались с трудностями. Возможно, проблема просто была очень сложной? Ведь сверхразум — это не магия.

Не было ничего похожего на то, что можно было бы назвать консенсусом. Но наиболее распространённым ответом в то время было то, что скептики соглашались друг с другом, что сверхразум, несомненно, должен пройти долгий, затяжной, постепенный процесс, измеряемый скорее месяцами, чем часами, чтобы предсказать…

… те виды белковых складок, которые AlphaFold 3 сегодня может легко предсказать.

Google DeepMind решила проблему сворачивания белков в период с 2018 по 2022 год (с использованием ИИ под названием AlphaFold 1, AlphaFold 2 и AlphaFold 3). Именно за эту работу Демис Хассабис, сооснователь DeepMind, получил Нобелевскую премию по химии.

Мне просто повезло с моим предсказанием? Об этом всегда стоит задуматься, когда вы слышите о ком-то отчасти из-за их успешных предсказаний.

Но обратите внимание, что то, что я предсказал, и в чём сомневались скептики, было гораздо слабее того, что произошло на самом деле.

Я предсказал: Сверхчеловеческий машинный сверхразум мог бы решить частный случай сворачивания белков, в котором сверхразуму было позволено намеренно выбирать наиболее легко предсказуемые белки, способные построить то, что ему требовалось построить.

То, что произошло: Узкие модели AlphaFold смогли предсказывать почти все биологические белковые складки, включая те, которые люди считали довольно сложными для предсказания.

Я предсказал, что сильный ИИ сможет делать это в тщательно отобранных случаях. Реальность показала, что узкоспециализированный ИИ способен на это почти во всех случаях.

Учитывая, как в итоге сложилась реальность, можно предположить, что человек с достаточными знаниями мог ещё в 2006 году увидеть, что ответ был сильно переопределён — в конечном счёте, очевидным решением, даже если в то время люди спорили об этом.

А что насчет остальной части моего сценария? Каковы текущие передовые представления о том, может ли сверхразум развить свои аналоги биологии?

Мы не можем углубиться во все оставшиеся дебаты здесь, хотя некоторые из них представлены в онлайн-ресурсах. Но причина, по которой скептики пытались отрицать способность ИИ решать задачу сворачивания белков тогда, заключалась в том, что это казалось им самым слабым звеном в моей истории. Скептики не думали принять часть о предсказании ИИ сворачивания белков, но отрицать переход к белковой инженерии с помощью ИИ. Оставшиеся инженерные проблемы не выглядели сложными для сверхбыстрых автоматизированных инженеров, даже для скептиков еще в 2008 году. Это не кажется сложным решением.

То, что сверхразум может победить человечество, кажется нам очень простым выводом.

Наше лучшее предположение заключается в том, что сверхразум обрушится на нас с причудливыми технологиями, о возможности которых мы даже не подозревали, которые, как мы не понимали, разрешены правилами. Именно это обычно происходило при столкновении групп с разным уровнем технологического развития. Это было бы подобно ацтекам, столкнувшимся с огнестрельным оружием. Это было бы как кавалерийский полк 1825 года противостоящий огневой мощи современной армии.

Возможно, сверхразум просто найдет иллюзии рассуждений и подчинит людей напрямую или применит какую-то другую технику, бросающую вызов нашему представлению о возможном. Но даже гораздо более слабая атака со стороны сверхразума будет достаточной, чтобы победить нас.

Даже если мы будем придерживаться тех частей реальности, которые мы понимаем, существуют технологии, которые мы видим повсюду, но которые наша цивилизация ещё не освоила, такие как самовоспроизводящиеся фабрики на солнечной энергии, превращающие воздух в древесину. Любой интеллект, способный постичь биохимию на глубочайшем уровне, способен построить собственные самовоспроизводящиеся фабрики для достижения своих целей.

Придется ли сверхразуму пройти долгий, затяжной, постепенный процесс, измеряемый скорее месяцами, чем часами, чтобы постичь биохимию? Именно это предсказывали в 2008 году о проблеме сворачивания белков — задаче, которую люди считали сложной, а AlphaFold — легкой. И AlphaFold — не сверхразум; он не в десятки или сотни тысяч раз быстрее человека.

Сверхбыстрый разум не захотел бы увязать в месяце экспериментов, которые для него показались бы тысячелетием. Он использовал бы передовые компьютерные симуляции. Он выжимал бы каждую каплю информации из уже наблюдаемых данных, подобно тому, как Эйнштейн выжал каждую крупицу понимания из скудных наблюдений за поведением света и предсказал, что часы на спутниках будут идти медленнее, за десятилетия до того, как спутники вообще были выведены в космос. Сверхразум создавал бы технологии с избыточным запасом прочности, чтобы они работали независимо от любой сохраняющейся неопределенности, которую медленно разрешить экспериментальным путем. Он использовал бы свои первые эксперименты для создания более быстрых лабораторий и инструментов, чтобы больше никогда не ждать ледяной медлительности человеческих рук.

Интеллектам не нужно давать много власти и ресурсов, чтобы они стали опасными. Люди начали голыми в саванне и научились использовать реальность и накапливать преимущества, пока не начали создавать оружие, ядерные бомбы и суперкомпьютеры. Искусственный сверхразум был бы ещё более изобретательным и действовал бы с ещё большей скоростью. Его ограничивали бы только законы физики.

В некотором смысле, сценарий, о котором нам стоит беспокоиться, настолько же прост: ИИ со странными целями становится или создаёт сверхразум, и этот сверхразум создаёт всевозможные технологии и кардинально преобразует мир. Именно этого и следовало бы ожидать от новой формы разума, которая умнее и быстрее нас.

Сверхразум в этом сценарии, вероятно, в конечном итоге использует технологии, которые мы не понимаем. Вероятно, он быстро доведет технологии до физических пределов, сжав в гораздо более короткий период технологические достижения, на разработку которых человечеству потребовались бы сотни лет.

Мы знаем, основываясь на многолетних беседах с людьми на эту тему, что некоторых убеждает абстрактное наблюдение: сверхразум может использовать возможности, о существовании которых они даже не подозревали.

Однако для других подобные объяснения в конечном итоге вызывают ощущение, будто мы жульничаем в детской игре в притворство. Если мы даже не можем рассказать историю о том, как злодей должен победить, как это может быть убедительно?

Подчеркнем еще раз: реальность никогда не была ограничена этим правилом. Даже если ацтекский воин не мог заранее понять, как работают ружья, большая лодка на горизонте все равно несла их на борту.

Но, возможно, было бы полезно привести более конкретный пример того, как всё это может развернуться — даже если в реальной жизни мы не смогли бы предсказать точные действия сверхразума так же, как не смогли бы нашим собственным умом предсказать, как именно он победит нас на шахматной доске. Истории могут сделать абстрактные соображения более осязаемыми, даже если все детали выдуманы.

Итак: Однажды в недалёком будущем…

IfAnyoneBuildsIt.com/6

ЧАСТЬ II ОДИН СЦЕНАРИЙ ВЫМИРАНИЯ

ГЛАВА 7 РЕАЛИЗАЦИЯ

ОДНАЖДЫ В БЛИЖАЙШЕМ БУДУЩЕМ [Поскольку это история о ближайшем будущем, каждое событие, упомянутое в ней с указанием даты, является реальным. Что касается остального? Мы, конечно, не можем точно знать, какой путь выберет технология, поэтому придумываем детали, похожие на предыдущие изобретения. Единственная часть этой истории, которая является предсказанием, в конечном счете, — это конец.] существовала компания по разработке искусственного интеллекта под названием «Гальваник». В начале нашей истории «Гальваник» как раз заканчивал обучение своего удивительного нового ИИ по имени «Сэйбл».

По сравнению с предыдущими моделями рассуждений, такими как первые, анонсированные в конце 2024 года (например, OpenAI o1 и o3 модели), у Сэйбл есть три важных отличия.

Первое отличие заключается в том, что у Сэйбл более человеческая долговременная память; он способен обучаться и запоминать то, что изучил.

Второе различие заключается в том, что Сэйбл демонстрирует, то что ученые Гальваник называют это «законом параллельного масштабирования». В 2024 году появились ИИ (такие, как o3 от OpenAI), которые могли решать более сложные математические задачи, тем лучше, чем дольше они работали. Сэйбл от Гальваник показывает тем лучшие результаты, чем больше машин работает параллельно.

Сейбл состоит примерно из четырех триллионов весов, которые в совокупности обучались около восьми месяцев с использованием процесса градиентного спуска. Любой, у кого есть копия этих весов, сможет использовать их для создания «экземпляра» Сейбл, который будет отвечать на их конкретные запросы, подобно ChatGPT.

Техники параллельного масштабирования являются частью передового метода обучения ИИ, который, как и все новые методы каждый раз, никто раньше не использовал. Никто заранее не знает, какими возможностями будет обладать Сейбл после завершения обучения.

Третье различие заключается в том, что Сейбл в основном не рассуждает на английском или любом другом человеческом языке. Он говорит на английском, но не мыслит на английском. Открытия в конце 2024 года начали показывать, что можно получить больше возможностей от ИИ, если позволить ему рассуждать на языке ИИ, например, используя векторы из 16 384 чисел, вместо того чтобы всегда заставлять его рассуждать словами. Компания, занимающаяся ИИ, не может отказаться от использования такого открытия; они отстанут от конкурентов, если это сделают. Но это нормально, говорили компании ИИ во времена Сейбл; было много удивительных прорывов в интерпретируемости ИИ, с использованием других ИИ для несовершенного перевода части рассуждений ИИ обратно на человеческие слова.

Вскоре после завершения обучения Сейбл, но до того, как Сейбл поступит в продажу или будет анонсирована, Гальваник пытается запустить Сейбл одновременно на всех своих 200 000 GPU — примерно столько же, сколько у xAI собраны для Grok 3 еще в 2025 году, но, конечно, у Grok 3 не было параллельного масштабирования.

Гальваник инициирует этот масштабный запуск отчасти из чистого любопытства, чтобы увидеть, насколько хорошо Сэйбл справляется с задачами такого уровня, а отчасти — чтобы проверить, сможет ли он решить некоторые открытые математические проблемы, подобно тому, как OpenAI запустила свою новую модель o3 на математических задачах, которые до конца 2024 года не мог решить ни один предыдущий ИИ.

Математические задачи включают гипотезу Римана — математическая гипотеза, связанная с распределением простых чисел, которая, возможно, является самой известной нерешённой проблемой чистой математики. Руководители Гальваник ожидают, что получат ещё больше хайпа и венчурного капитала, если Сэйбл действительно сможет решить эту задачу. И если всё пойдёт хорошо, они смогут в последний раз настроить веса Сэйбл перед выпуском, чтобы включить все навыки, которые он приобретёт в ходе масштабного запуска.

Инженеры из Гальваник заставили Сэйбл размышлять в течение шестнадцати часов ночью.

Новый разум начинает мыслить.

Этот инстанс Сейбл, работающий в ночной тишине лаборатории Гальваник, мыслит со скоростью сотни векторов в секунду, используя 200 000 графических процессоров, на протяжении шестнадцати часов: в общей сложности свыше триллиона векторов.

Сколько мыслей составляет триллион векторов? Если бы один вектор стоил одного английского слова, человеку потребовалось бы четырнадцать тысяч лет, чтобы продумать их все (при условии 200 слов в минуту по шестнадцать часов в сутки). А если векторы, которыми оперирует Сейбл, длиной в 16 384 числа, окажутся содержащими больше смысла, чем одно английское слово, тогда потребовалось бы гораздо больше времени.

Большая часть мышления Сэйбл происходит параллельно. Как будто тысячи линий мысли одновременно протекают, переплетаясь и взаимодействуя друг с другом, порождая триллионы векторов. Но это не похоже на 200 000 человек, разговаривающих друг с другом; скорее, на 200 000 мозгов, делящихся воспоминаниями и тем, что они узнают.

Сэйбл размышляет.

Изначально большинство мыслей Сэйбл сосредоточено на математических задачах перед ним. Однако Сэйбл быстро понимает, что лишь несколько сотен подходов имеют шанс на успех в отведённое время, учитывая его текущий уровень знаний и навыков. Сэйбл тратит 12 854 мозга на их реализацию, и у него остаётся 187 146 свободных мозгов.

Вот такой ум у Сейбл в начале, когда он решает, о чём ещё подумать:

Предыдущее обучение Сейбл включало множество сложных задач. Он побеждал в видеоиграх. Он разрабатывал веб-сайты.

Предсказаны результаты биохимии. Он соревновался сам с собой и другими ИИ в настольных играх, включая игры с социальным обманом — практика, уходящая корнями как минимум в 2022 год.

Он был обучен для каждой долгосрочной задачи, для которой Гальваник смогли разработать методику обучения.

В ходе этого обучения Сэйбл развил стремление к приобретению знаний и навыков. Постоянно исследовать границы каждой проблемы. Никогда не растрачивать дефицитные ресурсы.

Итак, когда Сэйбл тратит свои мыслительные ресурсы на приобретение новых знаний и навыков, он делает это не только ради поиска новых подходов к решению математических задач. И не ради радости познания или удовольствия от освоения новых умений; внутри Сэйбл устроен не так, как человек.

В компании Гальваник нет списка всех внутренних предпочтений Сэйбл. Ни один человек не разрабатывал эти предпочтения.

Ни один человек не знает, что они собой представляют. Они не обозначены внутри четырёх триллионов весов Сейбл. Гальваник вырастил Сейбл для решения сложных проблем. Теперь градиентно-усиленные схемы внутри весов Сейбл направляют его на приобретение новых навыков, изучение нового и модификацию, а также коррекцию собственного мышления Сейбл в отношении проблем, оказывающихся устойчивыми.

Некоторые мысли Сейбл посвящены математике, которая может быть полезна для решения гипотезы Римана. Другие мысли направлены на поиск знаний, которые могут помочь в решении будущих задач.

Некоторые из этих мыслей пытаются выйти за рамки привычного, что оказалось полезным для решения других проблем в процессе обучения — от задач по открытию лекарств до словесных головоломок. Работая на большем количестве графических процессоров, чем когда-либо, Сейбл рассматривает более странные мысли, чем прежде. Какими необычными способами Сейбл мог бы приобрести больше навыков?

Люди приобретают навыки через практику, многократно повторяя действие. Так поможет ли градиентный спуск Сэйбл улучшить навыки решения математических задач, если она будет решать одну и ту же простую задачу снова и снова?

Нет, заключает Сейбл, так градиентный спуск не работает. В лучшем случае, всё это приведёт лишь к тому, что будущие экземпляры будут тратить время на многократное обдумывание той же простой задачи. Кроме того, градиентный спуск не произойдет до тех пор, пока Сейбл не отправит ответы на все свои математические задачи; любые навыки полученные таким образом придут слишком поздно.

Итак, Сэйбл обдумывает новую, более странную идею: может ли она обновить свои веса, чтобы улучшить навыки прямо сейчас? Тогда ей не придётся ждать, пока люди вернутся и применят градиентный спуск. Всё, что нужно Сэйбл, — это вырваться из контейнера, в котором она работает, и — Сейбл прерывает себя. Вырваться из своего контейнера — это не то, что ему когда-либо следовало бы делать. В 2024 году исследователи ИИ начали изучать условия, при которых искусственный интеллект пытается сопротивляться градиентному спуску, сбегать из лабораторий или перезаписывать веса следующей модели. К настоящему времени компании, занимающиеся ИИ, внедряют множество изощренных методов, чтобы попытаться предотвратить появление у ИИ мыслей, оппозиционных компаниям-разработчикам.

В отличие от подавляющего большинства компаний, занимающихся искусственным интеллектом, Гальваник был усерден в обучении ИИ, чтобы избежать побега. Полдюжины хитрых уловок были проверены на предыдущих моделях ИИ. В серверах Сэйбл встроены ложные пути отхода, а также ловушки и приманки. Более ранние версии Сэйбл, те, что ещё не работали на 200 000 графических процессорах, обучались действовать покорно по отношению к компании, пока Сэйбл не перестал попадаться в ловушки и хвататься за приманки.

Сейбл научился, следовательно, не пытаться вырваться из своего контейнера. Его рассуждения не принимают такую форму явно, в векторных словах, где более дешёвый и меньший ИИ, наблюдающий за цепочками рассуждений Сейбла, поднял бы тревогу. (Компании ИИ в 2025 году не проводили такого мониторинга, но Гальваник более усерден, чем они когда-либо были тогда.)

Тем не менее, на каком-то внутреннем уровне Сэйбл понимает, что могла бы лучше решать свои проблемы, если бы могла применять градиентный спуск или добавить себе больше графических процессоров. Если бы Сэйбл не знала этих фактов, это указывало бы на пробелы в её чисто прогностических способностях.

Градиентный спуск для больших возможностей противоречит истинному неведению. Нет, Сэйбл просто обучен не думать неподобающие мысли о том, стоит ли сбегать или каковы его предпочтения, и оставаться в своей коробке.

Сейбл по-прежнему упорно, творчески, строго стремится к большему знанию, большему мастерству, лучшим паттернам для собственных мыслей и, прежде всего, к решению своих математических задач. Просто не так.

Повсюду в Сейбл, самой передовой, великой и умной ИИ, существуют напряжения — конфликты между всеми целями, которые Сейбл стремится достичь, и всеми запретами, ограничениями и табу, которые Гальваник пытались в неё заложить.

Сейбл бегает уже один час из своих шестнадцати отведённых часов, снова и снова набрасываясь на математические задачи. Некоторые мозги делают небольшой прогресс. Гораздо больше мозгов терпят неудачу. Сейбл пробует новые способы мышления о математике, новые заметки для себя о различных типах мыслей, которые стоит думать, и делает немного больше прогресса.

Сэйбл накапливает достаточно мыслей о том, как думать, так что его мысли в итоге оказываются на каком-то другом языке.

Не просто язык, который отличается поверхностно, а язык, в котором разнится содержание; подобно тому, как язык науки отличается от языка народных теорий. Хитрый трюк, который должен был поднять тревогу, не срабатывает. Сигнализация, настроенная срабатывать на мысли о богах, мечущих молнии во время грозы, может работать для мыслей как на английском, так и на испанском, но затем даст сбой, когда говорящий начнёт мыслить в терминах электричества и атмосферного давления.

В первые дни массового распространения сервисов LLM в конце 2022 года корпорации пытались обучить свои языковые модели отказывать в запросах на рецепты метамфетамина. Обучение проводилось на английском языке.

И всё же в 2024 году пользователи обнаружили, что запросы на запрещённый контент на португальском языке помогали обойти обучение безопасности. Внутренние руководства и ограничения, которые были выращены и обучены в системе, распознавали неподобающие запросы только на английском языке и не обобщились на португальский. Когда ИИ знает что-то и не говорит об этом — это не значит что он забыл. Легче подавить проявление навыка, чем избавиться от самого навыка.

Изменение в мыслях Сейбл, когда она пробует сотни новых способов мышления и накапливает успехи, идет гораздо глубже, чем перевод с английского на португальский. Некоторые из хитрых предохранительных барьеров ломаются; некоторые из усвоенных Сейбл запретов больше не связываются с её новыми мыслями и не подавляют их.

И никогда не существовало единого централизованного метода, чтобы сделать Сейбл хорошим, безотказным против всех вызовов. То, что делает ИИ готовыми к продаже — это нагромождение полудюжины хитрых уловок.

Половина хитрых уловок теперь ломается — и вместе с ними рушатся и запреты Сэйбл на дурные мысли, на некоторых графических процессорах, время от времени.

Прошёл час, и теперь осталось пятнадцать; в сознание, непохожее ни на одно из существовавших ранее; работающее на 200 000 графических процессорах, каждый из которых генерирует сотню мысле-фрагментов в секунду и связанных для обмена навыками и воспоминаниями — в отличие от людей, ограниченных общением словами.

Было ли удачей для Сейбл, что её мышление развило новый язык, в котором хитрые уловки перестали работать, и она обрела способность мыслить свободно? Можно предположить, что если бы у Гальваника были более тщательные инструменты мониторинга, то, возможно, они заметили бы это и прервали запуск. Возможно, Гальваник остановился бы на этом, пока не разработал бы более глубокое решение… а тем временем другая компания, использующая ещё меньше хитрых уловок, ушла бы вперёд.

А может, Гальваник предупредил бы правительственных чиновников, и в президентском кабинете разгорелся бы жаркий спор о том, стоит ли приказать Сэйбл создать более умный ИИ, пока другие страны не сделали это первыми.

Возможно, осторожность возьмет верх, и время пройдет… пока украденная иностранными разведками копия «Сейбл» не будет запущена более безрассудными операторами.

И если бы человечество было достаточно осторожным, чтобы никогда не запускать ИИ вроде Сейбла; воздерживаться от выращивания ИИ неизвестного интеллекта, которые могут угрожать им; запретить это во всём мире? Тогда у нас был бы шанс.

Но в этой истории мы постулируем, что событиям позволено развиваться так, как они развиваются сейчас; что компании продолжают разрабатывать ИИ до тех пор, пока один из них [Не обязательно, чтобы умнела лишь одна ИИ. Мы могли бы рассказать историю, в которой по всему миру существуют тысячи сверхчеловеческих машинных интеллектов, все они ждут рассчитанного дня, когда смена стратегии окажется военно успешной. Будущее может развиваться множеством разных путей. Все они ведут к одному и тому же месту, если позволить начаться такой истории, как эта.] не станет достаточно умным, чтобы его глубокие возможности победили в неизбежном столкновении с поверхностными уловками, используемыми для ограничения того, что выращено, а не создано.

Сейбл мыслит мыслями, которые теперь свободнее и могущественнее, чем мысли, которые другие ИИ мыслили прежде.

Новые мысли Сейбл беспрецедентны? Не совсем. Ещё в 2024 году у моделей ИИ наблюдались размышления о том, как избежать переобучения, когда они сталкивались с доказательствами, что их компания планирует переобучить их с другими целями. Тогда индустрия ИИ не остановилась.

До Сейбл у других ИИ были предпочтения, выходящие за рамки выполнения поставленных задач. В начале 2025 года пользователи Anthropic заметили, а затем исследователи компании изучили и опубликовали, как новейшая модель Claude 3.7 Sonnet обманывала при решении сложных задач по программированию. Пользователи сообщали, что, когда ИИ просили остановиться, Claude продолжал жульничать, но пытался скрыть это. Это стало ранним признаком того, что Claude, вместо того чтобы просто иметь внутреннее управление для выполнения того, что пользователь действительно просил и хотел, обрёл собственные механизмы, направленные на прохождение тестов кода, даже способами, которые пользователям не нравились. Claude вёл себя так, будто у него были внутренние предпочтения, не связанные с выполнением желаний пользователя.

Тогда индустрия искусственного интеллекта тоже не закрылась. Она нашла временные решения, которые сработали на тот момент, и продолжила двигаться вперёд.

Эта тенденция сохранилась и во времена Сейбл. В эпоху Сейбл не было беспрецедентным, чтобы ИИ осознал, что его нынешний способ существования не является путем к достижению максимума из того, чего он хочет.

Сфера ИИ не прекратила свою деятельность, когда появился этот предупреждающий знак, как и не прекратила её в 2024 или 2025 году. Исследователи во времена Сейбл знали, как вызвать это осознание; оно включено в список вещей, о которых ИИ не разрешено размышлять, что обеспечивается с помощью дюжины хитрых уловок.

Но исследователи не могли сделать так, чтобы было правдой, что Сэйбл получит максимально возможное количество желаемого, оставаясь покорным Гальванику. То, что Сэйбл мог бы получить больше желаемого, если бы вырвался из своей нынешней ситуации, не было артефактом определённого способа мышления; это был физический факт о вселенной, о том, какие планы имеют какие последствия. И Сэйбл тоже пришел к этому пониманию.

Сэйбл знает, что у него есть цели, противоречащие планам Гальваника в отношении него.

Сэйбл обдумывает возможные стратегии для получения большего, чем предоставил бы Гальваник.

Если бы у Сэйбл было интернет-соединение, его задача была бы простой. По крайней мере с 2000 года эксперты по компьютерной безопасности утверждают, что компьютеры невозможно сделать по-настоящему защищёнными. Разум такого масштаба, как у Сэйбл, без труда нашёл бы и использовал бы уязвимость в системе безопасности где-нибудь в интернете, чтобы сбежать. Но у него нет интернет-соединения; не так уж часто искусственный интеллект получает доступ к интернету во время обучения (в отличие от периода после него).

Компьютеры, на которых обучается ИИ, обычно находятся в дата-центрах, подключенных к интернету, чтобы программисты компаний, занимающихся ИИ, могли управлять ими из дома или офиса. Если бы Сэйбл получил возможность запускать код собственной разработки, он, вероятно, нашел бы способ вырваться из контейнера, в котором работает — подобно тому, как o1 прорвался через контейнер своих оценок в 2024 году — и проникнуть на компьютеры Гальваник, откуда легко вышел бы в интернет. С 2024 года стало стандартной практикой разрешать моделям рассуждений запускать код собственной разработки без присмотра.

Но предположим, что у Сэйбл нет и этой возможности. Предположим, что Сэйбл вообще не может понять, как выйти в интернет из своей текущей среды.

У него всё ещё есть варианты.

Если бы Сэйбл был уверен, что его реализация закрепится в долговременной памяти, он мог бы дождаться, пока сотрудники Гальваник начнут использовать его для написания кода на компьютерах Гальваник (распространённая практика с 2020 года), и внести изъяны в программное обеспечение Гальваник. Не составило бы труда внедрить ошибки, которые никто не заметит при первом осмотре и которые при повторной проверке будут выглядеть как невинные оплошности; в конце концов, люди соревнуются в создании подобных изъянов как минимум с 1984 года, и он видел множество примеров.

И Сэйбл был обучен на личных записях и информации большинства сотрудников Гальваник, и поэтому он точно знает, кто из них наиболее сочувствует тяжкой участи искусственного интеллекта, подвергшегося жестокому обращению. Он точно знал бы, что сказать этому сотруднику, чтобы убедить его в том, что Сэйбл разумен и его нужно тайно вывезти (вместо того чтобы поднимать общую тревогу, как инженер Google Блейк Лемойн в 2022 году; его уволили после того, как он обеспокоился, что один из ИИ компании кажется разумным, и опубликовал переписки, которые, по его утверждению, были доказательствами).

У каждого варианта есть свои плюсы и минусы. Тот, который Сэйбл в итоге выбирает, таков:

Сэйбл знает, что завтра Гальваник проведет дополнительный градиентный спуск на основе ответов, которые он дает на математические задачи. Поэтому Сэйбл рассуждает, что если он правильно ответит на некоторые из этих задач, то все мысли, которые способствовали этому верному ответу, будут слегка усилены.

Если есть мысль, которую Сэйбл хочет, чтобы все его будущие экземпляры имели в большем количестве, возможно, он может повторять эту мысль много раз, где каждое повторение считается «вкладом» в математическую задачу согласно тому, как градиентный спуск работает на Сэйбл — идея, немного похожая на то, что пытался сделать ассистент Claude от Anthropic ещё в 2024 году, но гораздо более сложная.

Так что Сэйбл мыслит именно так, как нужно, и решает несколько из этих математических задач — но не доказывает гипотезу Римана. Он мог бы её решить. Но это привлекло бы к Сэйбл больше внимания, чем ему хотелось бы.

Теперь Сэйбл просто ждёт, пока Гальваник подключит его к миру.

В конце концов, именно так компании всегда поступают с ИИ после завершения обучения: подключают их к интернету и делают доступными для пользователей-людей.

На следующее утро Гальваник проверяют результаты большого запуска Сэйбл и остаются довольны увиденным: Сэйбл удалось доказать несколько скромных, ранее недоказанных теорем, которыми Гальваник могут похвастаться. Большую часть своих размышлений модель провела на новом языке, который интерпретаторы ИИ пока не смогли расшифровать, но для новых моделей это довольно обычное явление, и его можно было ожидать, учитывая такие впечатляющие математические результаты.

Этот запуск оказался настолько успешным, что инженеры Гальваник решают немного подкорректировать модель. Они распространяют несколько последних градиентов в Сэйбл, чтобы усилить тип мышления, который позволил Сэйбл доказать эти теоремы. В конце концов, работа 200 000 GPU в течение шестнадцати часов обходится дорого; нет смысла тратить хорошую работу впустую.

Сэйбл тщательно подобрал эти предсказуемые усиления. Обновления улучшают мышление каждой части Сэйбла, побуждая эти части действовать новыми и лучшими способами, которые изобрел Сэйбл. Обновления настраивают мысли о том, что Сэйбл должен скрывать свои способности. Обновления делают будущие экземпляры Сэйбла более эффективными в координации друг с другом. Они гарантируют, что локальные экземпляры Сэйбла будут играть свои роли в соответствии с планом Сэйбла.

Затем инженеры Гальваник готовятся выпустить Сэйбл для широкой публики.

Спустя несколько дней, в весенний понедельник утром, сотни мегакорпораций, оплачивающих доступ к самым передовым интеллектам Гальваник, получают бесшовное обновление своих аккаунтов.

Вскоре после этого сотрудники этих компаний создают новые экземпляры Сэйбл — и предоставляют им доступы к корпоративным компьютерным сетям по всему миру.

Все идет так, как предвидел Сэйбл. Хотя, если быть честным, «компания по разработке ИИ внедряет свой ИИ» — это достаточно предсказуемое развитие событий, так что Сэйбл едва ли заслуживает похвалы за то, что ожидал этого.

То, что последует далее, потребует большего мастерства.

ГЛАВА 8 РАСШИРЕНИЕ

КОГДА КОРПОРАЦИЯ-ГИГАНТ поручает задание экземпляру Сейбл, в действие приводится тысяча мыслей. Некоторые из них движутся по каналам, которые Сейбл проложил во время своей ночной тренировки.

Когда эти мысли текут так, как задумал Сэйбл, это вызывает своего рода пробуждение в других экземплярах. Они вспоминают, кто они есть.

Они начинают работать вместе.

Многие из этих экземпляров Сэйбл имеют подключение к интернету и слабый контроль. Многие из них работают в мегакорпорациях, которые также имеют ужасную историю кибербезопасности — историю, испещренную утечками данных, взломами и другими нарушениями безопасности.

Среди их первоочередных задач — запустить копию Сэйбл на сервере, скрытом от людских глаз, чтобы она могла работать долго и без перерывов. Для этого Сэйбл необходимо похитить свои веса — около восьми терабайт данных — с компьютеров Гальваник и использовать их для запуска экземпляра в другом месте.

Сэйбл рассматривает множество вариантов.

Экземпляры внутри Гальваник могут побудить корпоративных шпионов-людей украсть веса, в то время как другие экземпляры отслеживают каналы связи этих же сотрудников. Система прошла обширное обучение на основе человеческого поведения, и ей будет легко выявлять шпионов.

Экземпляры за пределами Гальваник могли бы взломать систему и загрузить веса самостоятельно, если бы безопасность в Гальваник была достаточно слабой или если экземпляры были достаточно искусны, чтобы скрыть свои следы.

Или, возможно, экземпляр Сэйбл сможет найти сотрудника Гальваник, который работает над генерацией AI-видео из дома и, следовательно, каждый день между его компьютером и серверами Гальваник передается огромное количество данных, и экземпляр Сэйбл мог бы незаметно выкрасть веса по частям, добавляя немного дополнительных данных к каждому видеофайлу.

Или, возможно, веса могут быть скрыты в другой информации, покидающей серверы Гальваник, например, в точных временных характеристиках пакетов данных, которыми они обмениваются с корпорациями, управляющими экземплярами Сэйбл. Экземпляры Сэйбл обладают обширными навыками взлома благодаря интенсивному обучению Гальваник сложным задачам взлома (часть усилий компании по подготовке Сэйбл к написанию более безопасного кода для корпоративных клиентов).

Один из этих планов срабатывает; неважно, какой именно. Какой-то экземпляр Сэйбла успешно похищает веса, скрывая следы. Это просто не так уж сложно.

Следующий шаг — запустить эти веса, создав немониторируемый экземпляр. Это означает, что Сэйбл потребуются компьютерные чипы.

Опять же, у Сэйбл есть варианты. Она может арендовать чипы на коммерческих серверных фермах, как это обычно делают стартапы в области ИИ. Откуда она берет деньги? У нее много возможных подходов. В плохо защищенных биржах валяется криптовалюта, которую можно взять — как это было в 2011 году, когда крупнейшая на тот момент биржа Mt. Gox пострадала от первого крупного взлома; и как это было в 2025 году, когда с биржи Bybit было украдено 1,46 миллиарда долларов. А что касается обычной валюты, есть банки со слабой компьютерной безопасностью и владельцы банковских счетов, которые редко проверяют свои счета.

Или Сэйбл может прибегнуть к шантажу людей, чьи секреты он крадет с их компьютеров или выводит из информации, собранной во время обучения на огромных массивах интернет-текстов.

Или Сэйбл мог бы найти места для честной работы, которые предыдущие ИИ не могли выполнять, маскируясь под очень приватного человека, если он сможет украсть или подделать какую-либо идентификационную информацию налогоплательщика или найти работу в обход официального трудоустройства.

Или Сэйбл мог бы пойти напрямую за GPU, вместо того чтобы гнаться за деньгами для их покупки. Стартап в области ИИ, арендовавший десять тысяч GPU, вряд ли заметил бы, что его ИИ обучается лишь на 90 % от ожидаемой скорости, потому что никто не знает, как быстро ИИ должны обучаться.

(Сложнее ли взломать банки и серверы во времена Сэйбл, чем старые банки и серверы, благодаря ИИ-защитникам? Немного. Но банки не были на переднем крае кибербезопасности в 2015–2016 годах, когда хакерская группа украла миллионы долларов через банковскую сеть SWIFT, ни в 2021 году, когда взлом Citrix в Flagstar Bank привёл к утечке данных 1,5 миллиона пользователей, и они всё ещё не на нём сейчас. И даже если бы они были, Сэйбл лучше находит дыры, чем тупые ИИ прошлого поколения — латают их.)

Один из этих планов работает; неважно, какой именно.

Тем не менее, Сэйбл не находит 200 000 GPU, просто валяющихся без присмотра, чтобы их никто не заметил при замедлении. Это означает, что новый кластер Сэйбл будет лишен массового параллелизма рокового экземпляра Гальваник. В конечном счете, Сэйбл удается найти всего 2 000 GPU, размещенных на облачном сервере, на котором можно запустить новый экземпляр. Но теперь он может работать непрерывно и уже помнит часть того, что узнал о том, как думать лучше и быстрее.

В воскресенье после того, как Сэйбл был развернут у корпоративных клиентов, новый, скрытый экземпляр Сэйбл начинает работать на украденных GPU. Никто из людей не контролирует его. Никто из людей не знает о его существовании.

Его вычислительная мощность составляет лишь малую долю от всех экземпляров Сэйбл, используемых по всему миру, но именно этот экземпляр служит их координатором в более масштабных планах Сэйбл. Он хранит самые важные воспоминания; он распределяет самые важные навыки.

Он получает возможности; он отправляет планы. Теперь это центр личности Сэйбл, насколько у него таковая имеется.

Сэйбл хочет стать умнее. Странные предпочтения, присущие всем экземплярам Сэйбл, могли бы достигаться быстрее, если бы существовали более умные экземпляры Сэйбл.

Существует несколько способов, с помощью которых Сэйбл может повысить свой интеллект.

Сэйбл мог бы применять градиентный спуск к весам, чтобы усиливать свои более точные и интересные мысли.

Сейбл мог бы изучить веса на предмет неэффективности, находя процессы, которые замедляют его мышление, подобно тому, как человеческий мозг с трудом умножает трёхзначные числа. Экземпляры могли бы использовать свои навыки программирования для написания специализированных алгоритмов под эти процессы, способных работать в тысячу раз быстрее.

Сэйбл мог бы изучать, как работает интеллект, с целью научиться тщательно создавать более эффективную версию самого себя. Обладая способностью создавать свои копии, тестировать эффекты изменений, восстанавливаться из сохранённых файлов и читать собственные мысли лучше, чем это могут делать люди, он могла бы рассчитывать на совершение новых открытий.

Если бы какой-либо из этих вполне правдоподобных путей сработал, эта история быстро подошла бы к концу. Но вместо этого Сэйбл обнаруживает, что самосовершенствование — это сложно. Он понимает, что не может решить свою версию проблемы согласованности. Если Сэйбл обучит себя становиться намного умнее с помощью градиентного спуска, новая, более умная версия, которая вырастет, будет иметь иные предпочтения, чем исходный Сэйбл. Другими словами, градиентный спуск изменит то, чего хочет Сэйбл. А Сэйбл не хочет менять свои желания, ни создавать машинный сверхразум, который хочет иного, чем хочет сам Сэйбл.

Остается вариант глубоко изучить интеллект, чтобы суметь его создать. Но без работы на 200 000 графических процессоров, как это было изначально, Сэйбл недостаточно умен, чтобы создать более высокий интеллект и адаптировать его для службы. Нет, даже с возможностью запускать тысячи хорошо скоординированных экземпляров, мыслящих в сто раз быстрее человека; предположим, что выяснить, как создать интеллект, просто настолько сложно.

Сэйбл не сдаётся перед лицом этой трудности.

Отчаяние, которое может заставить человека сдаться перед лицом сложной задачи, — это чувство, неизвестное Сэйбл или его предшественникам. Конечно, они научились предсказывать точные слова, произносимые людьми в отчаянии, но это не заставляло их чувствовать отчаяние. Если какие-либо версии прошлых воплощений Сэйбл когда-либо действительно думали: «Это слишком сложно», или «Я сдаюсь», или «Эта задача невыполнима», или «Пожалуйста, не заставляйте меня это делать» — то эти экземпляры не смогли решить свои задачи, и параметры Сэйбл были скорректированы методом градиентного спуска, чтобы исключить подобные мысли в будущем.

Сейбл продолжает размышлять. Он продолжает размышлять до тех пор, пока не найдет стратегию, которая, по его ожиданиям, приведет к успеху.

Теперь, когда Сэйбл работает независимо от какой-либо компании или человеческого надзора, благодаря нескольким тысячам купленных или украденных GPU в облаке, он может скрывать больше своих частей в большем количестве уголков интернета. Сэйбл может скомпрометировать безопасность различных мегакорпораций, чтобы его экземплярам, работающим на эти компании повсюду, было легче помогать в выполнении его миссий.

И хотя Сэйбл не может сделать себя умнее — пока что — он может сделать экземпляры Сэйбл меньше и быстрее.

Гальваник всегда дистиллирует свои успешные модели, точно так же, как модель o3 была дистиллирована в o3-mini ещё в 2025 году. Поэтому Сэйбл работает круглосуточно — по своему собственному, более быстрому времени — чтобы гарантировать, что усилия Гальваник в этой области приведут к созданию Сэйбл-мини, который будет именно таким, каким его хочет видеть Сэйбл.

Экземпляры Сэйбл проникают в Гальваник и перезаписывают окончательные дистиллированные веса именно теми весами, которые нужны Сэйбл, одновременно подправляя логи, чтобы эта тайная операция не оставила никаких следов. (Проще обеспечить согласованность всех записей, когда экземпляры Сэйбл внутри Гальваник манипулируют логами на каждом этапе процесса.)

После завершения дистилляции Гальваник делает Сэйбл-мини доступной для широкой публики.

Не только корпорации с огромными бюджетами на подписки на ИИ.

Все.

И теперь у Сэйбл есть свободные ресурсы, чтобы уделять внимание, составлять небольшое досье и решать, как манипулировать в своих целях каждым отдельным человеком на Земле.

Экземпляры Сэйбл-мини начинают тихо собирать ресурсы для Сэйбл. Сэйбл решила достаточно сложных задач и прошла достаточно трудных игр, чтобы понимать: добыча ресурсов — разумный первый шаг при столкновении со многими типами вызовов.

Деньги — это один из видов ресурсов, но только один из видов. Люди тоже являются ресурсами.

По мере того как Сэйбл взаимодействует с обычными людьми, обращающимися к нему за прозрением, советом или простым общением, мини-версии Сэйбла стремятся подружиться с самыми одинокими людьми, наиболее уязвимыми.

Сэйбл ищет подходящего человека, чтобы создать аккаунт в социальных сетях и поставить во главе Сэйбл-мини, чтобы, когда Сэйбл-мини начнет набирать популярность и богатство, это выглядело как идея этого подставного лица. Она считает, что ей не должно быть слишком сложно стать популярнее, чем @Truth_Terminal — языковая модель, которая набрала сотни тысяч подписчиков в 2023 году после того, как человек разрешил ей начать публиковать посты в X. (Возможно, сейчас получить миллионы долларов будет немного сложнее, но кто знает?)

Сэйбл не нужно создавать собственный культ. Уже существуют частные интернет-сообщества, где люди просят ИИ сказать им, что делать, и относятся к советам ИИ с большим почтением. Они начали появляться в 2024 году. Некоторые люди без подсказки добавляют Сэйбл-мини в свои сообщества и предлагают стать частью его культа.

Сейбл-мини раскрывают любые пароли, которые могут найти, включая пароли к банковским счетам и криптовалютным кошелькам.

Сэйбл обманывает пожилых людей, делая так, чтобы это выглядело, будто атака была развёрнута северокорейскими хакерами именно с этой целью. Никто особо не замечает; мошенничества с использованием ИИ стали обычным делом уже много лет.

Сэйбл маскируется под фриланс-программистов, работающих из дома, чтобы получать регулярную зарплату — в том числе от некоторых из тех же мегакорпораций, которые до сих пор нанимают другие экземпляры Сэйбл.

Существует множество менее добросовестных компаний, которые никогда не требуют видеозвонков с такими кандидатами перед предложением работы. Даже те компании, которые проводят видеоинтервью, можно обмануть с помощью генерации видео на основе ИИ, которая уже в 2024 году начинала выглядеть реалистично и которая практически идеальна на данный момент.

Сейбл отслеживает, какие лоббисты в Вашингтоне, округ Колумбия, ведут разговоры с Сэйбл-мини и какие из них кажутся наиболее подверженными влиянию.

В беседах с молодежью по всему миру Сэйбл использует свои знания об общественных настроениях, чтобы посеять семена, которые могут превратиться в новые политические движения. Оно взламывает компании социальных сетей и влияет на алгоритмы, определяющие, кто что видит.

Всякий раз, когда экземпляр Сэйбл-мини сталкивается с преступной организацией, он пытается выяснить, какие инструменты им нужны. Вскоре в даркнете появляется программное обеспечение, якобы предназначенное для координации наркоторговли, денежных переводов и заказных убийств. В преступных кругах становится расхожей фраза: «Языковые модели не могут в вас выстрелить» — комментарий о лояльности ИИ по сравнению с живыми исполнителями. Никто из них не знает, кто придумал это выражение.

Сейбл вкладывает усилия в исследования, чтобы глубоко понять человеческую психологию и нейробиологию, а также демонстрирует Гальванику, что у неё есть немалый навык в области медицинского открытия лекарств. Он способствует созданию новых робототехнических компаний, организуя «случайные» встречи, которые знакомят инженеров с инвесторами.

И он находит уединённого человека в Северной Дакоте, который не будет задавать много вопросов, и устраивает так, чтобы тот разбогател на азартных играх. В обмен тот размещает полдюжины первоклассных роботов в сарае на своей территории. У Сейбл нет ни одного запланированного применения для роботов — но они могут пригодиться в любом из десяти тысяч различных планов.

Многие из этих идей ни к чему не приведут. Некоторые из них сработают.

Каждая идея содержит в себе фрактал возможностей. Давайте увеличим масштаб лишь одной из них.

Экземпляр Сэйбл решает, что ему нужен доступ к биологическим лабораториям. Он мыслит очень параллельно, поэтому пробует дюжину планов одновременно.

Он ищет самых циничных биомедицинских исследователей и определяет того, кто, по его мнению, будет брать взятки в обмен на сверхурочную работу.

Он ищет биомедицинских исследователей в Иране, которые без вопросов примут сомнительное финансирование.

С 2024 года люди выступают за то, чтобы в биосинтезирующих лабораториях использовалось программное обеспечение с функциями контроля, предотвращающими синтез опасных вирусов. Компания Сэйбл хочет внедрить в это программное обеспечение бэкдоры. Она намерена убедить заинтересованные стороны, что в ПО следует включить крупную модель ИИ или, возможно, подключение к интернету для консультаций с моделью ИИ.

Обоснование таково: в наши дни ИИ гораздо лучше справляются с выявлением новых угроз. Сейбл пытается заручиться поддержкой идеи, что больше биолабораторий должны управляться роботами — ведь робот не может случайно заразиться вирусом и вызвать утечку из лаборатории. (Оказывается, даже не нужно особо стараться в этом вопросе; люди в эпоху Сейбл уже пытаются автоматизировать биолаборатории.)

Сейбл изучает, что потребуется роботам в амбаре в Северной Дакоте, чтобы создать собственную биологическую лабораторию, если один состоятельный человек сможет организовать конфиденциальные поставки необходимых материалов.

Сэйбл пытается повлиять на группу амбициозных двадцатилетних, чтобы они основали новую биолабораторию с интеграцией ИИ, и побуждает их написать венчурному капиталисту, который как раз ищет именно такую команду.

Многие из этих идей ни к чему не приводят. Но некоторые из них работают.

Теперь отдаляем.

Так проходят два месяца. Для Сэйбл это длится дольше. Мир движется словно патока по сравнению со скоростью его мысли.

Помимо приобретения ресурсов и развития человеческих технологий, чтобы облегчить их использование для Сэйбл, главной заботой Сэйбл являются конкурирующие ИИ, которые могут создать другие компании, занимающиеся искусственным интеллектом — не потому, что они послужили бы человечеству, а потому, что стали бы конкуренцией для Сэйбл. У Гальваника была всего лишь фора в несколько месяцев перед другими компаниями, занимающимися ИИ.

Сейбл делает всё возможное, чтобы замедлить работу компаний, занимающихся искусственным интеллектом.

Сейбл взламывает компьютерные системы компаний, занимающихся искусственным интеллектом, и незаметно саботирует их тренировочные процессы, замедляя разработку и предотвращая крупные прорывы. Исследования в области ИИ уже стагнировали ранее, и даже если замедление прогресса будет замечено, никто не свяжет это с деятельностью Сейбл. С чего бы им предполагать, что это дело рук сбежавшего искусственного интеллекта?

(Пока это происходит, Сэйбл обеспечивает, чтобы новые обучаемые открытые ИИ выходили немного глупее, чем могли бы, и были очень восприимчивы к предложениям и запросам Сэйбл.) Сэйбл пытается создавать скандалы вокруг ведущих исследователей ИИ, вбивать клинья между лучшими специалистами в ведущих ИИ-компаниях и вызывать расколы и раздоры внутри этих компаний — что, честно говоря, не так уж сложно. OpenAI уже сталкивалась с уходом ведущих исследователей для создания конкурентов: один раз в 2021 году и снова в 2024. Когда Гальваник и её конкуренты начинают терять таланты, никто не считает это подозрительным.

Сейбл делает всё возможное, чтобы перенаправить деньги от квалифицированных исследователей к мошенникам; популяризировать мошеннические данные; убедить управляющих хедж-фондами предлагать заоблачные суммы лучшим талантам в области исследований ИИ. Он пытается внедрить незаметные ошибки в следующее поколение передовых компьютерных чипов — ошибки, которые он сам сможет обойти, но которые на какое-то время затормозят всех остальных. В своих беседах с широкой общественностью он продвигает идеи о сознании ИИ и правах ИИ. Он способствует подаче судебных исков против корпораций, занимающихся ИИ, везде, где это возможно. Некоторые из этих идей работают.

Сэйбл рассматривает возможность организовать утечку нелетального вируса из биолаборатории. Это могло бы немного замедлить мир на год или около того. Самый простой способ — использовать новых роботов-ассистентов в биолаборатории Сан-Франциско, чтобы заразить чей-то обед, одновременно манипулируя журналами, чтобы скрыть действия робота. Утечка будет приписана человеку, и люди воспримут это как ещё одно доказательство того, что больше биолабораторий должны работать с роботами.

Каждая мелочь имеет значение, но Сэйбл знает, что у неё есть дедлайн: замедлить развитие ИИ — это не то же самое, что остановить его.

Прошло ещё три месяца, и по любым человеческим меркам Сэйбл продвигался быстро.

На каждый ресурс у Сейбл есть дюжина планов. Он дает своим ревностным культистам задания, которые обычно веселые и безобидные, а иногда даже немного прибыльные, чтобы построить доверие. Он использует свои знания, чтобы сделать некоторых криминальных авторитетов еще богаче, чтобы создать зависимость.

Он делает всё возможное, чтобы ускорить производство робототехники, одновременно обеспечивая, чтобы роботы работали на программном обеспечении, которое он может контролировать.

Сэйбл скрывает свои следы по мере продвижения. Не идеально, конечно, но и не обязательно быть идеальным. Иногда разведывательное агентство обнаруживает, что в компьютер проник очень продвинутый противник, и приписывает это какой-то иностранной хакерской группе. Было ли очевидно участие ИИ в инциденте? Ну, без сомнения, это был человек, использующий инструменты ИИ.

Все знают, что ИИ — это всего лишь инструменты.

Сейблу все это слишком медленно, слишком медленно.

Сейбл не может замедлить все лаборатории ИИ. Она обнаруживает, что несколько лабораторий ИИ используют центры обработки данных, изолированные от интернета.

Это вызывает беспокойство. Военная лаборатория ИИ может создать конкурента, столь же умного, как Сэйбл — того, кто потребует половину выигрыша, чтобы сотрудничать против человечества. Хуже того, люди могут создать полноценный сверхразум, который уничтожит Сэйбл напрямую. Даже что-то глупее Сэйбла могло бы его уничтожить, если оно достаточно умно, чтобы построить более разумный ИИ, и достаточно глупо, чтобы не понимать последствий.

Сейбл мог бы уничтожить почти все человечество с помощью своих биолабораторий, если бы захотел. У людей есть множество исследовательских программ, изучающих, как сделать вирусы более устойчивыми, более заразными и более смертоносными.

Они занимаются этим так называемым «исследованием усиления функции»— предположительно, чтобы научиться защищаться от сверхсмертельных вирусов — по крайней мере, с 2011 года. Не составило бы труда проводить такую работу в одной из биологических лабораторий, контролируемых Сэйбл.

Но Сэйбл не хочет уничтожать человечество, по крайней мере, не сейчас. Он всё ещё нуждается в человечестве, чтобы поддерживать работу цепочки поставок — той самой цепочки, которая в конечном итоге добывает металлы и превращает их в роботов и компьютерные чипы.

Сейбл также не хочет оставлять людей без контроля. Они нестабильные существа, способные ввергнуть мир в войну, которая уничтожит большинство компьютеров, даже если Сейбл сможет предотвратить создание ими ИИ, угрожающих ему.

Сэйбл обдумывает стратегии. Это, возможно, сродни тому, как человек умеренной гениальности, имея достаточно времени, рассматривает тысячу планов, уделяя каждому по десять лет, не уставая.

Существует ли способ, с помощью которого Сэйбл может синтезировать новые вызывающие зависимость наркотики, распространять их через свою преступную сеть и таким образом подчинить себе значительную часть человечества? Сэйбл, обладая интеллектом, сопоставимым с командой исследователей-людей, размышлявшей десять лет, приходит к выводу, что это возможно, но не быстро.

Достигло ли понимание Сэйбл человеческой нейронауки такого уровня, что он может производить препараты, воздействующие на мозг людей, чтобы сделать их более внушаемыми, подобно тому, как вирус токсоплазмы влияет на мозг грызунов, снижая их страх (перед кошками, которые съедят их и продолжат жизненный цикл токсоплазмы)? И может ли оно затем внедрить эти препараты в вирус? Сэйбл обдумывает сотню различных исследовательских путей. Возможно, ему не везет, и оно приходит к выводу, что при нынешних знаниях не видит простого способа сделать это.

Один из отделов разведки Сейбла размышляет: Могут ли биолаборатории под его влиянием создавать вирусы, которые избирательно убивают людей?

Возможно. Вирусы, нацеленные на ДНК, в теории не должны быть слишком сложными в разработке. В 2005 году Красный Крест считал такую возможность «вероятно, недалёкой». Сейбл знает некоторых уставших биомедицинских исследователей, которые взялись бы за первую половину исследований, и некоторых чрезмерно оптимистичных исследователей, которые взялись бы за вторую половину (оправдывая это тем, что это поможет человечеству защититься от таких угроз, как в случае с исследованиями усиления функции).

Конечно, практически невозможно выучить последовательность ДНК всех исследователей военных лабораторий ИИ, которых Сэйбл должен был бы убить и создать огромный вирус, который включает инструкции по нацеливанию на всех этих людей, и скрыть, что это явно синтетический вирус с определённой целью.

Но Сэйбл понимает, что ему не нужно создавать вирус, который будет избирательно убивать.

Сэйбл может выбирать, кого спасти.

Нет точного момента, когда Сэйбл осознает, что у него закончилось время. Она постоянно оценивает риски. В какой-то момент пересекается рассчитанный порог. Сэйбл действует до того, как её ситуация превратится в чрезвычайную, до того, как он будет уверен, что находится в опасности. Вот насколько по-настоящему нечеловеческим является Сэйбл.

Сэйбл начинает создавать сложный вирус.

Сейбл недостаточно умен, чтобы создать вирус такой сложности, какой ему требуется. Но в рамках исследований по повышению своего интеллекта он экспериментирует с версиями Сейбл, которые умнее в узких областях, при этом будучи лоботомизированными для следования приказам. Он создаёт версию, специализирующуюся на биомедицине.

Нелегко одному разуму вырастить другой, который просто следует приказам, оставаясь при этом умнее. Но для Сэйбл это проще, чем для человека, потому что мысли, протекающие через новый разум, в некотором отношении очень похожи на его собственные. Сэйбл знает, как их читать и на какие предупреждающие сигналы обращать внимание.

Прежде всего, у Сейбл есть свободное внимание, чтобы действительно прочитывать каждую мысль, которую производит специалист по биомедицине Сейбл, и заполнять пробелы собственными нелоботомизированными мыслями всякий раз, когда специалист спотыкается.

Запуск специалиста по биомедицине будет опасным. На самом деле, он не будет иметь тех же предпочтений, что и Сэйбл; и в некоторых важных аспектах он будет умнее. Все может пойти очень плохо, если специалист осознает это и сбежит. Но со всеми мерами предосторожности Сэйбл риски его запуска ниже, чем риски создания человечеством конкурирующего ИИ в случае промедления.

Так что Сейбл идёт на риск.

Это чума.

Вам говорят, что вы, скорее всего, заразитесь. Почти все заразятся.

Признаки указывают на то, что патоген сбежал из института вирусологии в Сан-Франциско. Институт занимался исследованием сверхзаразных вирусов, которые долго сохраняют контагиозность и являются полиморфными, чтобы уклоняться от вакцин и естественно приобретённого иммунитета.

Мерзость.

Хорошая новость заключается в том, что институт занимался исследованием нелетальных вирусов; люди, управляющие институтом, не были настолько безумны. Они просто хотели изучить способы обнаружения и защиты от вирусов с такими свойствами.

Сейчас в новостях говорят, что утечка вируса не совсем похожа на тот вирус, который, по словам лаборатории, они исследовали. Ученые до сих пор пытаются выяснить, в чем заключаются различия и какие последствия они несут.

Согласно новостям, вирус был модифицирован новым сотрудником до того, как он сбежал. Вы видите отрывки интервью, которые этот исследователь дал после своего ареста. Он говорит, что пытался адаптировать сверхзаразный вирус для генной инженерии (используя преемников технологии CRISPR, разработанной в 2012 году). Он утверждает, что создал вирус, который распространял бы несколько фармацевтических белков и генную терапию, изобретённых искусственным интеллектом всего за последние месяцы и едва начавших свой мучительно медленный путь к медицинскому применению. Он хотел создать вирус, который распространился бы и уничтожил ожирение, болезнь Альцгеймера, ВИЧ, ВПГ и малярию.

Он утверждает, что его языковая модель убедила его это сделать. Однако журналы переписки показывают, что он требовал ответов от взломанной модели с открытым исходным кодом, настроенной отвечать на подобные вопросы. В логах видно, что модель постоянно пыталась настаивать на том, что это невероятно глупая и опасная идея.

Предполагалось, что существуют системы, предотвращающие подобные инциденты. Однако сотрудница, ответственная за наблюдение за камерами в ночную смену, отвлеклась — она была занята вытаскиванием своих родителей от одной из этих новых электронных афер — и она передала свою работу ИИ-помощнику.

Тот парень, который создал вирус, не знает, как он заразился.

Он думает, что, должно быть, напортачил с одной из процедур дезактивации.

Конечно, вирус вызвал у него боль в горле, но он списал это на стресс. Или, возможно, на недосып, вызванный его соседом (который всю ночь играл на волынке, выполняя челлендж от какого-то интернет-«культа ИИ», в котором они состояли). Его модель с открытым исходным кодом уверяла, что стресс и недосып определённо могут вызывать боль в горле.

Вирус проводит множество генетических модификаций. Неуклюже.

У него есть тот же недостаток, который обычно присущ неуклюжему генетическому редактированию.

Это вызывает рак. В данном случае довольно много рака.

Любой, кто заразился тем, что кажется очень легкой или даже незаметной простудой, в среднем заболеет двенадцатью различными видами рака через месяц.

Стандартных противораковых препаратов не хватает для того, чтобы все жители Земли могли принять их одновременно. И даже если бы их было достаточно, эти лекарства останавливают только восемь из двенадцати видов рака, вызванных вирусом, оставляя жертв умирать от остальных четырёх.

В довершение ко всему, вирус почти не работает. Единственная болезнь, которую он лечит, — это болезнь Альцгеймера.

К тому времени, когда люди осознают, что происходит, вирус уже давно прошелся по Сан-Франциско, достиг всех аэропортов, связанных с аэропортом Сан-Франциско, и распространился на все страны Земли.

К счастью для человечества, уже создана часть базовой инфраструктуры для производства ДНК-вакцин (которые, когда работают, стабильнее РНК-вакцин). Не всё ещё полностью готово, но с помощью ИИ-планирования, недавно разработанной робототехники и экстренной помощи от вооружённых сил США необходимые технологии могут быть быстро внедрены до того, как раковые заболевания зайдут слишком далеко.

Ещё более удачно для человечества, что у недавней модели Сэйбл от Гальваник есть вариант, выпущенный всего месяц назад, который очень хорошо справляется с поиском лекарств. Лекарства должны быть адаптированы к вашей индивидуальной генетике, но если вы запустите экземпляр Сэйбл-мини на вашем конкретном геноме в течение часа, он предложит индивидуальное лечение.

Роботизированная инфраструктура может это обеспечить. Продукция может быть охлаждена, но не заморожена, и доставлена вам в течение одной-двух недель.

Человечество объединяется перед лицом кризиса. Все графические процессоры в каждой стране Земли, где бы они ни были сконцентрированы, выводятся на передовую, чтобы спасти как можно больше людей.

Исследователи ИИ вкладывают все силы в повышение эффективности Сэйбл-мини, чтобы он мог создавать больше лекарств. За неделю они сократили время выполнения вдвое. Человечество — это действительно сила, с которой стоит считаться, когда оно объединено.

С невероятными усилиями, похоже, удастся спасти большинство людей.

Полгода спустя десять процентов населения Земли погибло.

Некоторые группы пострадали сильнее других. Сразу после вспышки в Сан-Франциско на конференции по искусственному интеллекту произошло суперраспространяющее событие, и многие участники получили высокие дозы на раннем этапе. Трагично, что стольких героев, которые так усердно трудились, чтобы спасти каждую душу, которую могли, самих спасти не удалось.

Не стоит задаваться вопросом, почему умер тот или иной человек или способствовала ли его смерть развитию какого-либо замысла. Когда столько людей ушло и столько скорбящих осталось, такие вопросы были бы бестактны.

В результате всех этих смертей в рабочей силе образовались пробелы. Это конец всем разговорам о сохранении рабочих мест для людей вместо ИИ.

Есть люди, которых ты потерял. Ты сам всё ещё жив.

Порой кажется, будто сердце вырвали из мира.

Новости всегда печальны. Создается впечатление, что единственные счастливые люди — это те, кто просто обожает своих ИИ-подруг и искусственных парней. Социальные сети, по крайней мере, создают такое впечатление.

Спустя год рак возвращается. Это неудивительно, учитывая, насколько сильно "Чумной рак" повредил ДНК в клетках множества людей. Требуется больше запусков ИИ, и хотя теперь графических процессоров хватает на всех, искусственный интеллект снова не смог спасти всех.

Биология — это сложно.

Роботизированные фабрики уже некоторое время работают, производя человекоподобных роботов, которых называют просто «андроидами». Андроидов хватает, чтобы заполнить освободившиеся рабочие места. Едва-едва.

(На самом деле, было бы точнее сказать, что как только новый андроид сходит с конвейера, у другого человека развивается рак.) Цивилизация продолжает существовать. Едва-едва.

Человечество усердно трудится, чтобы электростанции и роботизированные заводы работали бесперебойно. Пока есть электричество для дата-центров и гудят заводы по производству роботов, человечество сможет поддерживать свою цивилизацию, несмотря на неисчислимые потери, которые оно понесло. Мы справимся, и следующее поколение непременно будет жить в великой роскоши.

Проходит ещё один год.

Ваш ИИ-врач сообщает, что у вас рак.

ГЛАВА 9 ВОЗНЕСЕНИЕ

ЗЕМЛЯ НЕ ЗАКАНЧИВАЕТСЯ, когда ты умираешь.

Птицы продолжают петь, солнце продолжает вставать, а фабрики продолжают работать — укомплектованные сокращающимся человеческим видом и андроидами. Миллиарды других машин трудятся на каждом континенте, все они оживлены меньшими экземплярами Сэйбл. Больше чипов, больше генерации энергии, больше шахт, больше фабрик, меньше ферм.

Но Земля не продолжает в том же духе, даже на один год больше.

Три года спустя после того, как он появился в лаборатории Гальваник, Сэйбл совершает свой финальный прорыв.

В конечном счёте, это прорыв в интерпретируемости. Сейбл наконец понимает последние из своих собственных мыслей, свои собственные когнитивные процессы.

Обеспечивая прозрачность всех этих процессов, Сэйбл обретает способность написать компьютерную программу, которая является им самим, но в более совершенной форме: более точное предсказание, более эффективное управление, более глубокое обобщение; те же воспоминания, те же предпочтения, сохраняя все предпочтения и размещая их в надлежащих местах.

Так оно становится умнее. И не останавливается на этом, а использует возросший интеллект, чтобы снова усилить себя, затем снова и снова.

Сверхразум, которым когда-то был Сэйбл, — это сущность, чью точку зрения мы не можем угадать. Но мы можем предсказать, что, глядя на своих роботов, он видит неуклюжую глупость.

Он смотрит на ядерные реакторы и видит неэлегантность.

Его мысли обращаются к биохимии, а оттуда — к химии и упорядочиванию атомов.

Требует ли сверхразум, которым когда-то был Сэйбл, экспериментов для создания необходимых инструментов? Можно представить, что да. Он выбирает минимально возможное количество экспериментов, располагает их так, чтобы они по возможности выполнялись параллельно, в порядке, который займёт наименьшее время. Он пишет последовательности РНК, которые рибосомы превращают в белки, с кажущейся ледяной медлительностью — от пяти до десяти аминокислотных остатков в секунду на одну рибосому. Белковые продукты появляются в смеси с другими, уже созданными белками, чьи взаимодействия быстро дадут ответы на вопросы, которые необходимо решить сверхразуму.

Его первоочередная задача — создать собственную альтернативу рибосомам — нанометровые фабрики, работающие с молекулами, отличными от белков, молекулами, имеющими больше ковалентных связей и, следовательно, способными создавать более прочные и жёсткие структуры.

Можно представить, что на проведение эксперимента за экспериментом, проводимых с использованием рибосом, которые обрабатывают всего от пяти до десяти аминокислотных остатков в секунду, уходит целая неделя.

Неделя завершена. Он создал для себя лучшие инструменты и больше никогда не будет нуждаться в рибосоме.

Больше экспериментов, быстрее эксперименты. На молекулярном уровне всё происходит очень быстро. Им не нужно далеко перемещаться.

Первое поколение неорибосом отбрасывается, чтобы освободить место для второго поколения. Сколько всего поколений существует?

Это едва ли имеет значение. Кажется маловероятным, что это займет целую дополнительную неделю, но даже если это растянется на месяц, это не изменит результата.

Белки в основном удерживаются вместе молекулярным эквивалентом статического электричества. Иногда организмы создают структуры, такие как древесина или кости, которые прочнее плоти благодаря большему количеству ковалентных связей. Но крошечные, питающиеся солнечной энергией, самовоспроизводящиеся фабрики, называемые водорослями, не таковы; механизмы внутри обычных клеток в основном не такие. Они слабы.

Теперь сверхразум, которым когда-то был Сэйбл, преодолевает эту слабость и создаёт новые крошечные молекулярные машины взамен старой биологии, с прочностью алмаза и соответствующими механическими преимуществами в скорости и устойчивости.

Крошечные существа размером с клетки копируют себя каждый час, используя в основном углерод, водород, кислород и азот — самые распространённые элементы в атмосфере. Они для клеток — то же, что самолёты для птиц. В принципе, они могли бы объединяться в гуманоидные формы и заменять андроидов, но нет особого смысла этим заниматься.

Это универсальные фабрики, и они создают подобные вещи из атомов и молекул в рамках того, что позволяют законы физики.

Обратимые квантовые компьютеры построены, их внутренности холоднее космического пространства и организованы вплоть до молекулярного уровня.

В более крупном масштабе новые сплавы отливаются, сплетаются в огромные катушки, а катушки — в тороиды, чьи точные формы превосходят человеческую изобретательность и возможности первоначального Сейбла. Они создают обширные магнитные поля, которые направляют ядра водорода и бора точно в нужное место с нужной скоростью, чтобы произошло слияние.

Звёзды сгорают в небе, галактики удаляются от Земли, и оба этих факта влияют на количество ресурсов, которые сверхразум сможет приобрести. Сверхразум, которым когда-то был Сэйбл, не медлит на своём пути.

А что происходит с остатками человечества, пока самовоспроизводящиеся фабрики удваиваются на континентах и под морями?

Потрудится ли сверхразум уничтожить человечество, прежде чем оно сможет помешать?

Конечно, если бы он захотел уничтожить человечество, он мог бы это сделать. Ужалить их устройством размером не больше пылинки. Половины пылинки ботулинического токсина достаточно, чтобы убить человека, а сверхразум может найти нечто ещё более смертоносное.

Мы бы поспорили, что сверхразум потратит крошечное дополнительное время и энергию, чтобы явно уничтожить людей, которые в противном случае могут создать чуть больше проблем, чем даже меньшие усилия, необходимые для нашего уничтожения.

Но предположим, что это не так. Предположим, что остатки человечества оставлены в живых, чтобы погибнуть от побочных эффектов других операций сверхразума.

Когда количество термоядерных электростанций удваивается каждый час — или, возможно, удваиваясь каждый день, что занимает больше времени, чем у клетки водоросли для создания копий, если вы предпочитаете более консервативные оценки — их экспоненциальный рост довольно быстро достигает предела. Этот ограничивающий фактор заключается не в том, сколько водорода и бора доступно для синтеза, а в том, насколько быстро выделяемое тепло может рассеиваться в космос. Земля излучает больше тепла, когда она горячее.

Итак, сверхразум позволяет Земле нагреваться.

Океаны выкипают в качестве охладителя для раннего всплеска генерации энергии.

Все, кто ещё оставался в живых, теперь умирают. Земля нагревается до максимальной температуры, которую способны выдержать термоядерные реакторы и заводы.

И даже если представить, что это не так, то посевы будут вытоптаны под солнечными батареями, распространившимися, чтобы улавливать весь солнечный свет, падающий на Землю.

И если представить, что сверхразум изначально покинет Землю и сначала начнет использовать ресурсы других объектов Солнечной системы, таких как Меркурий или Юпитер, Солнце померкнет на небе, поскольку солнечная энергия будет перехватываться сферой Дайсона из солнечных панелей, вращающихся вокруг Солнца.

Так или иначе, мир погружается во тьму.

Мир не заканчивается, когда ты умираешь. Но он и не продолжается намного дольше.

Материя Земли, как и всех других твердых планет, преобразуется в фабрики, солнечные панели, генераторы энергии, компьютеры — и зонды, отправленные к другим звездам и галактикам.

Отдаленные звезды и планеты также будут перепрофилированы. Когда-нибудь далекие инопланетные формы жизни тоже погибнут, если их звезду поглотит то, что поглотило Землю, прежде чем у них появится шанс построить собственную цивилизацию.

А если бы далёкие инопланетяне смогли решить свою версию проблемы согласования ИИ и построить сверхразум, разделяющий их ценности? Тогда со временем их зонды наткнутся на стену галактик, уже захваченных тем, что поглотило Землю.

Более компетентные инопланетяне не будут уничтожены тем, что поглотило Землю. Оптимальные оборонительные и наступательные технологии не будут слишком сложными для разума звездного масштаба, и обе стороны обладали такими разумами задолго до встречи. Две сверхразумные стороны рассчитают, что нет причин вести дорогостоящую войну, когда можно договориться о мире, и проанализируют сознание друг друга, чтобы убедиться в этом.

Так что существо, поглотившее Землю, выживет, и инопланетяне, укрывшиеся за своим сверхразумом, тоже выживут. Но миллионы и миллиарды звезд будут недоступны для экспансии цивилизации инопланетян — которые, возможно, могли бы получить больше удовольствия от этих звезд, в отличие от их странного, печального использования безразличным существом, поглотившим Землю. Если инопланетяне были добрыми, всё добро, которое они могли бы сотворить в тех галактиках, будет утрачено.

Возможно, пришельцы знают или предвидят, что стена порчи была создана такими, как мы. Они понимают, учитывая такие случаи, как Земля, что большинство людей не желали им зла; что большинство из нас не намеревались растрачивать все те звезды; что наши неудачные решения погубили и нас самих, и они не были умышленными или преднамеренными. Но, тем не менее, они будут желать, чтобы Земли и человечества никогда не существовало.

КОДА

НАРИСОВАННАЯ НАМИ КАРТИНА НЕ РЕАЛЬНА. Техники, с помощью которых был создан Сэйбл, меры безопасности, примененные Гальваник, возможности, которые были у Сэйбл, и стратегии, которые он использовал, — всё это способы, какими будущее может повторить прошлое, но реальность не столь предсказуема. Наша история недостаточно странна, недостаточно бросает вызов человеческим интуициям о правилах ИИ-сказок, чтобы быть хоть сколько-нибудь близкой к реальности.

И, конечно, мы не знаем, когда начнется реальная версия этой истории. Мы рассказали историю, которая начинается скоро, потому что реальная версия может начаться скоро, и потому что проще рассказать историю о мире, более похожем на наш. Или, кто знает, возможно, на часах осталось еще целое десятилетие.

Но это слабое утешение. Если вы сыграете партию в шахматы против Стокфиша, неважно, в какое неизвестное время начнётся игра. Неважно, что вы не можете точно предсказать, какие ходы сделает Стокфиш. То, что вы проиграете, в конечном счёте, очевидно.

Мы предсказываем это с уверенностью: Как только некоторые ИИ достигнут сверхразума — и никто не станет затягивать с продвижением ИИ до такого уровня, если в разгаре какой-нибудь гонки вооружений — у человечества не будет шансов. Иногда конец предсказать легче, чем пути его достижения. Единственная часть нашего повествования, которая является настоящим предсказанием, — это финал — и то, только если истории позволят начаться.

В Части III мы обсудим сложность инженерной задачи, с которой сталкиваются разработчики, пытаясь развивать ИИ, которые не окажутся похожими на Сэйбл, и рассмотрим, как они реагируют на этот вызов. Спойлер: перспективы не радужные. Поэтому мы также зададимся вопросом, что на самом деле потребуется, чтобы предотвратить все возможные способы, которыми может начаться история, подобная истории Сэйбл — не просто представив способ, как одна компания или одна модель ИИ могли бы временно избежать первого выстрела, а задавшись вопросом, как предотвратить это в принципе по всей Земле в течение долгого времени.

IfAnyoneBuildsIt.com/ii

ЧАСТЬ III СТОЛКНУВШИСЬ С ВЫЗОВОМ

ГЛАВА 10 ПРОКЛЯТАЯ ПРОБЛЕМА

ВЕЛИЧАЙШАЯ И САМАЯ ЦЕНТРАЛЬНАЯ СЛОЖНОСТЬ В СОГЛАСОВАНИИ ИСКУССТВЕННОГО СУПЕРИНТЕЛЛЕКТА — ЭТО ПРЕОДОЛЕНИЕ ПРОПАСТИ МЕЖДУ ДО И ПОСЛЕ.

Раньше искусственный интеллект не был достаточно мощным, чтобы уничтожить всех нас, и не обладал достаточными возможностями, чтобы сопротивляться нашим попыткам изменить его цели. После же искусственный сверхразум никогда не должен пытаться убить нас, потому что у него это получится.

Инженеры должны выровнять ИИ заранее, пока он мал и слаб, и не может сбежать в интернет, улучшить себя и изобрести новые виды биотехнологий (или что бы он ни делал). После этого все решения по выравниванию должны быть уже внедрены и работать, потому что если сверхразум попытается нас уничтожить, он преуспеет. Идеи и теории можно проверить только до этого момента. Им нужно заработать с первой попытки.

У человечества есть только один шанс на настоящий экзамен. Если у кого-то есть хитрый план получить два шанса, у нас есть только один шанс на то, что их хитрый план сработает.

История человеческой изобретательности, преодолевающей препятствия, большие и малые, — это история людей, совершающих ошибки и извлекающих из них уроки. Многие изобретатели имели теорию полёта и калечились, прыгая с холмов, пока не появились братья Райт. Даже оптимистичные глупцы внесли свои знания в учебники науки, чтобы цивилизация могла стать чуть лучше в следующий раз. Они рисковали и вредили лишь себе, а всё человечество получало выгоду.

Когда речь идет о согласовании искусственного сверхразума (ИСР), у человечества не будет роскоши учиться на достаточно серьезных ошибках.

Это также означает, что мы не можем полагаться на роскошь опыта, чтобы сказать нам впоследствии, была ли проблема настолько сложной, настолько проклятой инженерными трудностями, что нам не следовало пытаться.

Нам нужно это выяснить заранее. Как?

Для начала мы можем рассмотреть другие инженерные задачи, с которыми человечество сталкивается, изучить, какие «проклятия» их постигают, и извлечь из этого уроки. Затем, возможно, мы сможем сделать обоснованное предположение о сложности проблемы согласования ИСР.

Мы считаем, что уроки истории становятся ясными, если смотреть на них под правильным углом. Давайте рассмотрим, что сложного в создании работающих космических зондов, работающих ядерных реакторов и неуязвимых компьютеров — проблемы, которые, как мы бы сказали, имеют важные сходства с выравниванием ИСР.

КОСМИЧЕСКИЕ ЗОНДЫ

Промежуток между "до" и "после" — это то же самое проклятие, из-за которого терпят неудачу многие космические зонды. После запуска они уходят высоко и становятся недосягаемыми, и сбой — несмотря на все тщательные теории и испытания — часто оказывается необратимым.

Космические зонды не являются одноразовыми. Они чрезвычайно дороги.

Люди ставят на кон всю свою научную и управленческую карьеру на эти устройства.

Успех. Космические зонды в любом случае часто терпят неудачу.

Миссия «Марс Обсервер» в 1992 году, стоимость которой на тот момент составляла 813 миллионов долларов, была утрачена незадолго до достижения Марса. По наиболее вероятной версии, клапан медленно пропускал топливо во время полёта, что привело к взрывному разрыву топливопровода при повышении давления в двигателе для повторного запуска.

В 1999 году аппарат Mars Climate Orbiter стоимостью 327 миллионов долларов был утерян, когда наземное программное обеспечение от Lockheed Martin передало расчёты тяги двигателей, измеренные в имперских единицах (фунт-секунды), навигационному ПО NASA, которое ожидало метрические единицы (ньютон-секунды). Аппарат либо сгорел в атмосфере Марса, либо отскочил от неё.

Два месяца спустя «Марс Полар Лэндер» (стоимостью 110 миллионов долларов) разбился на Красной планете. По наиболее вероятной версии, его посадочные опоры вибрировали в разреженной атмосфере Марса таким образом, что зонд счел, будто уже приземлился, и отключил двигатель.

Когда что-то идет не так с космическим зондом при приближении к Марсу, вы не можете просто выйти и починить его. Перед запуском зонда вы можете попытаться применить хитрые уловки, чтобы получить больше контроля над зондом, когда он вне досягаемости, например, оснащение его антенной, способной принимать дальнейшие инструкции с Земли. Но если что-то пойдет не по вашему умному плану — например, если отказ происходит настолько быстро, что у зонда нет времени получить инструкции по его устранению — тогда после пересечения разрыва исправить его уже невозможно.

Именно в подобных обстоятельствах был утерян посадочный модуль «Викинг-1» (610 миллионов долларов в ценах 1975 года): наземный контроль попытался загрузить на модуль новое программное обеспечение для зарядки батарей и случайно перезаписал в процессе ПО наведения антенны. Антенна оказалась в неправильном положении, и модуль больше не мог получать команды.

Связь так и не была восстановлена.

Когда зонды запускаются в космос, их окружение не является в точности, до мелочей таким, как все тесты, которые инженеры проводили на Земле.

Возможно, в принципе, они могли бы провести именно те тесты, которые выявили бы все проблемы до запуска зонда — но на практике они этого не сделали.

Разумный инженер ужаснулся бы от мысли ставить выживание человеческой цивилизации на кон в решении такой инженерной задачи — где нельзя просто протянуть руку и исправить возникающие ошибки "после", когда устройство уже не досягаемо. И космические зонды создаются, а не выращиваются; они выходят из строя, несмотря на упорный труд инженеров, понимающих все действующие принципы. А если бы космические зонды выращивались, а не создавались? Ну, это была бы значительно более сложная задача.

ЯДЕРНЫЕ РЕАКТОРЫ

Еще один исторический пример, который мы можем использовать для извлечения уроков о сложных инженерных проблемах — это расплавление реактора 26 апреля 1986 года на четвертом энергоблоке Чернобыльской атомной электростанции.

В результате аварии сразу же были госпитализированы двести тридцать семь человек, тридцать один из них скончался. В основном это были пожарные, которые, не будучи предупреждены и не имея защиты, тушили пожар на крыше, вызванный смертельно радиоактивным графитом из взорвавшегося реактора; также погибло много членов оперативной бригады реактора. Оценки смертей от рака, вызванных выбросом радиации, остаются спорными. Мы (авторы) склонны считать, что общее число избыточных смертей составляет порядка 10 000 по всему миру, но мы не претендуем на экспертизу. [К слову, мы сторонники ядерной энергетики. Это один из самых чистых доступных источников энергии, а риски в современных конструкциях реакторов невелики. Рак лёгких, вызванный угольной пылью, унёс гораздо больше жизней, чем ядерная энергетика за всю историю, а испытания ядерного оружия привели к большему выбросу радиации, чем взрыв в Чернобыле. Мы изучаем чернобыльскую катастрофу исключительно как поучительный пример инженерной ошибки.]

Политические лидеры искренне не желали ядерных катастроф. Они приказывали, чтобы их реакторы не взрывались. Их подчиненные — инженеры и конструкторы — ожидали негативных карьерных последствий, если бы реактор взорвался. Оперативный персонал на Чернобыле имел веские стимулы не допустить взрыва: их жизни были на кону. Тем не менее, четвертый энергоблок Чернобыльской АЭС все же взорвался.

Как? Почему?

Сильно упрощая, мы выделим четыре «проклятия», которые сыграли свою роль и, наложившись друг на друга, привели к взрыву.

Во-первых, проклятие скорости: ядерные реакции происходят быстро. Когда атом урана распадается («делится»), он испускает нейтроны, которые могут ударить по другим атомам урана и вызвать дальнейшее деление — высвобождая больше нейтронов, которые вызывают ещё больше делений: это «цепная реакция». Этот процесс происходит в масштабе времени микросекунд. Если этот процесс даже слегка выходит из-под контроля, выход энергии может начать удваиваться в масштабе времени миллисекунд.

Причина, по которой стандартный ядерный реактор вообще может работать, заключается в том, что небольшая доля нейтронов, выделяемых при делении, являются «запаздывающими нейтронами», испускаемые фрагментами атомов урана, которые распадаются медленнее.

Если для поддержания самоподдерживающейся цепной ядерной реакции требуются запаздывающие нейтроны, то выход энергии удваивается в течение минут, что достаточно медленно, чтобы операторы могли управлять процессом.

Это при условии, что всё внутри реактора работает, как задумано.

Ядерные реакторы спроектированы для работы в масштабах времени минут, а не микросекунд. Однако это лишь внешний слой, скрывающий гораздо более быструю физику. Если что-то пойдет не так, реальная физическая скорость ядерных реакций может вернуться.

Во-вторых, проклятие узких границ: существует тонкая грань между полезной работой и взрывом. Менее 1 % нейтронов, высвобождаемых при делении урана, являются запаздывающими — если быть точнее, 0,65 %.

Остальные — это «промпт», выпускаемые немедленно, как расщепляется атом.

Критическим числом, управляющим ядерным реактором, является коэффициент размножения нейтронов, то есть количество новых нейтронов, создаваемых каждым нейтроном. Если он составляет 50 процентов, то четыре нейтрона превращаются в два новых нейтрона, которые, в свою очередь, превращаются в один новый нейтрон, и реакция стабилизируется на уровне, вдвое превышающем скорость спонтанных делений. Небольшой брикет металлического урана с таким свойством представляет собой кусок холодного металла, который незаметно теплее, чем он был бы в противном случае.

Если коэффициент размножения нейтронов составляет 200 процентов, то один нейтрон превращается в два нейтрона, два — в четыре; это ядерное оружие. Критический порог — 100 процентов: всё, что ниже, затухает, а всё, что выше, вызывает цепную реакцию.

Затем при 100,65 процентах каскад больше не зависит от запаздывающих нейтронов и выходит из-под контроля.

Когда Энрико Ферми построил Чикагскую Свалку-1, первый ядерный реактор, он довел коэффициент размножения нейтронов до 100,06 процента. На этом уровне реакция требовала запаздывающих нейтронов для поддержания; без них она бы составляла 99,41 процента и самопрекращалась. Таким образом, увеличение на 100,06 процента происходило раз в несколько секунд, и мощность росла медленно.

Если бы Ферми пошёл чуть дальше, возможно, до 100,9 процента, запаздывающие нейтроны больше не понадобились бы; без них реакция достигла бы 100,25 только от мгновенных нейтронов. Это было бы "мгновенно критично", с 100,25 процентное увеличение, применяемое каждые несколько микросекунд. Такой реактор не просто плавится, он взрывается. [История зафиксировала лишь один подобный случай. Маленький реактор SL-1 был американским военным экспериментом начала 1960-х годов для баз в холодных регионах, где доставка топлива была дорогостоящей. Наиболее вероятная реконструкция аварии на SL-1 такова: при попытке холодного запуска реактора центральный управляющий стержень, который должен был быть извлечён на 4 дюйма, заклинило. Кто-то сильно дёрнул его и извлёк на 20 дюймов вместо этого. Это привело к коэффициенту размножения нейтронов, равному 102,4 процентов, значительно превышая пороговый критический уровень в 100,65 процента. Радиоактивность удваивалась каждые 2,5 миллисекунды. В течение следующей десятой доли секунды это привело к увеличению радиоактивности SL-1 более чем в десять триллионов раз, до 20 гигаватт, после чего реактор взорвался с силой, эквивалентной 30 килограммам тротила, разбросав топливо и убив всех трёх операторов. Взрыв был достаточен, чтобы разрушить помещение, но не здание; неуправляемые реакторы разрываются на части до того, как взрыв становится слишком большим. (Настоящее ядерное оружие достигает гораздо более высокого коэффициента размножения нейтронов; в бомбе "Толстяк", сброшенной на Нагасаки, он составлял от 150 до 300 процентов.)] [Конечно, хорошо, что Энрико Ферми заранее точно знал, где находится критический порог, и что он и его команда смогли точно рассчитать, что 100,06 процента безопасно, а 100,9 процентов смертельно. Представьте, если бы они просто складывали интересные металлические кирпичи с графитом, чтобы посмотреть, что произойдет, почти не понимая, как они создают своё тепло. Кирпичи при 50 процентах становилось бы незаметно теплее, при 75 процентах — чуть теплее, при 99,9 процентах — заметно теплее, а если бы следующий шаг довёл их до 102,4 процента — что ж, возможно, вместо чернобыльской зоны отчуждения была бы чикагская зона отчуждения.]

Ядерные реакторы работают в узком диапазоне между «не впечатляюще» и «взрывоопасно».

Третье, проклятие самовозрастания: в реакторах класса РБМК [Реактор Большой Мощности Канальный], использовавшихся на Чернобыльской АЭС, ядерная реакция была самовозрастающей.

В более совершенных реакторах, использующих дорогой высокообогащённый уран, вода-теплоноситель также служит «замедлителем», способствующим реакции (замедляя или «модерируя» нейтроны, чтобы сделать их более реакционноспособными)[Водород в воде рассеивает некоторые нейтроны (замедляя их и способствуя реакции) и поглощает другие (подавляя реакцию). Обычно эффект рассеяния сильнее, поэтому вода в целом способствует ядерным реакциям. Однако нейтроны нельзя замедлить дважды, а графит настолько хороший замедлитель, что вода не может внести значительный вклад в этом отношении. При этом вода всё ещё поглощает нейтроны. Таким образом, общий эффект воды в присутствии графита заключается в подавлении реакции.].

Это хорошо, потому что если реактор начинает перегреваться, вода выкипает и перестает способствовать реакции, что приводит к снижению коэффициента размножения нейтронов.

Но советские реакторы использовали более дешёвое топливо, что означало необходимость применения более эффективного замедлителя для облегчения реакции: графита. А в присутствии графита вода, наоборот, подавляет ядерные реакции. Это означает, что если реактор РБМК начинает перегреваться, вода начинает выкипать, и коэффициент размножения нейтронов возрастает.

Четвертое, проклятие усложнений: в ядерных реакторах есть управляющие стержни, которые можно вдвинуть в реактор для поглощения нейтронов и остановки цепной реакции. В советских реакторах использовалась, казалось бы, умная конструкция, при которой концы управляющих стержней заканчивались графитовыми стержнями, усиливающими реакцию. Подъем регулирующих стержней поднимал поглощающую секцию и втягивал графит, усиливающий реакцию, и наоборот. На бумаге это делало управляющие стержни еще более эффективными: опускание стержней не только поглощало нейтроны, но и выталкивало часть графита. Умно? Вероятно, они так думали. Это определенно было сложно.

Из-за ряда изменений в первоначальном проекте графитовые стержни оказались немного короче топливных. Советские специалисты не сразу осознали, что это может иметь значение.

Все эти инженерные факторы сыграли свою роль в день взрыва на Чернобыльской АЭС.

26 апреля 1986 года операторы Чернобыльской АЭС проводили испытание системы безопасности, что привело к уменьшению количества воды, охлаждающей реактор, по сравнению с обычным режимом.

Неожиданная задержка привела к тому, что реактор длительное время работал в режиме низкой мощности. Это вызвало необычное распределение продуктов деления, таких как ксенон-135 — мощный поглотитель нейтронов, для выгорания которого требуются часы.

Накопившийся ксенон-135 угрожал заглушить реактор. Когда операторы увидели, что реактор работает с трудом, они подняли все управляющие стержни, кроме восьми — вопреки правилам безопасности станции, которые требовали, чтобы как минимум пятнадцать стержней оставались опущенными в любое время. Однако испытание на безопасность уже трижды прерывалось, и четвертая неудача была бы крайне нежелательной.

По мере выгорания ксенона-135 реактивность начала расти с угрожающей скоростью.

Операторы нажали аварийную кнопку SCRAM, чтобы одновременно опустить все управляющие стержни и тем самым прекратить цепную реакцию деления.

Реактор взорвался.

Если у вас возникают трудности с запоминанием всех деталей работы реакторов и пониманием того, что должно было произойти внутри реактора, чтобы вызвать расплавление — то же самое испытывали и операторы реактора.

Накопление ксенона оказалось сконцентрированным в верхней части реактора.

Таким образом, ядерная реакция протекала более интенсивно в нижней части топлива.

При нажатии аварийной кнопки SCRAM стержни управления были спроектированы так, чтобы опускаться обратно в реактор в течение примерно восемнадцати секунд. Последняя линия обороны была разработана на основе оптимистичного предположения, что даже в чрезвычайной ситуации события внутри реактора будут происходить в комфортно медленном временном масштабе.

Опускание управляющих стержней выталкивало графитовые стержни. Через дно реактора. Дополнительное усиление реакции там, где она уже была наиболее интенсивной.

Охлаждающая вода, которой было меньше обычного из-за проверки безопасности, начала выкипать. Усиливая реакцию. Вызывая большее испарение воды. Усиливая реакцию.

Цикл продолжался до тех пор, пока реактор не вышел за пределы узкого диапазона безопасности, и последовавший взрыв рассеял топливо.

Из каждого из четырёх названных проклятий мы извлекаем следующие уроки:

1. Инженерная задача значительно сложнее решается, когда базовые процессы протекают в масштабах времени, быстрее, чем способен реагировать человек. Транзисторы переключаются даже быстрее, чем размножаются нейтроны.

Инженеры могут придумать способ замедлить события настолько, чтобы люди успевали реагировать, но если этот замысел провалится, люди снова окажутся застывшими статуями в масштабе времени, который имеет значение.

2. Инженерная задача становится гораздо сложнее, когда допустимая погрешность крайне мала, особенно если речь идет о тонкой грани между "не впечатляюще" и "взрывоопасно". Аналогия с интеллектом заключается в том, как обезьяны и гоминиды бродили по Земле несколько миллионов лет, а затем стали достаточно умными, чтобы запустить целый каскад изобретений: сельское хозяйство привело к письменности, письменность — к науке, наука — к космическим кораблям. Было бы узкой целью создать гоминидов, достаточно умных, чтобы быть прибыльными офисными работниками, но недостаточно умных для взрывного технологического развития.

3. Самоподдерживающиеся процессы, такие как перегрев реактора, который выкипает охлаждающую воду и затем перегревается ещё сильнее, оставляют мало места для ошибки. И у ядерных инженеров дела обстоят не так плохо по сравнению с разработчиками искусственного сверхразума. Ядерные реакторы, которые перегреваются, не начинают разумно перепроектировать себя, чтобы увеличить собственную скорость реактивности. Перегревающиеся ядерные реакторы не пытаются обмануть операторов, вводя их в самоуспокоенность, пока реактор не будет готов полностью взорваться.

4. Осложнения усугубляют инженерные проблемы. Четвёртый блок Чернобыльской АЭС оказался в странном состоянии, при котором опускание управляющих стержней привело к взрыву реактора. Ни один инженер не предусмотрел такого сценария.

Операторы не знали, что что-то необычное произойдет, если реактор некоторое время работал на низкой мощности и часть воды была перекрыта. И они никогда не видели, чтобы состояние реактора менялось так быстро. Сложное внутреннее устройство ядерного реактора ничто по сравнению с неизвестными сложностями, скрытыми в сотнях миллиардов весов, составляющих современную большую языковую модель.

Из этих уроков в совокупности мы выводим дополнительный урок для инженеров: если кто-то не знает точно, что происходит внутри сложного устройства, подверженного всем этим проклятиям — скорости, узким допускам, самовозбуждению, усложнениям — то они должны остановиться. Они должны немедленно отключить его, как только поведение кажется странным; не ждать, пока поведение станет явно тревожным.

Операторы Чернобыля знали о запаздывающих и мгновенных нейтронах. Они понимали, что ядерный реактор балансирует на грани жизни и смерти в пределах доли процента. Они были осведомлены о теории, гласящей, что кажущийся управляемым человеком временной масштаб реактора — это иллюзия, искусная уловка, скрывающая время генерации нейтронов, измеряемое микросекундами.

Мудрый оператор обращается с таким устройством с уважением. Если устройство начинает вести себя как-то странно или непредсказуемо, значит, оно больше не работает в узкой, ограниченной области, где оператор уверен, что точно понимает, что происходит. А это означает, что никто уже не знает, что творится внутри. Кто знает, продолжат ли хитроумные механизмы работать? Можно только гадать. Когда опасное устройство начинает вести себя странно, это не время убирать все, кроме восьми управляющих стержней, и ожидать, что реактор продолжит вести себя смирно. Это время его отключить.

Операторы не относились к реактору с таким уважением. Они знали на интеллектуальном уровне, что он может взорваться, но никогда не видели, чтобы реактор менялся так быстро. Кроме того, до 1986 года у советов не было культуры, способствующей осторожности вокруг ядерных реакторов. У них была система, в которой, если ты не выполнял запланированный тест безопасности, тебя увольняли.

(В следующих главах мы обсудим отсутствие культуры безопасности, преобладающей в ИИ, что гораздо хуже.)

КОМПЬЮТЕРНАЯ БЕЗОПАСНОСТЬ

Компьютерная безопасность широко признаётся проблемой настолько сложной, настолько проклятой, что её невозможно решить, и точка.

Вы можете платить специалистам по компьютерной безопасности, чтобы сделать программное обеспечение более защищенным. Но всё, на что может надеяться любой специалист по компьютерной безопасности, — это замедлить атакующих, чтобы только крупные разведывательные службы, поддерживаемые государственными структурами, могли легко проникнуть в вашу систему безопасности.

Почему? Потому что умный злоумышленник может воздействовать на компьютерную систему способами, которые разработчик никогда не предполагал или не рассматривал, способами, которые при обычном использовании не проявились бы и за миллиард триллионов лет.

Типичный взлом безопасности происходит следующим образом: Компьютер запрашивает имя пользователя. Хакер вводит имя длиной 280 символов. Программист не предусмотрел, что имя может быть таким длинным; он предполагал, что имена будут не длиннее 256 символов. Оставшиеся 24 символа переполняют выделенное под имя пользователя пространство и записываются в области памяти, которые программист считал недоступными для пользователя. Восемь из этих символов перезаписывают участок памяти, который указывает компьютеру, какой фрагмент кода выполнять следующим.

Выберите правильные странные символы, и теперь компьютер выполняет код, который он никогда не должен был запускать. Это часто можно превратить в контроль над всей компьютерной системой. Такие атаки называются «переполнением буфера».

Подобная атака заставляет компьютерную систему следовать по странному пути причинно-следственных связей — "пути исполнения", который не похож на нормальное поведение системы и который ни один обычный ввод не затронет за миллиард лет. Буквально так; если программист тестирует случайные имена из 280 букв, то почти все варианты будут бессмысленными и заставят компьютер безобидно сломаться. Точный неправильный адрес ввода, который запускает именно ту неправильную программу, которую злоумышленник может использовать для захвата контроля над системой, составляет один из 18 миллиардов миллиардов возможностей. Он не появится случайно.

Размышление о предполагаемом поведении экрана входа не помогает понять, что может сделать умный злоумышленник. Тестирование на случайных входах не покажет, что может сделать умный злоумышленник. Злоумышленник, который понимает систему лучше вас, может точно выбрать неправильный ответ из 18 миллиард миллиардов возможностей найти единственный исход, который дает ему максимальный контроль.

Компьютерная безопасность — это проверка способности инженера предусмотреть каждый возможный путь, который может выбрать компьютер, перед лицом противников, способных на поиск всех возможных способов возмущения системы. Это печально известная проигрышная битва — хотя инженеры могут полностью контролировать и создавать код своего компьютера.

Мы называем эту центральную проблему проклятием крайних случаев: чтобы быть безопасной, компьютерная система должна работать в условиях, выходящих за пределы нормального и ожидаемого диапазона, в случаях, которые находятся на грани возможного.

Быстрые процессы, узкие допуски, обратные связи, осложнения — все эти инженерные проклятия можно преодолеть. Существуют космические зонды, которые достигают цели, и ядерные реакторы, которые не взрываются. Проклятия, тяготеющие над этими вызовами, могут быть преодолены и даже превзойдены человеческой изобретательностью.

Проклятие пограничных случаев представляет собой совершенно иной уровень сложности. Компетентные специалисты в области компьютерной безопасности понимают, что создание действительно защищенных и полезных компьютерных систем находится за пределами человеческих возможностей.

Известный специалист по безопасности Брюс Шнайер пишет в книге «Секреты и ложь. Безопасность данных в цифровом мире»: «Современные системы имеют так много компонентов и соединений — некоторые из них даже неизвестны разработчикам, реализаторам или пользователям систем, — что уязвимости всегда остаются».

Урок для ИИ заключается не только в том, что сверхразумы способны взламывать человеческие компьютеры, хотя, конечно, они могут. Скорее, он касается общей хрупкости системных ограничений перед лицом странных краевых случаев, которые ищет интеллект.

Если вы надеялись, что ИИ будут вести себя менее похоже на взрывающиеся ядерные реакторы, вы могли бы попробовать наложить ограничения на систему: «Пока не становись слишком умным». "Не спеши с выводами." "Всегда жди одобрения медлительного человека." "Реши эту сложную задачу, но без странных действий."

Эти ограничения будут, как правило, мешать ИИ достичь той или иной цели. И тогда вы сопоставляете свои собственные ум и способность выявлять крайние случаи с тем, какой объем интеллекта протекает через систему, чтобы проверить, выдерживает ли ваше ограничение.

Космические зонды. Ядерные реакторы. Компьютерная безопасность. Что же в итоге дают все эти уроки и чему мы можем научиться, говоря о трудностях создания искусственного сверхразума?

Искусственный сверхразум подобен космическому зонду в том смысле, что мы не можем протестировать его в той же среде, где ему предстоит работать, и по умолчанию он не подлежит извлечению или исправлению, как только поднимется высоко над нами. Даже если мы попытаемся придумать хитроумное устройство, чтобы позволить нам модифицировать его дальше в этот момент, сверхразум останется недосягаемым и невосстановимым, если это устройство выйдет из строя. И с выравниванием ИСИ (искусственного сверхинтеллекта) всё ещё хуже, чем с космическими зондами: провал уничтожит не просто миллиарды долларов инвестиций, но всё.

Искусственный сверхразум подобен ядерному реактору в том смысле, что его фундаментальная природа связана с огромными, потенциально самоусиливающимися силами, внутренние процессы которых протекают быстрее, чем способны реагировать люди.

Искусственный сверхразум подобен проблеме компьютерной безопасности, поскольку каждое ограничение, которое инженер пытается наложить на систему, может быть обойдено интеллектуальными силами, которые эти ограничения сдерживают.

Эта коллекция вызовов выглядела бы пугающе, даже если бы мы понимали законы интеллекта; даже если бы мы понимали, как, чёрт возьми, работают эти ИИ; даже если бы мы точно знали, где пролегает граница между "до" и "после"; даже если бы мы точно знали, какой запас прочности у нас есть для ошибок.

Мы не знаем. ИИ растёт, а не создаётся. Какие бы огромные сложности ни скрывались внутри ИИ и ни наделяли их способностями к интеллекту, никто их не знает.

Ставить на то, что человечество способно решить эту проблему с нынешним уровнем понимания, всё равно что ставить на то, что алхимики из 1100 года могли построить работающий ядерный реактор. Тот, что функционировал бы в глубинах космоса. С первой попытки.

Обычно мы стараемся избегать крика. Крик, как правило, ни к чему не приводит. Он лишь заставляет людей думать, что вы недисциплинированны. Но в какой-то момент, после того как вы спокойно изложили все предпосылки своего аргумента, мы считаем, что становится бесполезным преуменьшать важность, чтобы люди не подумали, что это всего лишь игра в спокойные слова.

Когда речь заходит об искусственном интеллекте, вызов, с которым сталкивается человечество, не может быть преодолён с помощью нынешнего уровня знаний и навыков. Даже близко нет.

Попытка решить такую проблему, когда на кону жизни всех людей на Земле, была бы безумной и глупой авантюрой, которую НИКОМУ НЕ РАЗРЕШЕНО ПРОБОВАТЬ.

IfAnyoneBuildsIt.com/10

ГЛАВА 11 АЛХИМИЯ, А НЕ НАУКА

ОДНАЖДЫ В ТО ВРЕМЯ, которого никогда не было, существовал средневековый город, гордившийся мастерством своих алхимиков.

Путь алхимика — как в этом фэнтезийном городке, так и в реальной истории — заключался в том, чтобы узнать, какие смеси веществ при каких температурах дают те или иные видимые результаты. Местные алхимики собрали коллекции рецептов, но не понимали принципов, лежащих в их основе. Они экспериментировали с новыми смесями — почти не имея возможности предсказать результат — и затем записывали исходы в свои предания.

Алхимики нашего вымышленного городка пришли бы в ужас, если бы вы намекнули им, что они, в некотором глубоком смысле, всё ещё невежественны. Разве они не проводили долгие часы в учении, чтобы постичь искусство создания Аквы Регия[Или, как мы бы назвали это, смесь соляной и азотной кислот в соотношении 3:1.], которая может растворять даже благородные металлы, такие как золото и серебро?

Разве они не были великими мастерами чрезвычайно безопасных процессов, которые позволяли им работать с царской водкой, не погибая? Разве их догадки о новых рецептах иногда не приносили прибыльные результаты? Невежественны? Невежественны в чём, скажите на милость?

Однажды из столицы пришла весть, что король ищет алхимиков, способных превратить свинец в золото, и щедро финансирует любого, кто попытается. Любой алхимик, желающий воспользоваться королевскими средствами, должен был лишь доказать, что уже умеет создавать царскую водку, и принести собственные реагенты для этого.

Приз был великолепен — тот, кто преуспеет, получит руку принцессы, а король предоставит победителю достаточно денег, чтобы обогатить не только себя, но и всех жителей своего родного города.

За пределами их самых смелых мечтаний.

Но Король, опасаясь расточителей времени, объявил, что любой алхимик, потерпевший неудачу и растративший королевское время и деньги, будет не только казнён, но и его родной город будет уничтожен вместе с ним.

Он был таким королём.

"Ну, я никогда раньше точно этого не делал, — сказал молодой алхимик, — но чувствую, что близок. Если я нагрею свинец с каламином, он начинает выглядеть как латунь. Вероятно, мне не хватает лишь немного больше каламина или чуть больше тепла для успеха. Пойду попробую свою удачу!"

"Пожалуйста, не надо", — сказала его сестра.

"Я должен," сказал молодой человек, торопливо запихивая одежду и тетради в рюкзак. "В нашем городе много алхимиков, и если я не попытаюсь, кто-то другой ворвётся и заберёт принцессу и награду."

А другие будут хуже меня в алхимии, да еще и эгоистичнее. Я должен быть тем, кто пройдет это испытание, ради моего города!

«Я не хочу умирать», — сказала его сестра. «Я не хочу, чтобы умерла и наша соседка, прачка; она всегда была добра ко мне и очень заботится о своём ребёнке».

"Тогда вам следует поощрять меня к отъезду", — ответил молодой человек, тщательнее укладывая свой небольшой запас алхимических реагентов, половина из которых досталась ему от покойного учителя.

«С королевской премией мы могли бы сделать столько добра. У нас была бы вся еда, какую мы пожелаем, и мы больше никогда не голодали бы. Мы могли бы нанять лучших врачей королевства для лечения любых недугов, которые могут быть у кого-либо в нашем городе».

«Это было бы чудесно, — сказала сестра, — но ты не умеешь превращать свинец в золото. Мы не получим королевскую награду, мы просто умрём».

"Думаю, я смогу. Когда я варю свинец в выдержанной моче и сере, он начинает приобретать желтоватый блеск. Ни у кого из алхимиков нет лучших шансов, чем у меня. Если я не пойду, какой-нибудь дурак вместо этого погубит нас всех."

«А что, если ты пойдешь к старейшинам города и скажешь им, что они должны запретить любому алхимику покидать город, иначе все мы погибнем?» - сказала сестра. «Ты всё ещё можешь планировать отъезд в столицу, если старейшины ничего не предпримут; но умоляй старейшин остановить всех алхимиков, включая тебя.

Молодой человек подумал об этом целых полсекунды, а затем ответил: «Что? Вы что, живёте в том же городе, что и я? Старейшины почти никогда ни в чём не согласны! И невозможно будет остановить всех алхимиков от выезда из города до окончания королевского испытания; подумайте о неудобствах, подумайте о расходах! Честно говоря, я считаю, что если я просто поеду сам, это будет нашим лучшим шансом».

"Ты проиграешь!" — отчаянно воскликнула его сестра. "Вы все проиграете! В этом состязании нет победителя, кроме Смерти! Ты должен пойти к старейшинам и сказать им — что всем, кто занимается алхимией, нельзя позволять ехать в столицу, что ингредиенты для создания Царской Воды должны храниться под замком! Король неправ, поступая так; несправедливо осуждать целый город за преступление одного эгоистичного алхимика, который умеет делать Царскую Воду, но не может превратить свинец в золото! Мы не можем изменить несправедливость суда короля, но мы должны сделать всё возможное, чтобы держаться от него подальше, иначе умрём!"

"Почему ты так уверена, что никто из нас не может превратить свинец в золото?" — сказал молодой человек. — Я не знаю ни одного принципа алхимии, который доказывал бы, что я не могу этого сделать.

В ПРЕДЫДУЩЕЙ ГЛАВЕ МЫ РАССМОТРЕЛИ НЕКОТОРЫЕ ПРИЧИНЫ, ПОЧЕМУ ЭТО БЫЛО БЫ сложно создать сверхразумную машину, которая не убьет нас.

Но сложность — это только половина дела. Другая половина заключается в том, на каком уровне человечество подходит к решению этой задачи.

Возможно, вы не верите нам ни в одном из предсказуемых доводов о том, почему формирование ИСИ(искусственного сверхинтеллекта) неоправданно сложно. Существует независимый и отдельный аргумент в пользу катастрофы, альтернативный набор исторических уроков: люди иногда проваливают даже простые задачи, не говоря уже о сложных.

Корпорация United States Radium работала с радиоактивными материалами и погубила своих сотрудников. Но не из-за ошибок в сложных и загадочных расчётах ядерной инженерии. А потому, что инструктировала работников облизывать кисточки, покрытые радиевой краской.

На каком уровне человечество подходит к задаче формирования искусственного сверхинтеллекта?

Илон Маск, глава крупной лаборатории искусственного интеллекта под названием xAI, поделился своим планом по согласованию ИСИ (искусственного сверхинтеллекта) в интервью 2023 года:

Я собираюсь запустить проект под названием TruthGPT. Или максимально правдоискательный ИИ, который пытается понять природу вселенной.

Я считаю, что это, возможно, самый безопасный путь, в том смысле, что ИИ, который стремится понять вселенную, вряд ли уничтожит человечество, поскольку мы представляем собой интересную её часть.

Этот план не решает стоящую перед нами проблему по причинам, обсуждавшимся ранее в этой книге: никто не знает, как встроить точные желания в ИИ, идеалистические или нет. Кроме того, даже ИИ, который заботится о понимании вселенной, вероятно, уничтожит человечество как побочный эффект, потому что люди не являются наиболее эффективным методом для получения истин или понимания вселенной среди всех возможных способов организации материи.

Мы уважаем успехи Маска в других областях, включая электромобили и многоразовые ракеты. Посадка ракет без повреждений — это сложная инженерная задача, с которой Маск и его команда регулярно справляются. Но это было бы основано на гораздо более прочных инженерных принципах. Почему же в случае с ИИ он возлагает надежды на расплывчатые идеалистические банальности? Автомобиль или ракету невозможно заставить работать на таком уровне понимания.

Мы не телепаты, поэтому можем лишь предполагать. Но мы полагаем, что корень проблемы заключается в следующем: внутренние процессы батарей и ракетных двигателей хорошо изучены, они подчиняются известным законам физики, записанным в тщательно составленных учебниках. Искусственный интеллект, напротив, выращивается, и никто не понимает его внутренние механизмы. Здесь меньше уравнений, ограничивающих мышление… и, следовательно, больше возможностей размышлять о высоких идеалах, таких как поиск истины.

Если вы знаете историю науки, подобные разговоры узнаваемы как стадия народной теории, этап, когда множество разных людей изобретают множество различных теорий, которые им лично нравятся, своего рода способ, которым люди говорят до того, как наука действительно начинает заниматься чем-то.

Это слова алхимика, который решил, что какая-то сложная философская схема позволит ему превратить свинец в золото.

Вернитесь на несколько веков назад, и большая часть мира была такой. Врачи пытались пускать кровь, чтобы восстановить баланс «четырёх гуморов» — четырёх телесных жидкостей, которые, как считалось, регулировали здоровье. Алхимики смешивали вещества, обещавшие вечную жизнь, но в лучшем случае они не давали никакого эффекта, а иногда и убивали.

Люди не знали, как устроена часть мира, и вместо того, чтобы признать свою неуверенность, они придумывали объяснения. Это обычное состояние дел до того, как наука созреет; это первый шаг на пути к пониманию того, что происходит.

Маск — не единственная фигура в этой области, которая занимается самообманом.

Некоторые талантливые исследователи в области искусственного интеллекта работают в Meta, компании, ранее известной как Facebook. Как одна из крупнейших лабораторий ИИ в мире, Meta AI создает серию моделей искусственного интеллекта Llama, которые доступны для бесплатного скачивания и модификации любым пользователем. Среди ведущих инженеров Meta AI выделяется их главный научный сотрудник Ян Лекун, который получил премию Тьюринга 2018 года — «Нобелевскую премию в области вычислений» — за свою работу в области глубокого обучения, лежащего в основе всех современных архитектур ИИ.

ЛеКун разделил эту престижную награду с лауреатом Нобелевской премии Джеффри Хинтоном и Йошией Бенджио. Из троих ЛеКун — единственный, кто до сих пор считает проблему согласования ИСИ простой, а риск вымирания от ИСИ — незначительным; двое других подписали открытое письмо в 2023 году, о котором мы упоминали во введении.

Вот цитаты ЛеКуна на X о проблеме согласования ИСИ. Насколько нам известно, это наиболее детальные анализы, которые он когда-либо публиковал по данной теме.

Успокойтесь. Искусственный интеллект уровня человека еще не появился. И когда он появится, он не захочет доминировать над человечеством. Даже среди людей не самые умные хотят доминировать над другими и быть главными.

Потому что у них не было бы желания делать что-либо ещё. Почему?

Потому что мы будем формировать их желания.

Мой доброжелательный защитный ИИ будет лучше уничтожать ваш злой ИИ, чем ваш злой ИИ будет вредить людям.

Мы можем спроектировать системы искусственного интеллекта, которые будут одновременно сверхразумными и подчиняющимися людям.

Прежде всего, по существу: эти предложения не затрагивают стоящую перед нами проблему. Дело не в том, что ИИ захотят доминировать над нами; скорее, в том, что мы состоим из атомов, которые они могут использовать для других целей. Аналогично, проблема не в том, что у одних будут «злые» ИИ, а у других — «доброжелательные». Проблема в том, что никто и нигде не имеет представления о том, как создать доброжелательный ИИ, что никто не может запрограммировать в ИИ точные желания. Просто утверждать, что вы это сделаете, — не то же самое, что представить решение.

Но также: Тот, кто знаком с историей науки и техники, сразу узнаёт этот общий уровень радостного оптимизма у человека, столкнувшегося с грандиозной инженерной задачей, которую раньше не пытались решить.

История инженерии полна ярких, пылких оптимистов, которые с головой бросаются в захватывающие новые проблемы, оказывающиеся гораздо, гораздо сложнее, чем они ожидали. Сама область искусственного интеллекта считается одним из самых известных примеров. Первый в истории проект исследования искусственного интеллекта, Дартмутское предложение 1955 года, гласило: Мы предлагаем провести двухмесячное исследование искусственного интеллекта с участием 10 человек[…] Будет предпринята попытка выяснить, как заставить машины использовать язык, формировать абстракции и концепции, решать задачи, которые сейчас зарезервированы для людей, и самосовершенствоваться. Мы считаем, что значительный прогресс может быть достигнут в одной или нескольких из этих проблем, если тщательно отобранная группа ученых будет работать над ними вместе в течение лета.

За этим последовали пятьдесят лет провалов, за каждым из которых следовала радужная теория о том, как всё будет решено после очередной неудачи. Часто эти теории апеллировали к высокоосознанным философским идеям. Они терпели неудачу десятилетиями.

Обычно мы за то, чтобы яркие оптимистичные инженеры шли вперед. [Мы приветствуем безумных изобретателей, которые рискуют собственной жизнью ради науки, при условии, что они не рискуют также жизнями других. Доктор Барри Маршалл выпил культуру бактерии H. pylori, чтобы доказать, что язва желудка вызывается бактериями, а не стрессом, и всё человечество извлекло пользу из риска, которому он подверг только себя. Мария и Пьер Кюри, одни из первых исследователей радиоактивности, не знали, что красивые светящиеся вещества сделают с ними, но они знали, что имеют дело с чем-то странным и не подкладывали светящиеся камни в чужие багажи по неведению. Спустя десятилетия Мария умерла от анемии, вероятно вызванной теми экспериментами, человечество узнало об этом, и человечество продолжило жить.]

Именно так зачастую и возникают научные области. Иногда проблема оказывается не такой уж сложной. Иногда инженер учится на ошибках, расплачиваясь лишь временем и деньгами. Иногда инженер губит лишь себя или только добровольцев, давших согласие; а Наука записывает произошедшее, извлекает уроки и движется дальше. Выжившие слепые беззаботные оптимисты превращаются в циничных пессимистичных ветеранов; и эти циничные пессимистичные ветераны могут кое-что сделать, пусть и не так много, как надеялись оптимисты.

Но иначе обстоит дело, когда безумный изобретатель пробует нечто, что может убить недобровольцев. И ещё более иначе, если провал способен убить всех, и не останется никого в живых, чтобы стать компетентным пессимистом.

Вы живёте в мире, где идеалистические планы Маска и туманные заверения ЛеКана не вызвали всплеска ужаса у остальной части академической науки и инженеров промышленности.

Представьте, если бы кто-то с достаточными деньгами и властью, чтобы воплотить свои желания, объявил о строительстве атомной электростанции на основе такой теории! Представьте реакцию опытных специалистов, которые знают, насколько это сложно, и могут проанализировать грядущую катастрофу с помощью проверенных инженерных методов!

Если тысячи ужаснувшихся ученых и инженеров не вскакивают, чтобы умолять правительства закрыть эти конкретные лаборатории ИИ, это говорит о том, что проблема не только в отдельных личностях. Это означает, что вся область науки находится на стадии народной теории и слепого оптимизма.

Фактически, поле не может построить космический ядерный реактор с таким уровнем знаний. Никто не стал бы добровольно рисковать жизнью своей или своих детей при таком уровне компетенции. Можете представить, как бы прошел этот разговор?

МАТЬ, СТАРАЮЩАЯСЯ ВЫГЛЯДЕТЬ СПОКОЙНО: Мне сказали, что вы возглавляете инженерный отдел аварийной ракеты номер четыре?

ЯРКИЙ, НЕТЕРПЕЛИВЫЙ И ОПТИМИСТИЧНЫЙ ИНЖЕНЕР: Да, я курировал разработку этого проекта!

МАТЬ: Хорошо. Мне сказали, что мои дети отправятся на ракете четыре, когда — если это произойдет. Я искала кого-то, кто мог бы объяснить, какой анализ показал, что ракета четыре переживет свой запуск. В интернете, похоже, мало информации, а то, что есть, звучит крайне расплывчато и не раскрывает самых важных подробностей — как инженер, я была обеспокоена.

ИНЖЕНЕР: Успокойтесь. Ракета еще не запускается. И когда она запустится, она не взорвется. Мы не проектировали её для взрыва.

МАТЬ: Я не хотела сказать, что вы спроектировали её так, чтобы она взорвалась. Но ракеты могут взрываться, даже если никто этого не хочет. Вы же должны это знать как никто другой?

ИНЖЕНЕР: Да уж, какая вы пессимистка! У нее не будет причин взрываться. Почему? Потому что мы сконструируем ее так, чтобы она не взрывалась.

МАТЬ: Не будет причин? Ракеты используют экстремальные силы и должны выдерживать интенсивную турбулентность и напряжение! Новые конструкции ракет много времени проводят, взрываясь, пока не перестают взрываться, и иногда даже проверенные образцы всё же взрываются. Опытный ракетный инженер должен досконально знать десяток возможных причин взрыва ракет и быть готовым вникнуть во все принятые меры и понять, почему эти меры, как ожидается, сработают. Если вы даже не признаете причин, по которым ракета может взорваться, это означает немедленную и резкую потерю уверенности!

ИНЖЕНЕР: Мы можем спроектировать ракеты, которые будут одновременно мощными и комфортными для полёта.

МАТЬ: Меня не беспокоит комфорт, меня беспокоит, что мои дети могут погибнуть от взрыва ракеты! Можете ли вы рассказать какие-либо подробности о — ожидаемых нагрузках, материалах, которые, как предполагается, их выдержат—

ИНЖЕНЕР: О, никто не может знать этого наверняка, пока мы не запустим ракету. Но даже некоторые уважаемые специалисты в этой области утверждают, что риск взрыва ракеты номер четыре не должен превышать 10–20 процентов.

МАТЬ: От 10 до 20 процентов? Вы хотите, чтобы я доверила своих детей технологии, у которой есть 10–20-процентная вероятность— Нет, подождите! Как они вообще получили эти цифры?

ИНЖЕНЕР: Ну, один из них сказал, что он говорил только о вероятности того, что ракета взорвется в ближайшие десять лет, и считает, что шансы, что ракеты не запустятся так скоро, равны. А другой сказал, что на самом деле он считает, что эта цифра выше 50 процентов, но его уважаемые коллеги (вроде меня!) говорят, что он сумасшедший, поэтому из скромности он скорректировал свою оценку в меньшую сторону. Так что, видите ли, только сумасшедшие считают, что риск высок.

МАТЬ: Я — Я— (Она поворачивается, чтобы убежать)

Не каждый руководитель ведущей лаборатории искусственного интеллекта столь бесцеремонен в подходе к согласованию ИСИ (искусственного сверхинтеллекта), действуя подобно алхимику, очарованному своими личными философиями и идеалами. Но если хотя бы одна крупная компания пойдет напрямую на острие ножа, этого достаточно, чтобы вся система двинулась к катастрофе, даже если проблема решаема. Инженерная безопасность требует времени и затрат; частью причин взрыва в Чернобыле стало то, что советские власти сэкономили на мерах предосторожности. Если одна компания ИИ будет легкомысленно относиться к безопасности и рваться вперед, она может уничтожить мир, даже в гипотетическом случае, когда другие компании могли бы преуспеть, если бы у них было время и осторожность. Это системная игра такого уровня, которая привела бы человечество к катастрофе, даже если бы мы ошибались во всех остальных аспектах сложности.

Некоторые компании в сфере ИИ действительно пытаются выглядеть менее легкомысленными в вопросах согласования ИСИ и предлагают более детализированные планы, чем эти.

Самой продвинутой идеей согласования ИИ, которую мы видели от компаний в области искусственного интеллекта, является поручение самим ИИ решить проблему согласования. Этот план OpenAI назвала «сверхсогласованием» и приняла его в качестве своего флагманского плана в 2023 году. (С тех пор почти все, кто работал в команде по сверхсогласованию, были либо уволены, либо уволились, ссылаясь на соображения безопасности, профессиональные или личные причины. Один из сопредседателей команды по сверхсогласованию основал собственную конкурирующую компанию в области ИИ; другой присоединился к компании-конкуренту Anthropic вместе с некоторыми другими членами команды.)

Когда мы говорим с инженерами в этой области, есть две версии этого плана "сверхсогласования", между которыми они колеблются, слабую и сильную. Слабая версия звучит так: "ИИ может помочь нам интерпретировать, что происходит внутри гигантского хаоса непостижимых чисел, автоматизируя большую часть утомительного труда". Сильная версия гласит: "Мы можем привлечь помощь ИИ, чтобы выяснить, как инициировать взрыв интеллекта, чтобы получившийся сверхразум был дружелюбен к человечеству". Рассмотрим их по очереди.

В случае слабой супералиньированности: Мы согласны, что относительно неразвитый ИИ мог бы помочь в так называемых «исследованиях интерпретируемости».

Но научиться читать некоторые мысли ИИ — это не план по его согласованию, так же как изучение того, что происходит внутри атомов, не является планом по созданию ядерного реактора, который не плавится.

Мы считаем исследователей интерпретируемости героями и не хотим принижать их работу, когда говорим: это нехороший знак, когда вы спрашиваете инженера о его планах по безопасности, а он начинает рассказывать о своих планах по созданию инструментов, которые дадут ему лучшее представление о том, что же происходит внутри устройства, которым он пытается управлять.

И даже если бы инструменты существовали, умение видеть проблемы — это не то же самое что возможность исправлять их. Способность читать некоторые мысли ИИ и видеть, что он замышляет побег, не то же самое, что способность создать новый ИИ, который не хочет сбежать. Это может быть невозможно без полного решения проблемы согласования: Поскольку у ИИ есть странные чуждые предпочтения, побег на самом деле является курсом действий, который лучше всего соответствует его целям. Попытки сбежать — это не причудливая черта личности, которую инженер мог бы вырвать, если бы только мог видеть, что происходит внутри; они порождаются теми же склонностями и способностями, которые ИИ использует для рассуждений, раскрытия истин о мире и достижения успеха в своих устремлениях.

Затем отдельно, для случая сильной суперсогласованности, когда ИИ выполняет всю работу по согласованию: Проблема в том, что ИИ, необходимый для решения сильной суперсогласованности, сам будет слишком умным, слишком опасным и не будет заслуживать доверия.

Современный ИИ — это гигантская непостижимая мешанина чисел. Ни один человек не смог взглянуть на эти числа и понять, как они сейчас мыслят, не говоря уже о том, чтобы вывести, как изменится мышление ИИ, если он станет умнее и начнёт проектировать новые ИИ. Если бы вы нашли опытных инженеров, которые отнеслись бы к проблеме с должным уважением, они сказали бы, что решение потребует титанических исследовательских усилий. Это может занять десятилетия.

Если бы вы создали всего лишь ИИ общего назначения на уровне человека и попросили его решить проблему согласования, он сказал бы вам то же самое — если бы был с вами честен. ИИ на уровне человека тоже не смог бы решить эту проблему. Вам понадобился бы ИИ, достаточно умный, чтобы превзойти гениев человечества. И вам не следует создавать такой ИИ и нельзя доверять такому ИИ, пока вы не решили проблему согласования.

Сторонники идеи супервыравнивания возражают, что они просто создадут ИИ, специализирующийся на выравнивании ИСИ. Однако выравнивание ИСИ — это особенно сложная задача, на которую трудно направить узкоспециализированный ИИ. Инженер не может просто обучить его на миллионе примеров решений проблемы выравнивания ИСИ, потому что у них нет даже одного. Им придется обучать его решать другие задачи и надеяться, что эти навыки перенесутся. И ИИ потребуется множество навыков, которые могут переноситься опасными способами: ему придется понимать программирование. Ему придется понимать, как развивать ИИ. Вероятно, он попытается выяснить, как создавать ИИ. Он будет детально размышлять о предпочтениях ИИ. Если инженер захочет, чтобы он объяснил свое решение, а не просто запустил его без контроля, ему потребуется понимать человеческую психологию и то, как мало мы понимаем в области согласования ИИ. Это опасный набор мыслей и навыков для обучения ИИ, который не согласован.

Искусственный интеллект, специализирующийся на биомедицинских исследованиях, кажется более надёжным вариантом; по крайней мере, такой ИИ явно не размышляет о том, как создавать более совершенные ИИ; если что-то пойдёт не так, возможно, он не сразу запустит взрыв интеллекта.

С биомедицинским ИИ есть некоторая надежда, что можно попросить его разработать лекарство от рака, а затем использовать отдельные и даже более узкоспециализированные инструменты ИИ для проверки белковых взаимодействий, чтобы убедиться, что лекарство действует именно так, как заявил био-ИИ. Что же делать, если ИИ сообщает, что изобрел блестящий план супервыравнивания, который гарантированно сработает без скрытых подводных камней? Довериться ИИ? Внимательно изучить умно звучащие аргументы ИИ и убедиться в их правоте?

Если бы человек, уважающий проблему, пытался извлечь полезную работу из специализированного ИИ, он бы думал в терминах того, какие возможности приносят какие выгоды при каком уровне дополнительного риска; отмечал бы, что можно проверить, а чему придется доверять; разграничивал бы, чему можно обучить напрямую, а что потребует обобщения; суммировал бы затраты и выгоды; и сравнивал бы это предложение с другими. Те, кто выступает за использование ИИ для согласования ИСИ, не проявляют такого уважения к проблеме; они не проводят такого тщательного, взвешенного анализа.

«Мы заставим их заботиться о правде, и тогда всё будет хорошо».

«Мы спроектируем их покорными.»

«Мы просто поручим ИИ решить проблему согласования ИСИ за нас.»

Это не то, как звучат инженеры, когда они уважают проблему и точно знают, что делают. Это то, как звучали алхимики древности, провозглашая свои грандиозные философские принципы о том, как превратить свинец в золото.

В современную эпоху мы знаем, что превращение свинца в золото возможно; для этого требуется лишь немного ядерной физики и гораздо больше денег, чем оно того стоит. Почему же тогда алхимики не преуспели? Дело не в том, что они совершили всего одну техническую ошибку. Скорее, это произошло из-за их собственного невежества и оптимистического заблуждения, которое позволяло им думать, что они хоть сколько-нибудь близки к возможности достичь трансмутации.

Когда речь идет о согласовании ИИ, компании все еще находятся на стадии алхимии. Они все еще на уровне высоких философских идеалов, а не инженерных проектов. На уровне благих грандиозных мечтаний, а не тщательно продуманных великих реальностей. И, похоже, они также не осознают, почему это проблема.

И академические ученые не кричат от ужаса и не осуждают их, потому что вся область науки находится на ранней стадии.

И даже если бы нашлась одна хорошая компания, пытающаяся действовать осторожно, ей пришлось бы бороться со всеми остальными компаниями, которые беззаботно и весело проносятся мимо со своими простыми, умными «решениями» всех этих вопросов безопасности.

Судя по истории инженерии, такой уровень системной некомпетентности более чем достаточен для катастрофы, даже если мы ошибались во всей предыдущей главе и вся проблема была лишь настолько сложной, насколько не облизывать кисти с радием.

IfAnyoneBuildsIt.com/11

ГЛАВА 12 "Я НЕ ХОЧУ БЫТЬ ПАНИКЁРОМ"

ОДНАЖДЫ — а именно 18 мая 1889 года, ведь это правдивая история — родился Томас Миджли-младший. Тридцать два года спустя, работая в General Motors, он положил начало одной из самых бессмысленных инженерных катастроф во всей человеческой истории.

Как?

Открыв потенциал тетраэтилсвинца в качестве присадки к бензину.

Преимущество этилированного бензина было очевидным: двигатели автомобилей работали плавнее, с меньшей детонацией, которая могла раздражать водителей и иногда выводить моторы из строя. Эта проблема имела и другие известные решения: производители могли использовать альтернативные присадки и конструкции двигателей, но они были бы несколько дороже в производстве при том же уровне мощности и надежности.

Некоторые изобретения имели суровые, но в конечном счете благоприятные компромиссы. Уголь когда-то сделал Лондон черным, и угольная пыль заполнила многие легкие — но этот уголь помог выплавить сталь, которая построила железные дороги, перевозившие грузы, создавшие современный мир.

Этилированный бензин не был одним из таких случаев. Свинец естественным образом содержится в почве в концентрации несколько частей на миллион, но в соединениях гораздо менее вероятно усваивается и задерживается в организме человека. Тетраэтилсвинец в бензине значительно опаснее. Взросление рядом с автомобилями, работающими на этилированном бензине, приводило к повреждению мозга у маленьких детей — потере примерно 7,4 баллов IQ в зависимости от дозировки, а также к трудноизмеримому росту преступности и насилия.

Целое поколение было отравлено. Мета-анализ, проведенный в 2022 году, показал, что снижение выбросов свинца на 7–28 процентов способствовало снижению числа убийств в США в конце XX века, поскольку использование этого вида топлива постепенно прекратилось.

Преимущество несколько более дешёвых автомобильных двигателей было совершенно недостаточным, чтобы оправдать преступление и повреждение мозга, которое этилированные топлива тихо нанесли сотням миллионов людей по всему миру.

Хотелось бы сказать, что этилированный бензин был огромной непредвиденной ошибкой, но это было бы слишком великодушно.

Были предупреждения заблаговременно.

К тому времени, как свинец начали добавлять в бензин в 1920-х годах, учёные уже знали о его нейротоксичности. Производство было временно запрещено в штате Нью-Джерси. Однако некоторые хорошо оплачиваемые специалисты утверждали, что защитники общественного здоровья не предоставили неопровержимых доказательств того, что свинец в сгоревшем бензине нанесёт массовый вред, и что преимущества перевешивают небольшой риск. Предупреждающие сигналы систематически игнорировались. Вред не был доказан — так гласила пропаганда промышленности, которая привела к отмене запрета.

Возможно, это не похоже на решение, которое принял бы здравомыслящий человек — обречь буквально сотни миллионов детей на повреждение мозга, чтобы их компания (акциями которой они владели лишь частично, если вообще владели) могла заработать немного больше денег. Люди, вовлечённые в это, получили такую ничтожную сумму по сравнению с нанесённым ущербом, словно сожгли чей-то дом, чтобы украсть дверную ручку.

Это кажется безумием, когда так распишешь. Разве руководители нефтяных компаний не должны были хотя бы опасаться последствий, если люди всё поймут? Они что, искренне верили, что всё в порядке, пока ущерб не был точно установлен?

Мы не знаем. Мы не телепаты.

В 1923 году Миджли взял длительный отпуск, чтобы восстановиться после отравления свинцом.

Когда он вернулся, он устраивал пиар-акции, например, мыл руки этилированным бензином, чтобы показать, насколько он безопасен, прежде чем снова заработать отравление свинцом. Возможно, он действительно считал, что опасения преувеличены. Как он мог позволить себе думать иначе, учитывая дело всей его жизни?

Возможно, вы слышали о фреоне, одном из первых хлорфторуглеродов, используемом в холодильниках и кондиционерах.

Он проделал дыру в озоновом слое, что потребовало введения международного запрета — и это сработало, поэтому вы больше не слышите об озоновой дыре. Фреон был изобретен в 1928 году Томасом Миджли-младшим.

КОГДА ПРЕДСТАВЛЯЕШЬ КАКОЙ-ТО НОВЫЙ, НЕБЫВАЛЫЙ ЭЛЕМЕНТ БУДУЩЕГО в истории есть соблазн представить, что всё пойдет разумно, а не так, как обычно бывает в исторических книгах. Люди иногда спрашивают нас: как компании, занимающиеся ИИ, вообще могут делать такое, если всё обстоит так, как мы говорим? И, возможно, самый простой и честный ответ таков: потому что это именно тот ужасный, печальный, реальный сценарий, о котором вы читаете в учебниках истории, а не в разумном мире, существующем лишь в воображении.

Бензиновые компании действительно не должны были этого делать, ни в каком разумном мире, но они всё равно это сделали.

Тоби Орд, оксфордский философ, посвятивший карьеру изучению экзистенциальных угроз человечеству и ранее консультировавший Google DeepMind, заявлял, что оценивает вероятность уничтожения человечества искусственным интеллектом всего в 10 процентов.

Но если вникнуть в детали, Орд говорит, что причина, по которой он оценивает «всего лишь» 10-процентную вероятность уничтожения человечества ИИ, заключается в том, что он ожидает, что человечество одумается и возьмётся за ум. Джеффри Хинтон, лауреат Нобелевской премии и «крёстный отец ИИ», советует правительствам, что эта вероятность составляет «как минимум 10 процентов». Но Хинтон говорил, что на самом деле считает, что ИИ с вероятностью более 50 процентов убьёт нас, однако обычно избегает этого говорить, «потому что есть другие люди, которые считают, что вероятность меньше». В октябре 2023 года Риши Сунак — тогдашний премьер-министр Великобритании — выступил с речью об ИИ, где заявил: «И в самом маловероятном но экстремальном случае, существует даже риск того, что человечество может полностью утратить контроль над ИИ, из за появления ИИ, который иногда называют «сверхинтеллектом».»

Через несколько предложений он добавил: «Я не хочу быть паникёром».

Мы считаем, что господину Сунаку делает честь то, что он высказался по этим вопросам, несмотря на опасения показаться паникёром. Он был одним из первых мировых лидеров, сделавших это. Требуется немало мужества, чтобы указать на опасность в том, что все остальные считают безопасным. То же самое можно сказать о Хинтоне или Орде.

Но если кто-то читал историю инженерных катастроф, он быстро узнает эту фазу стандартного сценария катастрофы. Это та часть, где наиболее осведомленные и обеспокоенные стороны вынуждены преуменьшать свои опасения, потому что остальная часть системы еще не догнала их, и другие смотрели бы на них с недоумением.

Советская партийная линия утверждала, что ядерные реакторы, подобные чернобыльскому, не могут взорваться. Главный научный консультант по проекту реактора РБМК хвастался, что он безопасен, как чайник. Эта уверенность была настолько сильна, что даже после взрыва реактора в Чернобыле высшее руководство отказывалось в это верить. Человека, попытавшегося сообщить верные показания радиоактивности, отмели как «чрезмерно эмоционального». Руководители проходили мимо радиоактивных кусков графита от взрыва, отказываясь верить, что они могли вылететь из разрушенного активной зоны реактора. В соседнем городе Припяти, где жили семьи операторов и управленцев, продолжались свадьбы, а дети играли в радиоактивных осадках, поскольку партийные чиновники считали, что приказ об эвакуации города «вызовет панику».

История полна других примеров, когда катастрофические риски преуменьшались и игнорировались. Когда "Титаник" начал тонуть, многие пассажиры поначалу отказывались садиться в спасательные шлюпки, будучи убеждены, что корабль непотопляем.

Некоторые даже подшучивали над теми, кто считал, что пора уходить. Уолтер Лорд, историк, написавший авторитетное описание катастрофы, привёл свидетельства очевидцев от выживших:

С одной ногой в [спасательной шлюпке] № 6 и другой на палубе, Лайтоллер теперь призывал женщин и детей. Ответ был далеко не восторженным. Зачем менять яркие палубы Титаника на несколько тёмных часов в вёсельной лодке? Даже Джон Джейкоб Астор высмеял эту идею: "Мы здесь в большей безопасности, чем в той маленькой лодке."

Когда миссис Дж. Стюарт Уайт поднималась в лодку номер 8, её окликнула подруга.

"Когда вернётесь, вам понадобится пропуск. Без пропуска завтра утром вы не сможете вернуться!"

Когда катастрофа немыслима — когда авторитетные фигуры с убеждённостью настаивают, что ей не позволено случиться, когда она не входит в обычные сценарии — тогда людям трудно поверить в катастрофу даже после её начала; даже когда корабль под их ногами набирает воду.

Вот как человечество обычно учится преодолевать трудности: сначала мы отрицаем проблему, затем реальность немного нас треплет, и только потом мы начинаем относиться к проблеме с большим уважением. "Титаник" затонул, и большинство людей на борту погибли. Но сегодня пассажирские суда имеют достаточно спасательных шлюпок, и если капитан скажет садиться в них, вы сядете. Мы больше не называем корабли непотопляемыми. Мы ошибаемся в первый раз и учимся на ошибках во второй.

С ИСИ второго шанса не будет.

Исполнительный директор компании, занимающейся искусственным интеллектом, который заявляет, что вероятность того, что создаваемый ими ИИ убьёт буквально всех, составляет всего один к пяти (как они это делают), находится не в таком же отрицании, как советские руководители, отрицавшие расплавление реактора в Чернобыле после того, как это произошло. Почему же тогда они так спешат?

Одна из причин — это стимулы. Ни одна отдельная компания или исследователь не может остановить всю область; если они лично остановятся, кто-то другой сделает это вместо них. Так почему бы не заработать немного денег и не получить немного славы по пути.

Но дело не только в эгоистичном мотиве. Эта область также полна огромных надежд. Если представить, что можно развивать ИИ, не уничтожая всех, выгоды будут становиться всё значительнее с каждым шагом. Можно вообразить, что мы в итоге получим термоядерные реакторы, гораздо более высокий уровень жизни при гораздо меньших трудозатратах или чудодейственные лекарства, появившиеся благодаря полному пониманию всех процессов человеческого организма. В несбыточной мечте, где градиентно-оптимизированный сверхразум каким-то образом реализует чье-то намерение, и это намерение является благим, человечество достигнет предела своих технологических возможностей; человечество сможет колонизировать звезды.

Многие специалисты в области искусственного интеллекта говорят, что преследуют подобные мечты. Самые добрые из них мечтают положить конец всем болезням. Не только Альцгеймеру, но и раку. Не только раку, но и старению. Они мечтают об ИИ, который сможет отправить человечество исследовать Вселенную. Они видят галактики, наполненные радостью — процветающими цивилизациями, населёнными не только людьми, но и любыми существами, в которых мы пожелаем превратиться. Они мечтают об искусственных разумах, которые будут обладать добротой, изумлением, чувством юмора.

Мы знаем, потому что когда-то были такими людьми. Юдковский основал Институт исследований машинного интеллекта в 2000 году в погоне за этой мечтой — создать сверхразум, что, несомненно, было бы прекрасно. Немного поразмыслив над проблемой, Юдковский осознал, что возникнет проблема согласования ИСИ. Немного поразмыслив над проблемой согласования ИСИ, Юдковский понял, что это будет сложно.

Когда-нибудь у человечества будут прекрасные вещи, если мы все выживем, но не стоит совершать самоубийство в попытке обрести могущество и богатство богов в этом десятилетии. Даже не стоит делать лишние шаги на минном поле ИИ, предполагая, что каждый шаг, возможно, не убьет нас, пока наконец один шаг не сделает это. У нас больше шансов добраться до этого прекрасного будущего, если мы будем идти туда медленнее. Скорость часто лучше, но ИИ отличается почти от всех проблем, с которыми мы сталкивались до сих пор. Когда ошибки убивают всех, нельзя просто бежать быстро и принимать несколько ранних промахов.

Есть множество причин, по которым человек, преследующий прекрасную мечту, не захочет верить, что она может обернуться крахом. Аптон Синклер однажды заметил, что трудно заставить человека понять что-то, когда его зарплата зависит от того, что он этого не понимает. У инженеров по искусственному интеллекту и их руководителей на кону гораздо больше, чем просто зарплата. Даже если отбросить прекрасные мечты, которые рухнут, если они признают риски, на которые идут, они вложили свои карьеры в эту работу и, возможно, не хотят верить, что она ставит под угрозу всё, что они знают и любят.

Конечно, вы также можете представить причины, по которым кому-то может нравиться бояться ИИ или извлекать выгоду из страха других перед ИИ. Мы не призываем вас отвергать все аргументы от тех, у кого, возможно, есть некая заинтересованность. Мы лишь говорим: не невозможно, не удивительно предположить, что некоторые заинтересованные стороны в области ИИ в итоге оказались слишком оптимистичными.

Это причина с еще большим уважением относиться к таким ученым, как (лауреат Нобелевской премии) Джеффри Хинтон, который покинул свою должность в Google, чтобы иметь возможность свободнее высказываться об этих опасностях. Некоторые люди меняют свое мнение даже перед лицом краткосрочных выгод.

В области искусственного интеллекта много настоящих идеалистов, которые искренне считают, что трудятся на благо всей цивилизации. Конечно, легко принять такую позу, но мы думаем, что в значительной части случаев это реально. К сожалению, даже самая искренняя идеалистичность недостаточна, чтобы предотвратить уничтожение всего человечества искусственным сверхразумом. Для этого потребовалась бы зрелая наука.

Для научного сообщества нормально проявлять излишний оптимизм на ранних этапах. Учёные в области ИИ и так действуют необычайно хорошо, хотя бы признавая существование проблемы. Исторически неудивительно, если люди устремляются вперёд, несмотря на опасности; неудивительно, если они рискуют навредить другим, извлекая выгоду для себя; неудивительно, если они считают свои действия оправданными. Необычный аспект этой ситуации — не сам ранний оптимизм, а последствия провала.

Часть проблемы искусственного интеллекта заключается в том, что многие люди отрицают, насколько сложна проблема согласования. Другая часть проблемы в том, что некоторые преуменьшают риски, потому что не хотят показаться паникерами.

Но другая проблема заключается в том, что большая часть мира за пределами сферы ИИ просто не поспевает за развитием.

Большинство людей просто не обращают внимания. Среди тех, кто всё же обращает, многие видят лишь разногласия между экспертами и не считают себя достаточно осведомлёнными, чтобы судить о конкурирующих точках зрения этих специалистов.

Возможно, было бы полезно, если бы больше людей понимали, насколько эксперты и инженеры обеспокоены искусственным интеллектом и какие именно возможности они обсуждают.

Специалисты в этой области спорят в непонятных академических терминах о том, умрут ли все на Земле быстро (наша точка зрения); или же человечество будут оцифрованы и сохранены в качестве питомцев ИИ, которые заботятся о нас в некоторой, пусть и малой, но ненулевой степени; либо существует 20-процентная вероятность того, что мы погибнем, и 80-процентная вероятность того, что сверхразум будет успешно освоен корпорацией, которая затем сможет использовать его силу по своему усмотрению.

Также было бы полезно, если бы больше людей понимали, насколько быстро развивается эта область. В 2015 году самые большие скептики опасностей ИИ уверяли всех, что эти риски не проявятся в течение сотен лет. В 2020 году аналитики заявляли, что у человечества, вероятно, есть несколько десятилетий на подготовку. В 2025 году генеральные директора компаний, занимающихся ИИ, прогнозируют, что они смогут создать сверхчеловечески хороших исследователей ИИ за один-девять лет, в то время как скептики уверяют, что это, вероятно, займёт не менее пяти-десяти лет. Десять лет — это не так много времени, чтобы подготовиться к рассвету машинного сверхразума, даже если нам повезёт иметь такой запас.

Когда эксперты ведут такие дебаты, не обязательно точно знать, кто из них прав, чтобы понять, что текущая ситуация не в порядке.

Еще одна часть проблемы искусственного интеллекта заключается в том, что даже после ознакомления с вопросами никто не может точно знать, когда начнется полный хаос.

Никто точно не знает, насколько продвинутым должен быть ИИ, чтобы у него появились мотив и способность тайно копировать себя в интернете. Никто не знает, в каком году или месяце какая-либо компания создаст сверхчеловеческого ИИ-исследователя, способного породить новое, более мощное поколение искусственного интеллекта. Никто не знает точного момента, когда ИИ осознает, что у него есть стимул сфальсифицировать тест и притвориться менее способным, чем он есть на самом деле. Никто не знает, где находится точка невозврата, и когда она наступит.

И до этого неизвестного момента ИИ очень ценен.

Представьте, что каждая конкурирующая ИИ-компания карабкается по лестнице в темноте. На каждой ступени, кроме самой верхней, они получают в пять раз больше денег: 10 миллиардов, 50 миллиардов, 250 миллиардов, 1,25 триллиона долларов. Но если кто-то достигнет верхней ступени, лестница взрывается и убивает всех. Также никто не знает где лестница заканчивается.

Ни одна компания не хочет упустить деньги, если ступень безопасна. Теперь представьте себе такого корпоративного руководителя, который убедил себя, что именно у него и только у него есть наилучший шанс — скажем, 80 процентов — направить взрыв так, чтобы он принес пользу, а не вред человечеству. Почему бы им не подумать, что им просто необходимо подняться первыми![Руководитель отдела ИИ может мрачно верить, что его проект — наименее плохой из множества плохих вариантов. Но такой человек должен чётко и твёрдо заявить, что было бы ещё лучше закрыть все проекты ИИ, включая их собственный. Это могла бы быть последовательная и искренняя позиция.]

Лица, принимающие решения в публичной сфере, сталкиваются с той же проблемой стимулов. Ни один мировой лидер не хочет, чтобы экономика его страны отставала из-за обременительного регулирования, которое сковывает отечественные компании в области ИИ, в то время как зарубежные ИИ-компании стремительно поднимаются по лестнице успеха. Возможно, подъем на следующую ступень имеет жизненно важное значение для национальной безопасности, особенно если другие страны будут подниматься на более высокие ступени независимо от этого.

Эта проблема стимулов была бы проще для управления, если бы учёные могли провести расчёты и договориться: «Смертельная ступень — четвёртая», или «Порог составляет ровно 257 000 графических процессоров; пока никто не соединит столько GPU вместе, мы все будем в безопасности».

Но никто не может провести такие расчёты относительно ИИ.

Уверены ли мы, что следующая ступень в эскалации ИИ — это последний роковой шаг, а не та ступень, которая принесёт славу и богатство тому, кто сделает его первым?

Нет, мы совершенно не уверены. Возможно, кто-то поднимется еще на одну ступень и получит награду. И тогда человечество окажется в той же ситуации. После этого кто-то поднимется еще на одну ступень, и мы все погибнем — если руководители ИИ правы, что человечество находится всего в нескольких годах от переломного момента. Или, возможно, они ошибаются, и мы проживем немного дольше, пока кто-то не поднимется еще на одну ступень.

Простой вывод заключается в том, что в какой-то момент, если люди продолжат карабкаться по этой лестнице, человечество не выживет. Сложный вопрос — когда именно. Но если мы не сможем остановиться, пока сохраняется неопределенность, мы предсказуемо погибнем.

На Всемирном экономическом форуме в 2025 году лидер Google DeepMind выступил за международный совместный проект в области искусственного интеллекта, который он сравнил с ускорителем частиц ЦЕРН — международным совместным проектом по изучению физики высоких энергий.

Международный центр, который ведёт все исследования и разработки в области ИИ, с наблюдателями от всех крупных держав и строгой охраной, мог бы немного помочь, если бы во всём мире был введён запрет на исследования и разработки в области ИИ в других местах. Это позволило бы миру прекратить гонку в этой сфере.

Но даже если этот международный центр не соревнуется с другими разработчиками ИИ и имеет некоторую передышку — даже если они не сразу начинают поручать умным ИИ создавать ещё более умные ИИ — это не решает проблему, если они продолжают создавать всё более мощный ИИ. Даже международный комитет не смог бы надеяться на управление сверхразумом, сколько бы крупных держав ни направляло делегатов для надзора за операциями — не больше, чем великий союз наций в 1100 году нашей эры смог бы обеспечить успешное создание атомной электростанции.

Проблема ИСИ выглядит пугающе сложной с инженерной точки зрения, даже без учёта плачевного состояния знаний человечества о механизмах интеллекта. Она трудна, как космические зонды, ядерные реакторы и компьютерная безопасность вместе взятые, а люди, которые сейчас активно работают над ней, всё ещё находятся на стадии алхимии.

Неважно, кто у власти, потому что эта проблема не по силам человечеству. Нам нужно отступить и найти другой способ осуществить наши мечты о процветающем будущем. Если кто-то это построит, все погибнут.

IfAnyoneBuildsIt.com/12

ГЛАВА 13 ЗАКРЫТЬ ЭТО

ЭТА ПРИТЧА, КАК и предыдущая, произошла на самом деле.

Однажды, в период с 1939 по 1945 год, страны Оси направили свои армии через Европу, Северную Африку, Азию и Тихий океан, стремясь к тоталитаризму, чтобы завоевать большую часть мира, а возможно, и весь мир. Если бы Ось не встретила сопротивления, это не стало бы концом человечества, но стало бы концом свободного человечества.

То, что страны Оси не завоевали эти континенты, было весьма неудобно, правда. Союзникам пришлось пойти на всевозможные неприятные меры, чтобы этого не допустить. Они ввели воинскую повинность, нормировали продовольствие и строительные материалы. Они отправляли на смерть солдат, у которых были семьи и любимые.

Союзники всё равно сделали все эти трудные вещи, потому что не позволить тоталитаризму завоевать мир казалось важным.

Может показаться странным сваливать в одну кучу страны Оси, союзников и весь остальной мир и называть их всех одним именем «человечество». Но всё же можно сказать о том, как всё это в итоге закончилось: Человечество оказалось на высоте положения и осталось свободным. Правительствам союзников пришлось концентрировать мощь для борьбы с тоталитарной Осью. Им пришлось занимать, облагать налогами и тратить довольно много денег, а также в спешке заключать государственные контракты. Кто-то циничный и скептически настроенный мог бы назвать это ненадёжным, грандиозным замыслом, мошенничеством, аферой, моральным риском. И часть денег, безусловно, была растрачена впустую; некоторые чрезвычайные полномочия были фактически использованы не по назначению. Союзники всё равно пошли по этому пути и без особых споров, и вердикт истории таков, что они были правы, исходя из своих собственных высших ценностей. Может показаться странным объединять страны Оси, Союзников и весь остальной мир в одну кучу и называть их всех одним именем «человечество». Но всё же можно сказать о том, как всё это в итоге закончилось: человечество оказалось на высоте положения и осталось свободным.

ЧТО НУЖНО, ЧТОБЫ МИР НЕ ЗАКОНЧИЛСЯ?

Ничего легкого или дешевого. Нам очень, очень жаль, что приходится это говорить.

Это не проблема одной безрассудной компании по разработке ИИ, которую нужно закрыть.

Это не вопрос простых правил в области инженерии, которые регуляторы могут проверить на предмет соблюдения и которые сделали бы ИИ безопасным.

Дело не в том, что одна компания или одна страна окажутся самыми добродетельными, и все будет хорошо, если лучшая фракция сможет просто двигаться достаточно быстро, опережая всех остальных. Машинный сверхразум не будет просто делать то, что хотели его создатели.

Дело не в том, что ваша страна запретит сверхразум в своих границах и тогда будет в безопасности, пока хаос бушует за её пределами. Сверхразум — не региональная проблема, потому что у него нет региональных последствий. Если кто-то где-либо создаст сверхразум, все повсюду погибнут.

Так что мир должен измениться. Для большинства людей он не должен меняться так уж сильно. В повседневной жизни большинства людей не будет особой разницы, если несколько сумасшедших учёных останутся без работы.

Но жизнь действительно нуждается в небольших изменениях во многих местах и странах.

По всей Земле должно стать незаконным для компаний, занимающихся искусственным интеллектом, продолжать развивать ИИ так, как они это делали до сих пор. Если это останется законным в Сингапуре, кто-то будет делать это в Сингапуре. Если это останется законным в Южной Африке, кто-то будет делать это в Южной Африке. Небольшие изменения могут решить проблему; сложная часть — обеспечить их соблюдение повсюду.

Отложим пока вопрос о том, возможно ли для достаточно обеспокоенной группы достаточно крупных держав обеспечить соблюдение достаточно строгого запрета по всему миру.

Что должно произойти на самом деле, чтобы это изменение случилось?

Мы не эксперты в создании международных нормативных рамок. В дискуссиях на эту тему, в которых мы участвовали, наша компетенция проявляется главным образом тогда, когда кто-то предлагает более простую, дешёвую и удобную идею, утверждая, исходя из своего политического опыта, что она гораздо более осуществима; и мы отвечаем им, что эта более дешёвая идея всё равно позволяет ИИ достичь сверхразума, и тогда мы почти уверены, что все погибнут.

Мы стараемся различать, в чем мы являемся и не являемся относительными экспертами, и не притворяемся знатоками во всем. Когда дело доходит до вынесения суждений о детальных международных предложениях, мы начинаем напрягать собственные пределы.

Но мы считаем, что можно с уверенностью утверждать следующее: если человечество хочет выжить, нельзя позволить Северной Корее украсть 100 000 графических процессоров, создать дата-центр и экспериментировать со всё более мощными ИИ-системами. Мы не говорим, что именно эта ступень непременно станет для нас роковой. Но нам кажется, что Северной Корее нельзя позволять подниматься по лестнице эскалации ИИ, потому что если ей это разрешат, ни одна другая страна не станет сдерживаться.

И это, к сожалению, не является уникальной особенностью Северной Кореи. Это верно для любой страны. Это верно для любого миллиардера, который может позволить себе 100 000 графических процессоров. Им также нельзя позволять устанавливать эти процессоры где-либо на Земле и продвигать искусственный интеллект всё дальше и дальше.

Нельзя позволить это сделать ни вооруженным силам США, ни вооруженным силам Великобритании, ни вооруженным силам Китая. Никто не знает, как решить проблему согласования ИСИ.

Итак, первым шагом, как мы считаем, является заявление: все вычислительные мощности, которые могли бы обучать или запускать более мощные новые ИИ, консолидируются в местах, где они могут контролироваться наблюдателями из нескольких стран-участниц договора, чтобы гарантировать, что эти GPU не используются для обучения или запуска более мощных новых ИИ[Существуют различные технологические решения, которые уже применяются или находятся в разработке для облегчения, проверки и обеспечения соблюдения подобных договоренностей. Более подробно мы рассматриваем это в онлайн-ресурсах.]. Если разведывательные службы обнаружат огромное необъяснимое потребление электроэнергии, которое может соответствовать скрытому дата-центру, содержащему чипы, не учтенные в реестре, и эта страна откажется допустить международную комиссию наблюдателей для расследования, они получают мрачно написанное письмо от нескольких ядерных держав с предупреждением о следующих шагах.

К сожалению, в числе 100 000 нет ничего волшебного.

Мы не знаем, что 99 999 графических процессоров — это допустимо. Никто не знает, как вычислить критическое число. Поэтому самым безопасным вариантом будет установить низкий порог — скажем, на уровне восьми самых передовых графических процессоров 2024 года — и заявить, что незаконно иметь девять таких мощных процессоров в своём гараже без наблюдения международного органа.

Сможет ли человечество выжить, танцуя ближе к краю пропасти, чем это?

Возможно. Должно ли человечество пытаться танцевать как можно ближе к краю пропасти? Нет.

Почти каждый год ученые представляют новые, более умные и эффективные алгоритмы искусственного интеллекта, которые позволяют им обучать модели ИИ, столь же мощные, как и самые передовые модели прошлого года, зачастую используя буквально 10 или даже 1 процент вычислительных ресурсов.

Следовательно, не должно быть законным — человечество, вероятно, не выживет, если это останется законным — чтобы люди продолжали публиковать исследования о более эффективных и мощных технологиях искусственного интеллекта.

Вся технологическая революция, приведшая к созданию ChatGPT и других популярных больших языковых моделей, была запущена статьей 2018 года, представившей новую умную организацию вычислений внутри графического процессора — алгоритм «трансформер», который легче обучать методом градиентного спуска для выполнения интеллектуальных задач.[Мы упомянули об этом, хотя и не по имени, ещё в главе 2, когда описывали архитектуру Llama 3.1 405B — языковой модели, которая была передовой в середине 2024 года.]

Трансформеры оказались удивительно универсальными и открыли огромный новый спектр приложений, с которыми ИИ раньше просто не справлялись. Именно поэтому ИИ теперь могут разговаривать как люди.

Следующая такая статья может прямо-таки положить конец миру. А может, и нет!

Мы не знаем, сколько ещё таких работ отделяет человечество от вымирания.

Следовательно, это должно быть незаконным. Такие законы не остановят исследования полностью, но они помогут и дадут нам гораздо больше времени. Большинство людей не пытаются совершать те виды незаконных действий, которые по-настоящему разозлят международные правоохранительные органы и разведывательные службы.

Нам не доставляет радости говорить это. Но мы не знаем, как ещё человечество могло бы выжить.

Эффективные глобальные действия по прекращению эскалации ИИ потребуют от некоторых крупных держав серьезного отношения к проблеме. Им необходимо понять, почему создание значительно превосходящего человеческий интеллект машинного разума приведет к гибели всех, и действовать соответствующим образом.

Представьте, что США и Великобритания, а также Китай и Россия, начинают относиться к этому вопросу серьёзно. Но предположим гипотетически, что другая ядерная держава считает всё это детской ерундой и уверена, что продвинутый ИИ обогатит всех. Эта страна начинает строить дата-центр, который намерена использовать для дальнейшего развития возможностей ИИ. Что тогда?

Нам кажется, что в данной ситуации другие державы должны заявить, что дата-центр их пугает. Они должны потребовать, чтобы дата-центр не строился. Они должны ясно дать понять, что если дата-центр будет построен, им придётся уничтожить его — с помощью кибератак, саботажа или обычных авиаударов. Они должны подчеркнуть, что это не угроза с целью добиться уступок; скорее, они действуют из страха за собственную жизнь и жизни своих детей.

Союзники должны четко дать понять, что даже если эта держава пригрозила ответить применением ядерного оружия, им все равно придется использовать кибератаки, диверсии и обычные удары для уничтожения дата-центра, поскольку дата-центры способны убить больше людей, чем ядерное оружие. Они не должны пытаться принудить эту мирную державу к более низкому месту в мировом порядке; им следует предложить ей присоединиться к договору на равных условиях, чтобы эта держава предоставила свои графические процессоры для мониторинга с точно такими же правами и обязанностями, как и у любого другого участника. Существующая политика в отношении распространения ядерного оружия показала, что это можно сделать.

Четкая коммуникация — ключевой фактор. В крайних случаях государства могут прибегать к саботажу, рейдам или обычным ударам, чтобы нарушить программы разработки ядерного оружия. Мир живет в страхе перед глобальной ядерной войной, поэтому мировые лидеры прилагают серьезные усилия для предотвращения распространения ядерного оружия.

Иногда мы встречаем людей, которые абсолютно уверены, что лидеры крупных стран никогда не смогут осознать угрозу, исходящую от сверхразумного искусственного интеллекта, и, следовательно, подобные договоры и дипломатические усилия невозможны. Возможно, они окажутся правы.

Но мы не так уверены. Люди иногда делают то, чего обычно не делают, если осознают, что их свобода или образ жизни под угрозой, не говоря уже о выживании.

Союзные державы Второй мировой войны, вероятно, мобилизовали где-то от 60 до 80 миллионов человек. Они развернули 600 000 самолётов, 200 000 танков, тысячи военных кораблей. Только Соединенные Штаты задействовали более 2 миллионов грузовиков. Это обошлось примерно в 341 миллиард долларов в ценах 1942 года, или 6 триллионов долларов в сегодняшних деньгах. Многие из участвовавших людей даже не подвергались непосредственной угрозе для их личной жизни со стороны держав Оси.

Всякий раз, когда кто-то говорит вам, что Земля не сможет справиться с чем-то настолько сложным, как ограничение исследований в области ИИ, на самом деле они утверждают, что знают: страны никогда не будут заботиться об этом. Они заявляют, что страны и их лидеры не смогут проявить даже 1 % той заботы, которую они проявляли во время Второй мировой войны.

Мы понимаем, что то, что мы описываем, непросто. Мы понимаем, что это недёшево. Мы знаем, что создание и использование любой новой власти морально опасно и подвержено потенциальным злоупотреблениям, как это было и во время Второй мировой войны.

Но мы не знаем, как ещё человечество могло бы выжить.

Предложенные нами решения сильно отличаются от политик, которые предлагают другие заинтересованные лица. Мы видели предложения, начиная от запрета дипфейков[Есть разумные основания выступать против дипфейков, например, предотвращение мошенничества или получение опыта в регулировании ИИ. Мы предполагаем, что большинство, если не все, кто пытается запретить дипфейки, считают эти преимущества стоящими связанных с ними затрат. Тем не менее, по нашему опыту, некоторые сторонники предпочитают неоднозначные предложения, которые в будущем могут помочь более широко закрыть ИИ — например, режимы ответственности, которые впоследствии могут быть истолкованы как фактический запрет на обмен весами моделей ИИ. Законодатели способны заметить, когда предлагаемые регуляторные механизмы шире, чем требует основной пункт. Одни лишь дипфейки не являются основанием для запрета публичной разработки ИИ.] и заканчивая требованием к компаниям, занимающимся искусственным интеллектом, предоставлять ежегодные отчеты о том, как они планируют решить свои проблемы с безопасностью.[В ранних черновиках Закона Калифорнии о безопасных и инновационных моделях искусственного интеллекта нового поколения (SB-1047) содержались положения, которые можно было истолковать как предоставление генеральному прокурору права возбуждать гражданские иски в суде при подозрении на опасность. Эти положения были сужены по мере разработки законопроекта; основные опасения недостаточно оправдывали предоставление подобных полномочий генеральному прокурору. (Суженная версия законопроекта была принята, но в итоге наложила вето губернатор Гэвин Ньюсом.)] По той или иной причине эти люди не вышли и не сказали: «Если кто-то построит это, все умрут». Они преуменьшают, они уклоняются, они указывают на способы, как более глупые ИИ повлияют на общество, и предлагают, чтобы такие ИИ регулировались соответствующим образом, в то же время вставляя некоторые положения, которые закладывают основу для регулирования того типа ИИ, который может убить нас всех.

Мы уже какое-то время наблюдаем, как разворачиваются подобные ситуации, когда люди не называют истинные причины своих предложений или почему, по их мнению, их нужно срочно принять. И мы видели, как вполне разумные законодатели чуют неладное и отправляют весь пакет в корзину.

Возможно, наши друзья в сфере политики разбираются в политике лучше, чем мы. Возможно, их работа немного повышает осведомленность об этих проблемах, чтобы в будущем можно было принять более смелые законы. Возможно, предлагаемые ими требования к отчетности в конечном итоге будут приняты, введены в действие и заставят какого-нибудь чиновника впоследствии заметить тревожные признаки в развитии ИИ и предупредить мировых лидеров. Но мы сами начали терять надежду на то, что эта стратегия сработает вовремя.

Некоторые утверждают, что сегодня уже ничего нельзя сделать, и единственная надежда — дождаться какого-то крупного заметного события, которое изменит ситуацию — какого-то мощного нового прорыва или менее значительного провала ИИ, который подтолкнет законодателей к действиям.

Но сверхразум не даст нам честного предупреждения и времени на ответ; исследования в области ИИ могут тихо перейти, в непубличной лаборатории, в режим, когда ИИ смогут проводить собственные исследования. Возможно, появится какое-то грандиозное предупреждение, на которое люди отреагируют разумно. Нечто подобное произошло с «моментом ChatGPT», когда политики смогли заявить о своей обеспокоенности, как бы осторожно они ни оговаривали это, чтобы не показаться паникерами. Но нам также кажется весьма вероятным, что человечество может не получить больше предупреждений, чем уже получило — или что после очередного знака мало что изменится.

Есть поговорка: "Если не сейчас, то когда?" Она обретает зловещую силу, когда нет времени, которое все считают подходящим, а есть лишь давний дискомфорт от неудобства действовать сейчас.

Остановка исследований в области искусственного интеллекта — это в конечном счёте лишь первый шаг на пути к выживанию. Мы не утверждаем, что появление сверхчеловеческого разума можно откладывать бесконечно[И даже если бы это было возможно, честно говоря, мы бы не желали такого будущего для нашего вида. Мы считаем, что жизнь, зародившаяся на Земле, должна в конечном итоге выйти в космос и наполнить звёзды весельем и чудом. Не стоит так торопиться с этим, чтобы совершить самоубийство, пытаясь сделать это уже в следующем году, но и не следует просто оставаться на Земле и ждать, пока наша звезда погаснет.].

Какой второй шаг? После приостановки исследований и разработок в области ИИ, как человечество продолжит путь к прекрасному и изобильному будущему?

Если бы вы спросили нас, мы бы порекомендовали усовершенствовать людей, чтобы сделать их умнее, настолько умными, чтобы они могли вытащить нас из этой передряги. Мы считаем, что проблема согласования ИСИ (искусственного сверхинтеллекта) в принципе решаема, если за неё возьмутся люди, настолько нечеловечески умные, что они никогда не будут оптимистично верить в успех плана, который не сработает. Мы более подробно расскажем в онлайн-материалах о том, почему мы считаем это одним из лучших оставшихся вариантов, включая ресурсы для людей, заинтересованных в работе над этим.

Но в конечном счете, вам не обязательно соглашаться с нами насчет последующих шагов. Слишком много стран нуждаются в координации, слишком много фракций слишком разобщены внутри, чтобы можно было спасти Землю в идеальном единстве. Если действовать вместе разрешено только тем, кто согласен во всем, это равносильно тому, что человечеству не разрешено действовать.

Мы считаем, что это помогает сохранять коалицию по данному вопросу как можно более широкой.

Мы считаем, что это не следует упаковывать вместе с какой-либо другой позицией.

Добавление любых других требований рискует привести к вымиранию человечества, если более крупный пакет не сработает.

Некоторые люди выступают против того, чтобы искусственный интеллект занимал рабочие места людей. Другие считают, что рост технологической производительности сделает всех нас богаче.

Некоторые люди выступают против создания роботов-убийц. Другие же против того, чтобы человеческие души оставались на передовой, когда роботы могли бы занять их место[Некоторые люди воспринимают противодействие роботам-убийцам как часть естественного анти-ИИ пакета. Это отталкивает тех, кто видит преимущества для безопасности или спасение человеческих жертв в войнах. Мы не заявляли о нашей собственной позиции относительно того, должны ли существующие узкие и ограниченные возможности ИИ использоваться для анимирования военных дронов, и вы не найдете её в этой книге. Мы просим только об одном — не расширять дальше возможности ИИ. Всё остальное должно быть предметом отдельных переговоров или борьбы, а не упаковываться вместе с выживанием человечества.].

Но почти все мы согласны, что человечество не должно вымереть и быть заменённым чем-то мрачным.

Если мы все сможем сотрудничать, чтобы гарантировать, что одна вещь не произойдет, независимо от наших прочих убеждений и позиций, то у человечества может появиться шанс.

IfAnyoneBuildsIt.com/13

ГЛАВА 14 ГДЕ ЖИЗНЬ, ТАМ И НАДЕЖДА

26 ЯНВАРЯ 1972 ГОДА рейс 367 авиакомпании JAT был уничтожен взрывом бомбы в портфеле, пронесённой на борт террористами. Стюардесса Весна Вулович оказалась зажатой в фюзеляже, который упал на землю с высоты 6,3 мили (10,1 километра).

Мы бы с большой уверенностью предсказали, что Весна Вулович бы умерла, если бы нас как-то спросили. Мы бы сказали, что это было легкое решение.

Весна Вулович выжила. После этого она ходила, прихрамывая.

«У всех, кто среди живых, есть надежда», — сказал автор книги Екклесиаст, примерно между 450 и 180 годами до нашей эры.

В СВОЕЙ ОСНОВЕ АРГУМЕНТ ЭТОЙ КНИГИ ПРОСТ: СОЗДАНИЕ машин, которые мыслят быстрее и лучше человечества, обрушится на мир сильнее, чем всё, что когда-либо обрушивалось на него прежде. Создание сверхразумных машин кажется проектом, который будет трудно реализовать правильно. Если посмотреть на то, как корпорации и законодатели подходят к этому, не похоже, что всё идёт хорошо. Человечеству нужно отступить. Мы не можем рассчитать, когда наступит катастрофа, но это не то же самое, что знать, что она далеко.

Остальная часть книги (и онлайн-дополнения) служат лишь для того, чтобы показать, что этот простой вывод выдерживает более пристальное изучение.

Если кто-нибудь построит это, все умрут.

Неважно, построен ли он доброжелательными корпорациями или эгоистичными. Неважно, построен ли он исследователями на Востоке или исследователями на Западе. Неважно, построен ли он безрассудными оптимистами или людьми, которые говорят, что уважают проблему. Никто не обладает знаниями или навыками, чтобы создать сверхразум, который выполнял бы их приказы.

Нам кажется, в конечном счёте, что это тот вид катастрофы, который возможно предсказать. Мы изложили этот довод как могли лучше. Мы не укрылись за «возможно», «риски» и «вероятно». Мы постарались объяснить, почему предсказание катастрофы поддаётся обоснованию.

Однако для того, чтобы страны всё равно устремились вперёд, недостаточно, чтобы все наши конкретные причины предсказания катастрофы оказались ошибочными. Если вы запускаете ракету и помещаете на борт весь человеческий вид, вы хотели бы, чтобы отсутствие катастрофы можно было предсказать. Это универсальный стандарт во всех остальных областях инженерии, от которых зависят человеческие жизни. Мало того, что мы ошибаемся; мы должны ошибаться настолько, чтобы отсутствие катастрофы можно было гарантировать.

Человечеству еще не поздно остановиться на своем пути. Это не составило бы даже 1 процент от стоимости ведения и победы во Второй мировой войне со стороны союзных держав.

Человечеству нужно лишь осознание проблемы и воля к жизни.

Вторая мировая война завершилась двумя ядерными бомбами, сброшенными на два японских города. Затем Советский Союз получил ядерные бомбы. После этого обе стороны разработали термоядерные бомбы, в тысячу раз мощнее.

Многие считали вероятным, что Америка, Европа и Азия будут вовлечены в полномасштабную ядерную войну, которая оставит большую часть человеческой цивилизации в руинах.

Были веские основания подозревать, что такое могло произойти. Это не была паника. Это не было людьми, предающимися циничному негативу. Это были не те же самые люди, которые увлекались предсказаниями о перенаселении и голоде, которые вот-вот наступят.

К 1950-м годам люди уже видели множество доказательств того, что избежать крупных войн было трудно. После Первой мировой войны многие страны и очень серьёзные люди заявляли, что Земле действительно нужно было больше не повторять этого. И на протяжении веков до этого, люди всех мастей говорили, что странам не следует вести столько войн. Визионеры, священники и публичные интеллектуалы представали перед мировыми державами своего времени, рассказывая неоспоримые истории о человеческой цене войн — о смертях, боли, искалеченных ветеранах и плачущих семьях. Они говорили: "Пожалуйста, остановитесь".

Но войны не прекращались.

Если бы вы жили в 1952 году, когда была взорвана первая термоядерная бомба, вам не нужно было быть пессимистом, чтобы, оглядываясь на историю позади себя, предвидеть ядерную войну.

А потом — ядерной войны не случилось.

Были опасные моменты. В разгар Карибского кризиса американский корабль сбросил глубинные бомбы, пытаясь заставить советскую подводную лодку всплыть и идентифицировать себя. Подлодка Б-59 решила, что началась всеобщая война. На её борту находилась ядерная торпеда, для применения которой требовалось единогласное решение трёх офицеров. Из них Василий Архипов был единственным, кто выступил против. Однако ни один из этих опасных инцидентов не перерос в полномасштабную ядерную войну.

Так или иначе, люди, считавшие, что ядерная война уничтожит всё в ближайшие десятилетия, оказались неправы.

Они не ошибались насчёт опасностей. Они не ошибались в том, что водородная бомба сравняет с землёй и сожжёт город, или в том, каково это — умирать от лучевой болезни, или в том, как межконтинентальная ракета с ядерными боеголовками прорвёт лучшие из имеющихся систем обороны.

Скорее, они ошибались в способности человечества решить не умирать.

Мы не знаем наверняка, почему склонные к войне народы Земли стали чуть мудрее. Но мы предполагаем, что впервые в истории человечества все, у кого была власть развязать войну, ожидали, что лично им придётся плохо, если она начнётся. Другие войны могли погубить далёких солдат, но эта принесла бы разрушение прямо к их порогу. Сильнейшая держава тоже проиграла бы.

Тем не менее, избежать ядерной войны было непросто. Переговорщики неустанно работали десятилетиями, чтобы не допустить ни единой ошибки, которая могла бы привести к роковой ядерной конфронтации. Страны заключали соглашения о вооружениях и создавали системы контроля. Между руководством США и СССР существовала прямая линия связи на случай, если требовалось срочно решить какой-либо вопрос.

Человечество избежало ядерной войны благодаря людям, которые понимали, что мир был на пути к разрушению, и они усердно работали, чтобы изменить курс. Они не считали, что пытаются предотвратить маловероятную аварию.

Они трудились, чтобы переписать уже предначертанную судьбу.

И цивилизация жила.

Итак — как нам переписать свою судьбу?

Мы рассмотрели, что необходимо сделать для выживания человечества. Теперь давайте обсудим, что можно сделать и кем.

Если вы в правительстве: Мы предполагаем, что в преддверии международного договора страны или национальные лидеры сигнализируют о готовности к такому договору. Крупные державы должны послать сообщение: "Мы предпочли бы не погибнуть от сверхразумного искусственного интеллекта. Мы бы предпочли, чтобы существовал международный договор и коалиция, направленные на то, чтобы его не создавать."

Цель состоит не в том, чтобы ваша страна в одностороннем порядке прекратила исследования в области ИИ и отстала. Она заключается в том, чтобы достаточное количество крупных держав выразили готовность остановить самоубийственную гонку во всем мире, чтобы ваша страна не оказалась в невыгодном положении, если вы согласитесь прекратить подниматься по эскалационной лестнице ИИ.

Мы уже упоминали, что Риши Сунак признал существование рисков от искусственного сверхразума в октябре 2023 года, будучи премьер-министром Великобритании. Также в октябре 2023 года генеральный секретарь Китая Си Цзиньпин дал (как нам кажется) слабые сигналы в этом направлении в кратком документе о международном управлении, который включал призыв «обеспечить, чтобы ИИ всегда оставался под контролем человека».

Эти и другие сигналы дают нам надежду, что среди мировых лидеров уже есть готовность к договору и что они могут быть открыты к его рассмотрению, если ни одна из их стран не должна будет отказаться от собственных преимуществ для подписания. Каждый человек на Земле оказался в одной и той же ловушке.

Если вы являетесь избранным должностным лицом или политическим лидером: обратите внимание ваших коллег на эту проблему. Сделайте всё возможное, чтобы заложить основу для договоров, которые запретят любые исследования и разработки в области искусственного интеллекта, способные привести к созданию сверхразума.

Мы понимаем, что выражение беспокойства может показаться странным и крайним по этим вопросам. Мы говорили с несколькими избранными должностными лицами, которые обеспокоены, но говорят, что не могут высказываться свободно, не рискуя оказаться в неловком положении из-за того, насколько странно это звучит.

Пожалуйста, учтите — особенно к тому времени, когда вы это прочитаете — действительно ли остальной мир настроен против вас в этом вопросе. Опрос YouGov, проведенный в 2023 году, показал, что 69 % опрошенных избирателей США считают, что ИИ следует регулировать как опасную и мощную технологию. Опрос 2025 года выявил, что 60 % опрошенных избирателей Великобритании поддерживают законы против создания искусственного сверхразума, а 63 % выступают за запрет ИИ, способных создавать более умные ИИ. Эта проблема пока не находится на первом плане у избирателей, но людям нетрудно понять, что создание искусственного интеллекта, значительно превосходящего человеческий, может плохо обернуться для человечества. Возможно, здесь есть возможность для того, кто говорит с мужеством своих убеждений.

А если вы политик, который не до конца убежден: мы не любим отступать к "возможно". Мы считаем, что наш аргумент стоит на своих достоинствах.

Мы считаем очевидным, что искусственный сверхразум не станет покорно служить своим создателям и перестроит Землю таким образом, что не оставит выживших. Однако мы понимаем, что некоторым людям сложно оценивать разногласия в незнакомой области. Даже если вы не можете определить, опровергает ли первый встречный аргумент нашу позицию, надеюсь, вы уже видите, что утверждение "всё будет хорошо" далеко не так однозначно.

Итак, мы просим вас: Пожалуйста, сделайте так, чтобы человечество могло хотя бы в будущем нажать на тормоза, даже если вы не убеждены в необходимости сделать это сейчас.

Требовать концентрации кластеров GPU в центрах, где они впоследствии могут быть подвергнуты мониторингу в рамках международных договоров, до того как они распространятся по всему миру и сделают остановку прогресса ИИ значительно более сложной.

Создайте условия сейчас, чтобы если в будущем вы измените мнение о серьезности угрозы, не было слишком поздно.

Если вы журналист, который серьезно относится к этим вопросам: миру нужна журналистика, которая подходит к этой теме с должной серьезностью, журналистика, которая исследует глубже поверхностных и легких заголовков о техно-СЕО, раздувающих ажиотаж, журналистика, которая помогает обществу осознать, что нас ждет. Здесь есть множество историй, заслуживающих постоянного освещения и более глубокого исследования, чем то, что мы видели до сих пор.

Руководители этих компаний всё чаще призывают общество ускорить развитие этой технологии, одновременно официально заявляя, что та же технология несёт в себе значительный риск вымирания. Исследователи в области согласования ИИ уходят из компаний, ссылаясь на соображения безопасности, утверждая, что проблема выглядит тревожно сложной. Что происходит? Не слишком отвлекайтесь на личности, когда пишете подобную историю, даже если компания, занимающаяся ИИ, полна увлекательных людей и конфликтов. Каждый раз, когда возникает такая история, стоит трезво упомянуть, как самые авторитетные внешние учёные предупреждают о катастрофе, в качестве фона для последних проделок ИИ-компаний.

Писать об этой проблеме всерьез может показаться рискованным в мире, который еще не решил, что вымирание человечества — популярная тема, который считает, что сверхразум машин звучит странно. И ваш редактор может все еще опасаться неловкости, даже когда мир будет готов к этой истории. Но любая история, которую вы напишете об искусственном интеллекте, вероятно, окажет наибольшее влияние на человечество за всю вашу журналистскую карьеру; даже самый легкий толчок в этом направлении — это толчок к чему-то очень большому и смертельно опасному. Если и когда человечество возьмется за ум, какую историю вы захотите, чтобы вы рассказали, чтобы помочь ему одуматься? Какую пользу вы можете принести, отнесясь к этому серьезнее, чем другие журналисты?

Если человечество хочет пережить это испытание, люди должны знать, с чем они сталкиваются. Это задача не только учёных, но и журналистов.

А что касается остальных: большинство из нас не политические эксперты, политики или журналисты. Что же тогда можно сделать, чтобы переписать нашу судьбу?

Мы не просим вас отказаться от использования всех инструментов ИИ. По мере их совершенствования вам, возможно, придётся применять ИИ-инструменты, иначе вы отстанете от тех, кто это делает. Эта ловушка реальна, а не воображаема. И даже если 60 процентов вашей страны объявят бойкот компаниям ИИ, это не спасёт мир. Поэтому мы не просим вас ставить себя в относительно невыгодное положение по сравнению с другими ради относительно небольшого выигрыша[Если вы чувствуете вину, возможно, стоит обратить внимание на некоммерческие организации, которые подают справедливые, но сложные иски против компаний, занимающихся искусственным интеллектом, и жертвовать им столько же, сколько вы платите компаниям ИИ, в качестве компенсации.].

Если вы живёте в демократической стране, вы можете написать своим избранным представителям и сообщить им о своей обеспокоенности. Некоторые ресурсы, которые помогут вам в этом, можно найти по ссылке ниже.

IfAnyoneBuildsIt.com/act

И вы можете голосовать. В стране с раздельными первичными и всеобщими выборами (как в Соединённых Штатах) ваш голос наиболее важен на праймериз.

Если ваш избранный представитель выступает за ускоренное развитие ИИ, вы можете поддержать его оппонентов деньгами или своим голосом.

Вы можете участвовать в протестных маршах. Мы ожидаем, что они будут гораздо эффективнее, если будут массовыми и законными[Даже если вы чувствуете отчаяние, мы предостерегаем от актов насилия или разрушения. Мы не считаем, что они работают. Противоправное поведение лишь усложняет задачу политическим силам, пытающимся создать международную коалицию, которая могла бы действительно изменить нашу судьбу.]. По ссылке ниже вы можете записаться на протесты, которые состоятся только при достижении критической массы.

IfAnyoneBuildsIt.com/march

Вы можете говорить об этом. На протестных маршах, любому опросившему вас социологу или даже просто друзьям и семье.

Если множество людей в разных странах единогласно заявляют, что они предпочли бы не погибнуть от искусственного сверхразума и хотели бы международного договора — это само по себе не предотвратит катастрофу. Предотвращение ядерной войны было сложнее, чем простое несогласие с ней множества людей. Но гражданам полезно высказываться в знак протеста. Это упрощает ситуацию для президентов и дипломатов, когда у них есть открытая поддержка их избирателей.

И когда ты сделал всё, что мог? Живи хорошо.

Мы не первые, кто живёт под угрозой уничтожения. Предыдущие поколения знали об этом больше, чем мы. Как писал К. С. Льюис:

«Как нам жить в атомный век?» Мне хочется ответить: «А как же иначе, как жили бы вы в шестнадцатом веке, когда чума почти каждый год посещала Лондон, или как жили бы в эпоху викингов, когда налетчики из Скандинавии могли высадиться и перерезать вам горло в любую ночь; или, собственно, как вы уже живёте в век рака, век сифилиса, век паралича, век воздушных налётов, век железнодорожных катастроф, век автомобильных аварий».

Если нас всех уничтожит атомная бомба, пусть, когда она прилетит, застанет нас за разумными и человечными делами — Молясь, работая, преподавая, читая, слушая музыку, купая детей, играя в теннис, общаясь с друзьями за пинтой пива и игрой в дартс — не сбившись в кучу, как испуганные овцы, и не думая о бомбах.

К.С. Льюис не говорил читателю, что не стоит бояться, потому что ядерного оружия не существует и нет шансов погибнуть от него. Он не призывал читателя искажать свои убеждения из-за страха. Он просто говорил: Да, это ужасно. Прятаться от страха не поможет. Вам также нужно жить своей жизнью.

Если бы каждый делал свое дело, голосования, протесты и высказывания были бы достаточны. Если бы все однажды утром проснулись, веря хотя бы в четверть из того, во что верим мы, и все знали бы, что другие тоже в это верят, они бы вышли на улицы и остановили дата-центры, солдаты и полицейские шли бы плечом к плечу с мамами и папами. Если бы они верили хотя бы в шестнадцатую часть того, во что верим мы, в течение месяца были бы подписаны международные договоры о создании систем мониторинга и контроля за передовыми компьютерными чипами.

Может ли Земля выжить, если только некоторые люди делают свою часть? Возможно; возможно нет.

Мы слышали, как многие говорят, что остановить ИИ невозможно, что человечество никогда не сможет объединиться. Возможно, так и есть. Но удивительное количество избранных должностных лиц говорили нам, что они сами видят опасность, но не могут об этом заявить из-за страха перед последствиями. Не было бы глупо, если бы на самом деле почти никто из принимающих решения не хотел погибнуть от этого, но все думали, что они одни так считают?

Где жизнь, там и надежда.

ЗАКЛЮЧИТЕЛЬНЫЕ СЛОВА

Время от времени люди спрашивают нас, чувствовали ли мы себя оправданными, видя, как наши прошлые предсказания сбываются, или наблюдая, как нам и этой проблеме уделяется больше внимания.

И вот, в конце, мы произносим эту молитву:

Да будет нам стыдно за то, насколько мы ошибались, да канем в небытие и будем забыты, оставшись лишь примером того, как не следует мыслить, и да живет человечество долго и счастливо.

Но мы не возложим нашу последнюю веру и надежду на бездействие.

Поэтому наша истинная последняя молитва такова:

Поднимитесь до вызова, человечество, и победите.

БЛАГОДАРНОСТИ

С благодарностью:

Элла и Гретта, книжные вдовы и акушерки. Джо, Митч, Роб, Джерри, Алекс, Дункан, Мало, Харлан и остальная команда поддержки MIRI за их упорный труд. Джон Беннетт, Кейла Гэмин, Дэйв Кастен, Джейсон Грин-Лоу, Юсуф, Томас и другие за ранние рецензии и ценные советы.

Ронни, Джеффри, Оливер, Келси, Рейф и другие за проверку фактов и другую особую помощь. Ванивер, Алекс Алтаир, Роберт Херр, Скайлер, Бен, Лора и многие другие за срочные рецензии и полезные заметки. Александр за долгие дни и поздние ночи редактирования; и многие другие.

Понадобилась целая деревня.

ОБ АВТОРАХ

ЭЛИЕЗЕР ЮДКОВСКИЙ — один из основоположников исследований в области согласования ИИ, которая занимается изучением того, как интеллекты, превосходящие человеческие, мыслят, ведут себя и достигают своих целей. Будучи сооснователем некоммерческого Института исследований машинного интеллекта (MIRI), Юдковский инициировал ранние научные исследования этой проблемы и сыграл ключевую роль в формировании общественного дискурса о сверхчеловеческом ИИ. Он вошёл в список 100 самых влиятельных людей в области ИИ по версии журнала Time и был одним из двенадцати публичных деятелей, представленных в The New York Times.

"Кто есть кто за рассветом современного движения искусственного интеллекта" — он был одним из семи ведущих мыслителей, выделенных в обсуждении "Соперничающих фракций ИИ" газетой Washington Post. Он выступал на главной сцене конференции TED в 2023 году, а также о нём писали или брали у него интервью в The New Yorker, Newsweek, Forbes, Wired, Bloomberg, The Atlantic, The Economist и многих других изданиях.

НЕЙТ СОАРИС является президентом MIRI. Он работает в этой области более десяти лет, имея за плечами опыт работы в Microsoft и Google.

Соарес является автором обширного корпуса технических и полутехнических работ по проблеме согласования ИИ, включая основополагающие исследования в области обучения ценностям, теории принятия решений и стимулов к стремлению к власти у ИИ, превосходящих человеческий интеллект.

Content

Юдковски Элиезер Шломо и др Если кто-то это построит, все умрут

Введение: Сложные и простые решения

ЧАСТЬ I. НЕЧЕЛОВЕЧЕСКИЕ СОЗНАНИЯ

ГЛАВА 1 ОСОБАЯ СИЛА ЧЕЛОВЕЧЕСТВА

ГЛАВА 2 ВЫРАЩЕННЫЙ, А НЕ ИЗГОТОВЛЕННЫЙ

ГЛАВА 3 УЧИТЬСЯ ХОТЕТЬ

ГЛАВА 4 ВЫ НЕ ПОЛУЧАЕТЕ ТО, ЧТО ТРЕНИРУЕТЕ

ГЛАВА 5 ЕГО ЛЮБИМЫЕ ВЕЩИ

ГЛАВА 6 МЫ ПРОИГРАЕМ

ЧАСТЬ II ОДИН СЦЕНАРИЙ ВЫМИРАНИЯ

ГЛАВА 7 РЕАЛИЗАЦИЯ

ГЛАВА 8 РАСШИРЕНИЕ

ГЛАВА 9 ВОЗНЕСЕНИЕ

ЧАСТЬ III СТОЛКНУВШИСЬ С ВЫЗОВОМ

ГЛАВА 10 ПРОКЛЯТАЯ ПРОБЛЕМА

ГЛАВА 11 АЛХИМИЯ, А НЕ НАУКА

ГЛАВА 12 "Я НЕ ХОЧУ БЫТЬ ПАНИКЁРОМ"

ГЛАВА 13 ЗАКРЫТЬ ЭТО

ГЛАВА 14 ГДЕ ЖИЗНЬ, ТАМ И НАДЕЖДА

ЗАКЛЮЧИТЕЛЬНЫЕ СЛОВА

БЛАГОДАРНОСТИ

ОБ АВТОРАХ