Владимир Овчинский, Елена Ларина

Роботы-убийцы против человечества. Киберапокалипсис сегодня

© Е. С. Ларина, 2016

© В. С. Овчинский, 2016

© Книжный мир, 2016

Введение

Как только человечество стало говорить и писать о роботах, возникло две тенденции. Одна описывала светлое будущее, где роботы заменяют человека на самых тяжелых работах и являются другом человека. Другая – рисовала мрачные картины роботов-убийц и автоматизированных систем вооружения. Иными словами, роботов как врагов человека. И та, и другая тенденции благодаря Четвертой производственной революции реализованы в XXI веке. Мы наблюдаем невиданный взлет роботизации. Роботы уже способны заменять врачей, космонавтов, геологов. Но роботы одновременно в разных концах света убивают людей, участвуют в совершении преступлений. Выдающиеся умы человечества рисуют апокалиптические картины власти роботов над людьми как высшей стадии развития искусственного интеллекта.

Не удивительно, что при упоминании о роботах первым делом вспоминается не трудяга Бакстер, вкалывающий на окрасочной или сборочной линиях, а грозный Терминатор и всемогущий Скайнет. Одной из самых больших страшилок начавшегося XXI века стал искусственный интеллект.

Самыми покупаемыми и читаемыми в Америке книгами нехудожественной тематики стали книги об угрозах искусственного интеллекта. Они издаются на бумаге и в электронном формате. Им посвящены многочисленные электронные ресурсы в интернете. О них говорят на ток-шоу и специальных программах телевидения. Подавляющее большинство американцев и европейцев прочли такие книги, как «Superintelligence: Paths, Dangers, Strategies» Н. Бострома, «Smarter Than Us: The Rise of Machine Intelligence» С. Армстронга, «Rise of the Robots: Technology and the Threat of a Jobless Future» М. Форда. Чего стоят одни названия этих книг. «Последнее изобретение человечества», «Умнее, чем мы», «Опасности суперинтеллекта» и т. п.

Все эти и им подобные книги и статьи, число которых множится не по дням, а по часам, объединяет один, достаточно простой посыл: вот-вот будет создан искусственный интеллект, который сделает машины умнее, а значит и могущественнее людей. Соответственно, не машины будут прислуживать людям, а люди, в лучшем случае, будут служить машинам или превратятся в них. Именно о последнем говорит одно из самых популярных движений на Западе, под названием – «трансгуманизм».

Суть трансгуманизма в том, что скоро люди смогут переселиться из белковых тел в компьютерные программы, размещенные на сменяемых носителях, для начала железных, а потом любых иных. Сегодня это уже не маргинальное течение мысли интеллектуалов-извращенцев, а вполне себе авторитетное международное движение, во главе которого стоит вице-президент корпорации Google Рей Курцвейл. Не отстают и россияне. Они палят как всегда непонятно как заработанные деньги на трансгуманистический проект «Россия 2045». Этот проект предусматривает создание в России к 2045 году полностью искусственного существа, в которое может быть пересажен разум обычного человека.

Уверенность в грядущем могуществе искусственного интеллекта, который видится как более мощный, бессмертный и умный, по сравнению с человеческим, охватила не только обывателей, политиков и айтишников, но и отдельных биологов, специалистов в области когнитивных наук, психологии и т. п. Они все чаще и чаще в своих научных работах начинают уподоблять человека компьютеру, софт – сознанию, а хард – мозгу.

Понемногу эта точка зрения становится, что называется, господствующей, общепринятой и даже не подлежащей обсуждению. Между тем, прежде чем написать несколько слов о роботах, пора посмотреть, а действительно ли грядущее торжество искусственного интеллекта столь уж гарантировано?

Есть основания полагать, что, сравнивая человеческий и машинный интеллекты, мы затушевываем реальную проблему, делаем ее для нас более привычной, а соответственно и воспринимаемой. Если уж писать совсем на чистоту, то подобный взгляд на искусственный интеллект, как это ни удивительно, не преувеличивает опасность, а преуменьшает ее. Ведь господствующая точка зрения состоит в том, что искусственный интеллект и обладающие им роботы будут в основном такими же, как люди, только прочнее, мощнее и умнее.

Однако мы предлагаем читателям поразмышлять над парадоксом, который забывают все авторы книг об искусственном интеллекте. В них предполагается, что искусственный интеллект будет создан на основе нейросетей. А нейросети – это копия нейронов и прочих компонентов человеческого мозга. Т. е. искусственный интеллект – это своего рода кремниевый мозг и загруженные в него программы. Однако, вся проблема в том, что хотя для психики мозг и необходим, более того, сознание без мозга невозможно, в мозге само по себе сознание не содержится. Более того, мозг изначально не содержит человеческого интеллекта.

Доказать это очень просто. В истории зафиксировано более 100 задокументированных случаев, когда удавалось найти детей, подростков или молодых людей, которые были лишены человеческого общения и воспитывались животными или вообще находились в изоляции. Так вот, ни в одном из этих случаев, совершенно нормальные по своим физиологическим характеристикам люди, имеющие целостный, неповрежденный мозг, не мыслили по-людски. В лучшем случае, они были способны к звериному мышлению. Более того, в последние годы всплыли документы о экспериментах с подобного рода детьми и подростками, проведенными в 20-40-е годы прошлого века в нескольких странах мира. Суть этих экспериментов состояла в следующем. Параллельно основам человеческого языка и навыкам общения с человеком обучались своеобразные «Маугли» и представители тех животных, среди которых эти «Маугли» были воспитаны. Как ни парадоксально, лучше дело шло у обезьян и волков, чем у детей, попавших в группы обезьян и волков, и воспитанных ими.

Таким образом, вопрос о взаимосвязи мозга и мышления не так прост, как может показаться на первый взгляд. Также не прост вопрос о взаимосвязи уровня интеллекта и здоровья мозга, и человека в целом. Как уже отмечалось, дети с совершенно здоровым мозгом, но воспитанные животными, не то что не могли овладеть логикой, но их крайне сложно было обучить человеческому языку и навыкам социальной коммуникации. Между тем, в 60-70-е годы прошлого века в СССР под руководством великого философа Э. Ильенкова был проведен выдающийся по любым меркам эксперимент. В Загорской школе-интернате психологам – профессору И.А. Соколянскому и доктору наук А.И. Мещерякову – удалось вернуть к полноценной жизни слепо-глухо-немых детей. Все они, лишенные природных рецепторов, были обучены человеческому языку и мышлению. Пятеро из этой группы не просто окончили школу, а поступили в МГУ, а один – защитил докторскую диссертацию и стал профессором ЮНЕСКО.

Другая российская научная школа великих советских психологов С.П. Рубинштейна и А.Е. Буршлинского в результате длившихся десятилетия экспериментов неопровержимо установила, что человек одновременно использует два типа мышления. Один – применяемый человеком в привычной, стабильной обстановке – это так называемое алгоритмическое мышление, т. е. мышление по правилам. Второй тип мышления, используемый человеком, когда он сталкивается с неизвестным, это – неалгоритмическое мышление. Его называют по-разному – творчество, интуиция, мышление ассоциациями, метафорами и т. п. Если алгоритмическое мышление имеет много общего с вычислительным интеллектом, то творческое мышление пока никому в программно-аппаратном виде воспроизвести не удалось. Оно базируется на принципиально иных основаниях, нежели «да-нет» логика и двузначная система счисления, лежащая в основе любой современной компьютерной программы.

Мозг, конечно, важен, но человеческий мозг и психика – это не хард и софт, а нечто иное, наукой до конца не понятое. Как ни стараются специалисты в области нейрофизиологии, когнитивной психологии и т. п., непосредственно свести психику к мозгу, идеальное к материальному, информацию к материи – им это не удается. Остается что-то, что наука пока объяснить и разгадать не может.

Более того, в процессе обучения компьютеров играм удалось выявить еще одно весьма принципиальное отличие человеческого мышления от машинного интеллекта. Человек, это уже установлено неопровержимо, думает, что называется, мыслео-бразами. Он как бы мыслит глазами. Первичным является образ, а вторичным – слово или цифра. Тому есть множество подтверждений. Машина же всегда является вычислительной. Любая, самая сложная программа, включая знаменитого Watson, это, в конечном счете, огромный вычислитель. Он определенным образом преобразует двоичный код, или «да-нет» в определенные числовые программы. Вычисления и представляют собой, если можно так выразиться, компьютерное мышление или более точно – вычислительный интеллект.

Соответственно там, где действуют строгие правила, вычисления оказываются гораздо более эффективными, чем образы. Это в частности доказала история соперничества человека и компьютера в шахматах. После проигрыша в 90-е годы прошлого века чемпиона мира по шахматам Гарри Каспарова компьютеру IBM, машинный интеллект в шахматах навсегда доказал свое первенство перед человеческим. Но шахматы – это счетная игра, игра по правилам. Соответственно там, где устанавливаются четкие правила, и решается задача выбора наилучшего решения в рамках этих жестких правил, компьютеры уже стали или в ближайшее время станут принимать решения лучше, чем человек.

Люди тоже во многих случаях принимают решения по правилам. Просто у нас правила называются привычками, стереотипами, навыками и т. п. Каждый может вспомнить, как те или иные действия он выполнял машинально, или говорил, принимая то или иное решение: «Я действовал на автомате». Однако человеческое поведение не исчерпывается автоматизмом. Отличительной особенностью человека является способность менять правила, выходить за них, действовать за пределами привычек, стереотипов и навыков.

Вспоминая о шахматах, нужно держать в голове не только итог поединка Гарри Каспарова с Deep Blue, но и сеанс одновременной игры, который дал Остап Бендер в Васюках или боксера из песенки Высоцкого о поединке на звание чемпиона мира.

В человеческом мышлении, безусловно, присутствует, более того, занимает значительное место вычислительная компонента. Иначе бы люди не создали никакой математики, а соответственно не появились бы ни программирование, ни компьютеры, ни интеллектуальные роботы. Но вычислительная компонента у человека является не единственной. Как минимум не менее, а вероятно и более важным является не вычислительная, а образная, базирующаяся не на анализе, а на синтезе. Не зря поэты, которые зачастую видят проблему раньше и лучше ученых, написали строки типа: «мысль изреченная есть ложь». А ведь слово и цифра – это одно и то же, просто в разных языках.

К чему эти, казалось бы, далекие от темы роботов размышления? Все очень просто. Мышление, интеллект, подавляющее большинство современных исследователей из самых различных отраслей знаний – от математики до психологии, от военной стратегии до практики продаж – понимают как процесс принятия решений, т. е. выбор из различных альтернатив единственной в условиях неопределенности. Последнее означает, что по условиям, ни одно из имеющихся решений не является однозначно лучшим и очевидным.

Теперь мы подходим к главной цели нашего вступления, без которого невозможно понять ни текстов, напечатанных в книге, не послесловия к ним. Если понимать интеллект так, как изложено выше (а именно такое понимание соответствует и повседневному опыту и здравому смыслу и современной науке), искусственный интеллект – это не будущее. Он уже существует. Но слово «искусственный» затемняет суть дела, По сути это – иной интеллект. Это – вычислительный интеллект. Соответственно по-английски его правильно обозначать не привычной аббревиатурой IA, a QI (вычислительный интеллект), или OI (иной интеллект).

Главным является слово «вычислительный». Именно здесь содержатся огромные возможности и возможно еще большие угрозы для человеческого рода. QI может либо дополнить человеческий интеллект и соответственно породить принципиально новый, гибридный интеллект, либо помочь людям уничтожить себя и вместе с собой цивилизацию.

Проблема здесь вот в чем. Современные, а тем более будущие роботы, уже наделены зачатками, а в отдельных случаях и полноценным QI. При этом великий провидец, мыслитель и фантаст, кстати, имеющий российские корни, Айзек Азимов еще в 1942 году сформулировал три знаменитых закона робототехники. «Законы гласят:

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.

Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам».

Хитрость состоит в следующем. Поскольку роботы обладают не просто интеллектом, тем более не человеческим интеллектом, а именно QI, то в их программах должны быть прописаны жесткие правила. В них должно быть четко и главное однозначно определено, кем является человек. Если в программе под человеком понимаются все люди, без исключения, то тогда никакие военные, криминальные или разведывательные роботы невозможны в принципе.

Они не были возможны и раньше. Но сегодня в эпоху прокси-, гибридных, асимметричных, городских войн, использование роботов в военных и иных целях становится в соответствии с законами А. Азимова совершенно немыслимым.

Одной из главных особенностей вооруженных конфликтов является то, что в них теперь сложно определить, когда они начинаются и когда заканчиваются. Противники и союзники постоянно меняются местами. Фронт и тыл больше не существуют. В рамках одного города может идти мирная, повседневная жизнь и происходить вооруженные столкновения. Мирные граждане днем, могут становиться повстанцами ночью и т. п. Не зря наиболее точным названием вооруженных конфликтов современности является термин «нечеткие войны» или «войны без правил», «войны всех против всех».

Это войны, где контекст зачастую важнее того, что непосредственно видно и распознается. Это войны, где зачастую важно не считать, а понимать, где чутье и интуиция на малейшие признаки перевешивает сложные расчеты и многомерные модели. Оно и понятно. Это войны, где решения надо принимать не просто в условиях неопределенности, а по постоянно меняющимся правилам.

Теперь, мы надеемся, понятно, почему роботы, обладающие не искусственным, а вычислительным интеллектом, становятся чрезвычайно опасными, почему в этих условиях не роботы становятся угрозой для людей, а люди, взявшие на вооружение роботов с вычислительным интеллектом, создают невообразимые риски и огромные угрозы всему человечеству.

Не просто с каждым годом, а с каждым месяцем роботы и автономные автоматизированные системы все шире применяются в военном деле, в экономике, в быту. Однако, сама по себе концепция роботов и более того, ее программно-аппаратное воплощение – это не достижение сегодняшнего дня. Первые роботы современного типа появились еще в США, в Советском Союзе. Мало кто помнит, но в последние годы существования СССР робототехникой и полностью автоматизированными линиями, соответствующим лучшим мировым образцам, оснащались предприятия многих отраслей народного хозяйства. Советские беспилотники на рубеже 70-80 гг. прошлого века превосходили по оценкам западным экспертов, своих собратьев-роботов на Западе.

В то же время нельзя не признать, что как бы ни были совершенны роботы XX века, это были роботы прошлого в полном смысле этого слова. Информационная революция, появление интернета, прорывы в области электронных схем и процессоров, микроминиатюризации и производства новых материалов создали все предпосылки для появления роботов, способных реализовать возможности вычислительного интеллекта.

При этом запрещать что-то уже поздно. Джин выпущен из бутылки. Бывший министр обороны США Ч. Хейгел на презентации Третьей стратегической инициативы инвестиций и инноваций, нацеленной на перевооружение армии США, и активно реализуемой Пентагоном, сказал: «Любая высокая технология имеет тройное – гражданское, военное и криминальное – применение».

Роботы – не исключение. Более того, они – самое яркое и опасное правило. Смертоносные роботы с вычислительным интеллектом – это уже не персонажи фантастических книг и блокбастеров. Они берутся на вооружение армиями, террористическими группировками и транснациональными преступными формированиями. Это реальность, в которой нам предстоит жить и от которой не уклониться. Поэтому лучше не погружаться в сладкий дурман пропагандистских опусов и публицистических агиток, а узнать информацию о реальном положении дел, что называется, из первоисточников.

В книге собраны тексты, опубликованные во второй половине 2014-го и в 2015 г. ведущей американской «фабрикой мысли» – Центром новой американской безопасности. В нем работает много бывших руководителей Пентагона, военачальников, высших чинов американской разведки, всемирно известных исследователей. Также в книге представлен доклад межуниверситетского коллектива в составе лучших специалистов из ведущих американских учебных заведений и научных центров, подготовленный по заданию властей США. Также в книге представлены и другие актуальные тексты о боевых роботах и о применении роботов террористическими и преступными группировками.

Материалы, которые приводятся в данной книге, показывают, насколько реальность уже превзошла все фантазии. Это касается и боевых дро-нов, и новых автоматизированных систем ведения войны, и роботов в компьютерных сетях. Уже сейчас роботы массово убивают людей. Еще одна опасная тенденция – применение роботов в преступных целях террористами, мафиозными организациями. Звучащие призывы правозащитников и парламентариев разного уровня о внесении запретов на производство и применение роботов в боевых целях тонут в вале сообщений о разработке все новых и новых автоматизированных систем вооружения. К сожалению, каскад военных конфликтов, охвативших все континенты, не даст возможности сдержать разработку и применение боевых роботов. Надо быть реалистами в оценке ситуации. Перефразируя одного известного исторического деятеля: если мы не хотим оказаться жертвами чужих роботов, необходимо научиться конструировать и производить свои, лучшие и эффективные.

Введение в военные автономные системы. Центр Новой Американской Безопасности 2015 г. Извлечения из доклада

За последние несколько лет мы стали свидетелями подлинного взрыва в исследованиях, разработках и практическом применении автономных военных систем. Наряду с исследователями, конструкторами и технологами, программистами и разработчиками, кадровыми военными и экспертами в области национальной безопасности, эту тему активно обсуждают гражданские активисты, юристы, политологи, философы и специалисты по этике.

На фоне дискуссий важно понимать, что многие уже стоящие на вооружении боевые системы включают в себя элементы автономии. Часто встречающиеся в дискуссиях аргументы о том, что автономия – дело будущего, и можно предписывать разработчикам, конструкторам и технологам различного рода, в том числе этические, ограничения при развитии вооружений, не выдерживают столкновения с практикой. Уже существующие виды вооружений и методы ведения военных действий включают в себя фактор автономии. Уже поздно рассуждать на тему, хороша или плоха автономность боевых систем по отношению к человеку, допустима ли она по этическим и моральным критериям или нет. Автономность уже состоялась.

Автономность широко используется при решении военных задач, в том числе связанных с использованием боевого, латентного оружия. К числу военных задач, где наиболее широко используются автономные системы, относятся разведка, навигация, автоматические системы огня, системы маневрирования и самонаведения на цели, системы отложенного удаленного применения неподвижного (мины) или подвижного оружия и т. п.

По имеющимся сведениям в настоящее время автономные робототехнические системы (АРС) в военном деле используются в той или иной мере 30 государствами и несколькими негосударственными акторами. В подавляющем большинстве случаев АРС используются в качестве средств разведки, логистики, транспорта, автоматизированной доставки вооружений (самонаводящиеся ракеты) и т. п. Менее распространены Боевые Автономные Роботизированные Системы (БАРС), которые предусматривают автономное принятие решений об использовании огневой мощи или других типов поражающего оружия.

В настоящее время не существует согласованного на международном уровне, а тем более юридически обязывающего определения Автономного Оружия (АО), АРС и БАРС. Министерство обороны США, Международный Комитет Красного Креста, ООН и ее специализированные структуры используют достаточно близкие определения. Однако они далеки не только от юридически обязывающей формы, но даже и от терминологической стандартизации и четкости.

Еще более неопределенное значение АО придают различного рода активисты, выступающие за запрет «роботов-убийц». Этот термин они используют для обозначения АО. Причем под данную терминологию попадают у активистов практически все виды роботов, включая гражданских. Эти люди, как их предки несколько веков назад – луддиты, пытаются остановить технический прогресс, не допустить появления каких-либо роботов, которые могут быть использованы на производстве, в быту или в военных целях.

Отсутствие ясности и четкости в терминологии и общественном восприятии усугубляется тем, что некоторые политические и общественные силы призывают к юридически обязывающему внутреннему и международному регулированию или запрещению не только АО, но и АРС, не говоря уже о БАРС, еще до того, как будут приняты стандартные определения этих систем. Поэтому, прежде чем продвигаться вперед по юридическим и регулятивным тропам, необходимо на старте договориться, по крайней мере, о единой базовой терминологии.

Это достаточно сложная задача. Сегодня имеется не слишком много очевидных, бесспорных, ясных даже неспециалисту примеров АО, АРС и БАРС. Различного рода активисты и многие политические силы в своих предложениях опираются не на фактическое положение дел, а на свои прогнозы относительно будущего автономного оружия. Именно в будущем они черпают аргументы для запрета АО. Это требование проистекает из основной тенденции развития техники вообще, и робототехники в частности, предусматривающей постоянное увеличение автоматизации и все большее исключение человека из всех процессов функционирования техники, включая и принятие решений.

Предлагается, вместо того, чтобы оперировать примерами из фантастических романов и фильмов, тщательно проанализировать природу автономности и уже имеющиеся образцы АО, АРС, и на этой основе попытаться выработать стандартные определения.

Начать надо с ответа на три ключевых вопроса:

• Что такое автономия?

• Как автономия используется в оружии сегодня?

• Что такое АО?

Представленный материал не рассматривает подробно правовые, этические и политические вопросы, возникающие относительно оружия будущего. Цель материала иная – сформировать общепринятое понимание АО, АРС и БАРС, проанализировать, как автономность используется в уже имеющихся типах вооружений и в тех разработках, которые проводятся в настоящее время и в ближайшем будущем превратятся в оружие, включенное в арсенал вооруженных сил Соединенных Штатов.

Данный материал является итогом первого этапа работ в рамках проекта Американского Центра Новой Безопасности «Этика автономии». Мы надеемся, что он поможет всем размышляющим и пишущим на тему АО, АРС и БАРС использовать общую терминологию и видение. Мы также особо хотели подчеркнуть, что, хотя подавляющая часть автономных систем имеет отношение к робототехнике, строго говоря, автономные системы могут быть реализованы и помимо робототехники в электромагнитной среде при помощи программных средств, в том числе боевых компьютерных программ, вирусов и других форм небиологических активных систем.

Что такое автономность?

В настоящее время термин «автономность» разные исследователи используют по-разному. Его применение различается не только по странам, но и по дисциплинам, и даже отдельным исследователям. Особое разнообразие наблюдается при рассмотрении АО. Это характерно не только для науки. Не меньшее разнообразие содержится в фантастике. Там под одним и тем же термином «автономного робота» фигурируют разнообразные железные персонажи, начиная от дружелюбного домашнего робота-слуги Айзека Азимова, подчиняющегося трем законам робототехники, до грозного Терминатора и гибельного Скайнета. Нет согласия в применении термина «автономности» даже в государственных документах. В одних из них термин «автономность» имеет собственное содержание. В других – используется исключительно как характеристика уровня автоматизации.

Однако, несмотря на то, что нет терминологического согласия, словосочетание уже прочно вошло в лексикон военных руководителей и официальных документов. Так, осенью 2014 года заместитель министра обороны США по закупкам, технологиям и логистике Фрэнк Кендалл в своем официальном выступлении, посвященном Третьей оборонной инициативе, сказал, что она будет сосредоточена в том числе на «обеспечении широкого использования автономности на всех полях боевых действий, включая воздух, землю, воду, космос и киберпро-странство». НАТО в своих официальных документах конца 2014 года отметило «необходимость максимально полного использования потенциала АРС в боевых действиях». Южная Корея в бюджете на 2015 год предусмотрела графу по финансированию разработки автономных роботизированных средств наблюдения и контроля над демилитаризованной зоной с Северной Кореей. Министр обороны России С. Шойгу в конце 2014 года заявил о необходимости «разработки и принятия на вооружение армии автономных роботизированных систем, обеспечивающих охрану ключевых военных объектов, разведку и транспортировку грузов и боевых систем».

В своей простейшей форме автономность представляет собой способность машины выполнить задачу без вмешательства человека. Таким образом, автономная система является машиной, а точнее алгоритмизированным средством. Автономными системами могут быть как аппаратные средства, так и программное обеспечение или программно-аппаратные комплексы самого различного типа. Главное, чтобы они могли после своей активации функционировать и выполнять поставленные перед ними задачи самостоятельно, без вмешательства и участия человека, за исключением в некоторых случаев контроля и управления в условиях форс-мажора.

Автономные системы (АС) не ограничиваются роботами или автоматическими транспортными средствами, типа Гуглмобиля. На самом деле, автономностью обладают многие типы промышленного, складского и транспортного оборудования и систем. Большинство автомобилей включает в себя автоматическую антиблокировочную систему тормозов, тяги и контроля безопасности, аварийную автоматическую систему ремней и подушек безопасности, круиз-контроль и т. п. Для военных самолетов уже долгое время применяются не только автопилоты, но и автоматические системы маневра в воздухе при обнаружении других воздушных судов или объектов, угрожающих столкновением. Автоматизация и роботизация производства, транспорта и быта стали не фантастикой, а повседневностью. Они обеспечили значительный рост производительности, экономию средств, возможность решения задач в сложных, вредных и деградировавших средах и т. п.

Три размерности автономности

Различное понимание автономности и терминологическая путаница в немалой степени обязаны историческому использованию слова «автономия», для обозначения трех различных явлений и процессов:

• контроля и управления в человеко-машинных системах, где автономия является характеристикой разделения функций между человеком и машиной;

• сложности машины;

• уровня автоматизации решений.

Эти три подхода различаются между собой и отражают совершенно не связанные между собой концептуальные схемы. Однако, люди, как правило, смешивают их вместе и пытаются создать термин, пригодный на все случаи жизни. Для того, чтобы выработать с одной стороны устраивающее всех определение автономии, а с другой – не превратить его в пустую абстракцию и наделить собственным, понятным содержанием, внимательно рассмотрим все три понимания автономии.

Управление и контроль в человеко-машинных системах

Первый способ употребления термина «автономия» относится к взаимоотношениям между человеком и машиной в рамках гибридных человеко-машинных систем. В тех случаях, когда машины лишь частично выполняют функции управления, а частично это делает человек, их называют полуавтономными машинами. Еще используется термин «машина с человеком в петле» (имеется в виду петля прямой и обратной связей в системах управления).

Машины, которые полностью выполняют все функции, но включают человека как контролера, и предусматривают возможность вмешательства его в управление при форс-мажорной или какой-либо иной ситуации называют автономными машинами под человеческим контролем.

Те машины, которые выполняют все функции самостоятельно и не предусматривают вмешательство людей в выполнение функций, называют полностью автономными машинами, или машинами «без человека в петле». Подчеркнем, что данное понимание автономии, строго говоря, не предъявляет никаких требований к способностям машин и тем более не говорит о наличии у них искусственного интеллекта. Оно только фиксирует распределение между человеком и машиной управляющих и контрольных функций.

Автономность как сложность

Термин «автономия» часто используется применительно к машинам как синоним сложности. Часто, независимо от распределения командно-контрольных функций, автоматические и автоматизированные системы характеризуются как автономные, если они способны выполнять сложные и/или разнообразные задачи и функции.

Исторически получилось так, что автоматические системы выполняли и выполняют очень простые, элементарные функции. Например, автоматическими являются тостеры и механические термостаты. С другой стороны, автоматическими являются и Гугломобили, и роботы-сборщики на конвейерах электромобилей «Тесла». Поскольку не только специалисты, но и далекие от производства люди понимают, что это принципиально разные устройства, для обозначения вторых стал использоваться термин «автономные». Кроме того, в последние годы термин «автономные» все чаще применяют для обозначения систем, предполагающих использование программ машинного обучения, в том числе так называемых систем «обучения без учителя».

Некоторые исследователи и практики предлагают использовать термин «автономные» только для машин, наделенных интеллектом. Однако такой подход лишь запутывает дело. Сегодня никому не понятно, что такое не только искусственный, но и естественный разум.

Термин «искусственный интеллект» вовсю применяется для выделения из общего ряда таких суперкомпьютеров, как Deep Blue, Watson и т. п. Однако, поскольку никому не понятно, что такое человеческий разум, а тем более психика, сознание, подсознание, то эти категории не могут использоваться не только для выработки юридически обязывающих соглашений, но и для образования стандартных общепринятых терминов. Нельзя что-то неизвестное определить через другое неизвестное. В этом плане мы считаем совершенно бесперспективной дискуссию на тему: когда компьютеры или роботы обретут разум. Поскольку мы не знаем, что такое разум в строгом смысле этого слова, то мы не можем с уверенностью сказать, когда его обретут или уже обрели компьютеры и роботы. К тому же мы не можем сказать, является ли вообще разум свойством отдельного индивидуума, либо он может быть реализован, сформирован и функционировать только в определенной общности. Пример детей, воспитывавшихся у животных, заставляет сомневаться в том, что единичный разум существует вообще. Тогда вполне может оказаться, что каждый отдельный компьютер и робот никаким разумом и сознанием не обладали и не обладают, а в системе, вполне вероятно, уже являются сознательными и разумными. Другое дело, мы должны понимать: это будут не человеческие сознание и разум, которые не вполне сможет распознать человек, если на это не будет желания иного разума. Кстати говоря, как это ни парадоксально, по этому же критерию и сетевой машинный разум и психика могут не распознать человеческий разум и психику, и считать их в этом смысле неразумными, со всеми вытекающими последствиями.

Возвращаясь к рассматриваемому подходу, подчеркнем лишь, что при использовании автономии, как синонима сложности, мы не имеем сколько-нибудь внятного не только количественного, но и фактографически определяемого разграничения автономных и неавтономных систем. Это разграничение в данном подходе становится полем произвола и выбора самостоятельно для каждого исследователя или просто человека.

Тип автоматизированных функций

В конечном счете, бессмысленно использовать термины «автономный», «полуавтономный» и «неавтономный» без указания на задачи и функции, которые автоматизируются. Каждая из функций имеет не только свой уровень сложности, но и свой уровень риска и последствий. Понятно, что совершенно различные риски возникают, если мы используем полностью автономный тостер, и боевого робота, оснащенного мощным электромагнитным оружием.

По крайней мере, на сегодняшний день любая поддающаяся автоматизации функция, так или иначе, может быть выполнена человеком или зависит от него. Поэтому в строгом формальном смысле, полностью автономных систем пока не существует. Даже автоматизированный Гугломобиль, не требующий от пассажиров навыков вождения, и сам выбирающий маршрут, тем не менее, требует от человека задания исходной и конечной точек маршрута. Правда, необходимо помнить известную поговорку «никогда не говори никогда». Нет гарантий, что в итоге не появится в той или иной сфере, причем возможно и в военной, полностью автономная система, в формальном смысле, где единственной функцией человека окажется отключение системы или ее уничтожение.

Разбор термина «автономия»

На наших глазах происходит вторжение коллективного бессознательного в научную и инженерную культурную среду. Одним из свидетельств подобного стала практика рассмотрения автономии в рамках научно-фантастического мема «человек против машины». Между тем, всем профессионалам понятно, что следует говорить не о подобном противопоставлении, а о том, какие задачи и функции в рамках системы выполняет человек, а какие – машина. В недавнем политическом документе НАТО сделан близкий вывод. В нем рекомендуется главное внимание обратить не на создание «полностью автономных систем, а на автоно-мизацию определенных функций в транспортных и боевых системах».

На наш взгляд, это наиболее перспективный подход. Изучая вопрос автономии мы, прежде всего, должны выделить конкретные функции и задачи, применительно к которым мы и определяем, что выполняется машиной, а что делается человеком. Кроме того, важно посмотреть, а что происходит в военной сфере уже сегодня. При этом мы должны помнить, что в строгом формальном плане полностью автономных систем в настоящее время на вооружении армии США и ее союзников не стоит. Зато по большей части с точки зрения функций контроля и управления распространены частично автономные роботизированные системы.

В той или иной форме автономность в военных системах используется более 70 лет. Первые самонаводящиеся боевые системы применялись во Второй мировой войне. Примером тому Фау-1 и Фау-2. После Второй мировой войны автономные системы, в основном связанные с функциями самонаведения, наблюдения, разведки и т. п. использовались многими странами мира, и прежде всего, Соединенными Штатами Америки и Советским Союзом.

Анализ практики автономизации в военной сфере позволяет выделить три типа вооружений:

1. Человек «присутствует в цикле управления или принятия решения». Это, как правило, различного рода ракетные вооружения, где человек выполняет функцию коррекции курса и окончательного принятия решения о поражении того или иного объекта. В военном деле гораздо более известны самонаводящиеся ракетные системы с разделяемыми боеголовками.

2. «Человек в петле» – контролер за транспортировкой боезаряда. В этом случае человек контролировал полет ракет или иных автономных средств, и на протяжении всего полета мог принять решение о ликвидации ракеты. Эти системы были наиболее распространены в Соединенных Штатах Америки.

3. Полностью автономные системы вооружений, где человек исключен из цикла управления, за исключением момента приведения в действие системы. Такие автономные системы в основном применялись в ракетных войсках стратегического назначения США и СССР. В отличие от Соединенных Штатов Советский Союз в начале 80-х годов завершил создание первой и единственной в мире до сегодняшнего момента полной автономной боевой роботизированной системы в строгом формальном смысле слова. В этом плане система, слабо известная на Западе, может выступать в качестве эталона полной автономной системы. Речь идет о комплексной боевой автономной роботизированной системе «Мертвая рука». Система включала в себя баллистические стратегические ракеты в особо глубоких шахтах. Ракеты имели автоматизированную, исключающую человека, систему запуска. Ракеты обладали самонаводящимися блоками и системами подавления помех ПВО и ПРО стран НАТО. Каждая баллистическая ракета с разделяющейся боеголовкой стартовала вместе с несколькими, сопровождающими ее противоракетами, которые на рискованных участках баллистической траектории – на старте и на выходе на цель, были способны автоматически распознавать и поражать противоракетные системы США и их союзников. Подземная система автоматического управления стартом ракет была соединена с полностью защищенной системой датчиков, расположенных на поверхности территории Советского Союза.

Свое название система «Мертвая рука» получила, поскольку в случае нанесения поражающего удара и уничтожения политического и военного командования Советского Союза, а также основных его городов и промышленных центров и большей части населения, датчики уже после гибели командования, большей части вооруженных сил и населения, сигнализировали о нанесенном ударе и по сигналу отдавалась команда на автоматический старт ракет, чья мощность – от 6 до 12 раз превосходила количество потребных боезарядов для уничтожения всего военного и гражданского потенциала США.

Впервые массовое использование боевых систем, имеющих автономные функции, имело место во время Второй мировой войной. Первой такой системой стала немецкая самоуправляющаяся торпеда. После пуска с подводной лодки, либо корабля она быстро шла прямым курсом примерно полкилометра, затем активизировалась головка ее самонаведения, соединенная с расположенными на торпеде миниатюрными гидроакустическими датчиками. Эти датчики распознавали шум винта судна или подводной лодки на значительном удалении и направляли торпеду к распознанному объекту для его уничтожения. Союзники такого класса оружия в течение Второй мировой войны не имели.

В настоящее время существует множество типов управляемых боеприпасов. Они используются всеми ведущими странами мира. Также ими располагают многие негосударственные группы и формирования. При всех различиях, вооружения, объединяемые этим типом, имеют одну общую характеристику. В них присутствует электронный, акустический, механический или иной блок самонаведения, который позволяет обнаруживать цель и направить в нее боеприпасы. Участие человека здесь связано с тем, что он заранее одобряет применение данного вооружения против данного класса целей. На практике, во время Второй мировой войны и после, торпеды поражали не только военные, но и гражданские суда. Более того, в послевоенный период известно как минимум два случая, один – с ВВС США, другой – с противовоздушной обороной Украины, когда самонаводящиеся ракеты классов воздух-воздух и воздух-земля поразили соответственно итальянский и российский воздушные гражданские лайнеры с большим числом пассажиров на борту.

В отличие от самонаводящихся боеприпасов, не предназначенных для поражения заранее определенной цели в конкретном месте и в конкретное время, не так давно появились GPS-управляемые автономные боеприпасы. Они предназначены для поражения определенной точки в определенный момент времени на основе сигналов от глобальной спутниковой группировки. В основном в качестве таких систем применяются крылатые ракеты любых типов базирования. Кроме того, появились в наиболее технологически продвинутых армиях бомбы и ракеты с лазерным наведением, которые поражают цель в соответствии с командами, передаваемыми при помощи лазерной указки. К современным типам таких вооружений надо отнести и стратегические ракеты, способные выходить на цель не только по баллистической, но и сменяемой траектории в соответствии с командами космических спутниковых группировок.

Выявление, приоритизация и отслеживание эффективности поражения цели

Современные военные все шире используют различного рода автоматизированные и роботизированные системы для выполнения функций, связанных с разведкой. В этих целях используются не только хорошо известные радары и тепловизоры, но и самые разнообразные приборы, позволяющие обнаружить противника во всех средах с использованием всех частот электромагнитного спектра.

Высокая автоматизация функций распознания, обнаружения, наведения и даже детонации позволяет создавать и использовать высоко автономные системы, где за человеком остаются в основном функции, связанные с принятием решения о поражении боевой силы или техники.

Рассмотрим с этих позиций автономность типовой ракеты воздух-воздух, находящейся на вооружении вооруженных сил США. В настоящее время визуальное или электромагнитное обнаружение цели осуществляется в автоматическом режиме. Идентификация цели производится компьютером, который передает данные пилоту. Пилот принимает окончательное решение о запуске ракеты. Дальше ракета летит в автономном режиме. По сути, участие человека сводится к принятию решения о запуске ракеты. При этом надо иметь в виду, что в подавляющем большинстве случаев пилот не может проверить данные компьютера, поскольку распознавание происходит не оптическим путем, а на основе данных радаров. Помимо данных радара, пилот опирается на данные систем распознавания «свой-чужой», а также самостоятельную оценку общей боевой ситуации. В случае, если все показатели говорят о том, что запуск целесообразен, он нажимает соответствующую кнопку и далее ракета действует в автономном режиме. При этом он получает в случае поражения ракетой противника соответствующий сигнал, удостоверяющий в достижении цели. Таким образом действуют пилоты во всех странах, а не только в США.

Пока такой подход приносит успех. Однако подобная ситуация будет сохраняться лишь до тех пор, пока какая-то из стран не перейдет к полностью автономной боевой воздушной системе, где не будет места пилоту. В этом случае, согласно данным многочисленных экспериментов с пилотируемыми и беспилотными летательными аппаратами США, случится следующее. Беспилотник, который обнаружит при помощи тех или иных систем цель, примет решение быстрее, чем летчик. Могут сказать, что выигрыш может составить даже не секунды, а миллисекунды. Но в бою все решают именно эти миллисекунды. За это время беспилот-ник может нанести удар и изменить место дислокации. Таким образом, пилот с более замедленной, хотя возможно и более адекватной реакцией, окажется в проигрышном положении и есть вероятность, что его самолет будет сбит, а беспилотник не только уничтожит врага, но и сохранит живучесть. Иначе говоря, в данном случае наличествует типичная ситуация столкновения двух критериев. Уже сегодняшние боевые автономные роботизированные системы могут действовать и наносить удары быстрее, чем гибридные системы с «человеком в петле управления». В то же время гибридные системы имеют на сегодняшний день преимущества над полностью автономными по критерию качества решения. У них гораздо меньше ошибок. Однако, если одной из сторон неважны ошибки и их последствия, то в битве уже сегодняшних, а тем более завтрашних БАРСов и гибридных систем в воздухе и не только, победят БАРСы.

Высокоточное оружие увеличивает человеческий контроль над военными действиями

Одной из самых ранних известных систем контроля за распознаванием целей была автоматизированная идентификация целей в рамках операции «Лайнбакер» во Вьетнамской войне. Тогда впервые были созданы и использованы на полях сражений системы точного целенаведения. Они позволили американским вооруженным силам отказаться от ковровых бомбардировок и использовать высокоточные боеприпасы, поражающие не только здания вместо отдельных кварталов, но и отдельные этажи или участки зданий. Надо прямо сказать, что в ходе Второй мировой войны не только Германия, но и союзники, лишенные возможности использовать высокоточное оружие, осуществляли ковровые бомбардировки городов. В их ходе вместе с промышленными объектами и военными базами стирались с лица земли целые жилые кварталы. Многие до сих пор полагают, что это были преступные в юридическом смысле действия командования военно-воздушных сил и бомбардировочной авиации Великобритании и США.

С каждым следующим поколением вооружений повышалась точность оружия, и появлялись новые системы распознавания, контроля и наведения оружия на цель в размерности уже не на уровне зданий, а отдельных движущихся мишеней, типов автомобилей и даже отдельных людей. Несмотря на то, что некоторые активисты не только на Ближнем Востоке, но и в Соединенных Штатах и Европе выступают против такого рода высокоточных автономных систем, они делают войну не более жестокой, а более гуманной. Активисты приводят в пример дроны, поразившие в Афганистане мирные деревни. Однако в подавляющем большинстве подобных случаев ошибки были связаны не с электронными или автономными элементами системы, а с человеком-оператором, который в условиях эмоционального, когнитивного и поведенческого стрессов делал ошибки, выбирая неправильные цели. В подавляющем большинстве случаев не машина, а человек является уязвимым звеном гибридной системы. Данный вывод базируется не на страшилках средств массовой информации и домыслах ангажированных активистов, а на сухих фактах в опубликованных отчетах.

«Человек в петле» для выбора и идентификации конкретных целей

Уже отмечалось, что, по крайней мере, 30 стран в настоящее время в своих вооруженных силах используют в той или иной мере автономные боевые системы. В подавляющем большинстве случаев это не полностью автономные системы, а системы, где человек сохраняет функции надзора и принятия конечного решения о поражении цели. В основном в подобных БАРСах автоматы автономно выполняют все функции, кроме выбора цели и принятия решения об атаке.

В настоящее время такого рода системы включают в себя:

• противовоздушную и противоракетную систему обороны Америки, базирующуюся на ракетах морского базирования «Аргус» и наземного базирования «Пэтриот»;

• тактические и малой дальности ракетные, противоракетные, артиллерийские и иные системы, подобные системе «Голкипер»;

• активные системы противоракетной защиты для определенных территорий, типа французской системы «Акула» и российской системы «Периметр».

К числу 30 стран, которые имеют наиболее продвинутые, автономные боевые наступательные и оборонительные системы относятся Австралия, Бахрейн, Бельгия, Канада, Чили, Китай, Египет, Франция, Германия, Греция, Индия, Израиль, Япония, Кувейт, Нидерланды, Новая Зеландия, Норвегия, Пакистан, Польша, Португалия, Катар, Россия, Саудовская Аравия, Южная Африка, Южная Корея, Испания, Тайвань, Объединенные Арабские Эмираты, Соединенное Королевство и США.

Во всех этих случаях автоматизация и автоно-мизация используются, прежде всего, для защиты личного состава вооруженных сил и населения, наземных объектов и транспортных средств – от ракет и самолетов. Эти системы являются важным компонентом выживания в современной войне и уменьшения потерь среди мирного населения.

Однако на сегодняшний день автономные защитные системы используются недостаточно. Как правило, они ориентированы лишь на защиту от неодушевленных объектов – ракетных снарядов, ракет, самолетов, а не от действий людей. Однако, уже имеющиеся системы анализа и прогнозирования поведения групп людей и отдельных индивидуумов на основе Больших Данных позволяют своевременно распознавать не только действия, но и намерения именно людей и осуществлять против них целевые высокоточные превентивные меры. Из экзотической возможности данная область превращается в возможно самую актуальную и необходимую сферу применения автономных систем. Это связано с невиданным прогрессом за последние годы информационных технологий и связанных с ними опасностей проведения разрушительных кибератак, по своим возможностям равным последствиям применения оружия массового поражения.

Автономные роботизированные (человек вне «петли управления») системы наведения, доставки и поражения специальных целей

В настоящее время существует немного видов оружия, которые исключают человека из «петли управления» и автономно, при помощи программно-аппаратного блока, принимают решение о ее поражении цели. Более того, некоторые виды подобного оружия не включают человека и как контролера выбора и поражения цели.

Самым старым по времени и распространенным типом подобного оружия являются так называемые «неуправляемые боеприпасы». В отличие от управляемых боеприпасов, неуправляемые боеприпасы запускаются, и их дальнейшая траектория никак не зависит от человека. В то же время эти неуправляемые боеприпасы отличаются от традиционных, существующих уже столетия, артиллерийских снарядов, неуправляемых ракет, типа Фау-1 или русская «Катюша» и т. п. Неуправляемые автономные боеприпасы в основном представляют собой ракеты, которые имеют специальные датчики, распознающие действия радиолокационных станций и систем противоракетного оружия у противника. Они соответственно могут уклониться от таких станций, либо поражения их противоракетой. В то же время, они не поддерживают связь с человеком-оператором и, уклонившись, самостоятельно выбирают цель на основании встроенной системы распознавания образов, и поражают ее. При этом, учитывая, что подобные вооружения являются массовыми, а соответственно должны стоить достаточно дешево, в них используется простейшее, и потому далеко не самое эффективное, программное обеспечение, ответственное за распознавание целей. В отличие от высокоточного управляемого оружия, такие боеприпасы предназначены для поражения любой цели и соответственно действуют, что называется, в режиме коврового поражения.

Подобного типа экспериментальные неуправляемые автономные боеприпасы были разработаны для армии США в рамках программы малобюджетных автономных атакующих систем (LOCAAS). Пик разработки таких систем пришелся на 80-90 годы прошлого века. Несмотря на успешные испытания, на вооружение армии, флота и военно-воздушных сил США они так и не поступили.

В настоящее время в мире эффективно применяется для решения конкретных задач на поле боя только одна подобная система. Это – израильская система «Харпи». Харпи – это ракета, которая умеет уклоняться от радаров противника, заранее засекает пуск простейших ракет земля-воздух и обходит районы, где расположены такие установки. Наконец, она умеет распознавать определенные типы вооружений, такие как ракетные установки, стоящие на земле, или установленные на автомобилях и крышах домов. Распознав такие установки, она поражает их.

Ключевое отличие управляемых от неуправляемых автономных боевых систем связано со стоимостью и сложностью программного обеспечения и сенсорных датчиков. На неуправляемых боеприпасах стоит дешевое программное обеспечение и недорогие датчики, повышающие живучесть таких систем, но не обеспечивающих их высокую точность в поражении конкретных целей.

В настоящее время в технологически развитых армиях мира, прежде всего, в вооруженных силах США и их союзников и партнеров, используются высокоточные управляемые автономные роботизированные системы. В то же время на вооружении террористических сетей, типа Аль-Каиды и Талибана, а также террористических группировок, типа Хамас или Хезболла, имеются кустарно произведенные, неуправляемые автономные системы – ракеты малой дальности действия, рассчитанные на поражение любой цели.

Как правило, при обсуждении автономного оружия полностью исключается тема мин. Между тем мины, по сути, являются автономным неуправляемым оружием. Человек, за исключением дорогостоящих мин, предполагающих взрыв по команде оператора, исключен из «петли управления и контроля». Мина устанавливается, маскируется и приводится в действие посредством сенсоров, фиксирующих присутствие или передвижение любого мобильного объекта. В этом смысле мины относятся к неуправляемым автономным системам. Соответствующий заряд будет активирован датчиками вне зависимости от того, кто оказался на минном поле – солдат или ребенок, машина или слон.

Согласно многочисленным исследованиям, мины сегодня представляют самое распространенное автономное оружие. От них несут самые большие потери сухопутные войска США. В результате подрыва на минах в Ираке и в Афганистане погибло втрое больше солдат и офицеров, чем в результате огневого соприкосновения в ходе боев. Дополнительно надо отметить, что террористические сети и группировки не придерживаются международных соглашений и договоров, заключенных относительно разработки и применения мин, в том числе осколочных.

В этой связи едва ли не самой актуальной сферой использования БАРСов является АРСы-саперы. В Соединенных Штатах в настоящее время разработаны и прошли испытания полем боя семь различных автономных роботизированных систем по обнаружению и уничтожению мин различного типа.

Что такое автономное оружие?

Как уже упоминалось ранее, нет никакого международного согласованного определения для «автономного оружия». С позиции здравого смысла можно определить автономное оружие, как оружие, которое самостоятельно обнаруживает цель, транспортирует боезапас или блок, выполняющий те или иные функции до цели, а также самостоятельно обеспечивает выполнение целевой функции или решение боевой задачи. Соответственно, полуавтономным оружием является оружие, где человек присутствует в «петле управления» и выбирает конкретную цель, а также принимает конечное решение о ее поражении.

На наш взгляд, это лучшее из возможных и наиболее приемлемое для внутреннего и международного обихода определение автономного оружия. Мы считаем его наилучшим по нескольким причинам:

• во-первых, поскольку это определение соответствует большинству используемых на практике в Соединенных Штатах и за рубежом определений;

• во-вторых, оно позволяет идентифицировать не только уже существующие, но и будущие типы вооружений;

• в-третьих, так или иначе, это определение может быть развернуто с добавлением определенных свойств в терминологию, используемую в настоящее время министерством обороны США, ООН, Международным Комитетом Красного Креста и т. п.

Представляется, что данное определение позволит разработчикам, планировщикам, администраторам и военным говорить на одном языке. С технической точки зрения данное определение позволяет выделить основные направления развития автономии в военном деле. К ним относятся:

• автономные системы оружия, которые после своей активации действуют на всех фазах боевого цикла самостоятельно, без участия человека-оператора, и даже человека-контролера;

• системы автономного оружия, предполагающие контроль оператора. В этих системах участие оператора сводится лишь к возможности отменить миссию, обеспечив автономный возврат на места дислокации или принять решение об уничтожении автономного оружия;

• полуавтономные оружейные системы. В этом типе систем человек остается участником «петли управления и контроля» и выполняет те или иные функции в дополнительном или параллельном по отношению к программно-аппаратному блоку режиме. Человек может в силу каких-либо обстоятельств взять управление оружием на себя и т. п.

Необходимо отдавать себе отчет, что повышение уровня автономности одновременно может способствовать росту эффективности и жизнеспособности систем оружия и повышать риски его избыточного или нецелевого применения. Два эти процесса пока идут параллельно, и разделить их не удается.

Возможно, могут быть предложены и другие подходы к определению автономности оружия. Однако данный подход представляется наиболее оправданным не только с точки зрения его больших описательных возможностей, но и поскольку он анализирует оружие с единственно правильной точки зрения. А именно, с точки зрения человека-оператора и контролера.

Представляется, что в будущем даже при наличии технических возможностей создания полностью автономных военных систем в строгом, формальном смысле слова, надо много раз подумать и еще больше раз поэкспериментировать, прежде чем ставить такие системы на вооружение. С ростом интеллектуальности автономных систем и повышением их огневой и иной поражающей мощи, параллельно возрастают риски не только утраты контроля, но и вообще способности человека управлять и контролировать подобными системами.

Уже сегодня в вооруженных силах США применяются программно-аппаратные комплексы для анализа и прогнозирования, которые человек не контролирует. Т. е., он, конечно, контролирует их работу, именно человек пишет программу, но строго говоря, не только непосредственные потребители – военные, но и возможно разработчики и программисты не могут проконтролировать правильность рекомендаций, анализов и прогнозов, полученных аппаратно-программным комплексом. Уже сегодня в определенных случаях военные становятся заложниками компьютерных вычислений.

Представляется, что определение, базирующееся на здравом смысле и опирающееся на анализ распределения участия человека и автомата в решениях и действиях на разных фазах боевого цикла – от обнаружения цели до ее поражения, позволяет уйти от «мутных тем» искусственного интеллекта, человеко-машинного разума и свободы воли роботов. Оставим их писателям-фантастам, философам, психологам и т. п., а вместо этого сосредоточимся на конкретной работе, связанной с автономным оружием.

Выводы

Стремительное развитие информационных технологий означает, что возможности, сегодня кажущиеся труднореализуемыми, либо невероятными, завтра станут обыденностью и будут воплощены в конкретных системах, аппаратах, решениях и механизмах. Мы не думаем, что процесс развития информационных технологий является полностью управляемым. Более того, мы не думаем, что можно даже, понимая ту или иную опасность, остановить динамику. Например, всем понятны опасности, связанные с постоянно повышающейся автономностью в сочетании с ростом интеллектуальности вооружений. На эту тему очень много рассуждают различного рода активисты и политики. Они, вероятно, правы в своих опасениях. Но эта правота ничего не меняет. Каждая из потенциально враждебных сторон будет резонно полагать, что противоположная сторона стремится обеспечить свое преимуществ. Соответственно она не будет верить, что противоположная сторона займет сдержанную позицию по отношению к автономии интеллектуальных систем оружия. В итоге гонка в автономии, интеллектуальности и живучести вооружений неостановима до тех пор, пока будут иметься хотя бы две не доверяющие друг другу стороны.

Этот материал нацелен на выработку общего понимания автономии. Слишком часто в прошлом те или иные политические и административные решения принимались в нашей стране, за рубежом и в международном масштабе без понимания сути дела. Отдавая отчет в долговременной тенденции повышения автономности роботизированных систем, в том числе в военном деле, мы, с учетом этой тенденции и должны принимать различного рода законодательные и административные акты, формировать бюджет. Если они не будут соответствовать тенденции, при всех благих намерениях они не будут выполняться.

Видя опасность повышения автономности, интеллектуальности и живучести систем вооружений, мы должны отдавать себе отчет, что эти тенденции имеют и свою положительную сторону. Например, они позволяют резко снизить потери в вооруженных силах Соединенных Штатов, позволяют при использовании высокоточного оружия на порядки уменьшить жертвы среди гражданского населения в зонах вооруженных столкновений и конфликтов.

Общей тенденцией эволюции систем вооружений в будущем будет их нарастающая автономия, все более активный переход от полуавтономных БАРС и АРС различных типов к автономным системам и полностью автономным системам в формальном смысле. Целесообразно, прежде всего, отработать автономные системы, не несущие на себе летального оружия, а связанные с разведкой, транспортировкой, логистикой и применением нелетального оружия. Наработав опыт в этой сфере и приучив к такого рода системам общественное мнение, а главное, сделав их привычными для солдат и офицеров, можно переходить к следующей стадии – к БАРСам.

Мы полагаем, что в ближайшем будущем на вооружении США и их союзников и партнеров будут находиться в основном полуавтономные, а также небоевые АРС. Что касается врагов и противников Америки, то в ближайшем будущем их технологические возможности вряд ли позволят создать эффективные БАРС. Однако такой риск тем не менее сохраняется вследствие исчезновения барьеров между гражданским и военным секторами технологий, бизнеса и т. п. Поскольку враги, в том числе, негосударственные акторы, потенциально могут купить, получить или создать БАРС, уже сегодня Соединенные Штаты, их союзники и партнеры должны заранее сосредоточить усилия на создании БАРС, действующих исключительно против БАРСов противника.

Сосредоточившись на теме автономии вооружений, важно не забывать и о других характеристиках. Эти характеристики в определенных условиях могут быть не менее, а даже более важными, чем автономность.

Например, статическая система автономного оружия, расположенная вдоль границы страны, будет гораздо более уязвима, чем автономная мобильная система. Хорошо известно, что в годы Холодной войны самым страшным оружием Советов были неуловимые поезда, несущие на себе стратегические ракеты, запускаемые непосредственно с колесных платформ. В отличие от легко обнаруживаемых стратегических сил США, расположенных либо в шахтах, либо на подводных лодках, Соединенные Штаты до последних дней существования СССР не знали, где и когда может быть нанесен удар этими подвижными железнодорожными монстрами, не распознававшимися со спутников, для которых они выглядели также, как составы с песком или коровами.

Точно так же, как динамичность, огромное значение может иметь и среда использования автономного оружия. Например, автономные боевые системы, рассчитанные на поражение в подводной среде, как правило, на порядок дешевле подобных систем для сухопутной и даже воздушной среды. Дело в том, что для сухопутной и воздушной сред больших затрат требует создание средств тонкого распознавания с тем, чтобы по ошибке или необоснованно не атаковать мирную цель и не нанести потери гражданскому населению. В случае подводного оружия такой задачи нет.

Наконец, ключевым параметром является поражающая мощь. Даже школьнику понятно, что риски использования автономного роботизированного бомбардировщика с атомными крылатыми ракетами на борту на тысячи порядков выше, чем риск применения самонаводящегося, полностью роботизированного пулемета. Соответственно автономия должна рассматриваться вместе с другими важнейшими характеристиками оружия. Только комплексное рассмотрение позволит профессионально говорить о возможностях и рисках.

В настоящее время 30 стран используют в своих вооруженных силах автономные и полуавтономные системы. Во всех этих системах на сегодняшний день человек находится в «петле управления», выполняя, по крайней мере, функцию контролера. Кроме того, пока автономные военные системы используются в основном для разведки, транспортировки и логистики, а также позиционной обороны. Даже в случаях логистики и транспортировки, в основном эти системы применяются для перемещения и складирования грузов, боеприпасов и т. п., а не людей. Возможно, самым главным является тот факт, что во всех 30 странах пока люди не только выполняют функции контролера, но и во всех случаях имеют возможность вручную отключить систему в случае сбоя и т. п.

Однако принимая во внимание ускоряющиеся темпы развития систем робототехники, информационных и когнитивных технологий, возрастающую международную напряженность и неустойчивость мировой динамики, с высокой степенью вероятности можно прогнозировать, что будущее не будет линейным продолжением прошлого. Уже в ближайшем будущем кто-то из государственных или негосударственных акторов неизбежно перейдет зыбкую границу между автономными системами (с человеком-контролером и ликвидатором) и автономными системами в формальном смысле (без человека-контролера и ликвидатора, где человек выполняет только функцию активатора оружия). Более того, нельзя быть уверенным, что эта зыбкая граница уже кем-то где-то и когда-то не перейдена.

Бесспорно, необходимо вести публичные и закрытые дискуссии среди военных профессионалов, ученых, инженеров, юристов, специалистов по этике и активистов. Однако при ведении подобных дискуссий не надо обольщаться и считать, что их выводы и итоги могут что-либо изменить в контексте динамики автономии, интеллектуальности и живучести роботизированных и иных автоматических систем как в гражданской, так и особенно в военной сферах. Эти дискуссии важны для понимания, но совершенно бессмысленны, как способ ограничения развития. В нашем разделенном мире никакое соглашение относительно ограничений технического прогресса не будет выполняться. Всегда найдется тот, кто в силу обстоятельств, умысла или по любознательности нарушит любые соглашения. В этом смысле более оправдана позиция, исходящая из динамичности научно-технического прогресса и независимости его направленности и динамики от наших желаний, соглашений или опасений.

Роботы на поле боя. Центр Новой Американской Безопасности 2014 г. Извлечения из доклада

Введение. Революция в вооружениях

Вооружения, инфраструктуры и методы ведения войн непрерывно меняются. Нации должны адаптироваться к переменам, иначе они рискуют потерпеть поражение на поле боя. Исход войн определяют, конечно же, люди. Но качество и продвинутость вооружений в истории зачастую играли и играют решающую роль. Никакая масса солдат не сможет преодолеть отсутствие у армии, например, пулеметов. Какой бы у армии не был высокий боевой дух, он не защитит от безжалостных авиационных атак с использованием оружия массового поражения.

Высокий уровень боеготовности и мощи вооруженных сил зависит не только от используемых технологий и инноваций, но и от других факторов: качества управления, ресурсной обеспеченности, культурно-образовательного уровня и т. п. Иногда эти факторы при приблизительном равенстве в используемых вооружениях могут сыграть определяющую роль. Сегодня, как никогда ранее, технологические факторы переплетены с институциональными, культурными и поведенческими. Новые технологии меняют лицо войны и Соединенные Штаты должны опережающим образом адаптироваться к этим изменениям.

В глобальной среде безопасности четко проявляется несколько тенденций. Так или иначе, они ведут к эрозии традиционных американских военных преимуществ. Прежде всего, все более широко по миру распространяются мощные вооружения и средства их доставки, в том числе в виде ракет разного радиуса действия. Одновременно, не только государства, но и негосударственные акторы имеют доступ к новым высокоточным вооружениям, а также миниатюрным минам, бомбам, боеприпасам, которые могут быть доставлены на место взрыва не только отдельными людьми, но и микроподлодками, микродронами и т. п. Становятся все более доступными различного рода технологии, имеющие двойное назначение. Практически все современные информационные технологии являются технологиями двойного назначения и могут быть использованы в военной сфере злонамеренными государствами, негосударственными группами и индивидуумами против Америки. Дополнительные возможности для создания разрушительных, но при этом миниатюрных вооружений создает появление принципиально новых, в том числе композитных, материалов, 3D печать, подлинный бум робототехники, который охватил не только ведущие технологические страны мира, но и страны с невысоким уровнем развития. Все это создает принципиально новые угрозы овладения мощными разрушительными вооружениями злонамеренными государствами, негосударственными группами и индивидуумами.

Поскольку в высокотехнологическом мире больше нет разделения на гражданские и военные технологии, глобальные потоки технологий и их открытость действуют в сторону выравнивания возможностей обладания разрушительными вооружениями не только между государствами, но даже и между государственными и негосударственными акторами.

Дополнительный импульс этому дает становящаяся на наших глазах глобальной система телекоммуникаций, опирающаяся, прежде всего, на интернет и гаджеты типа мобильных телефонов. В этой среде любой сложный вирус, типа Stuxnet, а тем более боевые программы, рассчитанные непосредственно на поражение боевой техники и гражданских инфраструктур по своей смертоносности не отличаются от оружия массового поражения. В военном деле появился принципиально новый феномен. Речь идет о так называемых вооружениях с открытым кодом. Сегодня значительная часть программного кода, необходимого для создания мощных боевых платформ и эксплойтов, устройств 3D печати и Боевых Автономных Роботизированных Систем (БАРС) находится в свободном доступе и является своего рода опенсорсной средой разработки вооружений.

В результате такие факторы, как численность населения, объем ВВП, масштаб военных расходов, которые в прошлом в значительной мере определяли соотношения между различными странами, с каждым годом теряют свое решающее значение. При наличии опенсорсной среды разработки, позволяющей создать боевые компьютерные программы, различного рода БАРСы, вызов сильным державам могут бросить не только злонамеренные и маргинальные государства, но и группы националистических хакеров и киберпреступников, а также иррегулярные формирования и сети транснациональной преступности. Более того, уже сегодня не является фантастикой, когда угрозу Америке могут создать несколько или даже один индивидуум, закупивший рой полностью автономных дронов и оснастивший их обычными сельскохозяйственными устройствами для разбрызгивания удобрений. Но вместо удобрений будут использоваться вещества, произведенные при помощи поражающих биотехнологий, которые могут иметь генную маркировку и предназначаться для летального воздействия не на все население, а лишь на людей, обладающих определенными генами и т. п.

Сегодня все эти тренды уже привели к широкому распространению возможности производства смертоносных вооружений не только государствами, но и малыми группами. Это создает принципиально новые угрозы не только для американских вооруженных сил за пределами страны, но и для населения на территории Америки. Сегодня Соединенные Штаты расходуют все больше средств на создание системы тотального наблюдения, разведки и оповещения о возможности производства на территории Соединенных Штатов или доставки в страну принципиально новых видов вооружений, сочетающих миниатюризацию с разрушительными эффектами. Пора понять, что тотальное наблюдение – это не прихоть АНБ и не стремление ограничить гражданские права и свободы, а печальная и неотвратимая необходимость в борьбе с принципиально новыми типами угроз для Америки.

В противовес ожиданиям информационная революция не остановилась на совершенствовании систем коммуникаций и обработки информации для людей. Вслед за «интернетом людей» появился «интернет вещей», затем интернет, встроенный в человека. Сегодня мы уже живем в мире «интернета всего». Но и это не завершение революции. На наших глазах происходят перемены, возможно более значительные, чем появление первых станков. Речь идет о робототехнической революции, которая охватывает промышленность, другие сферы экономики, быт и повседневную жизнь и, конечно же, в первую очередь, военное дело. Победителем в этой технологической гонке станет не тот, кто затратил больше всего ресурсов в сфере робототехники, и даже не тот, кто производит лучших роботов, поскольку эти технологии неизбежно становятся известны всем, а тот, кто лучше всех сможет использовать робототехнику для решения стоящих разнородных военных задач. Надо помнить: робототехника – это инструмент. А эффективность любого инструмента зависит не только и не столько от собственного совершенства, сколько от навыков и понимания возможностей его использования людьми.

Соединенные Штаты использовали и используют тысячи воздушных и наземных роботов в Ираке и Афганистане. Они занимались, прежде всего, наблюдением, распознаванием, разведкой и в последнее время выполняли работу саперов и обезвреживали взрывные устройства. Однако надо признаться, что такое использование демонстрирует непонимание военного потенциала робототехники. Пока роботы выполняют лишь незначительную часть работ, которые они способны делать.

Впрочем, в этом нет ничего неожиданного. Например, уже в ходе Первой мировой войны имелись возможности использовать авиацию для бомбардировки наземных войск и городов противника. Однако понадобилось больше 20 лет, чтобы этот потенциал был полностью востребован в ходе Второй мировой войны.

Сегодня автоматизированные робототехниче-ские системы (АРС) и БАРСы вышли из младенческого возраста. Поэтому, если Соединенные Штаты и в будущем хотят оставаться не только технологическими, но и военными лидерами в применении БАРС, нам нужно понять, что их надо использовать не только там, где «скучно, грязно и опасно», а там, где БАРСы и их комбинации с мощнейшими системами, приближающимися по своему потенциалу к искусственному интеллекту, позволяют на порядки превзойти возможности противника, применяющего БАРСы лишь только как дополнение к традиционным войскам, состоящим из людей. Мы надеемся, что этот доклад позволит Америке по максимуму использовать потенциал БАРС и сделать их не дополнением традиционных вооруженных сил, а мощными, самостоятельными и самодостаточными системами. Обращаясь к истории военного дела, нам предстоит пройти тот же путь, что и теоретикам и практикам танковых подразделений. Если на заре своего появления танки применялись лишь для поддержки пехоты, устрашения командиров и солдат противника, то во Второй мировой войне танковые клинья носили самодостаточный характер и решили исход начального этапа войны на Западной фронте и чуть не решили на Восточном.

В докладе рассмотрены ключевые компоненты создания преимуществ БАРС и препятствия по практической реализации этих преимуществ. Также будут даны рекомендации, как Америке достичь неоспоримого доминирования не только в разработке, но и в применении БАРС.

Третья производственная революция и робото-техническая революция в военном деле неостановимы. Никто не будет ждать американских военных, пока они в полной мере признают, оценят или используют потенциал БАРС. Наши противники показали, что они не только быстро учатся на американском примере, но и стараются найти свои пути обеспечения превосходства. Наши противники отнюдь не примитивны или глупы. Они умны, коварны и сосредоточены. Даже те, кто не развивает собственные робототехнические разработки, научились обнаруживать или попросту красть наши. Кроме того, стирание граней между гражданскими и военными возможностями использования робототехники, широкое распространение в этой сфере решений с открытым кодом, играют на руку не нам, а им. Поэтому мы в Америке должны прекратить убаюкивать себя верой в нашу исключительность, лидерство и технологическое превосходство. Вчерашняя исключительность, доминирование и превосходство отнюдь не гарантируют их в будущем. Поэтому мы должны скромно, неустанно, при сосредоточении всех ресурсов и интеллектуальных сил трудиться для того, чтобы даже в изменившихся неблагоприятных условиях наши вооруженные силы не только обладали лучшими БАРСами, но и – возможно главное – умели лучше всех в мире их применять.

Этот доклад призван детально выявить основные эксплуатационные характеристики БАРС, создаваемые ими преимущества, а также новые типы операций, в которых могут быть использованы БАРС.

Пока БАРС используются либо для замены людей, либо как средства поддержки воинских подразделений. В докладе мы специально остановимся на принципиально новых, радикально разрушительных возможностях, которые открывает использование БАРС без участия воинских подразделений. Мы покажем принципиально новые преимущества, открываемые использованием БАРС как разведывательно-ударного, не зависящего от людей на поле боя, роя. Этот рой может быть охарактеризован как Разведывательно-Ударная Боевая Сеть (РУБС), обладающая следующими ключевыми характеристиками:

• мобильностью и отсутствием преград для доступа;

• незаметностью и низкой распознаваемостью для средств противника;

• масштабируемостью и пластичностью состава БАРС, входящих в рой;

• высочайшим уровнем координации действий и взаимной обучаемостью за счет использования единой удаленной памяти для БАРС;

• разнообразием реализуемых функций и выполняемых задач;

• скоростью.

Преимущества БАРС

В соответствии с «Дорожной картой БАРС» FY 2013-2038, принятой министерством обороны США, использование БАРС нацелено на «монотонные, грязные и опасные миссии». Такое понимание БАРС драматическим образом ограничивает их потенциал. В Дорожной карте под роботизированными устройствами понимаются два принципиально разных типа систем: собственно БАРСы и платформы и транспортные средств, удаленно контролируемые, управляемые человеком, требующие его постоянного присутствия. Относительно второго типа систем некорректно применять термин БАРС. Более правильно использовать термин «Человеко-машинные системы и платформы».

БАРС в чистом виде предполагает два ключевых преимущества:

• высокую эффективность, связанную с отсутствием различного рода преград, имеющихся для человека в различных средах, чрезвычайно высокие возможности проникновения, скорость, невидимость и, в случае необходимости, самая различная размерность;

• нечувствительность к рискам. Потерять платформу и человека – риски несоизмеримые.

Боевые роботизированные системы используются сегодня по-разному. В Ираке и в Афганистане активно применялись наземные роботы-саперы, разминировавшие и разрядившие тысячи самодельных взрывных устройств. В авиации всеобщее признание получили такие беспилотники, как Predator и т. п. за их способность выполнять функции непрерывно в течение 24 часов на самых различных высотах. При этом следует заметить, что и наземные роботы, и дроны не являются БАРСами, а представляют собой человеко-машинные системы, в которых человек осуществляет удаленное управление и контроль над роботом. В принципе, эти системы мало чем отличаются от использовавшихся Советами в 70-е годы прошлого века автоматизированными средствами исследования Луны, типа лунохода. При этом, подобные человеко-машинные системы весьма эффективны, поскольку позволяют снизить самые неприемлемые потери для американской армии – потери личного состава. Операторы роботов-саперов и дронов могут многократно меняться в ходе сеанса использования роботизированных систем без ущерба для выполнения боевых функций. Любопытно, что даже в этих условиях, как показали исследования военных психологов, операторы роботов-саперов и дронов подвержены чрезмерным эмоциональным и психологическим перегрузкам. Результатом является недостаточная эффективность выполнения боевых миссий, и большое количество ошибок, особенно в случае дронов, повлекших за собой бессмысленные жертвы среди мирного населения. Дроны, повинуясь управляющим командам операторов, атаковали вместо Аль-Каиды бойцов Талибан, мирные караваны и деревни. Широкое освещение этих случаев в средствах массовой информации не только нанесло вред внешней политике и национальной безопасности нашей страны, но и бросило несправедливую тень на использование робототехнических систем на поле боя. Как это ни парадоксально, ошибки происходили не из-за того, что человек был выключен из этих систем, а из-за того, что операторы играли в них слишком большую роль.

Внимательно анализируя эволюцию роботов-саперов и дронов можно без труда обнаружить, что процесс идет в направлении сокращения присутствия оператора и уменьшения функций, выполняемых ими. Например, MQ-1 Predator требует большего участия человека, чем MQ-1C Gray Eagle или RQ-4 Global Hawk. Более автоматизированные дроны показали особо высокую эффективность как с точки зрения решения боевых задач, так и минимизации атаки ложных или ошибочных целей, а также потерь устройств из-за ошибок операторов. Если брать наземных и морских роботов, то здесь эта тенденция также действует. При этом в отличие от дронов, степень автоматизации наземных и морских роботов обратно пропорциональна размерам.

Необходимо подчеркнуть, что в реальности все возможности боевых человеко-машинных систем пока не используются. И дело здесь даже не в том, что эти системы отличаются от БАРСов, но и в том, что пока многие роботизированные системы стоят очень дорого. В этих условиях их применение сдерживается опасениями командования потерять столь дорогостоящие системы. До сегодняшнего дня применяемые в вооруженных силах роботизированные системы являются результатом многочисленных компромиссов, связанных с порядком формирования производственных программ и тендеров. Этот порядок не позволяет принять участие в конкурсах наиболее инновационным молодым командам, стартапам и университетским группам, которые в результате разрабатывают различного рода гражданских роботов, существенно более эффективных, чем техника, используемая Пентагоном. Бюрократические процедуры, зацикленность на избранных подрядчиках и не всегда оправданные сложные системы согласований приводят к тому, что вооруженные силы страны не могут воспользоваться всем инновационным потенциалом Америки, демонстрируемым в гражданском секторе и в коммерческих разработках. При всех отмеченных недостатках роботизированные системы развиваются в направлении все большей автономности.

Эффект автономности

Автономность – это способность машины (робота) выполнять задачи без участия человека. Автономные роботы не предполагают наличия управляющего оператора. Автономия позволяет добиться нескольких ключевых эффектов, включающих в себя:

• увеличение надежности и повышения выживаемости;

• быстроту реакции и повышение адаптивности;

• повышение точности и десубъективизация при выполнении задач, элиминация человеческих ошибок;

• способность осуществлять операции в высокорискованной, либо вообще не приспособленной для присутствия человека среде, или в среде, требующей от дистанционного оператора невыносимых эмоциональных и сенсорных нагрузок.

Автоматизированные функции выполняют не только БАРС, но и человеко-машинные системы. Такая ситуация характерна не только для военного, но и для гражданского сектора. Однако именно в гражданском секторе мы в наиболее наглядном виде видим эволюцию роботизированных систем. Сначала автомобили были полностью механическими. Затем появились автоматические коробки передач, автоматические приборы контроля устойчивости, сцепление, подушки безопасности и т. п. Относительно недавно автомобили получили датчики дистанционного контроля при парковке, круиз-контроль и т. п. Сегодня на улицах уже нескольких американских городов ездят автомобили Google, которые, по сути, представляют собой автономные робототехнические средства. Пассажиры автомобилей Google никоим образом не участвуют в управлении. По тому же пути будут неизбежно развиваться и военные АРСы.

Когда мы рассматриваем вопрос автономии ро-бототехнических систем, его нужно изучить по трем параметрам:

• первый – распределение функций командования и контроля между человеком и машиной;

• второй – уровень комплексности робототех-нической системы;

• третий – каким образом в системе принимаются решения о ее действиях.

Машины, которые в одних ситуациях действуют автономно, а в других – нуждаются в решении и управляющем воздействии человека, называют полуавтономными. Как правило, человек вмешивается в такие системы в случае возникновения нештатных операций. В полуавтономных системах предусмотрено два контура управления – чисто автоматический и человеко-машинный при выявлении неисправностей, либо при сигнализировании об определенных ситуациях, связанных с необходимостью принятия именно человеческого решения. Полуавтономные системы получили особое развитие в конце прошлого века и в начале нынешнего веков. Их распространение было связано с тем, что до самого последнего времени существовала твердая убежденность относительно способности машин принимать решения более оптимальные, чем человек только в стабильных, устойчивых, так называемых – счетных ситуациях. Однако с появлением Больших Данных и соответствующих методов их обработки и анализа, включающих «глубокое обучение» и самосовершенствующиеся программы, выяснилось, что во многих нестабильных, неопределенных ситуациях машины принимают более эффективные решения по сравнению с человеком. Поэтому сегодня все большее распространение в гражданском секторе и бизнесе получают полностью автономные робо-тотехнические системы.

Следует отметить, что автономность характеризует не только взаимоотношения между человеком и машиной, но и уровень сложности системы. Так случилось, что термин «автоматический» используется, как правило, для простых систем, базирующихся на элементарных механических и электромагнитных эффектах. Термин «автоматический» привычно применяется к самодельным минам в военном деле или тостерам и механическим термостатам в быту. Когда появились первые самоуправляющиеся машины, использующие последние достижения программной инженерии, их сразу стали называть автономными. Поэтому традиционно автономными системами называют сложные системы, предусматривающие такие программные решения, как нейронные сети, глубокое обучение, самосовершенствующиеся программы и т. п. Наконец, несколько слов следует сказать по процессу принятия решения.

Автономными, как правило, называются роботизированные системы, где функция принятия решений реализована через те или иные программные продукты, размещенные в самом устройстве, либо в «облаке». В автономных системах блок принятия решений представлен сложными разнообразными алгоритмами и не требует присутствия человека. Фактически автономные роботизированные системы обладают полной независимостью в решении, по крайней мере, некоторых из поставленных перед ними задач. Например, на самой ранней стадии дроны были автономны в части решения задач навигации, обеспечения полета и т. п., но человек принимал окончательные решения об открытии огня на поражение. На наш взгляд по критерию принятия решений подавляющая часть систем пока является автономной. Лишь в последние пару лет появились БАРС, где решение об открытии огня принимается на алгоритмическом уровне.

БАРС ведут к экономии затрат

БАРС не обязательно могут быть идентифицированы как малозатратные. Но они во всех случаях снижают затраты, связанные с человеческим фактором.

С одной стороны элиминация человеческого фактора позволяет экономить на затратах, связанных с персоналом. С другой стороны – во многих средах исключение человека резко повышает надежность, живучесть и боеспособность систем. Таким образом, сама по себе БАРС может стоить существенно больше сменяемой ею человеко-машинной боевой системы, но при этом, конечная ее экономическая эффективность окажется выше как за счет снижения эксплуатационных затрат, так и за счет повышения сроков боевой эксплуатации.

Как показывает опыт гражданского сектора БАРС различного функционального и средового назначения обладают существенно более высоким уровнем модульности по сравнению с человеко-машинными системами. Иными словами, БАРС не только для различных задач, но даже для различных родов войск могут опираться на различные наборы модулей в рамках единой аппаратной и программной платформы. Этого никогда не удается добиться в условиях гибридных – человеко-машинных систем. В этих условиях, несмотря на то, что затраты, связанные с разработкой и испытанием подобной многомодульной платформы могут значительно превосходить расходы на изготовление отдельных военных гибридных человеко-машинных роботизированных систем, совокупные итоговые затраты на подобные системы окажутся не на проценты, а в разы выше, чем расходы на многомодульную платформу. К тому же дополнительная экономия может быть обеспечения за счет технического обслуживания, ремонта и обновлений единой модульной платформы.

БАРС также позволяют обеспечить экономию средств на обучение командиров и солдат управлению робототехническими системами. Понятно, что вряд ли в ближайшее время стоит ожидать появления БАРС в полном тотальном смысле этого слова. Уровень развития машинного обучения алгоритмизации и программных решений пока не позволяет оставить БАРС полностью вне контроля человека. По крайней мере, в ближайшие годы даже для БАРС, которые будут управляться без участия человека, за человеком необходимо оставить функцию возможности отключения (уничтожения) или взятия управления на себя исключительно в части возврата БАРС на базу. Вполне понятно, что такого рода контролеры сложных БАРС будут относиться к военной элите, их подготовка и обучение потребует значительных средств. Однако, исходя из опыта эволюции вооружений и гражданского опыта развития робототехнических систем видно, что такого рода контролеров будет необходимо существенно меньше, чем операторов в боевых гибридных человеко-машинных системах. Подготовка и повышение квалификации операторов, а также их переподготовка на новые робототехнические системы уже сегодня является одной из заметных и быстрорастущих статей бюджета вооруженных сил. Если в ближайшее время не будет обеспечен переход к БАРС, то у вооруженных сил могут возникнуть большие проблемы с дальнейшим увеличением этой статьи расходов, а также поиском специалистов, способных быть операторами все более сложных многофункциональных и вероятно смертоносных гибридных человеко-машинных боевых систем.

Возможности и ограничения БАРС

При всех перспективах БАРС надо трезво оценивать их ограниченные возможности. БАРС не могут быть использованы везде и повсюду. Это не новая «волшебная палочка» или абсолютное оружие.

В ближайшем будущем БАРС без сомнения могут быть максимально эффективно использованы в относительно устойчивых динамических средах, где можно четко распознать собственные подразделения и войска противника, отделить мирное население от повстанцев, террористов и т. п. С учетом того, что, по мнению все возрастающего числа экспертов, главным полем будущих наземных и морских битв будут крупные города и приморские городские агломерации, надо прямо сказать, что нынешние БАРС не подходят для действий в этой среде. На горизонте ближайших пяти лет в этой среде будут действовать высокоавтоматизированные военные гибридные человеко-машинные системы. Отличительной чертой этих систем будет постоянное расширение функций автоматического управления при возрастании роли человека, как контролера и арбитра последней инстанции в принятии тех или иных решений, связанных с применением поражающих, особенно летальных средств.

Однако надо иметь в виду, что данное ограничение связано с присущей Западу культурной традицией и ценностью человеческой жизни. Надо быть готовым, что наши противники, как в лице агрессивных государств, так и негосударственных акторов – в виде террористических сетей и оргструктур транснациональной преступности, будут использовать против Соединенных Штатов и их союзников полноценные БАРС. Человеческая жизнь не является ценностью для них, и поэтому разрушительный потенциал полных БАРС будет обладать непреодолимым соблазном. Поэтому мы уже сегодня должны быть готовы создавать полноценные БАРС, главной, а возможно единственной, функцией которых будет обнаружение и уничтожение БАРС противника.

БАРС могут выполнять миссии, невозможные для человеко-машинных систем

БАРС способны эффективно выполнять миссии, недоступные для обычных вооруженных сил и даже систем, предусматривающих дистанционный контроль и управление со стороны оператора. Такого рода гибридные системы достаточно хорошо показали себя в ходе Иракской и Афганской войн. Однако если войскам Соединенных Штатов придется столкнуться с развитыми государствами, располагающими эффективными системами борьбы в электромагнитной среде, включая системы подавления удаленных телекоммуникаций и блокировки потоков сложных сигналов, гибридные человеко-машинные роботизированные системы со своими миссиями не справятся. Связь между роботизированными системами и операторами может быть нарушена. В результате боевые или разведывательные средства в лучшем случае будут потеряны, а в худшем – контроль над ними будет перехвачен врагом и они достанутся ему в целости и сохранности. Полноценные БАРСы, хорошо защищенные от различного рода электромагнитного оружия, могут долгое время успешно действовать не только в воздухе и на море, но и на суше в глубине вражеской территории. При этом они могут выполнять без ограничения разведывательные функции, и при определенных условиях решать боевые, связанные с применением летального оружия задачи.

Кроме того, БАРС гораздо проще синхронизировать, скоординировать и включить в систему, построенную вокруг суперкомпьютеров, обрабатывающих глобальные потоки информации, поступающие от действующих во всех средах автономных разведывательных систем. В силу особенностей обработки информации человеком, гибридные человеко-машинные системы гораздо труднее интегрировать в разведывательно-боевые сети.

Каждое из изложенных выше преимуществ является весьма значительным. Реализованные же в комплексе в рамках синергетического эффекта БАРС позволят обеспечить американской армии подавляющее преимущество над любым противником, как в сфере разведки, обработки и доставки информации, так и, конечно же, на поле боя.

Достижение превосходства в войнах роботов

С момента, когда первый человек взял в руки камень, чтобы поразить врага, враждующие стороны всегда стремились получить возможность нанести смертельный удар с безопасного для себя расстояния. Именно с этим стремлением связано появление и применение артиллерии, военной авиации, ракет и т. п. Несмотря на то, что на протяжении человеческой истории стороны стремились получить оружие как можно большего радиуса действия, это оружие не позволяло особенно в конфликтах между технологически развитыми противниками, одержать победу. Это было связано с комплексом причин. Во-первых, в течение человеческой истории оружие большого радиуса поражения становилось все более и более доступным для слабейшей стороны. Соответственно происходило выравнивание боевых возможностей. Во-вторых, как правило, оружие большего радиуса действия было одновременно все менее избирательным оружием, не позволявшим точечного применения. Даже в тех конфликтах, где технологически развитая сторона имела высокоточное оружие дальнего радиуса действия, она подчас не приводила его в действие или использовала осторожно и ограничено, поскольку у технологически слабого противника также имелось оружие большого радиуса действия, но не точное и не избирательное. В итоге, если технологически развитая страна могла поражать только военные объекты, то технологически менее развитая страна имела способность поразить территорию и нанести потери мирному населению.

Как указано в документе «20YY: Готовясь к войне в роботизированном веке»: «ХХ век увидел появление впервые в истории высокоточное оружие дальнего радиуса действия. Это оружие позволило осуществлять точечные удары исключительно по военным и террористическим целям. В течение короткого периода времени у Соединенных Штатов была полная монополия на владение и использование этого оружия. Однако в настоящее время эта монополия ослабевает. Высокоточное оружие получили не только другие страны, но и негосударственные акторы, включая террористические группировки. Это создает угрозы для территории Соединенных Штатов, военных баз и гражданского населения». Возможность наличия у врагов нашей нации подобного оружия угрожает нашим глобальным коммуникациям, военным, разведывательным и командным сетям, ставит под угрозу нашу экономику и образ жизни.

БАРС могут помочь решить задачи нейтрализации и уничтожения высокоточного или дальнодей-ствующего оружия потенциальных противников Америки. Обладая свойствами всепроникаемости, динамичности, автономности и невидимости БАРС могут совмещать выполнение разведывательных функций с боевыми функциями по уничтожению оружия противника. В этом плане БАРС сходны и могут использоваться совместно с наступательным кибероружием, которое также предназначено, в том числе, для вывода из строя высокоточного или дальнего радиуса действия оружия противника непосредственно в местах его базирования.

С каждым годом все большее число конфликтов носит гибридный, асимметричный характер, где в боестолкновениях участвуют не только и не столько регулярные воинские подразделения, сколько иррегулярные формирования. В ходе таких войн агрессивные государства, террористические сети типа Аль-Каиды и транснациональные организованные преступные структуры все более часто успешно противостоят регулярным подразделениям войск США, их союзников и партнеров.

Главная причина такой ситуации, которая имеет тенденцию к усугублению и обострению, связана с тем, что в ходе гибридных, асимметричных войн с участием иррегулярных формирований бывает крайне затруднительным провести черту между полем боя и тылом, между своими и чужими войсками, между боевиками и гражданским населением. Ситуация еще более ухудшается с изменением ландшафта большинства конфликтов. Если в недавнем прошлом подавляющая часть конфликтов проходила в горах, в лесах, в пустынях и иных малонаселенных, а подчас труднодоступных регионах, то уже сегодня, а тем более завтра, военные действия будут вестись в крупных городах и городских агломерациях, представляющих собой взаимоувязанную сеть мегаполисов, крупных, средних и маленьких городов, тянущихся на сотни километров.

Дополнительным фактором, который будет ограничивать возможности высокотехнологичных войск США, их союзников и партнеров станет активное использование противником прокси войн. В таких войнах подразделения, непосредственно участвующие в каждодневных боевых действиях состоят из на скорую руку обученных солдат и офицеров из местного населения, как правило, имеющих за плечами некоторый военный опыт, либо службу в армии. Для обеспечения успеха на решающих участках будут все чаще использоваться формирования частных военных компаний и т. п. Наконец, военную, логистическую, финансовую и иную поддержку иррегулярным формированиям и подразделениям частных военных компаний будут оказывать страны – главные бенефициарии конфликта. Как показывает опыт, победить в прокси войне, действуя только исключительно на поле боя, без переноса борьбы на территорию страны-бенефициара, практически невозможно. Также в условиях гибридной городской войны высокотехнологичная сторона лишается своих преимуществ в использовании традиционных вооружений. Как показывает опыт, даже наводимое оператором за сотни километров высокоточное оружие, базирующееся на роботизированных системах типа дронов, часто применяется неточно из-за стресса и ошибок операторов. Каждый такой случай широко освещается в средствах массовой информации. В итоге, под воздействием общественного мнения, войскам Соединенных Штатов, их союзников и партнеров приходится отказываться от использования эффективных, но на практике не высокоточных роботизированных вооружений. Как итог такого отказа, наши войска не только теряют стратегическое и оперативное преимущество, но и несут потери в личном составе, вынужденном участвовать непосредственно в боевых действиях в сверхсложных и неблагоприятных условиях.

БАРС позволяет, если не полностью решить эту проблему, то, по крайней мере, переломить тенденцию и резко повысить потенциал сдерживания войск США и их союзников в гибридных, асимметричных и прокси конфликтах. Для этого необходимо должным образом сочетать использование БАРС и кибероружия в виде боевых многофункциональных программных платформ.

БАРС в своем космическом, воздушном, а возможно и морском варианте позволяет осуществлять эффективную разведывательную деятельность. По ее результатам возможно нанесение точечных киберударов непосредственно по военным, логистическим, а при необходимости и иным объектам государства-бенефициара, участвующего в прокси войне против Соединенных Штатов, их союзников и партнеров. Вывод из строя военных, логистических и иных инфраструктур не только ослабит оборонительные и наступательные способности участников прокси конфликта, но и в значительной мере ограничит потенциал поддержки государством – бенефициарием непосредственных участников гибридных войн и прокси конфликтов. Они могут существовать и осуществлять военные действия только при условии поддержки со стороны страны-бенефициария. Лишившись такой поддержки, они неминуемо быстро будут вынуждены капитулировать.

Наряду с использованием наступательных ки-бервооружений, применение сухопутных, морских и воздушных БАРСов способно уничтожить те конвои и цепи снабжения, которые, тем не менее, будут приведены в действие стороной участником прокси конфликтов, и без которых не смогут существовать силы, противостоящие подразделениям США, их союзников и партнеров. Если ки-бервооружение нацелено на подавление возможности гибридной и особенно прокси войны еще в зародыше, или в начальной стадии конфликта, то боевое использование различных БАРС способно внести перелом в уже развернувшийся конфликт, резко ограничить его длительность, избежать разрушений, лишений гражданского населения на территории конфликта и неоправданных потерь вооруженных сил Соединенных Штатов, их союзников и партнеров.

Наконец, БАРС способны уничтожать сосредоточения боевой силы и техники противника в ходе гибридных войн еще до выдвижения живой силы и механизированных подразделений непосредственно на линию активного боевого соприкосновения. В подобных случаях БАРС, совмещающие в себе разведывательные функции с функцией огневого поражения противника, способны уничтожить его еще до вступления в прямое соприкосновение с вооруженными силами США, их союзников и партнеров.

Таким образом, эволюция БАРС в сочетании с кибероружием, если не полностью элиминирует возможности ведения врагами Америки и свободного мира гибридных и прокси войн, то, по крайней мере, на порядок повысит для них цену подобных конфликтов, резко снизит возможные неоправданные потери жизней военнослужащих США, их союзников и партнеров и, наконец, сделает такие войны, если они все же будут развязаны, достаточно краткосрочными, менее разрушительными для экономики страны и ее мирного населения. А главное, уже на начальной стадии военных действий, по сути, предопределит их итог в пользу вооруженных сил США, их союзников и партнеров.

Перспективы киборгизации армии США и использование экзоскелетов

Во время Второй мировой войны основные потери американцев пришлись на пехотинцев на передовой, пилотов бомбардировщиков, наносивших удары по Германии, экипажи подводных лодок, сражавшиеся на морях и океанах. Сегодня американские технологии позволили создать высокоавтоматизированные, практически невидимые и труднопоражаемые бомбардировщики. Появились бесшумные, отражающие волны радаров и других средств обнаружения субмарины. Но американские сухопутные войска продолжают нести потери. Тысячи молодых американцев – солдаты и офицеры нашей армии, заплатили своими жизнями за будущую свободу и процветание народов Ирака, Афганистана и т. п. В настоящее время на солдат и офицеров, которые непосредственно участвуют в боевых действиях на передовой, приходится всего 4 % от всех военнослужащих и персонала вооруженных сил США. Для сравнения, в ходе Второй мировой войны этот процент составлял – 80 %. Однако, 4 % – это не проценты, а живые люди, чьи-то сыновья, дочери, братья, сестры и т. п. Поэтому смерть любого американского военнослужащего, даже выполняющего боевую задачу, связанную с риском, – это трагедия не только для его семьи, друзей, но и для всей Америки. Поэтому мы должны сосредоточить максимальные усилия, чтобы автоматизированные системы и ро-бототехнические комплексы максимально широко использовались не только в воздухе, море и космосе, как это имеет место сейчас, но и, прежде всего, на суше.

Большие надежды по повышению эффективности применения сухопутных войск и резкому снижению потерь были связаны с сетецентриче-ской войной и достижением так называемой «полной информационной осведомленности» солдат и офицеров. Однако сегодня, по прошествии 20 лет с момента начала реализации сетецентрической концепции, нужно откровенно признать, что она не обеспечила американским вооруженным силам, и прежде всего армии, решающее превосходство на поле боя. Основные усилия были направлены на совершенствование систем командования и управления, повышение скоординированности различных штабов, обеспечение командиров всех уровней все возрастающим объемом информации. Конечно, все это сыграло некоторую роль и позволило несколько повысить эффективность вооруженных сил. Однако пора прекратить тешить себя иллюзиями и честно сказать, что следуя только по этому пути, мы победу не одержим, не сбережем жизни американцев.

В самом деле, сетецентрическая концепция управления и командования не принесла нам победу ни в Ираке, ни в Афганистане. Американская армия ушла из Ирака, уходит из Афганистана, но не одна из целей кампаний не достигнута. Поэтому мы можем сколь угодно говорить о победах, но в строгом военном смысле побед мы там не добились. Не хочется говорить о поражении, но сторонний наблюдатель, не связанный патриотическими иллюзиями, назовет итоги этих кампаний именно так. Никакие информационные системы, нацеленные на совершенствование командования и управления войсками, не дадут эффекта, пока они не обеспечат подавляющего превосходства на поле боя. А его нам достигнуть не удалось. Возможно ли это в принципе? Могут ли американцы, их союзники и партнеры вести успешные боевые действия в таких регионах, как Ирак, Афганистан и т. п.?

Представляется, что ответ на этот вопрос связан с решением двух принципиально разнородных типов проблем. Первые лежат, как говорил командор Ван Рипен, в необходимости, наконец, положить в основу наших действий на том или ином театре глубокое знание местных культур, традиций, особенностей поведения. Это огромная тема, не имеющая отношения к предмету нашей разработки. Второй же пласт проблем связан с технологиями. На протяжении последних десяти лет, благодаря американскому предпринимательскому духу, инновациям, исследователям и инженерам, не просто созданы, а стали доступными для любого солдата уникальные системы ночного видения, бронежилеты, делающие человека поистине неуязвимым, огневые ручные комплексы ведения боя, которые пришли на смену привычным пистолетам, винтовкам, автоматам и т. п. Вместе они позволяют уже сегодня американским солдатам и офицерам получить гигантское огневое превосходство и безусловное доминирование на любых полях боя, в любых ландшафтах – от безлюдных пустынь до многолюдных мегаполисов. Проблема, как это ни удивительно, в одном. Собранные в комплекс, эти системы весят от 60 до 120 фунтов, которые постоянно должен нести на себе солдат. А это попросту физически невозможно, тем более, что он должен не просто нести на себе все снаряжение и вооружение, но и быть мобильным.

Единственный выход из сложившейся ситуации – это использование экзоскелетов. В 2013 году завершились испытания первых полностью роботизированных экзоскелетов «Айрон Мэн Сьют». Они перестали быть научной фантастикой и в настоящее время поступают в подразделения сил Специального Оперативного Командования США. До конца 2015 года все американские спецподразделения будут оснащены роботизированными эк-зоскелетами, а в интервале до 2018 года все солдаты и офицеры сухопутной армии Соединенных Штатов, участвующие, либо могущие участвовать в боевых действиях, связанных с огневым соприкосновением с врагом, получат экзоскелеты. Экзо-скелеты, наряду с обеспечением мобильности при огромном весе, доминирующей огневой мощи, призваны также защитить солдат и офицеров от вражеского огневого и иного воздействия.

В настоящее время завершились лабораторные испытания и в 2015 году начнутся боевые экспериментальные испытания следующего поколения эк-зоскелетов, которые позволят не только реализовать принцип полной информационной осведомленности, но и принцип избирательного действия.

Принцип полной информационной осведомленности означает, что офицеры и солдаты, имеющие экзоскелет, будут получать через дисплеи, реализованные в виде приборов, похожих на Гуглагз, но гораздо более миниатюрных, информацию о боевой обстановке на и вокруг зоны соприкосновения. Причем, эта информация будет поступать не только через командные и разведывательные пункты подразделений, где служат солдаты и офицеры, но и напрямую от дронов и БАРСов – разведчиков, и даже космических спутников.

Принцип избирательного действия никогда еще не использовался на поле боя, хотя уже применяется в гражданской сфере. Дело в том, что человеческая реакция уступает уже сегодня реакции различного рода полностью автоматизированных и роботизированных систем. На этом, в частности, построен сегодняшний фондовый рынок Соединенных Штатов, где более 70 % операций осуществляют роботы, действующие в интервале отклика на сигнал в течение не более 9 миллисекунд. Человек может действовать в интервале 35-50 миллисекунд. Во втором поколении полностью роботизированных экзоскелетов предусмотрена возможность автоматического реагирования различного рода защитных подсистем, включая системы огневого и иного поражения, на обнаруживаемые угрозы. Например, готовую взорваться мину, выпущенный снаряд, очередь из автомата и т. п. Человек не способен прореагировать на них и в итоге погибает, либо получает ранение. Экзоске-леты второго поколения, которые уже прошли испытания позволяют не только засечь выпущенные снарядили пулю, но и поразить их в полете, либо минимизировать последствия взрыва при помощи все того же экзоскелета, как минимум, сохранив жизнь, а как максимум – невредимость и боеспособность своему хозяину.

По оценкам при должном внимании Администрации и Пентагона вторым поколением экзоске-летов специальные подразделения вооруженных сил США могут начать оснащаться в 2016 году, а пехотные подразделения – не позднее второй половины 2017 года.

Роботизированные антиминные комплексы

Вслед за наземными роботами, которые показали свою чрезвычайно высокую эффективность в борьбе с самодельными взрывными устройствами на суше, Военно-морской флот США осуществляет работу по созданию и практическому использованию АРС-саперов для борьбы с морскими минами и глубинными бомбами. Хотя в последние годы Соединенные Штаты не проводили глобальных десантных операций, ситуация может измениться в ближайшее время. Согласно наиболее проницательным военным аналитикам, будущие войны будут проходить в основном в городах и городских агломерациях, прежде всего, расположенных на берегах морей и океанов, либо огромных рек. Без сомнения это потребует широкого использования АРС-саперов, которые смогут обезвреживать самодельные морские мины, устанавливаемые на побережье, и даже на пляжах и в других прибрежных районах.

Американские вооруженные силы уже в настоящее время располагают АРС-саперами не только для морской среды, но и АРС-амфибиями, которые могут работать с минами, как в прибрежных водах, так и непосредственно на пляжах и в местах высадки десанта. Необходимо отработать использование подобных робототехнических систем боевыми подразделениями с тем, чтобы они успешно могли их использовать при реализации своих миссий и проведении кампаний.

Одноразовые разведчики

Отлично поставленная разведка и умелое использование полученных ею данных – залог не только выигрыша кампании, выполнения миссии, но и обязательное условие минимизации потерь. Использование АРС в разведывательных целях открывает поистине безбрежные перспективы. В настоящее время Соединенные Штаты достигли наибольших успехов в авиации. В ходе войны в Афганистане высокую эффективность с точки зрения обеспечения сухопутных подразделений оперативной разведывательной информацией показала разведывательная система, включающая в себя беспилотники MQ-1С Gray Eagle и RQ-7 Shadow, летающий разведывательный комплекс с персоналом и боевые ударные вертолеты Apache.

Такое сочетание беспилотных, пилотируемых и боевых средств воздушной разведки и огневой поддержки особо важно в войнах с более развитым технологическим противником, по сравнению с нашими врагами в Афганистане и Ираке. Комбинация беспилотных и пилотируемых комплексов позволяет получить разведывательные данные даже в тех случаях, когда противоздушной обороне противника удастся уничтожить беспилотник.

Более того, использование для разведки небольших, а иногда и миниатюрных и сверхминиатюрных беспилотных аппаратов или разведывательных АРС чрезвычайно перспективно не только в воздухе, но и на море, и на суше. Сегодня американские технологии позволяют создать целые рои миниатюрных и сверхминиатюрных разведывательных аппаратов сухопутного, морского и воздушного базирования, которые практически не отображаются системами охраны государственных границ, противоздушной, сухопутной и морской обороной.

Как отдельные миниустройства, так и их рои, включающие в себя устройства во всех средах, завязанные на одну, размещенную в облаке память позволяют без риска для жизни человека-разведчика получить любую оперативную информацию практически с любого, сколь угодно удаленного поля боя. Более того, рой разведывательных устройств с коллективной облачной памятью делает бессмысленным перехват управления противником отдельного устройства. Такой перехват, несмотря на значительные затраты средств, не принесет ему ничего – ни дополнительной информации, ни возможность использовать устройство в нужных целях. В настоящее время боевые разведывательные рои микро-АРСов уже изготовлены и испытаны. В том числе молодыми стартапами в гражданской сфере. Сегодня отсутствуют какие-либо технические и технологические препятствия, чтобы использовать эти новинки в американских вооруженных силах.

Противокорабельные БАРС

В настоящее время военно-морские силы США сталкиваются с угрозами атак со стороны так называемых малотоннажных судов. Как явствует из разведывательных данных и информации, опубликованной в открытых источниках, относительно, например, планов Корпуса Стражей Исламской Революции по борьбе с американским флотом в Персидском заливе, они предусматривают стремительные атаки маленьких, наводимых смертниками лодок, загруженных взрывчаткой, на крупные американские суда. Военно-морские маневры, проведенные в 2012 году, показали достаточно высокую уязвимость флота США для такого рода угрозы.

В этом плане большой эффект могут дать недавно испытанные БАРС морского базирования. Они включаются в состав флотов и морских соединений, спускаются на воду непосредственно в районах выполнения миссий и ориентированы исключительно на опережающее поражение любых малотоннажных судов и лодок в оперативной зоне действия флотов и соединений. На 2015 год намечена первая крупномасштабная военно-морская игра по практической проверке способности БАРС морского базирования отражать угрозы судов и лодок, управляемых как смертниками, так и автоматами на крупные суда, входящие в состав американского флота – от авианосцев до корветов.

Эвакуационные АРС

На протяжении всей военной истории эвакуационные миссии связаны с потерями. В ходе Вьетнамской войны более 50 % потерь вертолетов пришлось на эвакуационные миссии. В Афганистане, где зашита вертолетов была намного сильнее, чем во Вьетнаме, четыре пятых потерь всех вертолетов, а соответственно и экипажей, пришлось именно на эвакуационные миссии. Во всех других случаях боевого использования вертолетов экипажам удавалось сохранить свои машины либо неуязвимыми, либо живучими.

До последнего времени потери в ходе эвакуационных миссий к общему числу военных потерь были особо высоки в американской армии по сравнению с вооруженными силами других стран мира. Это в значительной степени сопряжено с тем, что основа, военная мораль и этика американской армии покоятся на максимальной заботе о жизни человека и безусловном требовании оказывать помощь раненым, окруженным, пленным бойцам, практически не считаясь с потерями. Без соблюдения этого, казалось бы, парадоксального требования, было бы невозможным поддержание высокого боевого духа нашей армии, ее психологии победителя, которая в немалой степени базируется на неукоснительно соблюдаемом принципе «американцы своих ни на поле боя, ни в тылу, ни в плену не бросают». Это не фильмы, типа «Спасти рядового Райана», а кровавая реальность Вьетнамской, Иракской и Афганской войн.

Департамент медицины американских вооруженных сил в 2006, 2009 и 2013 годах выпустил три меморандумы, запрещающие использование АРС в эвакуационных миссиях. В то же время Объединенное командование НАТО провело трехлетние исследования относительно возможности использования АРС в эвакуационных миссиях. В результате исследований, чьи выводы отличались от меморандумов, написанных американскими медиками на основании собственных домыслов, обнаружилось, что в 80 % случаев только применение АРС могло бы обеспечить успешную эвакуацию раненых, контуженных и окруженных бойцов. Лишь в 20 % случаев это могли сделать обычные подразделения, без риска понести неприемлемые потери. К сожалению, Пентагон в своей «Дорожной карте» продолжает настаивать на сложившейся точке зрения, хотя и несколько смягчил ее.

В Дорожной карте записано: «Хотя в настоящее время использование АРС запрещено в эвакуационных миссиях, в обозримом будущем возможно использование таких систем для доставки останков американских военнослужащих, и в некоторых случаях, для эвакуации раненых». Приходится констатировать, что, как и во многих других случаях, руководство Пентагона остается в плену своих ведомственных инструкций, незнания технологических реалий не то что завтрашнего, но уже сегодняшнего дня. К этому примешивается на наш взгляд и приверженность к определенным, испытанным не годами, а десятилетиями подрядчикам – производителям эвакуационных средств для Пентагона.

Наш анализ использования в эвакуационных целях АРС показывает, что даже без сколько-нибудь значительных затрат простая адаптация уже эксплуатируемых в гражданской сфере в Америке и в странах – союзниках и партнерах, особенно в Израиле, АРС могло бы сберечь множество жизней военных как из числа раненых, контуженных и пленных, так и из состава спасательных миссий.

АРС для разведки и саботажа

АРС могут быть отправлены в глубокий тыл врага не только для проведения разведывательных миссий, но и для осуществления саботажа и диверсий. Сегодня существуют недорогие роботы для действий в воздухе, на море и на суше, которые при небольших размерах могут нести на себе как взрывные устройства, так и электромагнитные изделия, способные вывести из строя компьютеры, телекоммуникационные сети, сервера, в том числе расположенные в защищенных строениях. Сегодня такие роботы уже используются в коммерческой сфере для доставки различного рода грузов. Они, – особенно воздушные роботы, или так называемые полностью автоматизированные дроны, вполне способны вместо коммерческого груза нести на себе огневой или электромагнитный заряд для проведения скрытых диверсий в тылу врага. В настоящее время разработаны и впервые прошли испытания АРС, которые могут быть попеременно применены в наземной, воздушной и морской среде. Они являются своего рода полной амфибией.

Следует подчеркнуть, что миниатюрные АРС, оснащенные электромагнитным оружием, позволяют провести скрытые диверсии без объявления военных действий. Врагу будет чрезвычайно сложно, или даже невозможно не просто обнаружить такие АРСы, а тем более, идентифицировать на доказательном уровне их страновую принадлежность. С учетом доступности и дешевизны таких мини-АРСов, ими сегодня уже могут обладать не только страны и известные террористические сети, но и небольшие антиправительственные группировки, преступные синдикаты и т. п.

Подобные системы могут быть использованы не только в целях осуществления миссий саботажа, но и как своего рода боевая подготовка перед началом действий на том или ином театре военных действий, команд специального назначения или регулярных войск. Образно говоря, они становятся эквивалентом традиционной артподготовки перед наступлением для XXI века.

С удовлетворением можно констатировать, что в последние три года DARPA провела целый ряд конкурсов по разработке АРС для глубокой разведки, саботажа и т. п. В ходе этих конкурсов получены АРС – полные амфибии, способные действовать под водой, на суше, и даже в воздухе, неся полезную нагрузку в виде миниатюрного, но мощного электромагнитного оружия.

Технологические инновации происходят не в вакууме. Любые, даже самые совершенные БАРС и АРС предполагают, в конечном счете, использование высококвалифицированного, психологически устойчивого и образованного военного и гражданского персонала. В этом плане необходимо преодолеть нынешние недостатки в подготовке и такого персонала. Также необходимо смелее проводить военные учения и игры, где бок о бок будут участвовать БАРСы различных типов и высокотехнологичные боевые подразделения, причем не только сил специального назначения, но и различных родов войск, и прежде всего армии Соединенных Штатов.

Зависимость робототехники от развития ключевых перспективных технологий

На сегодняшний день главная уязвимость БАРС заключается в необходимости эффективного взаимодействия между полностью автоматическими компонентами системы и человеком, выступающим не только как управляющий, но и все в большей степени как контролирующий элемент БАРС. В ситуации простых задач БАРСы уже сегодня могут обходиться, по сути, без человека. Проблемы возникают в двух случаях. Во-первых, когда БАРС действует в условиях не просто изменчивой среды, а среды, воздействующей на выполнение миссии через переменные, не учтенные в программе БАРСа. В этом случае без человека не обойтись. Во-вторых, при вооружении БАРСа не единичным, а тактическим вооружением, чреватым большими потерями противника и разрушением жизненно важных систем на сегодняшнем уровне техники и технологии высоко рискованно доверять принятие последнего решения автомату. Хотя уже сегодня в определенных случаях только автомат может обеспечить необходимый темп реагирования на вражеские угрозы.

В этой связи ключевой лимитирующей технологией для развития БАРС в ближайшие годы являются технологии обеспечения непрерываемой, неискажаемой дальней широкополосной связи с БАРС различных типов. В этом плане особый интерес представляет использование для связи экстремальных частот электромагнитного спектра. Поскольку сегодня во всех странах мира, за исключением Соединенных Штатов эти частоты не используются для связи из-за отсутствия необходимых технологий, соответственно для этих частот нет и средств подавления.

Наряду с экстремальными частотами более эффективному использованию БАРС будет способствовать интеграция различных каналов связи, включая спутниковую связь в единую систему. Управление БАРС при помощи спутников резко повышает живучесть системы и снижает риски прерывания связи.

Наконец, прорыв в обеспечении надежности и жизнеспособности БАРС обещает практический переход на самовосстанавливающиеся телекоммуникационные сети. При их использовании выход из строя одного из вариантов связи будет тут же на программном уровне опознан и элиминирован установлением нового канала связи с центром управления. Успехи, достигнутые в рамках программ IARPA, позволяют говорить о том, что самовосстанавливающиеся телекоммуникационные сети вышли из стадии научных исследований и опытных разработок на уровень практического применения.

Автономия и автоматизация против человеческого понимания

Сегодня гражданские инновации могут быть широко использованы министерством обороны для создания различного рода транспортных АРС, предназначенных для суши, моря и воздуха. С точки зрения транспортной функции нет никакой разницы между автомобилем Google и транспортной военной наземной системой, между дро-ном «Амазон», доставляющем коробку с пиццей или ящик пива прямо на балкон дома, и дроном, доставляющем боеприпасы спецподразделениям или обычным пехотным частям. Если убрать технические аспекты, связанные с тем, что военные АРС в отличие от гражданских будут действовать в условиях создания помех для управления и контроля над ними, а также в условиях риска огневого или электромагнитного поражения, военные и гражданские АРС не отличаются.

Вся проблема состоит в поражающей мощи АРС, т. е. превращении АРС в БАРС, особенно когда это касается БАРС массового поражения. На сегодняшний день позиция военных и большинства исследователей состоит в том, что они считают решение вопроса о применении летального или нелетального оружия вопросом, находящимся исключительно в компетенции человека. Максимально на что согласны представители подобной точки зрения – это возможность создания гибридных человеко-машинных систем, где машина, подобно гражданским вариантам Watson, будет выступать как эксперт и советник.

Однако авторы данного доклада полагают, что наши потенциальные противники могут быть в меньшей степени озабочены морально-этическими критериями применения робототехники. В этом случае их машины на поле боя и в тылу будут автоматически принимать решения об использовании оружия, в том числе оружия массового поражения, включая не только огневое, но и кибер– и электромагнитное оружие. В этом случае гибридные системы станут узким местом американских БАРС, потому что любая гибридная система по быстродействию проигрывает автоматизированной системе. С этой дилеммой в свое время столкнулись крупнейшие банки и инвестиционные институты на финансовых рынках. В итоге они выбрали применение алгоритмических торговых роботов.

Авторы доклада считают, что Америка не может рисковать своей боеспособностью, потерями военнослужащих и жизнями гражданского населения. Мы должны понимать, что наши противники отнюдь не исповедуют американские ценности и не ценят человеческую жизнь так, как ценим ее мы. Поэтому, если Америка хочет по-прежнему доминировать и гарантировано превосходить противника на поле боя, а также не допускать возможность применения средств против тыловых структур вооруженных сил США и гражданских объектов и населения на территории нашей страны, мы должны не рассуждать о том, моральны или не моральны БАРС, можно или нельзя их использовать с точки зрения американских ценностей, а прикладывать все усилия, чтобы наши БАРС были быстрее, мощнее и интеллектуальнее возможных БАРС наших актуальных и потенциальных противников.

Однако, мы далеки от игнорирования гибридных человеко-машинных систем. По мнению ведущих разработчиков в университетах и высокотехнологических компаниях, подтвержденному анализом тенденций в гражданской и коммерческой сферах, магистральным направлением здесь является не разделение функций человека и машины в рамках гибридной системы, а все большая интеграция возможностей машин непосредственно в человеческую психику. Автоматизация и когнитивные человеческие способности должны быть не двумя частями гибридной системы, а машинная система сбора, обработки и анализа информации должна быть встроена в когнитивные способности человека. По сути, речь идет о том, чтобы на практике реализовать то, что фантасты описывали как киборгов.

Сегодня имеются большие достижения в области создания человеко-машинных интерфейсов графического, привычного для людей, отображения баз данных в режиме реального времени. Особые перспективы для встраивания в когнитивные способности различного рода систем, базирующихся на информационных компьютерных технологиях, дают работы, которые проводятся в рамках директивы 3012 министерства обороны.

Нельзя также забывать, что исследования, проводимые в соответствии с директивой 3047 министерства обороны, открывают новые возможности для раскрытия резервов человеческой психики и когнитивных способностей, которые в сочетании со встраиванием аппаратно-программных комплексов дают принципиально иное качество командирам и солдатам всех родов войск.

Новые энергетические источники для БАРС

Не только военная, но и, возможно, в первую очередь, коммерческая и гражданская сферы демонстрируют, что новое поколение робототехники требует гораздо большей энерговооруженности, чем роботы предыдущих поколений. В военной сфере это в полной мере относится не только в БАРСам, но и к транспортным и разведывательным АРСам, а также экзоскелетам.

Повышенная энерговооруженность и автономность нового поколения робототехники, которое должно быть способно функционировать не часы, а дни, а возможно и недели без участия человека, предполагает использование принципиально новых типов аккумуляторов, топливных элементов, а также в тех случаях, когда это возможно, возобновляемых источников энергии, типа солнца, приливов, морских течений и т. п.

Особые перспективы для применения военных АРС всех типов и БАРС открывают последние разработки американских ученых в рамках программ DARPA, а также проект наших европейских союзников в области новых сверхъемких топливных элементов.

Культурные и бюрократические препятствия для инноваций

Войны ведут солдаты и офицеры, летчики и моряки. Но оружие для них производится в соответствии с решениями чиновников. Культурные и бюрократические факторы функционирования министерства обороны в решающей степени определяют перспективы вооруженных сил США иметь или не иметь лучшее в мире вооружение для победы в будущих конфликтах.

Культура может быть как мощным катализатором, так и тормозом для инноваций. Пример DARPA и IARPA показывает, что могут быть созданы организации, которые длительное время своими решениями открывают дорогу принципиально новым, меняющим облик мира не только в военном, но и в коммерческом и гражданском планах инновациям и изобретениям. Сегодняшний мир во многом создан усилиями DARPA и корпорации MITRE. Однако исторические примеры свидетельствуют о том, что зачастую чиновники и высшие политические руководители, принимающие решения, обрекали свои армии на поражения из-за того, что не предоставляли в их распоряжение перспективные новинки. Все знают хрестоматийную историю о том, как Франция потеряла все, когда Наполеон не поверил изобретателю парохода. Такие примеры можно найти во всех странах мира. Соединенные Штаты отнюдь не являются исключением. В последние 15 лет многие инновации, в том числе выпестованные DARPA и MITRE, были сначала отвергнуты Пентагоном, ушли в гражданский сектор и лишь после коммерческого успеха с опозданием вернулись в вооруженные силы.

Вторая проблема состоит в том, что командиры плохо понимают возможности новых высокотехнологичных вооружений и не используют их либо применяют ненадлежащим образом, не в тех сферах и для выполнения неправильных миссий. Это является результатом пренебрежения технологическим образованием в последние годы в рамках подготовки высшего и среднего командного состава, а также недостаточным вниманием к этим вопросам при переподготовке. Сегодня в гражданском секторе имеются многочисленные примеры успешного обучения уже взрослых, сформировавшихся людей новым профессиям или навыкам. Пентагону не надо изобретать велосипед, а надо просто быстро перенять гражданский опыт и развернуть сплошное, а главное контролируемое обучение командного состава знаниям и навыкам, необходимым для использования АРС и БАРС. В полной мере это относится и к рядовым бойцам.

Свою негативную лепту в неприятии на уровне команд и подразделений вооруженных сил инноваций сыграла и политика Пентагона последних десятилетий. Министерство обороны старалось закупать все более совершенное и дорогостоящее оборудование и вооружение. Мало того, что оно было плохо приспособлено для ведения подавляющего большинства войн и конфликтов, в которых участвовали Соединенные Штаты в последнее время, вдобавок оно показало себя ненадежным и мало живучим. В результате солдаты и офицеры, непосредственно участвующие в боях, были склонны использовать уже длительное время взятые на вооружение танки, самолеты, корабли, стараясь уклониться от новинок. И дело здесь не только и не столько в косности и недоверии ко всему новому и непривычному, сколько в чрезмерной сложности и малой эргономичности такого рода вооружений, а также отсутствие их сервисной и технической поддержки.

К счастью, переход к модульным роботизированным боевым платформам, на основе которых изготовляются АРС и БАРС для отдельных родов войск и даже специальных миссий, облегчает унификацию, техническое обслуживание, ремонт и освоение новой техники. Робототехнические системы, созданные на модульной основе, будут более приемлемы для солдат и офицеров вооруженных сил, чем супердорогостоящие монстры, которые так и не появляются на поле боя, а ублажают взор чиновников и радуют подрядчиков.

Чиновники министерства обороны должны прекратить душить инновации

Помимо Бермудского треугольника, где пропадают самолеты и корабли, на планете есть еще одно удивительное место. Это «Долина смерти», расположенная в Пентагоне между исследованиями и разработками, и принятием решений о программах вооружений. Исследовательские лаборатории, такие как DARPA, IARPA, MITRE и Офис Морских Исследований – ONR, часто создают не только прорывные, но и уникальные инновации. Но они умирают на стадии разработки программ закупок вооружений и военной техники. Особенно печальная ситуация стала складываться в последнее время. И раньше разработка программ по проведению тендеров на конкретные виды техники и вооружений предполагала множество внутри– и межминистерских согласований, процедур и т. п.

В условиях сокращения бюджета Пентагона сложность и количество таких согласований и процедур не уменьшились, а увеличились. В среднем сегодня полный пакет документации, необходимой для принятия решения о выставлении на тендер нового типа оружия, составляет не менее полутора тысяч листов и предполагает получение 400 согласований. Понятно, что шансов в таких условиях прорывным разработкам своевременно попасть в программу, нет никаких. Дополнительно уже на стадии тендеров по некоторым видам вооружений и техники происходит негативный отбор. Дело в том, что по многим видам вооружений срок между объявлением тендера и расчетом за произведенные после победы на тендере вооружения составляет более 4,6 года. Небольшие компании, стар-тапы и университетские группы, просто не могут ждать такое время. Мы уже не говорим о том, что ни одна уважающая себя высокотехнологическая компания, если она не является многолетним подрядчиком Пентагона, просто не сможет соответствовать требованиям, предъявляемым к участникам тендера. Мы плохо отдаем себе отчет, что в последние годы перестали отличаться от России с ее византийскими требованиями к документации.

Исторически сложилось так, что процедуры разработки программ вооружений оптимизированы под большие военные системы с чрезвычайно длительными сроками разработки и эксплуатации, вплоть до 20-30 лет. Это сопряжено с тем, что все процедуры и документация Пентагона была разработана в период Холодной войны, когда главное внимание уделялось стратегическому ядерному оружию, авианосцам, бомбардировочной авиации, которые служат 20-30, а иногда и более лет. В современных условиях система является полностью неадекватной и наносит больший ущерб боеспособности вооруженных сил США, чем китайский шпионаж, охотящийся за американскими военными секретами.

В рамках разрабатываемой в настоящее время Третьей оборонной инициативы необходимо выделить отдельный блок, связанный с антибюрократической инициативой. Необходимо привести процедуры и документацию Министерства обороны в соответствии с процедурами и документацией высокотехнологичных компаний, принимающих решении о практическом финансировании и реализации инноваций. Военные инновации должны проходить не медленнее, чем гражданские и коммерческие, а быстрее. Это не утопия. На начальной стадии развития Силиконовой долины, примерно до конца 80-х г., в «добрые старые времена» Холодной войны военные инновации прокладывали дорогу гражданским и коммерческим, а не плелись у них в хвосте. Если Америка хочет по-прежнему доминировать на поле боя и иметь подавляющее превосходство над любым противником, мы должны вернуться к тому порядку, который существовал во времена Холодной войны.

Рекомендации

Большинство идей, изложенных в этом докладе не новы. Фактически многие из них нашли отражение в «Дорожной карте» Пентагона и других ведомственных документах. Значительная часть изложенных в этом докладе возможностей базируется на уже существующих и полностью готовых к использованию технологиях. Другие же связаны с военным использованием уже имеющихся в гражданском и коммерческом секторах изобретений, разработок и инноваций. Для их применения в военном деле нужны некоторые дополнительные инвестиции.

Отличие этого доклада от прочих не в новизне идей, а в отсутствии оглядки на политкоррект-ность, бюрократическую осторожность и т. п. В докладе изложена точка зрения, которую разделяют наши коллеги в министерстве обороны, других федеральных агентствах, в организациях американского разведывательного сообщества, но не могут их прямо высказать в силу различного рода политических, административных и культурных предрассудков и ограничений. Мы эти позиции высказываем прямо.

Главная цель доклада – показать приоритеты в развитии военной робототехники для того, чтобы именно на этих направлениях было сосредоточено финансирование, исследовательские разработки, кадровые и иные ресурсы.

Недавно принятые документы министерства обороны позволяют нам смотреть в будущее с оптимизмом и полагать, что предлагаемые подходы и приоритеты не останутся только плодом работы аналитического независимого центра, а будут в большей, либо в меньшей степени использованы при формировании и реализации программ новых вооружений. Наш оптимизм питается, например, тем фактом, что при определении решения для авиационной разведки сухопутных войск был выбран не как обычно новый, чрезвычайно дорогой, нового поколения вертолет, а сочетание уже применяемых надежных и привычных вооруженным силам вертолетов Apache с отлично зарекомендовавшими себя в гражданском и коммерческом секторах, мобильными, недорогими, надежными дронами, способными нести разведывательную аппаратуру, и при необходимости запускаемыми с и возвращающимися на вертолет.

В этом примере можно выделить три чрезвычайно важных момента, которые имеют не единичное, а стратегическое значение. Во-первых, революционная инновация внедряется в комбинации с освоенной и привычной для армии техникой. Во-вторых, не изобретается велосипед, а используется уже отработанная инновация, и проводится ее трансферт из гражданского в военный сектор. В-третьих, используется наиболее приемлемый на сегодняшний день метод гибридного интеллекта в управлении сложными боевыми и разведывательными системами.

ВВС должны:

• Разрабатывать, развивать, финансировать и реализовывать планы контроля не за отдельным летательным аппаратом, а их совместно действующей группировкой, включающей в себя пилотируемые и беспилотные аппараты. В контексте этой работы ключевое внимание необходимо уделить пониманию наиболее правильного разделения управляющих и контрольных функций между человеком и машиной, и созданием эргономичных человеко-машинных интерфейсов;

• Провести анализ и выбрать лучшие альтернативы обеспечения устойчивой связи с беспилотными летательными аппаратами, даже в ситуации установки помех и огневых атак. Особое внимание необходимо уделить освоению экстремальных частот электромагнитного спектра, импульсной и сверхдальней связи;

• Резко активизировать работу по конструированию и запуску в серию малых и сверхмалых разведывательных и боевых АРС с максимальным использованием уже имеющегося опыта применения подобных малых и сверхмалых дронов в коммерческом секторе;

• Решительно перейти к созданию специализированных БАРС, нацеленных на подавление и уничтожение противовоздушной обороны противника, а также различного рода его военных целей, включая оснащение таких БАРС традиционным – огневым, и нетрадиционным – электромагнитным оружием.

ВМС должны:

• Разработать решения для повышения надежности и жизнеспособности морских, речных, и даже океанских АРС и БАРС. Указанное повышение необходимо обеспечить за счет увеличения энергетического ресурса БАРС и АРС, позволяющих им максимально долго осуществлять боевые миссии без возврата в места дислокации, а также на основе обеспечения устойчивого доступа к широкополосному спектру систем связи с БАРС и АРС водного базирования;

• Обеспечить резкое повышение интегриро-ванности действий морских и воздушных БАРС и АРС для решения задач и выполнения миссий флотов США. Предусмотреть решение этой задачи, прежде всего, за счет перехода к модульному принципу производства автоматизированных и роботизированных комплексов, использующих общие платформы и сменные модули;

• Осуществить независимые исследования, связанные с возможными преимуществами и проблемами использования радиоизотопных термоэлектрических систем в АРС и БАРС, особенно в подводной среде действия;

• Разработать прототипы и экспериментальные надводные БАРС, которые могли бы успешно выполнять функции защиты надводных кораблей от БАРС противника и управляемых маленьких судов, нацеленных на корабли американского флота.

Корпус морской пехоты должен:

• Сосредоточить усилия на создании эффективного средневысотного дрона, выполняющего боевые разведывательные функции и запускаемого с десантных кораблей;

• Поставить на вооружение корпуса амфибийные разведывательные, саперные и боевые АРСы, нацеленные на разведку, очистку от мин, препятствий и т. п. в районах высадки, а также поражение боевых средств противодействия десанту, особенно в первые минуты и часы его высадки;

Армия должна:

• Адаптировать к своим тактическим действиям возможности проведения удаленных операций беспилотниками типа MQ-1C Grey Eagle;

• Решительно и быстро отменить запрет на эвакуацию раненых и окруженных с помощью эвакуационных АРС. Используя опыт Армии Обороны Израиля – платформу AirMule, создать собственную платформу эвакуации;

• Обеспечить финансирование исследований сухопутных БАРС и АРС. Сосредоточить особое внимание на оснащении их наиболее эффективными топливными элементами, применяемыми сегодня в гражданском секторе в США и Европе;

• В максимальной степени использовать для нужд логистики возможности открываемой разработками гражданского сектора в части беспилотных легковых и грузовых автомобилей;

• Провести экспериментальные и полевые испытания сухопутных БАРС, оснащенных мощными средствами огневого, электромагнитного и иного поражения, которые могут действовать как на основе команд оператора, так и в полностью автоматизированном режиме на поле боя против живой силы и техники противника.

Министерство обороны должно:

• Разработать программу инноваций, поставив во главе нее заместителя министра обороны США, наделив его особыми полномочиями с точки зрения изменения процедур, порядка и документации, связанной с реализацией инноваций в рамках программ закупки военной техники и вооружений;

• Разработать в кратчайшие сроки программу преодоления бюрократических проволочек, исключения возможностей ограничения доступу к участию в конкурсах для маленьких компаний, стартапов и неформальных групп исследователей. Установить сроки разработки такой программы и ее обсуждение не только в Администрации, но и в Конгрессе США;

• Создать в рамках бюджета министерств обороны специальный фонд для ключевых высокорискованных инноваций в сфере робототехники, машинного обучения и искусственного интеллекта. Обеспечить упрощенный порядок принятия решений о расходовании средств из этого фонда на основе понятных, прозрачных и контролируемых критериев. Предусмотреть выделение средств из фонда на основе методик, используемых в настоящее время при принятии решений об инвестициях наиболее успешными и динамичными венчурными фондами и бизнес-ангелами, занимающимися робототехникой, машинным обучением и искусственным интеллектом. Привлечь людей из этих организаций в правление или исполнительные органы этого фонда;

• Создать специальный фонд высокорискованного инвестирования в принципиально новые энергетические инновации. Отказаться от научной экспертизы инноваций и считать единственным критерием их практическую верификацию, т. е. определение – работает инновация или нет, может она масштабироваться или нет, обладает ли она достаточной надежностью для использования в боевых условиях или нет. Предусмотреть возможность финансировать из этого фонда не только принципиально новые, даже противоречащие современной науке технологии, но и разработки, созданные в лабораториях университетов и в коммерческом секторе. Особое внимание уделить темам сверхъемких топливных элементов, нетрадиционных методов получения энергии на основе ядерной физики и т. п.;

• Особое внимание уделить резкому сокращению цикла подготовки и проведения конкурсов на поставку вооружений, а также времени, затрачиваемом на доработку этих вооружений от стадии опытного образца до оснащения строевых подразделений.

Инновации должны быть первым приоритетом

Реализация многих сформулированных выше рекомендаций стоит денег. При этом бюджет Пентагона становится меньше, а не больше. В этих условиях мы должны точно расставить приоритеты с тем, чтобы тратить ресурсы на действительно востребованные в вооруженных силах инновации, а не на гигантских монстров, простаивающих на тыловых аэродромах, кораблях или в ракетных шахтах, которые, оттянув на себя огромные ресурсы, оказались совершенно бесполезными для защиты Америки.

Америка должна вернуться к политике министра обороны Боба Гейтса, который выпустил приказ, что он будет увольнять на основании приказа (и увольнял) в течение своего пребывания на посту всех работников министерства обороны, причастных к включению в программы закупок вооружений, соответствующих закону Августина.

Министерство обороны ничего не сможет сделать без воли Белого Дома. Белый Дом должен заботиться не только и не столько о сокращении военного бюджета, сколько об использовании необходимости сокращать военный бюджет для прекращения всех ненужных расходов, содержания бесполезной, невостребованной армией инфраструктуры, созданной еще в прошлом веке и финансирования бессмысленных, поддерживаемых подрядчиками и лоббистами, военных программ.

Ключевую роль в этой работе должен играть Конгресс. Пора представителям обеих партий, независимым конгрессменам проникнуться мыслью, что в нашей время возрастающих опасностей, обостряющихся кризисов и надвигающейся турбулентности, Конгресс – это не место для словопрений, политических баталий и удовлетворения местечковых интересов, а инструмент, который создал американский народ, чтобы оставаться мировым лидером, доминирующим и защищенным во всех областях и от всех опасностей.

Угрозы и риски использования автономных автоматизированных систем и роботов преступниками, экстремистами и террористами[1]

Введение

В последние несколько лет в Соединенных Штатах и Европе тема робототехники стала одной из наиболее востребованных среди бизнес-сообщества, военных кругов, университетов и органов государственной власти. Подавляющее большинство встреч и семинаров, издаваемых книг, статей, публикаций в электронных, научных и профессиональных журналах касаются исключительно гражданских, либо военных роботов и автономных автоматизированных систем (ААС). Соответственно проблематика рассматривается под углом зрения возможности использования робототехники в вооруженных силах, в бизнесе, а также влияние массового применения роботов на экономические, социальные и политические тренды и тенденции.

При всей важности указанных аспектов совершенно вне сферы внимания остается такая ключевая тема как возможности, риски и угрозы использования ААС и роботов различного типа и функционального применения организованной преступностью, экстремистскими группами и террористическими структурами. Ни один исследовательский центр в Соединенных Штатах и Западной Европе, ни одна ведущая «фабрика мысли» не получили от государственных или от частных структур грантов на это важнейшее направление. Оно остается практически вне поля зрения ведущих, в том числе действующих, политиков. Единственными исключениями стали выступления на эту тему бывшего министра обороны США и главы ЦРУ Р. Гейтса и бывшего директора ЦРУ Л. Панет-ты, а также статьи бывшего советника Б. Обамы К. Санстейна.

Публикуемые на этот счет работы и прежде всего бестселлер Нью-Йорк Таймс «Future Crimes» («Будущее преступности») М. Гудмана рассчитаны, прежде всего, на широкую публику, а не на высокопрофессиональную среду и лиц, принимающих решения. Поэтому главная ценность этой и подобных ей книг состоит в огромном количестве ярких и запоминающихся примеров, а не в жестком структурировании проблемы.

В этой связи главной задачей рабочего доклада, являющегося первым этапом работы над темой «Угрозы и риски использования автономных автоматизированных систем и роботов организованной преступностью, экстремистами и террористами», выполняемой междисциплинарным коллективом исследователей из различных университетов США на базе MTI по заказу федеральных органов власти США, является создание концептуальной и терминологической решетки для дальнейшего обсуждения темы, а также определение возможностей, степени риска и разнообразия угроз использования робототехники преступниками, экстремистами и террористами.

Терминология

В настоящее время в Соединенных Штатах и в целом в международном сообществе, существует терминологический разнобой, связанный с применением таких категорий, как «автономные автоматизированные системы» и «роботы». Например, в документах ООН и министерства обороны США используются в основном термины: «автономные автоматизированные системы (ААС)» и «автономные смертоносные системы вооружений (АССВ)». В то же время бизнес, средства массовой информации в Соединенных Штатах и официальные документы НАТО и ЕС используют термины «роботы», «роботы-убийцы», «роботизированное оружие» и т. п.

При всей близости «ААС» и «роботов» они являются терминами, обозначающими несколько различные технические и программные устройства. Большинство специалистов в области информационных технологий и робототехники придерживаются следующей точки зрения. ААС являются более широким термином, чем роботы. ААС включают в себя программно-технические комплексы с различной степенью автоматизации. В свою очередь роботы представляют собой высокоавтоматизированные ААС.

Продемонстрируем это на понятном для лиц, принимающих политические решения, примере. Например, так называемые беспилотные летающие аппараты (БПЛА) или дроны, без сомнения, с первых своих образцов должны быть отнесены к ААС. Однако нельзя забывать, что до последнего времени подавляющая часть дронов предполагала наличие оператора, который не только принимает решения о применении вооружений, но и в отдельных случаях дистанционно пилотирует дрон. В этом случае, конечно же, ни о каком роботе речь идти не может. Такие дроны не являются роботами, хотя и представляют собой ААС.

Представляется, что теория автоматического управления уже к 60-м гг. прошлого века выработала эффективный критерий, позволяющий надежно выделять роботов в структуре ААС. Данным критерием является способ принятия решения, требующегося в тех случаях, когда перед программно-аппаратным комплексом встает необходимость сделать выбор из нескольких альтернатив. Любой программно-аппаратный комплекс вне зависимости от своего функционального предназначения должен быть способен выполнять как минимум две операции: перемещаться в пространстве и реализовывать свою функцию, например, эвакуация раненых, разминирование, получение информации, огневое поражение и т. п.

Соответственно принципиально возможны четыре комбинации в принятии решений. Первая – все решения дистанционно принимает оператор ААС. Вторая – все решения принимаются программным комплексом ААС без участия человека. Третья – решения относительно всех операций ААС могут приниматься как человеком, так и программным комплексом. Четвертая – на различных стадиях и человек, и программный комплекс могут принимать решения, но решение человека или программного комплекса на каждой из операций имеет окончательный приоритет.

Без сомнения к роботам можно отнести второй тип ААС и с некоторой натяжкой третий. Далее в тексте в тех случаях, когда будет использоваться специально термин «роботы», он будет использоваться в отношении ААС второго и третьего типов. Во всех остальных случаях термин «ААС» будет использоваться, подразумевая, что он включает и все типы роботов.

В докладе будут рассмотрены ААС и роботы следующего функционального предназначения: эвакуационные, разведывательные, боевые, включая использование ими средств огневого и любого иного физического и ментального поражения. Кроме того, будут рассмотрены возможности использования преступниками, экстремистами и террористами роботов гражданского назначения в самых различных сферах, начиная от интернета вещей до программно-аппаратных комплексов высокочастотного трейдинга.

Для того, чтобы не было разночтений специально оговорим, что в тексте термины «преступность», «терроризм» и «экстремизм» применяются в общепринятом международном смысле. А именно, преступность – это противоправная деятельность; терроризм – деятельность, основанная на достижение целей посредством насилия, запугивания и устрашения; соответственно, экстремизм – это приверженность к крайним взглядам на внутреннюю и внешнюю политику, отношения в обществе, на национальные, расовые и т. п. вопросы.

Направления использования ААС и роботов

Анализ многочисленных публикаций в правительственных, неправительственных, деловых, исследовательских источниках, содержащих фактическую информацию и оценку перспектив развития новых технологий, позволяет выделить основные направления использования ААС и роботов деструктивными организациями, включая преступные группировки, экстремистские сообщества и террористические структуры. По большинству из разбираемых ниже направлений деструкторы уже сегодня используют робототехнику. По некоторым будут делать это в самые ближайшие годы. Можно выделить следующие основные направления использования ААС и робототехники деструктивными организованностями:

Разведка. До последнего времени использование радиотехнической, электронной, воздушной, подводной и иной технологически сложной разведки было прерогативой исключительно государственных структур, включая разведывательные службы, правоохранительные органы и т. п. В настоящее время положение дел коренным образом изменилось. Впервые в истории деструктивные организованности получили возможность ведения разведки по своей технической сложности, а соответственно и объему и качеству получаемой и обрабатываемой информации, не уступающей государственным структурам. В решающей степени это связано не только с распространением и развитием интернета, но и с качественным скачком в ААС и робототехники. Если еще четыре года назад БПЛА, оснащенный универсальным разведывательным комплексом, включающем системы видеоразведки, наблюдения в инфракрасном диапазоне, средства перехвата телекоммуникационных сигналов стоил 300-350 тыс. долларов и изготавливался исключительно компаниями – подрядчиками Пентагона, то уже сегодня, а тем более завтра ситуация иная. В настоящее время такой комплекс может быть приобретен на легальном и нелегальном рынках любым платежеспособным клиентом, включая преступные и экстремистские структуры, менее чем за 50 тыс. долларов. При этом, изготовителями таких дронов-разведчиков-наблюдателей уже сегодня являются более 700 легальных компаний по всему миру, включая страны Азии, Африки и трудноподсчитываемое число нелегальных производителей.

Также сегодня доступны для деструктивных структур передвижные наземные разведывательные комплексы, монтируемые на автомобили и маскируемые под внедорожники, минивэны, фургоны и т. п. Данные комплексы, которые без цены автомобиля можно приобрести в различных странах мира легально и на черном глобальном рынке, стоят от 15 до 30 тыс. долларов. Они позволяют не только прослушивать информацию из закрытых помещений, используя акустические эффекты, но и снимать информацию с расположенных в зоне действия комплекса компьютеров, планшетов и т. п. В 2014 г. в Великобритании преступной группировкой был заказан и использован разведывательный комплекс, который, будучи поставлен недалеко от банка-хранилища, позволял получать коды электронных банковских ячеек, снимая информацию при их открытии законопослушными клиентами.

Можно сделать прогноз, что в интервале ближайших 3-5 лет основная часть разведывательных комплексов, находящихся в руках деструктивных организаций, будет принадлежать к средствам воздушного и наземного базирования соответственно к дронам и разведывательным автомобилям. В более отдаленной перспективе следует ожидать освоение деструктивными группировками морских глубин и космического пространства.

Транспорт. Было бы удивительно, если бы преступные группировки не воспользовались наиболее быстроразвивающимся сегментом военной и гражданской робототехники, а именно роботизированными транспортными средствами. Не говоря уже о военном использовании автоматизированного транспорта для экспедиционных, эвакуационных и логистических нужд, по оценкам специалистов и бизнес-аналитиков в автомобильной промышленности, до 2020 г. не менее 30 % производимых автомобилей в развитых странах будут иметь опцию автоводителя. Вспоминая известное высказывание бывшего министра обороны США Ч. Хейгела: «Любая высокая технология имеет тройное применение – военное, гражданские и криминальное», есть все основания полагать, что наиболее активно будут применять транспортных роботов террористы и преступные синдикаты.

Применительно к террористам данный тезис не нуждается в дополнительной аргументации. Террористические структуры, в том числе, сетевого и роевого типа, уже сегодня имеют ресурсные технологические возможности, превосходящие потенциал многих государственных армий. В этой связи террористы быстро и эффективно используют все виды вооружений и техники, которые применяются в армиях Соединенных Штатов, их союзников и партнеров.

Что касается преступных транснациональных организаций, то использование транспортной робототехники позволяет решить им две важных задачи. С одной стороны, оно позволяет разнообразить каналы доставки тех или иных грузов и свести к минимуму человеческий фактор в этом процессе. Последнее крайне важно. Например, по данным американских правоохранительных структур, не менее 70 % раскрытий преступлений и срыва поставок наркотиков в Соединенные Штаты связано с успешной агентурной работой или деятельностью агентов под прикрытием. Иными словами, чем больше роботов и меньше людей участвует в преступных акциях, тем сложнее силам правопорядка внедрить в преступные организации своих людей или завербовать там агентов.

С другой стороны, использование транспортной робототехники позволяет строить принципиально новые логистические системы. Согласно правительственным и неправительственным источникам, в период 2000-2010 гг. всего 8 % наркотрафика из Мексики и других латиноамериканских стран приходилось на воздушные перевозки. В 2011-2014 гг. эта доля возросла более чем в два раза. По оценкам специалистов к 2020 г. не менее трети наркотиков будет доставляться по воздуху, прежде всего используя микродроны, летящие на небольшой высоте до 100-150 м, либо наоборот, сверхвысоких дронов большей вместительности. В обоих случаях обнаружение таких дронов будет крайне затруднительным, особенно в условиях массового использования дронов в Соединенных Штатах, как частными лицами, так и корпорациями. Если до недавнего времени более 80 % зафиксированных дронов, пересекших американо-мексиканскую границу не были идентифицированы как дроны, принадлежащих легальным организациям и частным лицам, то в ближайшем будущем ситуация коренным образом изменится. Воздух будет барражировать множество дронов, принадлежащих законопослушным субъектам.

Кроме того, появление и быстрый прогресс транспортных дронов резко расширит географию преступности, особенно в части наркотрафика, контрабанды и возможно рынка торговли человеческими органами. В настоящее время в условиях крайне затруднительной логистики из многих районов традиционного выращивания наркокультур, типа Бирмы, районов Афганистана, вовлеченных в военные действия, регионов Центральной Азии, принадлежащих постсоветскому пространству и т. п. крайне затратно доставлять наркотики. Преступным синдикатам приходится нести высокие логистические издержки, связанные со сложностью и рисками доставки.

Уже имеющиеся в настоящее время транспортные роботизированные средства воздушного, наземного и подводного базирования позволяют недорого доставить любой относительно компактный груз из любой точки мира в любую точку мира. Известно, что в 2014 г. возобновлены крупномасштабные поставки высококачественных наркотиков из районов Золотого треугольника. В логистике используются беспилотные летательные аппараты и шагающие наземные транспортные средства.

В настоящее время для транспортных средств наиболее широко используются дроны. Все чаще преступные группировки заказывают шагающие транспортные средства. Известно также о разработке недорогих, доступных для любого коммерческого пользователя подводных беспилотных роботизированных транспортных устройств.

Роботы-коммандос. Роботы-коммандос являются гибридом разведывательных и транспортных робототехнических систем, оснащенных средствами выполнения и других целевых функций. Например, такие роботы способны взбираться по вертикальным поверхностям, бесшумно проникать в закрытые помещения и т. п. До настоящего времени считалось, что такими роботами обладают специальные подразделения армий США, Великобритании и Израиля. Известно также, что близится к завершению производство аналогичных систем для вооруженных сил России, Китая и Южной Кореи.

Однако в конце 2014 г. британским тележурналистом в ходе боев между курдскими формированиями (Пешерга) с одной стороны и боевиками ИГ в окрестностях города Кабани на сирийско-турецкой границе удалось заснять двух роботов-коммандос, используемых Исламским Государ-ством[2]. Нет сомнения, что террористические организации различной локации в ближайшие годы получат в свое распоряжение роботов-коммандос.

Также можно прогнозировать по мере снижения их стоимости использование подобных робо-тотехнических систем и преступными группами. В ближайшие годы это вряд ли произойдет, поскольку такого типа системы интересны, прежде всего, не для транснациональной, а локальной, городской, уличной преступности. Она может использовать подобных роботов для проведения грабежей, нападений на квартиры и т. п. В настоящее время каждый робот-коммандос стоит до полумиллиона долларов. Снижение цены в 10 раз, когда они станут выгодными для уличной преступности, произойдет на рубеже, либо за границей 2020 г.

Боевые роботы. Не только в электронных и печатных СМИ, но и в правительственных документах их называют «роботами-убийцами». Роботами-убийцами являются воздушные, наземные, водные и подводные системы, оснащенные боевым компонентом. До последнего времени, как правило, использование термина «робот» для этих устройств носило в подавляющем большинстве случаев некорректный характер. Вплоть до 2013 г. практически все системы, оснащенные боевым компонентом, предполагали участие человека в качестве оператора. Именно персонал в вооруженных силах США принимает решения о выборе цели и нанесении летального или нелетального удара. С 2014 г., согласно имеющимся данным, на вооружении ЦХАКАЛ (Армия обороны Израиля) поступили не боевые ААС, а боевые роботы в том терминологическом смысле, который используется в данном докладе.

Исходя из логики и истории развития вооружений, можно практически со стопроцентной вероятностью предсказать, что появление того или иного вида и типа оружия у любого внешнеполитического актора, мгновенно переводит потенциальные возможности других акторов в состояние актуализации. Т. е. после того, как одна страна ставит на вооружение новый тип боевой техники, другие страны, располагающие соответствующим технологическим потенциалом, тут же мобилизуют его для производства аналогичных типов вооружений.

В этой связи уже в ближайшие год-два следует ожидать появление полноценных боевых роботов в вооруженных силах США, некоторых стран Западной Европы, Южной Кореи. В интервале 3-5 лет – России, Китая, Бразилии, Индии и т. п.

Что касается использования боевых роботов деструктивными организованными структурами, то есть основания ожидать, что это уже произошло, либо произойдет в интервале 2-5 лет. Данная проблема имеет несколько аспектов. С одной стороны боевой робот представляет собой комбинацию обычного многофункционального робота с добавкой боевого и управляющего компонентов. Они производятся и продаются раздельно, как на легальных, так и в особенности на нелегальных рынках. Нет никаких препятствий для того, чтобы террористические, преступные и экстремистские группы наняли конструкторов, программистов, которые бы приобрели нужную универсальную роботизированную платформу и смонтировали на ней те или иные боевые компоненты. Вероятно, что в ближней перспективе подобные кустарные боевые роботы будут уступать по своим характеристикам боевым роботам, находящимся в распоряжении вооруженных сил и сил правопорядка государств. Однако в перспективе трех-семи лет можно ожидать выравнивания потенциала, возможностей и доступности боевых роботов для государственных сил и деструктивных акторов.

Боевые роботы различного базирования различаются по типам оснащения вооружением. Наиболее широкое распространение получили боевые дроны, т. е. беспилотники, вооруженные ракетами для поражения, как правило, наземных целей. В 2014 г. на вооружение пограничной службы и береговой охраны США, а также полиции нескольких штатов поступили боевые дроны, оснащенные нелетальным оружием, включая биобезопасные клеи, сети, слезоточивый газ, парализующие вещества и т. п. Поскольку также как в случае боевых дронов подобные системы могут быть созданы небольшими группами специалистов, своего рода нелегальными стартапами, то есть основания полагать, что они либо уже имеются, либо в ближайшее время окажутся в распоряжении деструкторов.

В отличие от роботов-убийц, наиболее востребованных террористами и экстремистами, подобные нелетальные боевые роботы будут взяты на вооружение в первую очередь преступными группами. Они позволяют осуществлять различного рода акции без убийства людей. В случае пресечения или раскрытия подобных акций, это без сомнения снизит сроки наказания для их организаторов и участников. Данное обстоятельство в большинстве случаев принимается во внимание организаторами преступных акций.

Подлинным кошмаром для разведывательных и правоохранительных структур всех стран мира являются боевые роботы, оснащенные биологическим и химическим оружием. Самой большой загадкой является то, что до настоящего времени такие роботы еще не были применены террористами или экстремистами на территории США, Великобритании, стран Западной Европы и Японии.

Чтобы создать боевого робота, использующего биологическое оружие, достаточно использовать производимые в настоящее время дроны сельскохозяйственного назначения, заполнив соответствующие их емкости не удобрениями, а бактериями, вирусами или химическими соединениями. Стоимость сельскохозяйственного дрона с дальностью полета до 150 км и емкостью загрузки до 50 л составляет всего 6 тыс. долларов США, а емкостью до 200 л – менее 9 тыс. Покупка такого дрона доступна не только террористической сети, но и отдельной группе фанатиков и экстремистов.

Что касается производства биологического и химического оружия, то сегодня нет никаких возможностей своевременно распознать и идентифицировать подобные процессы, организованные на распределенной основе в лабораториях американских, западноевропейских и восточноазиатских университетов и т. п. По мнению авторов доклада, это является самой большой и самой недооцененной опасностью при использовании робототехники террористами и экстремистами. В отличие от террористов и экстремистов, преступники могут использовать подобные средства для шантажа территориальных органов власти, правительств и т. п. с целью получения крупных финансовых средств.

Еще более опасным в перспективе является создание боевых роботов, вооруженных специальными техническими устройствами бесконтактного заражения программно-аппаратных блоков различного типа, установленных на военных, гражданских, транспортных и иных объектах. В 2014 г. американские и немецкие программисты и технологи сообщили о том, что им удалось создать системы заражения программных систем, даже не подключенных к интернету и другим компьютерным сетям, через оптическую и акустическую среды. Представляется, что в ближней перспективе, до 5 лет, в силу экспериментального характера подобных работ и их мгновенного засекречивания, вряд ли следует считать заслуживающей внимания вероятность оснащения подобным физико-программным оружием боевых дронов, находящихся в распоряжении деструктивных ор-ганизованностей.

Гораздо более серьезным является начавшееся с 2013 г. оснащение боевых роботов, находящихся в распоряжении преступных и террористических группировок, средствами подавления систем обнаружения и контроля технических устройств, а также биологических объектов в приграничных зонах, территориях особой охраны и т. п. Такие системы были в 2013-2014 гг. неоднократно применены против правоохранительных подразделений США на американо-мексиканской границе, структур береговой охраны в районе Флориды и Мексиканского залива, береговой охраны Италии и т. п.

Гражданские роботы. Гражданские ААС и роботы можно разделить на три типа. Во-первых, это производственные роботы, осуществляющие те или иные операции в различных секторах экономики. Во-вторых, бытовые или потребительские роботы и ААС. Они представляют собой любые технические устройства с электронными компонентами управления, как правило, подсоединенные к сети интернет. В-третьих, программно-аппаратные комплексы управления и регулирования технически сложными производственными инфраструктурными и телекоммуникационными комплексами. Они объединены термином «критические государственные, коммунальные и бизнес системы».

С первых дней человеческой истории любое орудие труда могло использоваться и использовалось для нанесения увечий или ущерба и даже убийств. В этом плане современный термин «двойные технологии» по строгим критериям носит антинаучный характер. Любая, даже простейшая технология или инструмент, могут быть использованы как по прямому назначению, так и как орудие или инструмент, задействованный в военной или криминальной деятельности. Тем более данный тезис является верным для любых технически сложных устройств, которые начали появляться в ходе Первой, и особенно Второй производственных революций. В эпоху электричества любое технически сложное устройство потенциально стало возможным использовать для противоправной деятельности в широком смысле, включая не только бытовую преступность, но и терроризм.

За последние 15 лет накоплено множество примеров использования ААС в преступной деятельности. Наиболее подробный обзор этой темы на сегодняшний день содержится в уже упомянутой фундаментальной книге бывшего высокопоставленного сотрудника правоохранительных органов М. Гудмана «Будущее преступности».

Тренды технологических компонентов ААС и роботов – фактор расширения возможностей их использования деструктивными группами

Как известно, любые ААС и роботы состоят из аппаратного и программного компонента. Для каждого из этих компонентов свойственны собственные тренды и тенденции изменений. К сожалению, практически все они ведут к расширению возможностей использования ААС и роботов террористами, преступниками и экстремистами. Реальность XXI века такова, что деструктивным силам с каждым годом будет все легче пользоваться плодами технологического прогресса, обращать его в свою пользу и создавать на этой основе предпосылки для превосходства над структурами созидания и силами правопорядка.

Рассмотрим основные факторы и тенденции, которые в последние 25 лет проявились в развитии аппаратных компонентов робототехники и будут действовать в течение как минимум ближайших 10-20 лет.

Закон Г. Мура. Этот фундаментальный закон, открытый ведущим разработчиком корпорации IBM Г. Муром, гласит: в течение 18 месяцев удваивается процессорная мощность компьютеров. Закон точно описывает динамику компьютерной индустрии и в настоящее время, спустя почти 20 лет после того, как он был впервые сформулирован. Более того, выяснилось, что с той или иной коррекцией по срокам он описывает динамику всех других технологических новаций, в которые в качестве компоненты входят информационные технологии. Применительно к теме настоящего доклада, закон означает, что мощность и производительность высокотехнологичных изделий, включая ААС и роботов, растет по экспоненте. Тем самым то, что было уникальным и доступным только для богатых государств еще 10 лет назад, становится доступным сегодня на бытовом уровне отдельным потребителям. Нет оснований полагать, что в ближайшем будущем, по крайней мере, на горизонте 10-15 лет этот закон перестанет действовать. Это означает, что с каждым годом у негосударственных акторов, в том числе у деструктивных групп, постоянно возрастают возможности располагать самыми совершенными технологиями, устройствами и инструментами.

Закон Безоса. В середине нулевых годов Д. Без-ос, основатель и главный владелец платформы Amazon.com, анализируя бюджет компании, установил, что цена единицы процессорных мощностей серверов падает в 2 раза в течение трех лет. После первой публикации наблюдений они были проверены на самых различных технических устройствах множеством исследователей и практиков. Было установлено, что по мере развития технологий скорость снижения цены не является постоянной, а увеличивается, хотя и неравномерно в различные периоды времени. Например, для процессорной мощности серверного обеспечения сегодня срок снижения цены в 2 раза составляет уже не 3, а 2,3 года.

В качестве другого примера можно привести снижение цены на видеокамеры, монтируемые на летательных аппаратах, исчисляемые по критерию точности распознавания. В настоящее время видеооптическое устройство, способное с высоты три километра распознать мелкое животное на земле, стоит столько же, сколько в 2007 г. видеокамера, способная распознавать с той же высоты людей или крупных животных.

Благодаря комбинированному действию законов Мура и Безоса, сегодня не только транснациональные преступные группировки, террористические сети типа Аль-Каиды, либо экстремистское разветвленное подполье могут получить в свое распоряжение самые совершенные технические средства. Ими сегодня, а тем более, завтра, могут обладать мелкие группы и даже единичные преступники, экстремисты и террористы.

Модульность. Сложившаяся в отдельных странах и международной практике система контроля над производством и оборотом высокотехнологического оружия, различного рода веществ, включая наркотики и т. п., базируется на достаточно сложном и уникальном характере оборудования, технологий, логистических и иных средств, необходимых в этих процессах. Как правило, они имели уникальный характер, используемый только в своей узкой сфере. В частности, это относится не только к производству атомного, химического и бактериологического оружия, но и даже к таким областям, как выпуск и транспортировка наркотиков, производство небольших ракетных установок, орудий и т. п.

Подлинной бедой современной технологии, которая возможно наиболее полно реализована именно в робототехнике, стал ее модульный характер. Раньше, как правило, те или иные детали и узлы для конкретного изделия изготавливались на специализированных предприятиях, входящих в систему производственной кооперации, а сборка осуществлялась на специальных заводах. Сегодня ситуация изменилась. Подавляющая часть ныне производимых ААС и роботов изготавливаются не как уникальные образцы, а собираются как своего рода композиции из различных модулей. Каждый подобный модуль применяется в ААС и роботах различного, в том числе военного, делового и потребительского назначения.

Для сборки таких высокотехнологических систем типа роботов, уже не требуются сборочные заводы и цеха индустриальной эпохи. Сборка или компоновка может быть произведена на минимальных производственных площадях при помощи достаточно простого оборудования. Некоторые роботы из стандартных модулей могут быть скомпонованы одним-двумя специалистами. В ближайшем будущем, которое измеряется не десятилетиями и пятилетками, а годами, сложится еще более парадоксальная ситуация, когда сами модули также могут изготавливаться на универсальном оборудовании при помощи загрузки в него специальных программ, содержащих исходную модель и режим обработки тех или иных материалов. Такие универсальные заводы, которые могут размещаться в несколько сотнях квадратных метров, а то и меньше, получили название «фаблабов».

Модульный характер в условиях действия законов Мура и Безоса делает робототехнику самого высокого уровня не просто доступной и недорогой для деструктивных организаций, но и крайне затрудняет, а в отдельных случаях, вероятно, делает невозможным эффективный контроль за нераспространением высокотехнологичных вооружений. Иными словами, в ближайшие 2-3 года мы окажемся в мире, в котором государственные структуры не будут обладать возможностью контролировать распространение робототехники и других высоких технологий Третьей производственной революции, которые неизбежно попадут в руки криминальных элементов, экстремистов всех мастей, в глобальные и локальные террористические группировки.

Универсальность. В предыдущем изложении указывалось, что любая высокая технология имеет тройное применение: военное, гражданское и противоправное. В этом смысле любой, самый мирный робот или высокотехнологичная потребительская ААС могут быть использованы террористами, преступниками и экстремистами.

Помимо очевидных и понятных аспектов технологических трендов, у них есть и неочевидные стороны. В рамках данного доклада хотелось бы обратить внимание на главные из них. Как бы там ни было, использование высокотехнологичных ААС и роботов, особенно боевого применения, требует от деструктивных организованностей определенных ресурсов, технологических навыков и квалификации. Предполагается, что всего этого должно быть достаточно для самостоятельного создания подобного устройства. В условиях универсального, т. е. разностороннего (как минимум трехстороннего) использования любой ААС и робототехники, от преступников, террористов и экстремистов не требуется ни ресурсов, ни технологической культуры. Им ничего не нужно производить. Достаточно завербовать в свои ряды или нанять «в слепую» за деньги специалиста, который может перехватить управление ААС или роботом и использовать его для насильственных деструктивных действий.

На сегодняшний день уже зафиксированы отнюдь не единичные случаи перехвата управления автомобилями, либо внесение нарушений в работу высокотехнологичных бытовых средств. В 2014 г. в Соединенных Штатах зарегистрирован первый судебный приговор виновному в убийстве, который в качестве орудия использовал домашнюю электронную кухонную систему.

Универсальный характер ААС и робототехники превращает любое потребительское и производственное устройство, включающее в качестве компонента электронный блок, либо являющееся ААС или роботом – в потенциальные орудия, которыми могут воспользоваться преступники, террористы и экстремисты.

Распределенный характер разработки и производства. Существенно расширяют возможности деструктивных организаций обладать потенциально опасными ААС и роботами развивающиеся тенденции в организации производства и разработки. На место устойчивых иерархически организованных корпораций прошлого все больше приходят временные, подвижные, распределенные организационные структуры настоящего. Любое технически сложное изделие можно разработать и произвести сегодня, используя кооперацию никогда ранее не взаимодействующих обособленных структурных единиц. Любой заказчик, у которого есть идея продукта и ресурсы на найм проектировщиков, конструкторов, инженеров, разработчиков и иного персонала, может произвести сегодня все, что угодно. Более того, сегодня возможна ситуация, когда одна совокупность разработает и произведет опытные изделия, а партии этого изделия, либо штучные образцы будут производить совершено другие организационные паттерны.

В прошлом это было затруднительно, а в большинстве случаев невозможно, поскольку у опытно-конструкторских, разработческих и производственных структур не было опыта постоянной смены кооперационных партнеров. Ранее все они работали в рамках жестких и стабильных кооперационных связей. С начала десятых годов текущего столетия ситуация начала стремительно меняться и сегодня подавляющее большинство коллективов способно точно в срок способны выполнять возложенные на них работы в строгом соответствии с выделенным бюджетом при соблюдении качественных и иных параметров.

К тому же в большинстве видов производства и разработки сегодня имеются специальные платформы, где заказчик может не только заказать те или иные работы или изготовление фрагментов, а также их сборку в единое целое. При этом заказчик может предварительно получить исчерпывающую информацию о дисциплине и качестве выполнения заказов теми или иными коллективами в прошлом. Не будет преувеличением сказать, что сегодня для информационно продвинутых инвесторов-заказчиков нет никаких препятствий для разработки чего угодно, где угодно и когда угодно.

К тому же в настоящее время существует несколько глобальных платформ, где заказчик может разместить заявку не только на производство, конструкторские или проектные работы, но и на проведение исследований, экспериментов и т. п. в лабораториях и опытных полигонах лучших американских, европейских и азиатских университетов, располагающих лучшим в мире оборудованием и наиболее квалифицированными кадрами исследователей и экспериментаторов.

Если заказчик чего-либо пожелает быть анонимным, то он вполне способен получить не только уникальный образец изделия, включая ААС и робота, но и партию сколь угодного размера, не потеряв при этом своей анонимности. Более того, если он опасается, что отдельные разработчики или производители поймут, что конкретно является конечным изделием, он вполне может нанять специальных, так называемых, композиционных инженеров-технологов. Они таким образом фраг-ментируют и разместят задание, что каждый отдельный разработчик и производитель не будет знать конечное назначение целостного изделия.

В этих условиях деструктивные организации, которые располагают, как правило, значительными, а в отдельных случаях огромными ресурсами, могут сегодня заказать и получить практически любые высокотехнологические изделия, включая ААС и роботов, как в единичных образцах, так и в партиях.

Анонимные рынки. Для целого класса ААС и роботов, в которых нуждаются террористы, экстремисты и преступники, нет необходимости заказывать разработку, а затем и изготовление уникальных образцов и серий ААС и роботов. В подавляющем большинстве случаев самые сложные задачи и наиболее смертоносные акции, вплоть до умерщвления сотен и даже миллионов людей, могут быть сегодня осуществлены, используя типовые, имеющиеся на рынках производственные и потребительские ААС и роботы. В лучшем случае они могут нуждаться в дополнении их одним или двумя модулями. Во многих случаях, как например, с применением биологического или химического оружия, они могут быть использованы в своем исходном виде.

В настоящее время сложились глобальные не только оффлайн, но и онлайн рынки продажи разнообразных ААС и роботов. Они представляют собой своего рода специализированный eBay. Большая часть из них расположены в интернете, а некоторые в сети Tor или аналогичных сетях.

Нельзя не отметить, что в силу того, что значительная часть высокотехнологичной робототехники разрабатывается и выпускается небольшими стартапами, эти рынки, как правило, стараются максимально уйти от государственного регулирования. Это связано не с какой-то преступной ориентацией стартаперов, а с тем, что, как показывают обследования, они крайне критично относятся к традиционным государствам. Многие из них являются убежденными сторонниками либертарианства.

В этой связи они стараются вывести не только и не столько свое производство, сколько систему продаж, а также финансы и экономику из-под государственного контроля, учета и регулирования. В силу этого, основные торговые технологические площадки, включая площадки по продаже дронов, производственных и потребительских роботов, транспортных ААС предусматривают возможность анонимности покупателей, приобретение изделий не только за валюты различных стран, но и за биткойны и другие криптовалюты. Плюс, большая часть этих площадок размещена в доменных зонах Каймановых островов, Науру, Исландии и т. п., которые не предусматривают какой-либо отчетности по товарным сделкам.

Тем самым открываются крайне благоприятные возможности приобретать стандартные и уникальные ААС и роботы анонимно, без фиксации сделки. Понятно, что это предельно привлекательно для террористических организаций, преступных группировок и экстремистских сообществ. С учетом эволюции коммуникационных сетей, которые в перспективе будут предусматривать появление вместо одного интернета множество различных, в том числе скрытых сетей, с каждым годом будет ослабевать международный и государственный контроль за высокотехнологичными рынками и регистрацией сделок купли-продажи роботов и ААС.

Тренды программных компонентов ААС и роботов – фактор расширения возможностей их использования деструктивными организациями

Основные тенденции развития программных решений и разработок, а также алгоритмических вычислений расширяют возможности использования террористами, экстремистами и преступниками достижений программной инженерии и вычислительных разработок.

Открытый код. С каждым годом доля программного обеспечения, написанного открытым кодом, постоянно и неуклонно увеличивается. После успеха линуксоподобных решений, во многих сферах превзошедших лицензированное программное обеспечение Microsoft, Oracle и других ведущих компьютерных компаний, открытый программный код стал повсеместным стандартом. Не случайно, что наиболее продвинутые решения в сфере обработки Больших Данных написаны открытым программным кодом. Если еще несколько лет назад открытый программный код, как правило, использовался для создания деловых и потребительских программ и сервисов, то в десятые годы ситуация изменилась.

На основе открытого программного кода разрабатывается подавляющая часть программных решений для «интернета всего». В контексте доклада особенно важно использование открытого кода для ААС и роботов как в части софта, обеспечивающего функционирование аппаратной части этих систем, так и для функциональных программ. Кроме того, в последние годы открытый программный код из деловой и потребительской сфер стал проникать в государственные программно-архитектурные решения и более того, в софт для военных, разведки и правоохранительных органов. Например, весь полицейский софт в таких странах, как Франция, Италия, Испания написан на основе открытого программного кода.

В Соединенных Штатах в последние годы открытый программный код положен в основу программных решений для полиции 23 штатов. Более того, открытые решения в качестве базиса все шире используются национальным разведывательным сообществом и вооруженными силами США. Частично это связано с требованиями экономии бюджета и сокращением ассигнований в Америке и Европе на оборону и полицейские силы. С другой стороны, решения на основе открытого программного кода позволяют привлечь к работе над программами и сервисами гораздо более широкий круг программистов и разработчиков, чем прежде.

Однако при всех функциональных и ресурсных преимуществах использования открытого кода, он создает дополнительные возможности для деструктивных сил. Они могут использовать открытый код точно таким же образом, как его используют вооруженные силы, разведка, полиция и т. п.

Это особенно важно в таких продвинутых сферах, как софт для ААС и роботов. Однако этим не исчерпываются возможности сил зла. Еще большая угроза связана с тем, что знания и понимание тонкостей открытого кода, используемого при создании различных решений в сфере интернета вещей, ААС и роботов облегчает для террористов, преступников и экстремистов перехват управления ими и использование потребительских, деловых и военных систем в собственных целях.

Ошибки и уязвимости. Как свидетельствуют многочисленные независимые исследования, происходит экспоненциальное нарастание длины программного кода, используемого практически во всех современных решениях. Чем длиннее код, тем больше ошибок. Нарастание числа ошибок и уязвимостей связано с падением качества программистского труда вследствие превышения спроса над его предложением. Наконец, нарастающее число ошибок в программном коде является следствием практически повсеместной ориентации на более простое, экономичное, но при этом менее эффективное объектно-ориентированное программирование в ущерб функциональному.

В результате, практически во всех программах и сервисах содержится все возрастающее число ошибок, порождающих уязвимости, наличие дыр, незащищенность фрагментов программы и т. п. Особенно это характерно для интернета вещей и программных решений, ориентированных на ААС и робототехнику. Взрывной рост потребности в такого рода программах удовлетворяется все менее квалифицированными программистами и все большим числом фирм и компаний, в которых отсутствуют отлаженные системы управления разработками и контроля за безопасностью и сраба-тываемостью программ и решений.

Все умножающееся число ошибок и порождаемых ими уязвимостей в программах для ААС и роботов, а также разнообразных устройств, подключенных к интернету, усугубляется благодаря незащищенности систем коммуникаций вещей, автономных систем, роботов с различного рода сетями, прежде всего, интернетом. Согласно опубликованным в 2014 г. правительством США данным, более 85 % бытовых (потребительских) и почти 70 % производственных (деловых) устройств, приборов, оборудования, ААС не имеют какой-либо защиты от перехвата и модификации электронных сигналов.

Еще более опасные цифры всплыли на слушаниях в Конгрессе США в 2014 г. при обсуждении вопросов национальной безопасности. Ряд независимых экспертов и компаний, привлеченных Конгрессом к изучению проблемы защищенности каналов связи робототехники, находящейся в распоряжении вооруженных сил США, выяснили, что как минимум половина, а скорее всего чуть менее двух третей сложнейших технологических ААС и продвинутых роботов, включая смертоносные дро-ны и т. п. обладают защитой, которая была преодолена специалистами привлеченных компаний по проникновению (белыми хакерами). Фактически это означает, что значительная часть военного, а тем более полицейского потенциала США в сфере роботов и ААС может быть мобилизована деструктивными организациями, и прежде всего террористическими сетями и экстремистскими группами.

Данные цифры звучат особенно угрожающе в связи с тем, что к 2020 г. предполагается довести число роботов до 2,8 на одного действующего в полевых условиях американского военнослужащего. Иными словами, на наших глазах происходит роботизация армии, а вслед за ней и полиции Соединенных Штатов. При сохранении сегодняшнего положения с уязвимостями, эти роботизированные армия и полиция могут быть использованы не во благо национальной безопасности, а против нее.

Тотальная оцифровка. В течение последних 15 лет происходила и происходит тотальная оцифровка всей бумажной информации, включая различного рода персональные данные, онлайн сведения и т. п. В настоящее время помимо федеральных органов в Соединенных Штатах существует несколько крупнейших дата-брокеров, хранящих огромные массивы данных на индивидуумов и компании.

Может возникнуть вопрос: какое отношение имеют большие или персональные данные к теме ААС и робототехники. До последних лет прямой связи не было. Все изменилось, начиная с 2013 г., когда целый ряд крупных компаний начали производить ААС и роботов, ориентированных на пер-сонализацию, для которой используются цифровые данные. Пока это дорогое удовольствие. Его могут себе позволить немногие американцы, а также компании, заинтересованные в безлюдных технологиях. Но в ближайшем будущем положение будет меняться, и соответственно круг клиентов таких персонифицированных решений будет непрерывно расширяться.

В условиях, когда любой платежеспособный покупатель может приобрести базу данных у дата-брокеров, это открывает дополнительные возможности для перехвата управления такого рода персонифицированными роботами и ААС. Поскольку подобные устройства в ближайшие 2-4 года будут находиться в распоряжении американской и европейской элиты, то они могут стать для преступников и террористов инструментом для проведения самых различных операций, начиная от шпионажа и шантажа до убийств.

Распределенная память. Если в первые 25 лет развития робототехники каждое устройство обладало собственным аппаратно-программным блоком, позволяющим выполнять соответствующие назначению функциональные действия и операции, то в настоящее время картина стремительно меняется. Причиной перемен стали три информационных технологий, которые взрывным образом развиваются в XXI веке. Прежде всего, речь идет о так называемом машинном обучении. В рамках этого обучения программа оснащается модулем обратной связи, который фиксирует несовершенство действий в результате недостатков в программном коде и автоматически совершенствует этот программный код.

Вторым фактором стали облачные вычисления. Причем, специалисты в области информационных технологий единодушно высказывают мнение, что этот процесс будет продолжаться и в будущем. Он предполагает, что программно-аппаратный комплекс все большую часть вычислений будет проводить на удаленных облачных серверах, выполняющих наиболее сложные, ресурсоемкие операции. Это означает превращение не только обычных потребительских компьютеров, но и ААС и роботов в терминалы, программный код которых поддерживает только элементарные операции и функционирование самого устройства. Собственно вычисления будут происходить удаленно на мощных серверах, которые называют облаками.

Наконец, третий фактор появления распределенной памяти связан с превращением роботов, даже наиболее сложных, из одиночных образцов в серийные изделия.

Начиная с 2011 г. в исследовательско-экспериментальном порядке, а с 2014 г. – на уровне массового изготовления для робототехнических систем стала использоваться распределенная память. Это означает, что программно-аппаратным модулем робота является сегодня не полноценный микрокомпьютер, а система датчиков и устройств, с программным ядром, обеспечивающим передачу данных с датчиков, а также контроль за выполнением функций роботов. Все же вычислительное ядро, включая память, переносится на единый для группы роботов или даже серии роботов, сервер. На нем расположено также и коллективная распределенная память, фиксирующая работу всех устройств и качество выполняемых функций. Перенос в облако вычислительного ядра и памяти позволяет наилучшим образом осуществлять машинное обучение, аккумулируя опыт, ошибки и достижения всех периферийных устройств, в качестве которых выступают ААС и роботы.

Чтобы объяснить это для непрофессионалов в сфере информационных технологий, приведем пример компании Google. Она первой преступила к созданию системы распределенной памяти массовых ААС, а по сути роботов, чья численность насчитывает более полутора тысяч. Речь идет о Google-мобилях, представляющих собой симбиоз автомобиля и робота-водителя. Компания создала систему, по которой информация от каждого автомобиля относительно выполняемых им маневров, успешности, либо напротив неудач в избегании аварийных ситуаций и даже столкновений, относительно регулирования расхода топлива, поступает в единый для всех Google-мобилей облачный вычислительно-мемориальный (от слова «память») центр – линейку серверов. Этот облачный центр на примере ошибок, либо напротив, удачных решений каждого автомобиля, организует машинное обучение всей серии, повышая тем самым эффективность и экономичность работы каждого из Google-мобилей, являющихся по существу роботом на колесах.

Как любое технологическое решение, распределенная память имеет не только светлую, но и темную сторону. Она состоит в том, что в условиях облачных вычислений обязательным является подключение ААС или робота к сети интернет, либо иным альтернативным сетям. Как многократно доказано в последние годы, подавляющее большинство всех подобных соединений либо являются вообще незащищенными, либо слабозащищенными. Соответственно они могут быть вскрыты хакерами высокой, но не высочайшей квалификации.

С учетом того, что на глобальном рынке труда нет дефицита предложений от хакеров, которые готовы выполнить любую, в том числе противоправную работу, для любого, в том числе анонимного заказчика, развитие распределенной памяти скачкообразно расширяет возможности использования роботов и ААС преступными, террористическими и экстремистскими группами. Они могут не только заниматься точечными преступлениями, либо экстремистскими актами воздействия, но и массовым террором, подменяя одни данные с датчиков роботов, передаваемые в облачные вычислительно-мемориальные центры на иные, ошибочные. Последствием такой ситуации могут стать массовые неправильные решения роботов.

Программный контрафакт. Последние 25 лет в США с такой же неумолимостью, как закон Мура, действует закон Августина. Этот закон гласит, что стоимость единицы мощности вооружений, произведенных традиционными подрядчиками Пентагона, растет не линейно, а экспоненциально. В условиях необходимости соблюдения режима жесткой экономии, министерство обороны США реализует Третью инициативу инвестиций и инноваций. Помимо прочего, эта инициатива предусматривает широкое привлечение к выполнению оборонных заказов небольших компаний, стартапов и даже отдельных неформальных групп. Такие же процессы происходят применительно к производству техники и программного обеспечения для ФБР, полиции штатов и т. п.

Новый подход без сомнения экономичен и способствует привлечению наиболее талантливых разработчиков, программистов, конструкторов и инженеров к укреплению национальной безопасности Америки. Сходные процессы имеют место, возможно не в столь выраженной степени, и в большинстве стран – союзников США по НАТО. Однако демократизации разработки программного обеспечения, в том числе для ААС и робототехники военного и правоохранительного назначения имеет и оборотную сторону.

По признанию отставных представителей разведывательного сообщества США, сегодня нет никаких гарантий, более того, есть высокая вероятность, что в число разработчиков программных решений для структур, связанных с национальной безопасностью, могут войти компании, так или иначе возможно через несколько прокладок, зависящие от преступников, экстремистов, террористов и стоящих за ними в отдельных случаях неответственных государств. Более того, есть некоторые основания полагать, что уже имеет место процесс инфильтрации в IT-компании программистов и разработчиков, являющихся членами или сочувствующими экстремистским группам, террористическим организациям и входящим в преступные группировки. При наличии таких агентов даже добропорядочные компании могут быть использованы деструктивными организациями втемную. Конечным итогом этого может стать ситуация, когда деструктивные организации будут знать не только уязвимые места, бэкдоры и ошибки в программном обеспечении ААС и роботов, используемых в системе национальной безопасности Америки и ее партнеров, но и потенциально смогут либо дистанционно выводить их из строя, либо даже перехватывать контроль над ними.

Данные перспективы становятся особо угрожающими в ситуации, когда многие электронные компоненты ААС и роботов использованных в системе национальной безопасности и сил правопорядка на всех уровнях, изготавливаются не в США и странах – союзниках и партнерах, а на Тайване, чьи граждане и компании имеют особые отношения с Китаем, а также в странах Юго-Восточной Азии, а в последние годы – в Мексике и Бразилии. Такое положение открывает перспективы для встраивания программных закладок, бэкдоров и т. п. даже не на уровне функциональных программ, а на уровне софта, обеспечивающего работу электронных и других аппаратных компонентов ААС и роботов. Учитывая слабую защищенность каналов связи и отсутствие повседневного и массового контроля над встроенными в электронные компоненты программными решениями, данное обстоятельство является серьезным усугубляющим фактором, значительно увеличивающим и без того широкие возможности использования ААС и робототехники деструкторами.

Нейронные сетки. На наших глазах происходит подлинная программистская революция. На место традиционных программ, написанных в линейной парадигме, приходят нейронные сетки или ней-ропрограммирование. Оно зародилось еще в прошлом веке. Суть этого направления состоит в попытке вычислительными средствами эмулировать принципы работы человеческого мозга, состоящего из нейронов, синапсов и связей между ними.

Если вплоть до десятых годов программисты смогли разработать элементарные, как правило, двух-трехслойные сетки с ограниченными возможностями обучения, то в последние годы произошел прорыв. Он связан со скачкообразным наращиванием мощности и удешевлением процессоров, появлением принципиально новых алгоритмов машинного обучения и использованием для создания алгоритмов не традиционной математики, базирующейся на теории множеств, а иных, альтернативных разделов математики, включая теорию категорий, теорию абстрактных оснований математики и т. п. Это позволило практически создавать многослойные сетки, способные не только к самообучению в рамках машинного обучения, но и к самомодификации, т. е. к автосовершенствованию по критерию выбранной функции, ради которой создана программа. (Например, распознавание фотографий по фрагментам или нечетким изображениям, выделение паттернов движения курсов валют, акций, фьючерсов и т. п. – пояснение переводчика).

В настоящее время глубокие нейронные сетки являются достаточно дорогим удовольствием и наиболее широко используются в разведывательном, военном и сложном аналитическом софте различного прикладного назначения.

Возникает вопрос: каким же образом революция в области нейрокомпьютинга расширяет возможности деструкторов? Чтобы ответить на этот вопрос, надо принять во внимание, по меньшей мере, три обстоятельства.

Во-первых, сегодня данная тема находится на стыке науки и практики. Соответственно, все основные работы, обеспечивающие прогресс глубоких нейронных сеток, публикуются в открытой печати. Как любые научные работы они доступны не только для добропорядочных исследователей, но и тех, кто связан с деструкторами.

Во-вторых, во времена дисквалификации и деградации среднего уровня программистов, которые стремятся к овладению все более простыми языками, требующимися для написания различного рода мобильных приложений, создания сайтов и т. п., лишь люди, обладающие очень хорошим математическим образованием и серьезными программистскими навыками способны к алгоритмизации математических идей и расчетов и созданию на этой основе прикладных нейрокомпьютерных программ. Положение дел таково, что, несмотря на то, что подавляющая часть учебных заведений, способных дать необходимый уровень математической подготовки для нейрокомпьютинга, расположены в США, Канаде, Великобритании, Австралии, Японии, Южной Корее и России, студенты, которые учатся в соответствующих учебных заведениях упомянутых выше стран, за исключением Японии и России, в значительной степени являются не гражданами страны по рождению, а иммигрантами, либо лицами, приехавшими на учебу. Они, во все возрастающем числе, являются уроженцами регионов, где сильно влияние террористов, экстремистов, преступных синдикатов, а также из стран, правительства которых квалифицируются как злонамеренные или недостаточно ответственные. Не будет преувеличением сказать, что эти молодые люди находятся в поле зрения деструктивных организаций и разведок враждебных государств, и соответственно могут быть использованы ими не только для получения информации, но и в других, более зловещих целях.

В-третьих, в мире наблюдается острый дефицит разработчиков и программистов глубоких нейронных сеток. Поэтому даже компьютерные гиганты, не говоря уже о стартапах и иных компаниях-разработчиках, не могут позволить себе роскошь вести отбор персонала по множеству критериев, включая обращение в различного рода федеральные правоохранительные базы и т. п. Сегодня на этом рынке труда не компании выбирают разработчиков, а разработчики выбирают компании. Поэтому государственные, корпоративные службы безопасности и кадров не выполняют свою функцию жесткого фильтра против проникновения в компанию агентов-деструкторов. Более того, анализируя тенденцию последних 3-4 лет между потребностью федеральных и корпоративных заказчиков в решениях на основе глубоких нейронных сетей и динамику разработчиков, способных участвовать в разработке архитектуры и программных решений все более расходятся. Соответственно отбор будет все менее жестким.

Принимая во внимание, что, по оценкам математиков ведущих американских университетов, глубокие нейронные сетки в процессе своего развития уже на рубеже десятых-двадцатых годов превратятся в саморазвивающиеся программные комплексы, есть основания полагать, что именно сюда будет направлено главное внимание деструкторов в сфере программного обеспечения. Практически все эксперты в области ААС и робототехники уверены, что прогресс в программном обеспечении роботов связан именно с глубокими нейронными сетками и нейрокомпьютингом.

Экспертные системы и слабый искусственный интеллект. В последние год-два взрывными темпами растут инвестиции в стартапы и компании, занимающиеся разработками «искусственного интеллекта». Однако, представляется, что данный термин на сегодняшний день используется скорее как своеобразный бренд, лейбл, если не сказать – рекламный слоган. Поведенческие науки, когнитивные исследования, науки о сознании накопили недостаточно данных, чтобы с уверенностью на подлинно научном уровне определить, чем является человеческий интеллект. Соответственно вряд ли можно в строгом научном плане говорить об искусственном интеллекте.

Более предпочтительным, по крайней мере, на ближайшие 2-3 года, представляется использование термина «сложные многофункциональные экспертные системы». Наиболее яркий и известный всем пример подобной системы – это программно-аппаратный комплекс компании IBM Watson. Если в первой своей реинкарнации, продемонстрированной по национальному телевидению, он носил специализированный характер и представлял собой игровую экспертную систему, то затем были созданы специализированные экспертные системы по онкологическим и сердечнососудистым заболеваниям и решению задач помощи линейной полиции в крупных американских городах.

В настоящее время компания IBM, частично приоткрыв Watson через систему API, и представляя разработчикам возможность создавать разно-функциональные и разнопредметные приложения, ведет дело к созданию универсальной экспертной системы. Известно, что такие же работы ведутся в Google, Oracle, Microsoft и др.

Нельзя не отметить, что создание специализированных, а тем более универсальных сложных экспертных систем – это дорогое удовольствие. Известно, что на проект Watson IBM затратило более 2 млрд. долларов. Поэтому IBM уже объявило о том, что начиная с 2017 г. она будет продавать программно-аппаратные комплексы Watson следующих поколений, так же как сегодня продаются мощные сервера и серверные линейки. Законы рынка диктуют, что если одна из компаний приступила к коммерциализации своих разработок, то и другие компании в этой сфере будут стремиться как можно скорее предоставить свои аналогичные изделия платежеспособным потребителям. По прогнозам в ближайшие 3-4 года любое платежеспособное лицо сможет приобрести универсальную, либо сложноспециализированную экспертную систему, как самодостаточный программно-аппаратный комплекс.

Не вызывает сомнений, что располагающие поистине неограниченными финансовыми ресурсами транснациональные преступные группировки, экономически мощные террористические организации, типа Исламского Государства[3], и экстремистские группы, за спиной которых зачастую стоят неответственные государства, сразу же после выхода высокоинтеллектуальных экспертных систем на рынок, заполучат их. Этому дополнительно будет способствовать хорошо отлаженная ныне практика создания различного рода подставных компаний, анонимных трастов, венчурных фондов, специализированных фирм по поглощению разоряющихся компаний и т. п. «Слабый искусственный интеллект» неминуемо до конца десятых годов попадет в руки деструктивных органи-зованностей, что намного увеличит их могущество и возможности.

Угроза использования ААС, робототехники и информационных технологий деструктивными организациями

Расширяющиеся возможности использования деструктивными организациями достижений информационных технологий, плодов Третьей производственной революции, в том числе ААС и робототехники в условиях системного кризиса глобального хозяйства, социума и политикума создают новые неотвратимые угрозы со стороны террористов, преступников и экстремистов.

Детальный анализ с использованием как количественных, так и когнитивных методов позволил выделить наиболее опасные и труднопарируемые угрозы. При этом не ставилась задача их ранжирования. Ранжирование угроз зависит от конкретной ситуации в тот или иной период времени как в глобальных масштабах, так и в разрезе стран и отдельных регионов.

Ослабление карающей силы закона. Развитие высоких технологий, и в частности ААС и робототехники, базирующихся на информационных решениях, с каждым годом все сильнее подрывает действенность закона, его карающую силу, особенно в развитых государствах.

Действенность закона прямо зависит не только от справедливости суда и соразмерности преступления и наказания, но и от неотвратимости карающих мер за те или иные правонарушения. Однако цифры показывают, что уже сегодня, а тем более завтра, у высокотехнологичных, прежде всего компьютерных и робототехнических преступников все больше шансов оставаться безнаказанными.

В первую очередь это связано с недостатками в работе различного рода правоохранительных органов – полиции, контрразведки, антитеррористических подразделений. Согласно независимо подтвержденным цифрам из официальных и неофициальных источников, средний процент раскрываемости преступлений в 2014 г. в медианных по уровню правонарушений районах крупных городов США составлял более 70 %. В то же время процент раскрываемости высокотехнологичных, в своей массе компьютерных, преступлений в этих же городах – около 11 %. Т. е. компьютерный преступник имеет в 7 раз меньше шансов понести наказание за свое правонарушение, чем преступник, если можно так выразиться, традиционный.

Дополнительно есть данные о том, что полиция старается не открывать дела по заявлениям, связанным с компьютерными преступлениями, уговаривая заявителей отказаться от них. В качестве аргумента приводятся соображения, что слишком мало шансов, что преступление будет раскрыто, а преступники наказаны. Согласно экспертным оценкам некоторых действующих и бывших работников полиции крупных американских городов, число непринятых или отозванных заявлений в 2-3 раза превышает число дел, принятых к рассмотрению. С учетом этой цифры оказывается, что у преступников, использующих высокие технологии, включая ААС и робототехнику, почти в 20 раз больше шансов быть непойманным, чем пойманным. Естественно это порождает у преступников уверенность в собственной безопасности и одновременно деморализует правоохранительные органы и общество.

Причин такой ситуации достаточно много. Главными из них являются гораздо худшая оснащенность правоохранительных органов программно-аппаратными средствами, более низкий уровень квалификации в сфере информационных технологий, объективные затруднения, связанные со сбором доказательств, а также юрисдикционный характер деятельности правоохранительных органов в ситуации межрегиональной и трансграничной высокотехнологической преступности.

Вторая причина, ведущая к ослаблению закона, связана с принципиально различной ситуацией в сфере обеспечения безопасности в реальном мире и киберсреде. Как известно, ААС и роботы в подавляющей своей части связаны между собой и с центральными серверами через сеть, в основном – интернет. Также известно, что коммуникационные решения для интернета вещей, в который включаются роботы, отличаются незащищенностью. Они, как правило, базируются на открытых протоколах и слабо защищенной шифрованной связи, которая без труда подвержена взлому. Иными словами, если традиционные бытовые устройства, станки, производственные линии находятся под защитой, будучи отделенными от внешнего пространства физическими препятствиями, то вполне физические объекты, к которым относятся роботы и ААС, могут выполнять свои функции только благодаря наличию у них программного обеспечения и в подавляющем большинстве случаев, внешнего телекоммуникационного канала. А здесь, по сути, никаких препятствий и ограничений не существует. Нельзя требовать соблюдения и исполнения закона в среде, которую нельзя защитить. Это нонсенс.

Любые принимаемые законодателями меры и новые правовые акты, чем дальше, тем больше будут повисать в воздухе, и представлять собой не руководство к действию, а ненужные тексты. Это происходит вследствие того, что в цифровой среде, в отличие от реального мира, не существует технологической инфраструктуры соблюдения закона и обеспечения его действия.

Дело зашло сегодня столь далеко, что даже не подключенные к интернету, а замкнутые на хорошо защищенные корпоративные сети роботы могут стать орудием, а в каком-то смысле и субъектом преступления. В 2014 г. в США было впервые раскрыто преступление, которое с известной долей преувеличения осуществил не человек, а робот. Причем в сфере не физического воздействия, а кражи интеллектуальной собственности. В одной из крупнейших автомобильных корпораций был разработан и испытан принципиально новый вид аккумуляторов, позволяющий преодолеть известное ограничение подзарядки для электромобилей. Вскоре после этого выяснилось, что все патентные документы и конструкторская документация этого ключевого изобретения, которое по оценкам компании могло принести ей несколько миллиардов долларов, оказалась в распоряжении одного из азиатских автопроизводителей. Спустя несколько месяцев в результате цепи случайностей, а не целенаправленного расследования, выяснилось, что преступная группа вступила в сговор с одним из работников компании, производящей элемент управляющего блока роботов, используемых на сборочных линиях автомобильной компании. В аппаратную часть было заложено шпионское программное обеспечение, которое согласно программе было активировано, когда робот был собран из модулей, поставлен в американскую компанию-производитель и приступил к работе. После этого, благодаря роботу, заключенное в нем шпионское программное обеспечение проникло в корпоративную сеть, с которой был соединен робот. В корпоративной сети программное обеспечение распознало файл с нужной документацией. После чего, используя опять же робота, оно активировало второго трояна, который создал уязвимость корпоративной сети изнутри, использованную для отправки нужных файлов преступной группе. Преступная группа передала нужные файлы заказчику – азиатскому автопроизводителю.

Дополнительной сложностью в соблюдении законов в части раскрытия преступлений самого различного типа – от убийств до кражи интеллектуальной собственности – создает то, что любые высокотехнологичные преступления на порядки легче, чем преступления в обычном мире, замаскировать под техногенные катастрофы, технологические отказы, неисправности и т. п.

Известно, что еще с XVII века яды использовались преступниками как орудие убийства, маскирующие насильственную смерть под различного рода желудочные и сердечные заболевания. В XX веке в качестве орудия убийства применялись автомобили, самолеты с целенаправленно поврежденными узлами и т. п. В этом смысле использование интернета вещей, ААС, роботов и т. п. в криминальных целях не представляет собой ничего принципиально нового.

Однако кардинальное различие с прошлым заключается в том, что раньше подобные виды преступлений требовали уникальных навыков, значительных расходов ресурсов и осуществлялись спецслужбами государств, либо крупнейшими преступными синдикатами. Сегодня для технологических преступлений, вплоть до убийств, не требуется никаких навыков. Достаточно заказать у программистов средней квалификации перепрограммирование того или иного управляющего модуля, либо взлом программы. Известно, что когда что-то происходит массово и не носит уникального характера, оно не только подавляющим большинством обычных людей, но и правоохранителей, воспринимается как естественный процесс.

Реализация закона С. Лема. В 60-е гг. прошлого века всемирно известный фантаст и мыслитель С. Лем сформулировал и подкрепил эмпирическим материалом тезис, который получил название закона С. Лема. Закон имеет различные формулировки, но общий его смысл состоит в том, что разрушительная мощь, включая возможности нанесения увечий и даже убийства, малой группы и даже отдельного человека постоянно нарастает. С конца XIX века она увеличивается по экспоненте. И до Лема было понятно, что воин с мечом может поразить меньше людей, чем солдат с винтовкой, а тем более, человек, имеющий пулемет. В течение последних 50 лет тенденция, замеченная С. Лемом, проявила себя в полной мере. На сегодняшний день экспоненциальный характер закона Лема приближается к своей предельной форме.

Уже сегодня небольшая группа, используя доступные на коммерческой основе ресурсы, общей стоимостью менее 250 тыс. долларов США, может, комбинируя робота в виде дрона и бактериологическое оружие, погубить население города с населением несколько миллионов человек.

По оценкам экспертов в ближайшие 3-5 лет на основе достижений синтетической биологии, удастся получить биологически активные структуры, способные избирательно уничтожать всех людей на земле, имеющих тот или иной генетический или иной маркер. Если раньше крупные операции требовали значительных ресурсов и существования мощных организационных структур, то в буквальном смысле завтра глобальные преступные и террористические акты сможет провести если не один человек, то группа из 3-5 единомышленников. Ни разведывательные сообщества, ни правоохранительные органы практически всех стран мира не умеют и не знают, как бороться с такими микровысокотехнологичными деструктивными группами. Вся их техника, технологии работы, организационные процедуры, кадровые структуры заточены под другие виды терроризма, преступности и экстремизма. Между тем, именно такие малые и сверхмалые группы, действуя либо самостоятельно, либо как периферийные части деструктивных стай, станут уже в ближайшие годы главной угрозой не только для отдельных городов и стран, но и глобальной цивилизации в целом.

Интеллектуализация «роботов-убийц». Первые военные роботы появились в 70-х гг. прошлого века в Соединенных Штатах и СССР. Они выполняли преимущественно разведывательные функции. Таким образом, в военное дело роботы проникли раньше, чем в промышленность и другие гражданские отрасли. Следующий решающий прорыв был сделан уже в нашем столетии в Соединенных Штатах и Израиле. Он связан с появлением специализированных и универсальных воздушных роботов или дронов. За последние 10-12 лет дроны, а вслед за ними наземные, а в последние годы водные и подводные роботы преимущественно военного применения, проделали заметную эволюцию. В настоящее время они используются как непосредственно в военных действиях, будучи оснащенными средствами огневого поражения, так и для вспомогательных операций и разведки. По имеющимся данным роботы используются армиями более чем 30 стран мира. Из армии патрульные и транспортные роботы проникли в полицию. Полиция более чем 15 государств сегодня оснащена дронами и надводными патрулирующими роботами.

Стремительная роботизация вооруженных сил и полиции уже в середине нулевых годов привела к напряженным дискуссиям не только среди специалистов и общественности, но и в военных и политических кругах относительно допустимых границ интеллектуализации боевых роботов. До настоящего времени боевые роботы в Соединенных Штатах, Великобритании, других западноевропейских странах в обязательном порядке на стадии нанесения огневого удара находятся под управлением удаленных операторов. Окончательное решение о применении ракет, других средств огневого поражения принимают не программно-аппаратные комплексы, а удаленные операторы.

Существует все расширяющаяся коалиция стран, которая выступает за заключение международных соглашений относительно применения робототехники в военных действиях. В соответствующих инициативах, которые обсуждаются на уровне ООН, предусматривается не допускать производства, а тем более применения роботов, где окончательное решение по применению огневых и иных средств летального поражения принимает не человек, а программно-аппаратные комплексы.

К сожалению, беспристрастный анализ показывает, что в случае подобной законодательной инициативы даже при ее принятии и подписании соответствующего договора основными державами, располагающими наиболее мощными армиями, фактически соглашение выполняться не будет. Террористы, преступники и экстремисты действуют вне правового поля, нарушая любые законы и международные нормы. Это не значит, что не нужны законы и нормы. Но законы и нормы будут действовать лишь в том случае, если обладают механизмом реализации и контроля за исполнением. В случае высокоинтеллектуальных боевых роботов, или, как их именуют в СМИ, «роботов-убийц» такие механизмы не только отсутствуют, но и невозможны в принципе.

Причина невозможности лежит не в плоскости права, а связана с логикой развития технологий. Господствующими тенденциями развития робототехники являются повышение автономности этих систем, их универсализация и главное, модульный способ производства. На практике это означает, что уже сегодня, любой сложный универсальный робот предполагает наличие блока полностью автономного управления. Т. е. роботы содержат аппаратную часть и программные средства, позволяющие им в неблагоприятных средах осуществлять любые операции и действия без контакта с удаленным человеком-оператором. Не существует каких-либо сложностей для того, чтобы дополнить универсального сложного робота огневым модулем и дополнительным программным компонентом, управляющим этим модулем.

В ближайшие годы преступникам, террористам и экстремистам даже не потребуется производить собственных боевых роботов. Достаточно будет приобрести предлагаемый коммерческим пользователям высокавтономный универсальный робот и внести в него определенные конструкционные и программные доработки.

Кроме того, в настоящее время сложные универсальные робототехнические системы, находящиеся на вооружении армии США без труда могут быть доведены до уровня полностью автоматизированных робототехнических систем, включая принятие решений и применение оружия. В условиях, когда даже традиционные террористические организации, не отличающиеся высоким техническим уровнем, такие как Талибан, имеют на своем счету несколько перехваченных и посаженных дронов, угроза захвата сложных систем становится весьма реальной. Более того, первые два подобных случая уже произошли. Иранским хакерам, представляющим КСИР, удалось перехватить управление и посадить на территории Ирана два самых совершенных универсальных боевых американских дрона, проводивших испытательные полеты вблизи иранской границы.

Приведенные примеры наглядно свидетельствуют, что даже не сверхпродвинутые преступные синдикаты, а традиционные террористы могут завладеть сложными робототехническими системами и, заплатив относительно небольшие деньги специалистам из развитых стран, превратить захваченные аппараты в полноценных роботов-убийц.

В 2013-2014 гг. в различных странах мира, прежде всего, в Соединенных Штатах и Израиле, были проведены исследования на основе информации датчиков дронов, которые участвовали в испытательных боях. Для этих боев дроны, управляемые человеком, были предоставлены вооруженными силами США, а ЦХАКАЛ предоставил впервые в мире поступившие на вооружение в армию полноценные дроны-убийцы. В 2014 г. израильская армия первой из всех армий мира начала получать воздушные и наземные дроны, которые применяют боевые поражающие, в том числе летальные, средства не по решению человека, а в соответствии с показаниями программно-аппаратного блока. В результате учебных боев израильские роботы-убийцы в 19 из 20 схваток сбили американские дроны. В одной схватке робот ЦХАКАЛ упал вследствие собственных технических нарушений.

Исходя из результатов испытаний, а также экспериментов по сравнению быстроты реакции человека с роботизированными устройствами на фиксированные раздражители было неопровержимо установлено, что роботы-убийцы имеют значительную фору по времени по сравнению с роботами, управляемыми удаленным наблюдателем.

Отсюда с неизбежностью следует вывод о том, что, если вооруженные силы и структуры правопорядка государств будут соблюдать законы о роботах-убийцах, а деструктивные организации будут игнорировать их, то победа в противоборстве боевых робототехнических систем останется за террористами, преступниками и экстремистами. Это повлечет за собой труднопредсказуемые последствия.

В условиях наличия у террористов, экстремистов и преступников значительных ресурсов и все расширяющихся возможностей, интеллектуализация роботов-убийц становится неизбежной. При этом очевидно, что сам по себе процесс использования армией и полицией высокоинтеллектуальных роботов-убийц будет создавать дополнительные риски для их захвата деструкторами. Однако, к сожалению, и в этой области, также как во многих других выхода нет и вне зависимости от чьих-то желаний, добрых намерений и т. п. гонка интеллектуальных роботов будет продолжаться.

Технологизация уличной и неорганизованной преступности. Традиционно использование сложных технических устройств и приспособлений являлось прерогативой организованной преступности. В последние годы ситуация коренным образом изменилась. С появлением интернета вещей, по сути, весь окружающий мир превратился из мира вещей в мир ААС. Это в полной мере относится не только к сегодняшним сложным системам управления домом, но и к телевизорам, холодильникам, пылесосам, автомобилям и т. п. В ближайшие 5-7 лет ожидается появление массового рынка бытовой робототехники. Из дорогостоящих игрушек и статусных устройств для богатых, бытовые роботы станут обязательной принадлежностью дома и квартиры средней американской семьи.

В последние 5-7 лет по экспоненте растет число преступлений – от грабежей до убийств – с использованием ААС. Значительная часть подобных преступлений, зафиксированных в полицейских отчетах, остается нераскрытой. Это связано с тем, что подобные высокотехнологичные преступления, совершаемые отдельными лицами или небольшими криминальными группами, в корне отличаются от традиционных правонарушений. Правонарушения, с которыми привыкла иметь дело полиция, полностью происходит в реальном мире. Соответственно, преступник оставляет улики, или более того, он фиксируется в прошлом свидетелями, либо в последние годы различного рода системами видеонаблюдения.

Преступность с использованием ААС и роботов предполагает, безусловно, физические действия. Но сигнал, который приводит в действие те или иные аппаратные средства, передается в электромагнитной среде и носит виртуальный характер. Сегодня для того, чтобы совершить преступление не надо присутствовать на его месте. Можно находиться не за десятки, а даже за сотни и тысячи километров. Правоохранительные органы не привыкли работать в таких условиях, и соответственно их деятельность не слишком эффективна.

Не говоря уже о преступных синдикатах, даже отдельные, как принято говорить, уличные преступники отдают себе отчет в неспособности полиции противостоять высокотехнологическим преступлениям. Именно поэтому они берут на вооружение ААС и роботов, как орудия преступлений. В немалой степени по этой причине преступность постоянно молодеет. Сегодня, согласно данным полиции Денвера, средний возраст преступников, достигших совершеннолетия, почти на 10 лет ниже среднего возраста полицейских. Работники полиции считают, что эти цифры с небольшими поправками могут быть экстраполированы и на всю Америку.

На практике это означает, что идет не только война между законом и беззаконием, но и между поколениями. Одно – с детства выросло с интернетом и освоило все его закоулки и премудрости. Второе же – познакомилось с информационными технологиями в молодом или зрелом возрасте, и он для них не является комфортной средой действий. Конечно, в будущем демографический разрыв относительно информационных технологий уменьшится. В полицию будут приходить люди, которые знакомы с интернетом не хуже, чем преступники. Однако к этому времени как раз придет пора массового внедрения роботов, как особых систем цифровой реальности. И относительно роботов возникнет та же коллизия, которая сегодня проявилась в отношении интернета.

Повышение вероятности крупномасштабных террористических актов. Длительное время крупномасштабные террористические акты требовали долгой подготовки, вовлечения множества участников, затрат значительных и разнообразных ресурсов, и наконец, физического присутствия террористов в зоне актов устрашения и насилия. Наиболее яркими примерами таких актов стали 11.09.2001, взрывы в метро в Лондоне и на вокзале в Мадриде. Все они имели отмеченные выше черты. Силам национальной безопасности не удалось предотвратить эти акты, но указанные выше характеристики позволили им выйти на планировщиков и исполнителей варварских актов и наказать их. Эти же черты позволили силам национальной безопасности различных стран предотвратить в последние 15 лет несколько десятков крупномасштабных террористических актов, которые по своим последствиям могли не уступать, и даже превзойти случившиеся события.

Однако с повсеместным внедрением ААС, а в последующем робототехнических комплексов ситуация резко и неблагоприятно изменилась. В последние годы происходит активная автоматизация и роботизация производства и сферы обеспечения жизнедеятельности. Наряду с повышением технической надежности и экономией затрат, этот процесс имеет и крайне негативные последствия. Сегодня в развитых странах мира, и особенно в Соединенных Штатах, жизнь миллионов людей, фактически всего населения страны, решающим образом зависит от объектов и сетей критической инфраструктуры. В их число входят не только федеральные объекты государственного управления и т. п., но и практически все системы жизнеобеспечения, включая энергетику, тепло– и водоснабжение, связь и т. п.

Энергетические сети вне зависимости от того, в чьей собственности и юрисдикции они находятся, управляются ААС, соединенными с интернетом. Это же верно для систем городских водопроводов, канализации, теплоснабжения. Самое опасное состоит в том, что за последние 5-7 лет с появлением эффективных роботизированных систем, ими оснащены все АЭС, крупнейшие гидрорекреационные комплексы (плотины) и т. п.

В этой связи даже не тревогу, а ужас у специалистов вызвали известия о том, что за последние три года неопознанные хакеры неоднократно вторгались в систему энергоснабжения, комплексы автоматизированного управления и хранилища данных гидросооружений и даже атомных станций США. В результате у неизвестных лиц или организаций имеется федеральная информация об уязвимостях и недостатках систем управления и обеспечения безопасности всеми плотинами и гидротехническими комплексами на территории США, системами водоснабжения многих крупных и крупнейших городов страны, региональных энергосистем. Нам остается только молиться, чтобы эти хакеры были китайскими или российскими кибершпионами. В этом случае есть основания ожидать, что данные не появятся на черном информационном рынке и не попадут в руки террористов, преступников и экстремистов. Однако такой уверенности у специалистов нет. Как правило, китайских и российских государственных хакеров интересует несколько иная информация.

В случае же, если информация об уязвимостях в критических инфраструктурах и системах управления ими уже попала или попадет в распоряжение террористических организаций, экстремистских сообществ и с несколько меньшим риском преступных синдикатов, могут произойти непредсказуемые по своим последствиям акты. Причем, надо признаться, что на сегодняшний день у структур национальной безопасности нет способа предотвратить их. Более того, затруднена будет идентификация нападающего. Это является смертельной угрозой для Америки, которую должным образом не осознает ни федеральная власть, ни бизнес, ни тем более общественность.

Новые измерения финансового терроризма и преступности. Если на потребительском рынке продаются первые мелкосерийные полноценные роботы, а в военной сфере на вооружение поступают первые единичные образцы, то в сфере финансов полностью роботизированные системы – торговые роботы, за последние пять лет стали главными действующими лицами на большинстве финансовых рынков Америки, Великобритании и Японии.

Торговые роботы представляют собой интеллектуальные программно-аппаратные комплексы, которые оснащены не только модулями сбора, обработки, анализа информации, но и самостоятельного, без человека, принятия решений, сообразно алгоритмам. На последнее хотелось бы обратить особое внимание. Не только среди политиков, военных и бизнесменов, но даже среди части специалистов по информационным технологиям бытует заблуждение, что торговые роботы представляют собой предтечу искусственного интеллекта и вплотную приблизились к нему. Внешне дело выглядит именно таким образом, поскольку все решения о купле-продаже акций, индексов, валют, деривативов и т. п. принимают непосредственно программно-аппаратные комплексы – торговые роботы. Но, если обратиться к сути дела, то выяснится, что решения они принимают не по собственным правилам, которые создали сами, а по алгоритмам, которые заложены в них людьми – программистами, разработчиками, математиками, аналитиками и т. п. Поэтому об искусственном интеллекте говорить пока преждевременно, хотя решения на финансовых рынках принимаются роботами, без непосредственного участия человека.

Если в 2010 г. не более трети операций на американских финансовых рынках осуществлялось торговыми роботами, то в настоящее время более 70 % сделок на биржевых и внебиржевых финансовых рынках торгующих биржевыми финансовыми продуктами, осуществляются не людьми, а торговыми роботами.

Экспансия торговых роботов, некоторые из которых стоят 10 млн. долларов и более, связана с двумя обстоятельствами. С одной стороны, торговля на финансовых рынках требует регулярной обработкой огромных массивов информации. При краткосрочном трейдинге, а на него приходится основная часть операций, люди просто не успевают обработать и проанализировать разнородные и разноформатные массивы информации. Более эффективно это делают торговые роботы, которые принимают решения на основе некоторых правил. В этом смысле торговые роботы являются наследниками и более универсальными вариантами компьютеров, в прошлом обыгрывающих чемпионов мира по шахматам. В обоих случаях в основе программ лежат определенные алгоритмические правила, построенные на основе иерархии принятия решений.

С другой стороны, с середины нулевых годов было открыто, что источником доходов на финансовых рынках является сверхкраткосрочный временной арбитраж. Если кто-то успевает среагировать на рыночные известия быстрее других, то он снимает выгоду от более раннего знания той или иной новости. Если со времен Ротшильдов до середины XXI века шла гонка за скорость получения информации, то с середины прошлого века до нашего времени началась гонка за скорость реагирования на информацию. Как было показано на примере боевых роботов, автоматизированные системы способны быстрее людей реагировать на любую внешнюю информацию. Соответственно с середины десятых годов стали создаваться не только все более совершенные алгоритмически, но и все более быстродействующие торговые роботы. В настоящее время торговые роботы крупнейших американских банков, которые стоят уже не десятки, а сотни миллионов долларов, окупаются чуть более чем за четыре месяца за счет того, что способны опережать других роботов на сотые миллисекунды.

Господство торговых роботов на финансовых рынках создало новые угрозы для финансовой системы и национальной безопасности США и Запада. В 2014 г. федеральная Комиссия по Ценным Бумагам (SEC) выпустила доклад, в котором обратила внимание не только финансистов, но политиков и структур, занимающихся национальной безопасностью на настораживающий факт. Если в течение нулевых годов в среднем за год фиксировалось чуть менее 9 необъяснимых колебаний курса акций, в разы превышающих их нормальную волатильность, то в 2011-2012 гг. подобных колебании фиксировалось уже в среднем за год 36, в 2013 – 41, и в 2014 – 74. Доскональный анализ, проведенный SEC, показал, что эти колебания не были связаны с какими-либо событиями или новостными поводами, связанными с соответствующими компаниями. Эти колебания были результатами действий торговых роботов, принимавших решения о купле-продаже в соответствии с некоторыми алгоритмами.

После публикации доклада целый ряд крупнейших финансовых институтов и независимых трейдеров, чьи торговые роботы активно участвовали в операциях по купле-продаже, приведших к подозрительной сверхволатильности в 2013-2014 гг. с привлечением специалистов Комиссии, работников АНБ и независимых фирм по компьютерной безопасности, осуществили программно-технологический аудит своих роботов. В результате выяснилось, что в большинстве случаев (точное количество по соображениям коммерческой тайны и национальной безопасности озвучено не было) торговые роботы принимали ошибочные решения в том смысле, что действовали не по алгоритмам, а в результате заражения специальными зловредными программами, срок существования которых измерялся секундами.

После обнародования данной информации ФБР и независимые эксперты сделали вывод о том, что во всех отмеченных случаях имело место не просто хакерство, а тщательно спланированные и виртуозно осуществленные финансовые преступления с использованием программно-аппаратных комплексов. Доступная исследователям и общественности фактура говорит о том, что с каждым годом количество и масштабы такого рода преступности, связанной с заражением, а в будущем возможно и перехватом управления торговыми роботами, будет только нарастать.

Пока достоверно известно лишь о фактах финансовой преступности с использованием торговых роботов. Однако учитывая кластеризацию деструкции, есть основания полагать, что с каждым годом будет увеличиваться опасность крупномасштабных, а возможно и глобальных актов финансового терроризма. Имитационные модели, разработанные в Массачусетском технологическом институте и Финансовой Лаборатории в Швейцарии, в Цюрихе свидетельствуют, что уже сегодня целенаправленный перехват управления торговыми роботами может вызвать глобальное крушение финансовых рынков, за которым последует согласно эффекту домино коллапс мировой финансовой системы.

Ряд специалистов, в том числе в федеральном правительстве, считает эту угрозу, по крайней мере, в ближайшее время, надуманной. По их мнению, роботизированные торговые комплексы крупнейших финансовых институтов защищены лучше, чем какие-либо иные компьютерные сети и аппаратно-программные комплексы. Однако случай Эдварда Сноудена показал, что одного рядового системного администратора – специалиста по проникновению – достаточно, чтобы обрушить всю, без сомнения лучшую в мире, систему безопасности Агентства, ведающего наряду с прочим информационной безопасностью. Известно, что уже после Сноудена хакерам удалось неоднократно проникать в компьютерные сети не только крупных финансовых институтов, но и целого ряда центральных банков. Об этом было сообщено на Давосском форуме 2014 года.

Приведенные факты свидетельствуют, что крупномасштабная роботизированная финансовая преступность стала уже реальностью, а угроза финансового терроризма с каждым не годом, а месяцем становится все более серьезной и необратимой.

Робототехника как фактор социальной напряженности. Преступность, терроризм, экстремизм, будучи связанными с определенными системами ценностей и взглядов, жизненными установками и т. п., развиваются не только под воздействием духовных, но, прежде всего, материальных условий жизни. Бедность, вопиющее неравенство, отключение социальных лифтов, препятствие развитию предпринимательской инициативы, низкий уровень образования или, напротив, невозможность реализовать свой профессиональный потенциал являются питательной почвой для терроризма, экстремизма и преступности.

Многочисленные исследования, проведенные в самых различных странах мира – и в зонах процветания, и в районах бедствия, и в демократических государствах, и в странах, где у власти находятся авторитарные режимы, – показывают, что люди, на чью жизнь оказывают влияние отмеченные выше явления и факторы, в первую очередь рекрутируются деструктивными организованностями. Многочисленными исследованиями подтверждена прямая количественная связь между уровнем безработицы и масштабами развития деструктивных процессов и структур, их вызывающих.

В этой связи массовое внедрение в различные отрасли экономики – от промышленности до транспорта, от финансовой сферы и управления до сферы услуг – роботов создает все возрастающую угрозу социальной стабильности общества. Эта угроза прямо и непосредственно связана с неизбежным, начиная со второй половины десятых годов, увеличением безработицы в силу технологических факторов.

Уже сегодня очевидно, что от 30 до 60 % обслуживающего и младшего персонала в таких отраслях, как юриспруденция, медицина, офисная деятельность различного типа в период до 2025 г. будут заменены роботами. Ряд транспортных профессий, например, водители большегрузных автомобилей, лишатся своих рабочих мест вследствие перехода на полностью роботизированные средства. Если водители такси, которых в США насчитывается более миллиона, сегодня протестуют против новых платформ, типа Uber, отнимающих у них работу, то в интервале до 2020 г. они неизбежно будут вынуждены уступить свои рабочие места полностью роботизированным автомобилям – такси.

Если в промышленности, особенно на сборочных и вредных предприятиях, а также в сельскохозяйственной сфере роботы заменят в основном не граждан США и стран Западной Европы, а легальных и нелегальных эмигрантов, то на транспорте, в сфере услуг, финансах, юриспруденции и т. п. картина сложится совершенно иначе.

Если относительно отмеченных выше сфер у политиков, бизнеса и общества есть понимание, то относительно программистов и системных администраторов такое понимание отсутствует. Между тем, повсеместное внедрение облачных технологий уже в ближайшие годы приведет к резкому сокращению рабочих мест системных администраторов и универсальных IT-специалистов, которых насчитывается сегодня несколько миллионов в малых и средних предприятиях Америки. С максимальным внедрением облачных технологий и созданием интеллектуальных агентов – экспертных систем, типа Watson, увязанных с облачными порталами, подобные специалисты в малом и среднем бизнесе окажутся просто не нужны.

Параллельно в последнее время ряд крупнейших компаний, включая Google, IBM и Oracle, а также стартапы, действующие на базе американских университетов, заявили о том, что вплотную подошли к практической реализации открытых еще в прошлом веке алгоритмов самосовершенствующихся программ. В ближайшие десятилетия такого рода программы будут представлять собой логическое развитие известных всем сред программирования. Они будут способны к автоматизированному, а затем и автоматическому написанию новых, относительно простых программ, используемых для создания интернет-ресурсов, мобильных приложений, программ, управляющих ААС и относительно простыми роботами. Удастся ли создать мощные самореплицирующиеся развивающиеся программы или нет, сегодня доподлинно неизвестно. Фактически создание таких программ и будет означать, по мнению большинства специалистов, появление настоящего искусственного интеллекта.

Однако, даже появление программистов-роботов, способных к созданию сайтов и приложений, несет в себе значительную угрозу. Появление роботов – системных администраторов и программистов для интернета и приложений, отнимет рабочие места у подавляющего большинства сегодняшних программистов средней и относительно низкой квалификации. А это по Америке миллионы, а по миру – десятки миллионов человек. Угроза состоит не только и не столько в том, что эти профессионалы станут безработными, сколько в том, что, будучи лишенными привычного уровня жизни, они вольются в ряды преступников, экстремистов и террористов. Соответственно они обеспечат деструктивным организованностям армию массового квалифицированного IT-персонала, без которой невозможно длительная и успешная борьба, а точнее война, с государственными и бизнес-структурами всех уровней.

Выводы

1. В настоящее время и в ближайшей перспективе возможности преступных экстремистских и террористических организаций использовать достижения высоких технологий, и в том числе ААС и роботов, в деструктивных целях неуклонно увеличиваются. Соответственно возрастает весь спектр связанных с этим угроз не только для развития, но и существования Америки как великой державы, доминирующей силы на глобальной арене и лидера свободного мира.

2. Наращивание мощи деструктивных сил особо опасно в условиях укрепления их взаимодействия, взаимопроникновения и даже сращивания. Происходит процесс кластеризации разнообразных фрагментов и контуров деструктивных организаций в единую глобальную распределенную систему. Эта система носит уже не иерархический, и даже не сетевой характер, а приобретает черты стайного или роевого типа организации.

3. Негативные тенденции и тренды в полити-куме, социуме и экономике происходят на фоне формирования перенасыщенной техногенной и информационной среды. Динамика технологий по всему их спектру, включая критические технологии и технологии Третьей производственной революции, никем не управляются и не контролируются. Это ведет ко все возрастающей турбулентности, хрупкости и ненадежности не только технических и информационных систем, но и американского и глобального социума. Постоянно возрастают риски каскада отказов, который может вызвать глобальный информационно-технологический, политико-экономический и социально-общественный коллапсы. Опыт показывает, что экстремальными и кризисными ситуациями в современном обществе наилучшим образом пользуются деструктивные организованности, для которых эти ситуации и обстановка являются привычными.

4. Представленный доклад и целый ряд публикаций известных американских исследователей, работы коллективов ведущих университетов, фабрик мысли и т. п. убедительно свидетельствуют о том, что ранее использующийся в национальной безопасности подход, согласно которому главная задача состоит в устранении или предупреждении угроз, больше не работает. В ближайшие десятилетия мы обречены жить в условиях все нарастающих угроз. Уже поздно пытаться превентивно предупредить их. Их также невозможно и устранить без разрушения глобального социума и цивилизации в целом.

5. Единственный выход состоит в том, чтобы научиться жить в условиях множащихся угроз. Нужно коренным образом перестроить на государственном, деловом и общественном уровнях привычные нам методы работы, способы управления и регулирования, средства и инструменты обеспечения национальной безопасности. Необходимо согласиться с тем, что, по крайней мере, в ближайшие десятилетия главным критерием для всех решений на всех уровнях и во всех сферах должна стать не эффективность, а выживаемость. Главным должно стать умение по возможности ослабить удар со стороны деструктивных организаций и их вольных и невольных союзников, преодолеть последствия таких ударов и в ответ без разрушения ткани цивилизации максимально и ежедневно ослаблять деструктивные организации.

Совет по правам человека ООН. XXIII сессия. Доклад Специального докладчика по вопросу о внесудебных казнях, казнях без надлежащего судебного разбирательства или произвольных казнях Кристофа Хейнса. 9 апреля 2013 г. Извлечение

Резюме

Боевые автономные роботизированные системы (БАРС) представляют собой системы оружия, которые после приведения их в действие способны выбирать и поражать цели без последующего вмешательства оператора. В связи с этим возникают вопросы, имеющие далеко идущие последствия в том, что касается защиты жизни в условиях войны и мира. К их числу относится вопрос о том, в какой мере их можно программировать, чтобы соблюдались требования международного гуманитарного права и стандарты защиты жизни в соответствии с нормами права в области прав человека. Кроме того, их применение может являться неприемлемым ввиду того, что невозможно разработать сколько-нибудь адекватную систему правовой ответственности, и поскольку роботы не должны наделяться способностью решать вместо людей вопросы жизни и смерти. Специальный докладчик рекомендует государствам ввести национальные моратории на аспекты БАРС и предлагает учредить группу высокого уровня по вопросам БАРС для разработки в этой сфере политики для международного сообщества.

III. Боевые автономные роботизированные системы и защита жизни

…

26. Обществам, располагающим современной технологией, такая технология позволяет увеличить дистанцию между пользователями оружейных систем и смертоносной силой, которую они в себе несут. Например, БПЛА, обычно называемые «беспилотниками», позволяют тем, кто контролирует применение такой смертоносной силы, не присутствовать физически при их использовании, а приводить их в действие, находясь за компьютером вдалеке от места их применения и оставаться вдали от линии огня.

27. Боевые автономные роботизированные системы (БАРС), если они войдут в арсеналы государств, добавят новое измерение такой дистанци-онности в том смысле, что решения о выборе цели смогут приниматься самими роботами. Помимо физической отстраненности от кинетического действия таких систем человек будет также непричастен к принятию решений о нанесении удара и их исполнению.

28. Робототехническая революция рассматривается как следующая крупная революция в военной сфере, равная по своему значению изобретению пороха и созданию ядерного оружия[4]. Однако в одном важном отношении робототехническая революция отличается от этих более ранних революций: ведь развертывание БАРС повлечет за собой не просто качественное усовершенствование используемых систем оружия, но и приведет к изменению идентичности тех, кто их применяет. Перспектива появления БАРС будет стирать различие между вооружениями и воинами, поскольку такие системы будут автономно принимать решения о своем использовании.

29. Официальные заявления правительств стран, обладающих потенциалом для производства БАРС, свидетельствуют о том, что в настоящее время об их использовании в вооруженном конфликте или при иных обстоятельствах даже и не помышля-ют[5]. Хотя, возможно, это и так, следует вспомнить о том, что самолеты и беспилотники сначала использовались в вооруженных конфликтах только в разведывательных целях, а их наступательное использование исключалось ввиду потенциально нежелательных последствий[6]. Последующий опыт показывает, что когда имеется технология, позволяющая, как считается, получить превосходство над противником, первоначальные соображения отбрасываются в сторону. С другой стороны, военные технологии легко переносятся в гражданскую сферу. Если считать, что международно-правовую нормативную базу следует укреплять, чтобы противостоять давлению будущего, то это обязательно надо делать уже сейчас, пока для этого есть возможность.

30. Одна из самых сложных проблем, решить которую пытаются правовые, моральные и религиозные кодексы, заключается в отношении к убийству человека человеком. Перспектива такого будущего, когда полностью автономные роботы будут в состоянии решать вопросы жизни и смерти, ставит дополнительно целый ряд беспокоящих вопросов. Как будет показано ниже, появление столь мощных и в то же время вызывающих противоречия новых систем оружия потенциально может создать новые угрозы для права на жизнь. Это может также породить международный раскол и ослабить роль и верховенство международного права и тем самым подрывать систему международной безопасности[7]. Появление БАРС требует от всех сторон – государств, международных организаций и международных и национальных организаций гражданского общества – необходимости рассмотрения всех последствий следования по этому пути.

31. Некоторые авторы выдвигают тот довод, что роботы никогда не смогут отвечать требованиям международного гуманитарного права (МГП) или международного права прав человека (МППЧ) и что, даже если и смогли бы, роботов принципиально нельзя наделять способностью решать вопрос о том, кто будет жить, а кто должен погибнуть. Эти критики требуют полного запрещения их разработки, производства и применения[8]. По мнению других авторов, такой технологический прогресс – если его удерживать в определенных рамках – представляет собой законные достижения в военной сфере, которые в некоторых отношениях могут даже содействовать обеспечению более гуманного характера вооруженного конфликта и спасению человеческой жизни у всех сторон кон-фликта[9]. Согласно такому доводу полный отказ от такой технологии может сводиться к ненадлежащей защите жизни как таковой.

32. Вместе с тем широко признается, что существует необходимость проявлять осмотрительность и контролировать в той или иной форме использование государствами такой технологии сверх и помимо того, что предусмотрено уже действующими общими стандартами, предписанными нормами международного права. Обозреватели согласны с тем, что для выработки надлежащего подхода к БАРС требуется проведение международной дискуссии.

33. Как и в случае любой технологии, революционизирующей применение смертоносной силы, может существовать недостаточно знаний относительно связанных с такой технологией потенциальных рисков, пока эта технология не разработана, что затрудняет формулирование надлежащей ответной реакции; однако впоследствии наличие таких систем и могущество влиятельных заинтересованных кругов могут исключить возможность принятия мер, направленных на достижение надлежащего контроля[10]. Эта задача дополнительно усложняется гонкой вооружений, которая может возникнуть в том случае, если только некоторые страны будут обладать подобной оружейной технологией. Лучшего момента, чем сегодня, чтобы заняться решением этих проблем, у нас, возможно, не будет. В отличие от других революционных изменений в военной сфере, когда серьезные размышления в основном начинались после возникновения новых методов и способов ведения войны, сегодня есть возможность коллективно сделать паузу и в упреждающем порядке рассмотреть риски, связанные с БАРС. Настоящий доклад представляет собой призыв взять такую паузу, чтобы можно было серьезно и основательно заняться этим вопросом.

34. Одна из причин неотложности рассмотрения данного вопроса заключается в том, что нынешние оценки будущей роли БАРС будут затрагивать объем финансовых, людских и иных ресурсов, направляемых на разработку этой технологии в течение следующих нескольких лет. Нынешние оценки – или их отсутствие – рискуют тем самым в определенном отношении стать самосбывающимися пророчествами.

35. Предыдущий Специальный докладчик рассматривал вопрос о БАРС в его докладе в 2010 году[11], призвав, в частности, созвать группу экспертов для рассмотрения вопроса о применении робототехники и соблюдении международных норм в сфере прав человека и норм гуманитарного права[12]. В настоящем докладе это предложение поддерживается и подчеркивается, и в нем содержится призыв к государствам объявить национальные моратории на некоторые виды работ, связанных с БАРС.

36. Как и в случае БПЛА и прицельного убийства, БАРС ставят вызывающие беспокойство вопросы, касающиеся защиты жизни в соответствии с системами МППЧ и МГП. Специальный докладчик напоминает о верховенстве не допускающего отступлений права на жизнь в соответствии как с договорным, так и с международным обычным правом[13]. Произвольное лишение жизни является противоправным как в мирное время, так и в условиях вооруженного конфликта.

А. Появление БАРС

1. Определения

37. Хотя определения основных терминов могут различаться, нижеследующее объяснение может служить отправным пунктом[14].

38. Согласно широко распространенному определению (с которым, в частности, согласны министерство обороны Соединенных Штатов Америки и «Хьюман райтс уотч»[15]), термин БАРС означает роботизированные системы оружия, которые после их приведения в действие могут выбирать и поражать цели без последующего вмешательства со стороны оператора. Важный элемент заключается в том, что робот располагает автономным «выбором» в том, что касается определения цели и нанесения поражающего удара.

39. Роботы нередко характеризуются как механизмы, функционирование которых строится на основе простой парадигмы «зондирование – думанье – действие»: они имеют сенсоры, позволяющие им в определенной мере оценить ситуацию; процессоры, или искусственный интеллект, «принимающий решение» о том, как отреагировать на полученный импульс; и эффекторы, которые исполняют такие «решения»[16]. Степень автономности, которой наделяют роботов процессоры, следует рассматривать в качестве континуума между существенной вовлеченностью человека, с одной стороны, как в случае БПЛА, когда «в контуре управления» задействован человек, и полной автономностью, с другой, как в случае БАРС, когда люди находятся вне «контура управления».

40. В соответствии с предполагаемым сегодня сценарием операторы будут, по крайней мере, оставаться элементом, так сказать, «расширенного контура управления»: они будут программировать конечные цели в роботизированных системах и принимать решение о приведении систем в действие и, если необходимо, деактивировать их, а автономные оружейные системы будут преобразовывать такие цели в задачи и выполнять их, не требуя дальнейшего вмешательства оператора.

41. Контролируемая автономия означает присутствие оператора «над контуром управления» (в отличие от «в контуре» или «вне контура»). Такой оператор контролирует и может отменить решения робота. Однако возможность отмены решения может в реальных условиях быть весьма ограниченной, поскольку процесс принятия решения роботами зачастую измеряется наносекундами, и информационная база таких решений может на практике быть недоступной для контролера. В таких условиях люди де-факто находятся вне контура управления, и тогда машины на деле представляют собой БАРС.

42. Термин «автономный» следует отличать от терминов «автоматический» или «автоматизированный». Автоматические системы, такие, как, например, бытовое оборудование, работают в структурированной и предсказуемой среде. Автономные системы могут функционировать в открытой среде в неструктурированных и динамичных условиях. В этом случае их действия (подобно действиям людей) могут в конечном счете быть непредсказуемыми, особенно в таких хаотичных ситуациях, как вооруженный конфликт, и тем более когда их действия зависят от действий других автономных систем.

43. Термины «автономия» и «автономный», как они используются в контексте робототехники, могут вводить в заблуждение. Они не имеют ничего общего со «свободной волей» или «нравственностью», как эти понятия используются в процессе принятия решений людьми. Более того, хотя соответствующие технологии развиваются экспонентным образом, и полная автономия непременно будет означать через 10 лет все меньшую вовлеченность человека по сравнению с сегодняшним днем, о разумных роботах, или мощном искусственном интеллекте, в настоящее время говорить не прихо-дится[17].

2. Современная технология

44. Технология в некоторых отношениях сегодня, возможно, не так развита, как об этом бытуют представления в массовой культуре, в которой роботы нередко наделяются свойствами, аналогичными человеческим, что может создать соблазн у международного сообщества ошибочно полагаться на их способности. Однако следует также напомнить о том, что в некоторых отношениях технология по своим возможностям может значительно превосходить способности человека. Технология развивается экспонентно, и невозможно с уверенностью предсказать будущее. Вследствие этого почти невозможно определить, насколько близко мы подошли к тому моменту, когда будут созданы полностью автономные роботы, готовые к применению.

45. Хотя разработки полностью автономных боевых роботов ведутся в основном под покровом секретности, такие роботы пока не были приняты на вооружение. Вместе с тем роботизированные системы с различной степенью автономности и смертоносной силы в настоящее время уже используются, в частности следующие:

• Американская система «Фаланкс» для эсминцев класса «Эгис» автоматически обнаруживает, сопровождает и перехватывает угрозы ударов с воздуха, такие, как противокорабельные ракеты и самолеты[18].

• Американская система лазерной обороны от ракетного, артиллерийского и минометного обстрела (С-RAAM) может в автоматическом режиме уничтожать летящие ракеты, снаряды и мины[19].

• Израильский беспилотник «Гарпия» является неуправляемой автономной оружейной системой, предназначенной для обнаружения и уничтожения радаров противника[20].

• Английский прототип реактивного боевого беспилотника «Таранис» может в автономном режиме искать, опознавать и обнаруживать противника, но может наносить удары по цели только по приказу командования миссии. Он может также обеспечивать свою защиту от самолетов против-ника[21].

• Прототип боевого беспилотника «Х-47В», разработка которого ведется компанией «Нортроп-Грумман» по заказу ВМС США, должен продемонстрировать способность автономного взлета с авианосца и посадки на авианосец, а также полета в автономном режиме[22].

• Охранно-наблюдательные роботы компании «Самсунг Теквин», размещенные в демилитаризованной зоне между Северной и Южной Кореей, могут обнаруживать цели с помощью инфракрасных сенсоров. В настоящее время они управляются людьми, но могут работать в автоматическом режиме[23].

46. В военных документах ряда государств описываются программы разработок воздушных, сухопутных и морских роботизированных систем оружия с разной степенью автономности. На их разработку выделяются большие суммы денег[24].

47. Представляется очевидным, что в случае принятия на вооружение БАРС они не будут, по крайней мере на начальном этапе, полностью заменять солдат, но им будут скрытно поручаться задачи, соответствующие их конкретным боевым возможностям. Их наиболее вероятное применение в условиях вооруженного конфликта будет заключаться в той или иной форме взаимодействия с операторами[25], хотя характер их функционирования будет, тем не менее, оставаться автономным. Поэтому уместно поставить вопрос о том, в какой мере существующая нормативно-правовая база является достаточной для того, чтобы регулировать такой сценарий, а также сценарий, при котором БАРС применяются без какого-либо участия человека. На основе имеющегося ныне опыта с БПЛА есть основания полагать, что государства будут, среди прочего, стремиться использовать БАРС для прицельного уничтожения людей.

48. В силу самого характера робототехнических разработок такие разработки обычно с трудом поддаются регулированию, особенно в области контроля над вооружениями. Трудно выявить четкие критерии. Робототехнические разработки носят инкрементный характер. Кроме того, между военными и невоенными технологиями существует значительная степень преемственности[26]. Одни и те же роботизированные платформы могут иметь как гражданское, так и военное применение, и могут использоваться в небоевых целях (например, для обезвреживания самодельных взрывных устройств) либо иметь боевое оснащение большой поражающей силы (например, БАРС). Более того, БАРС обычно имеют комбинированный характер и представляют собой соединение разных технологий многоцелевого назначения.

49. Большое значение, придаваемое свободе научного поиска, служит мощным сдерживающим средством в деле регулирования научно-исследовательских и опытно-конструкторских разработок в данной области. Тем не менее, «ползучее наращивание технологий» в этой области может со временем и почти незаметно привести к ситуации, несущей в себе серьезную угрозу основным человеческим ценностям и международной системе безопасности. Поэтому международному сообществу крайне важно провести анализ современного положения дел и инициировать ответственный процесс, имеющий целью держать ситуацию под контролем и при необходимости принимать меры по регулированию такой технологии по мере ее развития.

3. Факторы, способствующие и препятствующие разработке БАРС

50. Некоторые из причин, в силу которых следует ожидать непрекращающееся стремление разрабатывать БАРС, равно как и сдерживающие факторы, мешающие реализации этого стремления, справедливы также и в более широком плане для разработки других систем, действующих без участия человека. Они предоставляют громадные военные и иные преимущества тем, кто их применяет, и являются элементом более широкого процесса автоматизации военных действий и мира в целом.

51. Беспилотные системы позволяют обеспечивать проецирование большей силы (сохранение жизни своих собственных солдат) и повышение боевых возможностей войск (позволяя решать те же задачи персоналом меньшей численности). Они могут расширять поле боя за счет более легкого проникновения в тыл противника и экономного использования людских и финансовых ресурсов. Беспилотные системы могут находиться на дежурстве значительно дольше людей и выдерживать другие перегрузки, такие как многократное увеличение силы тяготения. Они могут содействовать улучшению качества жизни солдат стороны, использующей такие системы: беспилотные системы, особенно роботизированные, все больше ориентированы на выполнение так называемых грязных, тупых и опасных задач[27].

52. Роботы могут в некоторых ситуациях служить гуманитарным целям. Хотя появление в настоящее время беспилотных систем можно объяснять желанием государств не связываться со сложными проблемами взятия противника в плен, будущие поколения роботов смогут использовать меньше убойной силы и тем самым приводить к меньшим человеческим жертвам. Технологии могут предоставить креативные альтернативы смертоносности, например, способы нейтрализации или обезоруживания цели[28]. Роботы могут программироваться таким образом, чтобы оставлять цифровой след, что в перспективе позволяет контролировать их действия лучше, чем это оказывается возможным в случае действий солдат, и в этом смысле повысить подотчетность.

53. Со своей стороны переход от дистанционно контролируемых систем к БАРС объясняется рядом других соображений[29]. Возможно, самым главным из них, если учитывать возросшие темпы боевых действий, является тот факт, что люди в некотором смысле стали самым слабым звеном военного арсенала и тем самым выводятся из системы принятия решений. Скорость реагирования автономных систем намного превышает скорость реагирования человека, особенно если скорость реагирования дистанционно контролируемых систем дополнительно замедляется неизбежными в глобальных коммуникациях задержками, вызванными разницей во времени. Стимулом для государств разрабатывать БАРС является также возможность продолжать военные операции даже в случае нарушения линий связи за линией фронта.

54. БАРС не будут иметь некоторых из свойственных человеку недостатков, которые могут отрицательно сказываться на задаче защиты жизни. Их действия, что характерно, не могут быть продиктованы местью, паникой, злостью, яростью, предрассудками или страхом. Кроме того, если только роботы не будут специально для этого запрограммированы, они не будут намеренно причинять страдания гражданскому населению, например посредством применения пыток. Роботы, кроме того, не насилуют.

55. Однако в других отношениях возможности роботов по сравнению с людьми ограничены. Вооруженный конфликт и МГП требуют от человека определенного суждения, здравомыслия, видения более широкой картины событий, понимания намерений, лежащих в основе действий людей, а также понимания системы ценностей и способности предвидеть, в каком направлении могут развиваться события. В условиях вооруженного конфликта решения, касающиеся жизни и смерти, могут требовать милосердия и интуиции. Люди – хотя они не лишены недостатков – по крайней мере, могут обладать этими качествами, тогда как роботы ими определенно не обладают. Хотя роботы особенно эффективны при решении вопросов количественного плана, их возможности качественного анализа, который нередко требуется, когда речь идет о человеческой жизни, ограничены. Механические расчеты затруднены некоторыми противоречиями, нередко свойственными принятию решений в условиях боевых действий. Еще один вопрос, вызывающий озабоченность, связан со способностью роботов проводить различие между законными и незаконными приказами.

56. Хотя БАРС, таким образом, могут в некоторых отношениях точнее и быстрее человека оценивать ситуацию, в других отношениях их возможности являются более узкими нередко ввиду ограниченности их способности интерпретировать контекст и осуществлять расчеты, базирующиеся на системе ценностей.

В. БАРС и решение начать военные действия или применить силу в иных целях

57. В течение большей части последних двух столетий развитие международного права было направлено на сдерживание вооруженного конфликта и применения силы в ходе правоохранительных операций, с тем чтобы сделать такой выбор только крайним средством, к которому прибегают в последнюю очередь. Однако людям свойственны также другие рефлексы, удерживающие их от принятия решения начать военные действия или применить силу в иных целях, которые играют важную (хотя нередко и не решающую) роль в обеспечении гарантий жизни и международной безопасности. Главными среди них являются такие человеческие качества, как наша боязнь смерти и потери близких и неприятие вынужденности убивать других людей[30]. Физическая и психологическая дистанцированность от фактического применения силы, которая в перспективе возникнет с появлением БАРС, может понизить роль всех этих трех качеств и даже сделать их неактуальными для людей на стороне государства, применяющего БАРС[31]. Военное командование, например, будет поэтому более склонным применять БАРС, чем обычные рядовые солдаты.

58. Такая легкость может в перспективе влиять на принятие политических решений. Ввиду низких или пониженных людских потерь в вооруженном конфликте для государства, имеющего в своем арсенале БАРС, национальное общество может со временем проявлять все больше безразличия и оставлять решение о применении силы как вопроса в основном финансового или дипломатического плана на усмотрение государства, что будет приводить к ощущению «обыденности» вооруженного конфликта[32]. Таким образом, БАРС могут понизить для государств порог для начала вооруженного конфликта или иного использования смертоносной силы, в результате чего вооруженный конфликт уже не будет являться средством, к которому прибегают в последнюю очередь[33]. Как отмечается в докладе Генерального секретаря о роли науки и техники в контексте международной безопасности и разоружения, «…улучшение технических характеристик автономных средств открывает перед страной возможность для их использования в ходе военных действий, не опасаясь негативной реакции населения по поводу гибели людей»[34]. Объяснение использования автономных систем как менее затратную альтернативу развертыванию живой силы на поле боя может, следовательно, являться ложной дихотомией. Если сухопутное вторжение не пользуется достаточной поддержкой, то подлинной альтернативой применению беспилотных систем будет неприменение силы вообще.

59. Можно слышать тот довод, что если доводить вышеприведенную аргументацию до ее логического завершения, то государства вообще не должны пытаться разрабатывать какие-либо военные технологии, понижающие жестокость вооруженного конфликта или позволяющие сократить общие людские потери за счет повышения точности оружия[35]. Тогда применение беспилотников и нанесение воздушных ударов с больших высот с использованием «умных» бомб следует также считать проблемным, поскольку они тоже понижают потери живой силы стороны, использующей их (и в некоторых случаях противной стороны), тем самым устраняя для государств политические ограничители в отношении готовности прибегнуть к военным действиям[36].

60. Такой довод при ближайшем рассмотрении не выдерживает критики. Понятно, что государствам желательно сократить потери в живой силе во время конфликта, но тогда возникает вопрос о том, можно ли в этом случае говорить о «войне» – в отличие от одностороннего истребления, – когда одна сторона не подвергается угрозе потери жизней и не несет никаких издержек, помимо экономических. Существует качественное отличие понижения степени риска для тех, кто участвует в вооруженном конфликте, от ситуации, когда одна сторона более не является «участником» вооруженного конфликта, поскольку ее комбатанты не подвергаются никакой угрозе[37]. БАРС, как представляется, доводят проблемы, поднимаемые бес-пилотниками и нанесением воздушных ударов с больших высот, до их крайнего предела в практическом и правовом плане.

61. Даже если было бы справедливо считать, что в случае применения БАРС количество жертв на один вооруженный конфликт иногда будет меньше, то общая численность потерь в живой силе в совокупности может быть, тем не менее, выше.

62. Самое уместное замечание заключается в том, что возросшая точность поражения и возможность наносить удары в любой точке мира, даже когда не существует никаких линий связи, позволяют считать, что БАРС будут весьма привлекательны для тех, кто захочет прибегать к прицельному уничтожению. Случаи нарушения суверенитета государств – помимо возможных нарушений норм МППЧ и МГП, – нередко ассоциируемые с программами прицельного уничтожения, могут понизить степень безопасности в мире и отрицательно сказаться на защите жизни людей.

С. Применение государствами БАРС во время вооруженного конфликта

63. Следующий вопрос заключается в том, смогут ли БАРС применяться с соблюдением норм МГП. Постольку поскольку ответ на этот вопрос является отрицательным, этот вид оружия должен быть запрещен. Однако, как заявляют сторонники БАРС, это не означает, что БАРС никогда не должны совершать ошибок – мерилом должно являться поведение людей, которые будут принимать решения, что не всегда отвечает самым высоким стандартам[38].

64. Некоторые эксперты говорят, что в некоторых отношениях роботы можно заставить соблюдать требования МГП даже лучше людей[39]. Робототехник Рональд Аркин, например, предложил способы оснащения военных роботов «этическим регулятором», с тем чтобы они удовлетворяли таким требованиям[40].

65. Иного рода соображение состоит в том, что если существует техническая возможность запрограммировать БАРС таким образом, чтобы они соблюдали нормы МГП лучше людей, то тогда, по существу, может иметь место обязательство применять их[41] – точно так же, как некоторые правозащитные группы выдвигают тот довод, что при наличии «умных» бомб лучше применять такие бомбы, а не те, которые имеют не столь избирательное действие.

66. Особое значение в этом контексте имеют правила МГП, касающиеся различения и соразмерности. Правило различения имеет целью минимизировать последствия вооруженного конфликта для гражданского населения за счет запрещения выбора гражданского населения в качестве цели и объекта неизбирательных нападений[42]. В ситуациях, когда БАРС не могут надежно отличать комба-тантов или других участников боевых действий от гражданского населения, их применение должно быть запрещено.

67. Есть ряд факторов, которые, вероятно, будут ограничивать способность БАРС действовать в этом отношении в соответствии с этими правилами, в том числе технологическое несовершенство современных сенсоров[43], неспособность робота понимать контекст и трудность применения языка МГП при определении на практике статуса не-комбатантов, который должен быть преобразован в компьютерную программу[44]. Роботам, например, будет трудно определить, ранен ли человек и не участвует в бою, а также понять, находятся ли солдаты в процессе сдачи в плен.

68. Нынешнее распространение асимметричных военных действий и вооруженных конфликтов немеждународного характера, к тому же в городской обстановке, служит существенным ограничителем способности БАРС отличать гражданское население от законных военных целей. Это особенно справедливо в тех случаях, когда необходимо произвести сложную оценку ситуации для определения, например, «прямого участия в боевых действиях». Эксперты отмечают, что в военных действиях по борьбе с повстанцами и при нетрадиционных методах ведения войны, когда комбатантов можно вычислить только с помощью интерпретации поведения, неспособность БАРС интерпретировать намерения и эмоции будет служить серьезным препятствием для соблюдения правила различения[45].

69. Однако люди необязательно превосходят машины в своей способности проводить различие. В некоторых условиях технология может обеспечивать более высокую степень точности. Например, солдат в ситуации, когда неясно, является ли незнакомое лицо комбатантом или гражданским, может под воздействием инстинкта самосохранения сразу открыть огонь, тогда как робот может использовать иную тактику, чтобы приблизиться, и только когда будет обстрелян, открыть ответный огонь. Следовательно, роботы могут действовать «консервативным образом»[46], и «могут стрелять вторыми»[47]. Кроме того, в некоторых случаях мощные сенсоры и процессорная мощность БАРС могут потенциально рассеивать «туман военных действий» для обычных солдат и предупреждать совершение таких ошибок, которые нередко приводят в вооруженном конфликте к злодеяниям, и тем самым содействовать сохранению жизни людей[48].

70. Правило соразмерности требует, чтобы ущерб, который, как ожидается, будет причинен гражданскому населению, соизмерялся до начала нападения с военным преимуществом, которое предполагается получить в результате операции[49]. Соблюдение этого правила, которое считается «одним из самых сложных правил международного гуманитарного права»[50], в значительной мере зависит от субъективных ценностных оценок и субъективного анализа специфики конкретных обстоятельств.

71. Соответствие нападения правилу соразмерности необходимо определять в каждом конкретном случае в зависимости от специфики условий и с учетом всей совокупности обстоятельств[51]. Военное значение цели, которое определяет степень допустимого сопутствующего ущерба, постоянно меняется и зависит от момента в конфликте. Выражается беспокойство на тот счет, что неограниченность правила соразмерности в сочетании со сложным характером обстоятельств может вылиться в нежелательное и неожиданное поведение БАРС со смертоносными последствиями[52]. Неспособность «конструировать» и контекстуализировать обстановку может иметь следствием решение БАРС начать нападение на основе не только неполного, но и ошибочного понимания обстоятельств[53]. Следует, однако, признать, что это случается и с людьми.

72. Соразмерность, как это широко признается, предполагает необходимость вынесения суждения конкретно человеком. Доминирующие правовые толкования этого правила прямо базируются на таких понятиях, как «здравый смысл», «добросовестность» и «стандарт разумности командира»[54]. Остается только выяснить, в какой мере эти понятия могут быть переведены на язык компьютерных программ сегодня или в будущем.

73. Помимо этого, оценки соразмерности нередко предполагают вынесение суждений скорее качественного, а не количественного плана[55].

74. Ввиду вышеизложенного возникает вопрос о том, смогут ли БАРС во всех случаях (с одной стороны) или же никогда не смогут (с другой) удовлетворять этому совокупному набору стандартов. Ответ на этот вопрос, вероятно, является не столь однозначным в том смысле, что в некоторых случаях они могут удовлетворять ему (как, например, в случае оружейной системы, настроенной только для ведения ответного огня и применения в традиционных боевых условиях), а в других случаях не могут (например, когда гражданское лицо с большим металлическим предметом в руках необходимо отличить от комбатанта в гражданской одежде). Будет ли тогда существовать возможность категоризации различных ситуаций, чтобы можно было запрещать применение БАРС в одних случаях и разрешать в других? Некоторые эксперты утверждают, что, по крайней мере, на начальном этапе определенный анализ таких аспектов, как соразмерность, должен проводиться командирами, тогда как другие аспекты можно оставить на решение БАРС[56].

D. Правовая ответственность за БАРС

75. Индивидуальная ответственность и ответственность государства имеют основополагающее значение для обеспечения ответственности за нарушение норм международного права прав человека и международного гуманитарного права. В отсутствие перспективы понести ответственность действенность факторов сдерживания и предупреждения понижается, что ведет к ухудшению защиты гражданского населения и возможному совершению военных преступлений[57].

76. Роботы неспособны принимать нравственные решения, и как следствие их никаким известным способом невозможно привлечь к ответственности, если они лишают жизни, что обычно влечет за собой уголовную ответственность, если подобные решения принимаются людьми. Кто же тогда должен нести ответственность?

77. Комбинированный характер технологии БАРС и многочисленность уровней, которые, вероятно, будут вовлечены в принятие решений об их применении, выливаются в потенциальное существование пробела, или вакуума ответственности. К числу кандидатов на привлечение к юридической ответственности относятся разработчики программного обеспечения, создатели или продавцы аппаратных компонентов, военные командиры, подчиненные, применяющие эти системы, и политические лидеры.

78. Традиционно уголовная ответственность в первую очередь будет, по-видимому, вменяться военным: ответственность командования следует считать одним из возможных решений проблемы ответственности за нарушения, совершаемые БАРС[58]. Поскольку командир может нести ответственность за самостоятельные действия подчиненного лица, вменение ответственности командиру за действия автономного робота может служить аналогией. Однако уголовная ответственность командования традиционно вменяется только тогда, когда командир знал или должен был знать, что подчиненное ему лицо планировало совершить преступление, и не принял мер для его предотвращения либо в случае его совершения не принял мер для наказания виновного[59]. Важно будет установить, в частности, будут ли командиры в состоянии достаточно хорошо понимать сложный характер программирования БАРС, чтобы их можно было привлекать к уголовной ответственности.

79. Высказывается мысль о том, что ответственность за гражданский ущерб должна, по меньшей мере, возлагаться на разработчиков программы и производителей оборудования в соответствии со схемой, аналогичной обеспечению строгой ответственности за качество продукции. Однако действие национальных законов об ответственности за качество продукции применительно к робототехнике в основном не проверено[60]. В производстве БАРС непременно задействовано множество людей, и ни один человек в одиночку не будет, вероятно, в состоянии понять сложное взаимодействие составных элементов БАРС[61]. Сомнительно также, что возлагать бремя предъявления гражданских исков на жертвы было бы справедливым, поскольку они вынуждены будут предъявлять иски в иностранном государстве и нередко не будут иметь для этого средств.

80. Вопрос о юридической ответственности может иметь первостепенное значение. Если вменение ответственности каждому из указанных выше кандидатов в итоге будет сочтено неуместным или непрактичным, возникнет вакуум ответственности, гарантируя безнаказанность за любое применение БАРС. Если характер того или иного вида оружия не позволяет определить ответственность за последствия его применения, его использование как одиозного вида оружия должно считаться неэтичным и незаконным[62].

81. Можно рассмотреть ряд новаторских методов установления юридической ответственности. Одно из условий, которые могут предусматриваться в отношении применения БАРС, заключается в заблаговременном определении ответственно-сти[63]. Ввиду того, что технологии потенциально позволяют осуществлять более точный мониторинг и реконструкцию того, что происходило во время смертоносных операций, еще одним условием для их применения может являться установка на них записывающих устройств и обязательное рассмотрение ex post facto всей записи смертоносного применения оружия, независимо от статуса убитого человека[64]. Можно также рассмотреть вариант «разделения» ответственности между возможными кандидатами[65]. Кроме того, чтобы охватить случаи применения БАРС, может потребоваться внесение поправок в правила ответственности командования. В общем плане может потребоваться усиление акцента на ответственности государства в отличие от индивидуальной ответственности, если речь не идет о случаях использованиях таких систем негосударственными субъектами.

Е. Применение государствами БАРС при отсутствии вооруженного конфликта

82. Опыт применения БПЛА показал, что этот вид военной технологии легко использовать в ситуациях, не являющихся военными действиями на традиционном поле боя.

83. Одним примером ее применения в таких условиях, когда представления о поле боя расширяются и выводятся из контекста МГП, является ситуация выбора в качестве цели предполагаемых террористов, где бы в мире они ни находились, в том числе на территориях, где может не существовать вооруженного конфликта и где в этом случае применима система МППЧ. Опасность здесь заключается в том, что мир рассматривается в качестве единого, масштабного и вечного поля боя, а сила применяется без оглядки на пороговые требования. БАРС могут усугубить эти проблемы.

84. На внутреннем фронте БАРС могут применяться государствами для подавления внутренних врагов и устрашения населения страны, пресечения демонстраций и ведения «войны» с наркоторговлей. Роботы, как говорится, не ставят под сомнение решения своих командиров и не устраивают государственных переворотов[66].

85. Возможность применения боевой автономной робототехники во внутренних правоохранительных ситуациях порождает особую опасность произвольного лишения жизни ввиду того, что БАРС неизбежно будет трудно соблюдать более строгие требования, свойственные МППЧ.

F. Последствия для государств, не обладающих БАРС

86. В контексте обсуждения вопросов, касающихся БАРС, нередко говорят о «войне без рисков» и «войнах без людских потерь». Это, как представляется, наводит на мысль о том, что ценна жизнь только тех, кто обладает такой технологией, и это дает основание испытывать беспокойство, вызванное развертыванием этой технологии, а именно безразличием к жизни тех, кто такой технологией не обладает. БАРС создают в высшей степени асимметричную ситуацию, при которой роботов могут в некоторых случаях использовать против живых людей. БАРС смогут, вероятно, – по крайней мере, на первом этапе их существования – смешать риски, сопряженные с вооруженным конфликтом, и переносить их на участников боевых действий и гражданское население противоборствующей стороны.

87. Применение всеподавляющей силы может, как было доказано, быть контрпродуктивным – как, например, в контексте демонстраций, когда, как предупреждают психологи, это может вызывать эскалацию применения контрсилы[67]. В ситуациях военных действий отсутствие у государства, применяющего БАРС, законной человеческой цели на поля боя может выливаться в нападении на гражданское население как на «наилучшие возможные цели», и применение БАРС тем самым может стимулировать ответные действия, возмездие и терроризм[68].

88. Преимущества государств, обладающих БАРС, по сравнению с другими государствами необязательно будут иметь постоянный характер. Существует возможность распространения таких систем и обладания ими другими государствами, причем не только теми, которым первые передадут или продадут их. Другие государства, вероятно, будут разрабатывать свою собственную технологию боевой автономной робототехники, в частности с разной степенью программирования для соблюдения МГП и с потенциальными проблемами совместимости алгоритмов, если БАРС противоборствующих сторон будут противостоять друг другу. Существует также потенциальная опасность приобретения БАРС негосударственными субъектами, которые в меньшей степени будут склонны соблюдать режимы регулирования, обеспечивающие контроль и транспарентность.

G. Исключение человека из процесса принятия решений

89. Исходная посылка большинства правовых, моральных и иных кодексов заключается в том, что когда на карту поставлена жизнь человека или речь идет об иных серьезных последствиях решений для людей, полномочия по принятию решений должны осуществляться людьми. Согласно Гаагской конвенции (IV) любой комбатант должен находиться под командованием «лица, ответственного за своих подчиненных». Клаузулой Мартен-са, давней и имеющей обязательную силу нормой МГП, предусмотрено требование, касающееся применения в вооруженном конфликте «принципа человечности»[69]. Исключение человека из процесса принятия решений создает опасность лишения процесса принятия решений его «человечности».

90. По мнению философа Питера Асаро, в МГП, таким образом, содержится имплицитное требование относительно того, что решения о применении смертоносной силы должны приниматься человеком и что этот процесс не может делегироваться аппаратам. Согласно такой аргументации принятие решения о применении смертоносной силы не человеком является имманентно произвольным и как следствие любая гибель людей в этом случае является произвольным актом лишения жизни[70].

91. Рассмотрение вопроса о БАРС неразрывно связано с вопросом о роли технологии в современном мире. Хотя в современной жизни аппараты помогают принимать многие решения, они в основном используются только в тех случаях, когда есть необходимость обеспечить механическое наблюдение (например, в качестве судьи на линии в спортивных соревнованиях), а не в ситуациях, требующих вынесения ценностных суждений с далеко идущими последствиями (например, в процессе вынесения решений в ходе рассмотрения дел в суде). В качестве более общего доказательства важности прямого контакта между людьми можно сослаться на то, что в правовых системах во всем мире стараются избегать заочных судебных процессов. Разумеется, роботы уже в значительной мере затрагивают нашу жизнь, в том числе и своим воздействием на решения, касающиеся жизни и смерти. Роботизированная хирургия, например, является растущей отраслью медицины, и роботы все шире используются в операциях по спасению жизни после стихийных бедствий[71]. Однако ни в каком из этих случаев роботы не принимают решения, предполагающего убийство, и поэтому БАРС заключают в себе совершенно новую перспективу.

92. Даже если исходить из того, что БАРС – особенно когда они действуют бок о бок с человеком – могут соблюдать требования МПГ, и если можно доказать, что их применение в среднем и в совокупности будет спасать жизни, напрашивается вопрос, не порочно ли изначально оставлять за автономными машинами решение вопроса о том, кого и когда убивать. Озабоченности, изложенные в предшествующих пунктах, связаны прежде всего с защитой гражданского населения. Вопрос в данном случае заключается в том, является ли применение БАРС против кого-либо, включая солдат противника, в принципе приемлемым, поскольку это влечет за собой вынесение решения о применении смертоносной силы автоматизированными системами.

93. Важнейшее соображение состоит в следующем: если ответ на данный вопрос является отрицательным, то никакое другое соображение не может служить обоснованием применения БАРС, независимо от степени технического совершенства их операционных возможностей. Если раньше был выдвинут тот довод, что применение БАРС может привести к вакууму правовой ответственности, то тезис в данном случае заключается в том, что применение БАРС может также имплицировать наличие вакуума моральной ответственности.

94. Такой подход зиждется на убеждении, что решение начать применение смертоносной силы должен где-то принимать человек и в результате субъективизировать (или взять на себя ответственность за) потерю каждой жизни в ходе военных действий как часть дебилеративного процесса человеческого общения. Это справедливо даже для вооруженного конфликта. Делегирование такого процесса машинам еще больше дегуманизи-рует вооруженный конфликт и исключает момент делиберации в тех случаях, когда она может быть практически возможной. Машины лишены нравственности и смертности и в результате не должны иметь власти над людьми при решении вопросов жизни и смерти. Это относится к числу причин, в силу которых были запрещены противопехотные мины[72].

95. Использование таких продиктованных эмоциями терминов, как «роботы-убийцы», вполне можно подвергать критике. Однако нельзя игнорировать силу интуитивных реакций, которые могут быть вызваны применением БАРС. Применение БАРС характеризуют как равносильное отношению к людям, как к «вредителям», подлежащим «истреблению»[73]. Из таких характеристик складывается такой образ БАРС, будто они являются своего рода механизированными пестицидами.

96. Опыт двух мировых войн прошлого столетия может служить объяснением рационального требования, согласно которому люди должны субъек-тивизировать потери во время вооруженного конфликта и тем самым считать себя и свои общества ответственными за такие потери. После этих войн, в ходе которых стало наглядным опустошение, к которому может привести современная технология, люди, лично принимавшие главные военные решения, будучи преисполнены решимости «избавить грядущие поколения от бедствий войны», решили создать Организацию Объединенных Наций в целях обеспечения мира во всем мире и основать ее на принципах прав человека. Хотя вооруженные конфликты сегодня отнюдь не стали явлением прошлого, мир в течение почти 70 лет был избавлен от глобальной войны. Приверженность достижению этой цели можно понимать как следствие долговременного и, по существу, межпоколенческого воздействия настойчивого утверждения принципа ответственности человека за принятие решений, предполагающих совершение убийства.

97. Этот исторический экскурс показывает опасность оценки БАРС по минимальным стандартам, принятым в вооруженном конфликте для людей. Смертные солдаты действительно способны придавать вооруженному конфликту безнравственный характер, но они также имеют возможность придерживаться более высоких ценностей и в некоторых случаях демонстрировать определенную степень милосердия и сострадания. Если на поле боя люди будут заменены системами, которые калиброваны по стандартам действий не ниже тех, что ожидаются от людей, но не имеют способности подняться выше этих минимальных стандартов, то нам может грозить опасность распрощаться с надеждой на лучшее будущее. Способность ликвидировать «возмутителей спокойствия» в любой точке мира простым нажатием кнопки несет в себе опасность сосредоточения внимания только на симптомах нежелательных ситуаций. Это будет отвлекать от работы по устранению или даже предупреждению появления их причин за счет более долговременных, невоенных усилий, которые, хотя и более трудоемкие, могут в конечном итоге принести более долговечные результаты. Таким образом, БАРС могут порождать ложное чувство безопасности у тех, кто их применяет.

Н. Другие вызывающие озабоченность вопросы

98. Возможность развертывания БАРС поднимает дополнительные вызывающие озабоченность вопросы, к числу которых относятся, но не только, следующие:

• БАРС могут стать объектом присвоения, а также объектом хакерской атаки и «спуфинга»[74]. Государства более не имеют монополии на применение силы. БАРС могут перехватываться негосударственными субъектами, такими как преступные картели или частные лица, и применяться против государства или других негосударственных субъектов, включая гражданское население.

• Могут произойти сбои в работе. Автономные системы могут быть «хрупкими»[75]. Невероятные ошибки все же могут приводить к катастрофическим последствиям.

• Трудно предвидеть будущие разработки в области технологий. Разрешение развертывать БАРС может открыть еще больший ящик Пандоры.

• Вопросы регулирования использования БПЛА в настоящее время вызывают многочисленные споры, как и правовой режим, касающийся прицельного уничтожения вообще, и появление БАРС может еще больше усилить неопределенность такого положения дел.

• Перспектива быть убитым роботами может повысить уровень беспокойства, по крайней мере, среди гражданского населения.

99. Последствия для военной культуры неизвестны, и, как следствие, БАРС могут подрывать системы государственной и международной безопасности.

I. БАРС и режимы ограничения вооружений

100. Договорные ограничения[76], налагаемые на некоторые виды оружия, вытекают из той нормы МГП, согласно которой средства и методы ведения войны не являются безграничными, и, как следствие, должны существовать ограничения, касающиеся правил, определяющих допустимость тех или иных видов вооружений[77]. В соответствии с клаузулой Мартенса запрещаются такие виды оружия, которые противоречат «требованиям общественного сознания». Обязательство не использовать виды оружия, имеющего неизбирательное действие и наносящего тем самым чрезмерный ущерб гражданскому населению, служит основанием для запрещения определенных видов оружия[78], а некоторые виды оружия были запрещены ввиду того, что они способны «причинить излишние повреждения или излишние страдания»[79] солдатам, а также гражданскому населению[80]. По аналогичным причинам запрещаются и некоторые другие виды оружия[81].

101. При рассмотрении вопроса о том, будут ли ограничения в случае БАРС уместнее прямого запрещения, следует принимать во внимание то обстоятельство, что ограничивать БАРС будет сложнее, чем другие виды оружия, поскольку они представляют собой сочетание многих и зачастую многоцелевых технологий. Эксперты убедительно говорят о том, что подход к регулированию с сосредоточением внимания на технологии – а именно, на самом оружии – может быть в случае БАРС неуместен и что в фокусе внимания должно находиться намерение или применение[82].

102. Право в области разоружения и связанные с ним договоры содержат, однако, многочисленные примеры таких видов договоров по вопросам контроля над вооружениями, в которых предусматриваются запреты или ограничения, касающиеся применения и другой деятельности. Эти договоры можно в широком смысле охарактеризовать как договоры определенного сочетания типа ограничения и типа ограничиваемой деятельности. Типы ограничений включают в себя запрещение либо другие ограничения, не предусматривающие, однако, полного запрещения.

103. К типу деятельности, которая обычно ограничивается, относится: I) приобретение, хранение и накопление запасов, II) научные исследования (фундаментальные или прикладные) и разработка, III) испытание, IV) развертывание, V) передача или распространение и VI) применение[83].

104. Другое позитивное явление в контексте разоружения заключается во включении в договоры, касающиеся вооружений, положений об оказании помощи жертвам[84]. Такая забота о жертвах перекликается с другими усилиями, направленными на решение вопросов ущерба, причиняемого гражданскому населению применением оружия и военными действиями, включая практику учета людских потерь[85] и добросовестного возмещения ущерба – применяемую, например, некоторыми государствами Международных сил содействия безопасности, – в случае гибели гражданских лиц при отсутствии признанных нарушений МГП[86]. Такая практика служит подтверждением принципа ценности человеческой жизни.

105. Существуют также важные инструменты «мягкого» права, которыми можно регулировать создание БАРС. К числу примеров соответствующих инструментов «мягкого» права в области разоружения относятся кодексы поведения, межправительственный диалог, обмен информацией и меры укрепления доверия и рамочные конвен-ции[87]. Кроме того, деятельность неправительственных организаций (НПО) и общественное мнение могут стимулировать введение ограничений в области вооружений.

106. Статья 36 Первого Дополнительного протокола к Женевским конвенциям является особенно актуальной, предусматривая на этот счет, что «при изучении, разработке, приобретении или принятии на вооружение новых видов оружия, средств или методов ведения войны Высокая Договаривающаяся Сторона должна определить, подпадает ли их применение, при некоторых или при всех обстоятельствах, под запрещения, содержащиеся в настоящем Протоколе или в каких-либо других нормах международного права, применяемых к Высокой Договаривающейся Стороне».

107. Этот процесс имеет характер не внешней инспекции, а внутренней интроспекции и основан на добросовестности сторон[88]. Соединенные Штаты, хотя и не являются государством-участником, еще в 1947 году создали официальные обзорные механизмы по вопросам вооружений. Хотя государства нельзя обязать предавать гласности результаты проводимых ими обзоров, одним из способов обеспечения большего контроля в сфере появления новых видов вооружений, таких как БАРС, будет побуждение их к большей открытости в вопросах процедуры, которой они придерживаются при проведении общих обзоров на основании статьи 36.

108. В 2012 году Соединенные Штаты, с принятием министерством обороны соответствующей директивы, приступили к реализации важного процесса саморегулирования в связи с БАРС, признав необходимость национального контроля за их производством и развертыванием и введя определенного рода мораторий[89]. Этой директивой предусматривается, что автономные системы оружия «должны быть спроектированы таким образом, чтобы позволить командирам и операторам осуществлять надлежащую степень человеческого контроля в отношении применения силы[90]. В ней определяются конкретные уровни, на которых дается официальная санкция на разработку и принятие на вооружение разных видов роботов[91]. В частности, в директиве предусмотрен запрет на разработку и развертывание БАРС, если не соблюдены определенные процедуры[92]. Эта важная инициатива одного из крупных потенциальных производителей БАРС должна быть одобрена и может открыть возможности для мобилизации международной поддержки в пользу национальных мораториев.

IV. Выводы

109. Есть, несомненно, убедительные доводы в пользу проявления большой осмотрительности в подходе к возможному созданию БАРС. Их применение может иметь далеко идущие последствия для социальных ценностей, в том числе глубоко повлиять на защиту жизни и принцип ценности человеческой жизни, равно как и на международную стабильность и безопасность. Хотя в настоящее время не ясно, как БАРС смогут во многих отношениях удовлетворять требования МГП и МППЧ, можно предвидеть, что при определенных обстоятельствах они смогут соблюдать эти требования, особенно если они будут использоваться бок о бок с солдатами. Даже если это так, существует широко распространенное беспокойство в связи с тем, что наделение БАРС возможностью убивать людей может принизить ценность самой жизни. Неустающие военные машины, готовые к применению нажатием кнопки, создают опасность перманентного вооруженного конфликта (хотя и низкой интенсивности), устраняя возможность послевоенного восстановления. Тем, кто хочет принять БАРС на вооружение, придется доказывать, что конкретные виды их применения в тех или иных конкретных условиях следует разрешить. Ввиду далеко идущих последствий их применения для защиты человеческой жизни потребуются убедительные доказательства.

110. Если слишком долго оставлять этот вопрос без внимания, он в буквальном смысле будет вырван из рук человека. Кроме того, следуя по пятам проблемного применения и оспариваемых обоснований беспилотников и прицельного уничтожения, БАРС могут серьезно подорвать способность мировой правовой системы сохранять минимальный мировой порядок.

111. Некоторые меры необходимо принять немедленно, тогда как другие могут последовать позднее. Если опыт беспилотников считать показательным, то необходимо будет с самого начала поставить на повестку дня задачу обеспечения транспарентности, ответственности и верховенства права. Потребуются моратории для того, чтобы не допустить принятия мер, которые позднее могут оказаться необратимыми, а всеохватывающий процесс принятия решения относительно подхода к этому вопросу должен идти одновременно на национальном, межгосударственном и международном уровнях.

112. Чтобы инициировать этот процесс, потребуется создать международный орган для мониторинга ситуации и выработки вариантов действий на более далекую перспективу. Непрекращающаяся работа этого органа, или его преемника, по вопросам, возникающим в связи с БАРС, будет иметь крайне важное значение ввиду постоянной эволюции технологии и необходимости обеспечить защиту права на жизнь – чтобы не допустить ни индивидуальных случаев произвольного лишения жизни, ни обесценения жизни в более широком плане.

V. Рекомендации

А. Организации Объединенных Наций

113. Совет по правам человека должен призвать все государства объявить и соблюдать национальные моратории, по крайней мере, на испытания, производство, сборку, передачу, приобретение, принятие на вооружение и применение БАРС до тех пор, пока не будет разработана согласованная на международном уровне рамочная система в отношении будущего БАРС.

114. Предложить Верховному комиссару по правам человека в приоритетном порядке созвать группу высокого уровня по вопросам БАРС, состоящую из экспертов в различных областях, таких как право, робототехника, компьютерная наука, военные операции, дипломатия, управление конфликтами, этика и философия. Эта группа должна опубликовать свой доклад в течение одного года, и ее мандат должен включать:

a) проведение анализа технических достижений, имеющих отношение к БАРС;

b) оценку правовых и этических вопросов и вопросов политики, касающихся БАРС;

c) выработку рамочной основы, позволяющей международному сообществу эффективно решать правовые вопросы и вопросы политики, возникающие в связи с БАРС, и разработку на этот счет конкретных рекомендаций по вопросам существа и процедуры; в своей работе группа должна стремиться содействовать широкому международному диалогу;

d) оценку достаточности или недостатков существующих международно-правовых и национальных нормативных основ регулирования БАРС;

e) подготовку предложений относительно последующей деятельности по итогам работы группы.

115. Все соответствующие учреждения и органы Организации Объединенных Наций должны, когда это уместно, в своих отношениях со сторонами, ведущими работу в области робототехниче-ского оружия:

a) подчеркивать необходимость обеспечения полной транспарентности применительно ко всем аспектам разработки роботизированных систем оружия;

b) добиваться от государств большей международной транспарентности относительно их процедур проведения обзора вооружений, в том числе процедур обзора на основании статьи 36 Дополнительного протокола I к Женевским конвенциям.

B. Региональным и другим межправительственным организациям

116. Поддержать предложения, изложенные в рекомендациях в адрес Организации Объединенных Наций и государств, в частности призыв к введению мораториев в качестве немедленной меры.

117. Когда необходимо, принимать инициативные меры, аналогичные или параллельные инициативам Организации Объединенных Наций.

C. Государствам

118. Ввести национальный мораторий в отношении БАРС в соответствии с предложением, содержащимся в пункте 114.

119. Заявить – в одностороннем порядке и в рамках многосторонних форумов – о приверженности соблюдению норм МГП и МППЧ во всей деятельности, связанной с роботизированными системами оружия, и принять и применять строгие процедуры соблюдения данных норм на всех стадиях разработки таких систем.

120. Взять обязательство обеспечивать максимально возможную степень транспарентности применительно к своим внутренним процедурам обзора вооружений, включая параметры, используемые при испытаниях роботизированных систем. Государствам следует как минимум обеспечить в интересах международного сообщества транспарентность относительно процедур (если и не существа результатов деятельности), которых они придерживаются, и взять обязательство проводить как можно более строгий обзор вооружений.

121. Принимать участие в международных обсуждениях и в межправительственном диалоге по вопросам БАРС и быть готовыми к обмену передовыми методами с другими государствами и сотрудничать с группой высокого уровня по вопросам БАРС.

D. Разработчикам роботизированных систем

122. Принять кодекс или кодексы поведения, этики и/или практики, определяющие содержание ответственного поведения в отношении БАРС в соответствии с МГП и МППЧ, либо усилить существующие кодексы.

E. НПО, гражданскому обществу и правозащитным группам и МККК

123. Рассматривать последствия применения БАРС для прав человека и для людей в ситуациях вооруженного конфликта и вести просветительскую работу по данному вопросу.

124. При любой возможности помогать государствам и взаимодействовать с ними в деле приведения их процедур и деятельности в данной области в соответствие с нормами МГП и МППЧ.

125. Призывать государства к обеспечению максимально возможной транспарентности в отношении их процедур обзора вооружений.

126. Поддерживать работу группы высокого уровня по вопросам БАРС.

По материалам доклада организации «Human Rights Watch» о полностью автономном оружии («роботах-убийцах»). 2013 г.[93]

По мере быстрого развития и быстрого увеличения количества автоматизированного оружия, оружие начинает на поле боя брать на себя некоторые функции солдат. Эксперты в области вооружений и робототехники предсказывают, что в течение 20-30 лет может быть разработано полностью автономное оружие (или «роботы-убийцы»), которое сможет выбирать и поражать цели по своему усмотрению без человеческого вмешательства. В настоящее время военные официальные лица говорят, что люди пока еще сохраняют возможность выбора при принятии решения: использовать (по умолчанию – смертельное) оружие или нет. Но однажды роботы смогут делать этот выбор по своему усмотрению.

Данный доклад был подготовлен негосударственными организациями «Human Rights Watch» («Наблюдение за правами человека») и «International Human Rights Clinic» («Интернациональная клиника гуманитарных прав», подразделение Гарвардской школы права). Первоочередной задачей этих организаций является: оценить, какое влияние полностью автономное оружие оказало бы на гарантии защиты мирного населения во время войны.

Этот отчет анализирует: выполняли бы «роботы-убийцы» требования международного гуманитарного права и давали ли бы они возможность проверять факты убийства гражданских лиц на соответствие нормам международного гуманитарного права.

Похоже, что полностью автономное оружие не только будет неспособно соответствовать юридическим стандартам, но также подорвет существенные неюридические гарантии безопасности для гражданских лиц. Авторы доклада приходят к заключению, что полностью автономное оружие не будет совместимо с международным гуманитарным правом. Его применение существенно увеличит риск гибели или ранения мирных жителей во время вооруженного конфликта. Поэтому необходим запрет на разработку, изготовление и использование такого оружия. И правительства всех стран должны срочно добиваться этого.

Полностью автономного оружия, которому уделяется основное внимание в этом отчете, еще не существует, но соответствующая технология развивается. И предшественники роботов-убийц уже используются. Многие страны используют системы оборонительного оружия, которые запрограммированы так, чтобы автоматически уничтожать воздушные цели. Другие предшественники полностью автономного оружия (использующиеся или находящиеся в разработке) предназначены для уничтожения живой силы и могут быть мобильным оружием нападения. Вооруженные силы дают высокую оценку такому оружию, потому что оно снижает риск поражения собственных солдат. Примеры, описанные в этом докладе, показывают, что много стран, и прежде всего США, близки к созданию роботов-убийц и имеют большой интерес к достижению этой цели.

Классификация оружия по степени автономности

Автоматизированное оружие, которое является «беспилотным», т. е. управляется удаленно оператором, часто делится на три категории по степени человеческого участия в его действиях:

• Человек В системе управления оружием (условно, IN): роботы применяют оружие только после человеческой команды;

• Человек НА системе управления оружием (условно, ON): роботы выбирают цели и применяют оружие самостоятельно, но под наблюдением человека, который может отменить действия робота;

• Человек ВНЕ системы управления оружием (условно, OUT): роботы выбирают цели и применяют оружие самостоятельно, без какого-либо человеческого участия. Человек не может отменить действий робота.

Примечания. В этом отчете термины «робот» и «роботизированное оружие» охватывают все три типа автоматизированного оружия. Другими словами, все, начиная от беспилотных самолетов с дистанционным управлением и заканчивая полностью автономным оружием – «роботами-убийцами». Хотя эксперты обсуждают точное определение, что такое робот, по существу роботы – это машины, которые работают на основании того, как они запрограммированы. Некоторые роботы обладают определенной степенью автономии, что означает способность машины работать без человеческого наблюдения/участия. Уровень автономии робота может измениться в очень широких пределах. Данная классификация и тенденция в развитии оружия являются прекрасным примером для ТРИЗ (теория решения изобретательских задач) на линию развития «вытеснение человека из технической системы».

1. Планы развития автономного оружия

Использование роботов в боевых действиях – уже не новость. Американские «дроны» (беспилотные самолеты, удаленно управляемые оператором) Predator, Reaper широко использовались в Афганистане и других странах. Эти дроны уже обладают некоторым уровнем автономии, которая относится к способности машины работать без человеческого наблюдения. Дроны обеспечивают разведку и обнаруживают цели, а оператор идентифицирует цель, принимает решение и подает дрону команду на применение оружия, что соответствует степени автономности IN (Человек В системе управления оружием). Таким образом, у нынешнего автоматизированного оружия в «петле принятия решения» (decision loop) все еще есть человек, т. е. требуется человеческое вмешательство прежде, чем будет применено оружие. Если бы оружие было полностью автономно, то оно идентифицировало бы цели и само их уничтожало.

Поскольку наблюдается тенденция вытеснения человека из «цепи принятия решения», в скором времени полностью автономное оружие («роботы-убийцы») будет само принимать решение о применении оружия. По мнению военных экспертов, вооруженные воздушные силы будущего будут все более и более беспилотными и автономными. В последнее время министерство обороны США ежегодно тратит примерно 6 млрд. долл. на научные исследования в этой области. Военные стратегические документы, особенно США, отражают планы увеличения степени автономности систем вооружений. Министерство обороны США предполагает развитие беспилотных воздушных, наземных и подводных систем, легко совместимых с системами, управляемыми человеком, постепенное уменьшение степени человеческого контроля и принятия решения. По оценкам экспертов, полностью автономное оружие будет на вооружении к 2025 г.

2. Предшественники полностью автономного оружия

2.1. Системы автоматического оборонительного оружия

Системы автоматического оборонительного оружия являются первым шагом на пути к полной автономии оружия. Данные системы обнаруживают воздушные цели и автоматически применяют свои средства поражения, чтобы их обезвредить. Человеческое участие в работе системы здесь ограничено принятием или отвержением плана действий компьютера за несколько секунд до применения средств поражения. У США есть несколько таких систем. Автоматизированная корабельная система ближнего боя «Фаланга» была установлена на боевые корабли еще в 1980 г. и до сих пор широко используется США и союзниками в модернизированных версиях.

«Фаланга» обеспечивает самостоятельный поиск, обнаружение, идентификацию, сопровождение и поражение воздушной цели (противокорабельной ракеты или самолета) огнем скорострельных мелкокалиберных пушек. Наземная версия «Фаланги» использовалась США в 2005 г. в Ираке. По сообщениям, 22 такие системы сбили более чем 100 воздушных целей (ракет, артиллерийских и минометных снарядов). Согласно одной американской армейской публикации, после того, как система обнаруживает угрозу, «оператор должен идентифицировать цель почти мгновенно, чтобы уничтожить воздушную цель вовремя, но он это не способен сделать». Поэтому функции обнаружения и поражения воздушных целей полностью возложены на автоматизированную систему.

Другие страны разработали похожие системы оборонительного оружия. Израиль развернул свою ракетную систему «Железный Купол» около границы с Сектором Газа и в Эйлате около Синайского полуострова. При помощи радара система обнаруживает и идентифицирует ракеты малой дальности и 155-миллиметровые артиллерийские снаряды на расстоянии до 70 километров. «Железный Купол» вооружен 20-ю ракетами-перехватчиками «Tamir». Израиль заявил, что у «Железного Купола» более чем 80-процентный показатель успешности поражения целей: «Она сбила множество ракет, которые убили бы израильские гражданские лица так, как это было в апреле 2011 г.». В долю секунды после обнаружения поступающей угрозы «Железный Купол» показывает рекомендуемый ответ на угрозу оператору. Оператор должен немедленно решить, дать ли команду на поражение воздушной цели.

Другой пример системы оборонительного автоматического оружия – «Богомол NBS», Германия, предназначенной для защиты своих военных объектов в Афганистане. В течение 4,5 секунд после обнаружения целей на расстоянии примерно в три километра система открывает огонь из шести 35-миллиметровых автоматических пушек со скорострельностью в 1000 выстрелов в минуту. Система имеет очень высокую степень автоматизации, включая автоматическое обнаружение и сопровождение целей. Эти процессы оператор может только наблюдать (источник информации не сообщает, может ли оператор прервать эти процессы). У данных систем оборонительного оружия уже есть существенная степень автономии, потому что они могут обнаружить, сопровождать и поражать цели с минимальным человеческим участием. Но военные эксперты вообще подвергают сомнению эффективность и необходимость человеческого наблюдения и участия при использовании оборонительного оружия этого типа (для скоротечного ближнего боя). «Человек, конечно, участвует в принятии решения, но главным образом во время начального программирования робота. Во время эксплуатации системы оператор действительно может только отвергнуть решение робота. Но это решение оператор должен принять за промежуток времени менее одной секунды. Когда оператор сталкивается с такой ситуацией, он склонен доверить принятие решения на поражение цели автоматике (несмотря на возражения, что система ненадежна, и т. п.).

Здесь отметим, что оборонительное автоматическое оружие против воздушных целей представляет не очень большую опасность для гражданских лиц, потому что оно разработано для того, чтобы уничтожить беспилотные воздушные цели, и не живую силу противника на поле боя.

2.2. Другие предшественники полностью автономного оружия

Другие «автоматизированные системы оружия, которые еще сохраняют людей в «петле принятия решений», также являются потенциальными предшественниками полностью автономного оружия. Вооруженные силы некоторых стран уже развернули наземных военных роботов. Эти системы представляют значительно большую угрозу гражданским лицам, чем рассматриваемые ранее системы оборонительного автоматического оружия. У систем, которые будут обсуждаться ниже, мишенью является человек.

Южная Корея разработала и начала использовать сторожевых наземных роботов. В 2010 г. Южная Корея установила стационарных сторожевых роботов SGR-1 (ценой 200.000 долл. каждый), вдоль демилитаризированной зоны для того, чтобы обнаруживать появление в демилитаризованной зоне людей. Роботы обнаруживают людей при помощи инфракрасных датчиков и датчиков движения и посылают предупредительный сигнал и изображение цели в центр управления.

Из центра управления оператор принимает решение, стрелять или нет по цели из 5,5-миллиметрового пулемета или 40-миллиметрового автоматического гранатомета. Датчики SGR-1 могут обнаруживать людей на расстоянии в две мили днем и на расстоянии в одну милю ночью Оружие робота может поражать цели на расстоянии в две мили. Сейчас у робота есть и автономные возможности наблюдения, но он не может стрелять без человеческой команды. Однако имеются сообщения (журнал Institute of Electrical and Electronics Engineers), что у этого робота есть автоматический режим, в котором он сам принимает решение о применении оружия. Правда, наверное, оператор может удаленно отключить автоматический режим работы робота.

Израиль тоже развернул другую полуавтономную наземную систему «Guardium», которая, по сообщениям, используется для того, чтобы патрулировать границу Израиля с Сектором Газа. «Guardium» разработан для того, чтобы выполнять обычные для охраны границы задачи, такие как патрулирование границы по запрограммированному маршруту. Но система может самостоятельно реагировать на незапланированные события, в соответствии с рекомендациями, запрограммированными с учетом особенностей местности и доктрины безопасности. У «Guardium» может быть режим «автономного выполнения миссии».

Беспилотные самолеты, такие как американский «Х-478», имеют большую степень автономии, чем широко рекламируемые «дроны». Оператор миссии следит за самолетом, но активно не управляет им, как в настоящее время это делается для дронов. Х-478 самостоятельно взлетает, выполняет запрограммированное задание и возвращается на базу после команды оператора миссии.

В 2010 г. Великобритания представила опытный образец своего боевого самолета «Taranis». Разработчики описали его как автономный и невидимый беспилотный самолет стратегической авиации. «Taranis», как ожидают, пока сохранит человека в петле принятия решения, но подразумевается возможность его большей автономии в будущем.

Другие страны также разрабатывают или выпускают беспилотные самолеты, которые являются предшественниками полностью автономного оружия. Израильская «Гарпия», например, была охарактеризована как «комбинация беспилотного самолета и крылатой ракеты». Ее задача – самостоятельно долететь до запрограммированной зоны патрулирования, обнаружить там сигналы вражеских радаров и затем уничтожить цель (систему, на которой установлен радар).

Теперь расскажем о «роях». Американские вооруженные силы планируют массовое использование автономных самолетов большими группами («роями»). Самолеты сами распределяют между собой цели, а диспетчер управляет ими как единой группой, а не индивидуально каждым самолетом. В случае использования «роев», человеческое участие в работе системы минимальное, потому что оператор физически не в состоянии отследить большое количество целей и очень быстро принять решение по каждой из них.

Поскольку люди все еще сохраняют контроль над решением использовать летальное оружие, вышеупомянутые системы оружия еще не полностью автономны, но они развиваются быстро в этом направлении. Сторонники полностью автономного оружия рекламируют его военные преимущества, такие как сокращение численности войск, требуемых для военных операций, высокой «бдительности» и мгновенной реакции часовых, не подверженных страху. Критики полностью автономного оружия в первую очередь беспокоятся о безопасности мирного населения в зоне военных действий.

3. Роботы-убийцы и международное гуманитарное право

Цивилизованное общество выработало законы и нормы гуманного ведения войны, юридически закрепленные в документах международного гуманитарного права. Существует оружие (в частности, химическое оружие и противопехотные мины), применение которого запрещено международным гуманитарным правом. И государства, подписавшие Конвенцию о запрещении химического оружия и о запрещении противопехотных мин, или уже уничтожили запасы такого оружия либо приступили к его уничтожению.

А как обстоят дела с полностью автономным оружием?

Смогут ли роботы-убийцы выполнять требования международного гуманитарного права, минимизировать потери гражданского населения в зоне военного конфликта? Критики полностью автономного оружия приводят множество убедительных доводов, что это невозможно, а его сторонники предлагают различные способы, как сделать роботов-убийц гуманнее.

3.1. Доводы критиков против полностью автономного оружия

«Роботы-убийцы» не смогут соблюдать международное гуманитарное право» – считают противники полностью автономного оружия.

Первоначальная оценка полностью автономного оружия показывает, что, похоже, роботы-убийцы будут неспособны соблюдать ключевые принципы международного гуманитарного права. Они будут неспособны следовать правилам гуманного ведения военных действий, различения (противника и мирных жителей), пропорциональности (применения оружия) и военной необходимости (применения оружия). Даже убежденные сторонники полностью автономного оружия признают, что проблема различения противника от гражданского лица является одной из нескольких «пугающих проблем».

3.1.1. Проблема различения

Правило различения (требует, чтобы солдат перед тем, как открыть огонь по цели, различил (определил) – это противник или мирный житель) является одним из самых больших препятствий для полностью автономного оружия. У полностью автономного оружия нет способности ощутить или интерпретировать различие между солдатами противника и гражданскими лицами, особенно в современной боевой окружающей обстановке.

Изменение характера вооруженного столкновения за прошлые несколько десятилетий (от войны между солдатами на поле боя – к асимметричным конфликтам), характеризуемого боями на городских улицах среди гражданского населения, сделало различение воюющих и невоюющих людей очень трудным. Государства, активно разрабатывающие автономное оружие (США, Израиль, европейские страны), воюют преимущественно с террористами, которые не носят униформы или знаков отличия. Вместо этого они стремятся быть как можно более похожими на гражданское население. Казалось бы, что робот может легко дать ответ ДА или НЕТ на вопрос с двойным ответом – действительно ли человек является противником? Но фактически полностью автономное оружие не сможет дать правильный ответ, если воюющие стороны не будут носить форму и/или знаков отличия (например, погоны). Различение гражданского лица и вооруженного террориста находится вне рамок машинного восприятия. В любом случае террористам было бы легко обмануть этих роботов, например, пряча оружие.

3.1.2. Проблема пропорциональности

Требование, чтобы применение оружия было пропорциональным (одно из самых сложных правил международного гуманитарного права) нуждается в человеческой оценке ситуации, что непосильно для полностью автономного оружия. Тест пропорциональности запрещает применение оружия, если ожидаемый вред гражданским лицам превышает ожидаемый эффект от его военного применения. Определение пропорциональности применения того или иного оружия зависит в большой степени от конкретной ситуации на поле боя. Юридически правильный ответ в одной ситуации может стать неверным даже при небольшом изменении фактов, лежащих в основе юридической оценки.

Очень маловероятно, что робот сможет анализировать огромное количество возможных сценариев, чтобы правильно интерпретировать ситуацию в режиме реального времени. Проблемы робота с анализом такого количества ситуаций из-за ограниченности вычислительной мощности компьютера и программного обеспечения вмешались бы в его способность правильно выполнить тест пропорциональности. Те, кто интерпретирует международное гуманитарное право в сложных и динамичных сценариях, призывают на помощь человеческое суждение, а не автоматическую способность принятия решения компьютером. Тест пропорциональности субъективен, учитывает довольно широкий спектр мнений и должен, прежде всего, быть вопросом здравого смысла и разума военных начальников.

Международные суды, вооруженные силы, например, приняли «стандарт разумного военачальника». Международный военный трибунал для бывшей Югославии, например, писал: «В определении, было ли применение оружия пропорционально, необходимо исследовать, может ли в сложившейся ситуации человек в условиях, когда вокруг совершаются массовые преступления, ожидать, что чрезмерные жертвы среди гражданского населения будут результатом применения оружия по его приказу». Тест на пропорциональность требует больше, чем балансирование количественных данных. И робот не может быть запрограммирован так, чтобы дублировать психологические процессы при принятии человеком решения (которые необходимы, чтобы оценить пропорциональность применения оружия).

Приведем примеры.

Сценарий, в котором полностью автономный самолет идентифицирует появившуюся важную цель (например, лидера бандформирования), иллюстрирует трудности, с которыми такие роботы могут столкнуться при применении теста пропорциональности. Самолет может правильно определить местонахождение вражеского лидера в населенном районе, но он должен будет оценить, будет ли законно стрелять в него. Во-первых, если такая цель находится в городе, то ситуация вокруг нее постоянно меняется. Например, школьный автобус может внезапно оказаться на линии прицеливания. Во-вторых, самолет должен взвесить ожидаемые преимущества уничтожения лидера против числа гражданских лиц, которые, как он ожидает, будут убиты. Каждый лидер может иметь различную ценность, и его ценность может изменяться в зависимости от ситуации в конфликте. Кроме того, люди лучше подходят для того, чтобы делать такие оценочные суждения.

3.1.3. Проблемы военной необходимости

Как и пропорциональность, военная необходимость требует субъективного анализа ситуации. Это позволяет вооруженным силам планировать военные действия, принимать во внимание практические требования военной ситуации в любой данный момент времени. Но военная необходимость ограничивается требованием «человечности». Один ученый описал военную необходимость как «контекстно-зависимое, основанное на ценности суждение командующего (в пределах определенных ограничений достоверности)». Идентификация, стал ли вражеский солдат «вне боя» (по-французски hors de combat), т. е. не способный или не желающий оказать сопротивление, требует человеческой оценки. В частности, полностью автономному роботу-часовому будет трудно принять решение – стрелять ли еще в упавшего нарушителя границы (в которого робот уже стрелял)?

3.1.4. Проблема отсутствия человеческих эмоций

Еще более серьезная проблема состоит в том, что полностью автономное оружие не обладает человеческими эмоциями (необходимыми для оценки намерений человека), которые являются ключевыми для различения цели. Если невозможно предположить, что все люди вокруг являются противниками (т. е. целями), тогда необходимо выяснить, кто противник, а кто нет. Один из способов определить, является ли человек противником, состоит в том, чтобы понять эмоциональное состояние человека. Но бывает огромное число обстоятельств, где применять оружие нет необходимости. Например, напуганная мать может бежать за своими двумя детьми и кричать на них, чтобы те прекратили играть с игрушечными пистолетами около (человека) солдата. Солдат может распознать страх матери, детскую игру и признать намерения детей безопасными. А полностью автономное оружие увидело бы, что к нему бегут два вооруженных человека и открыло бы по ним огонь.

Сторонники полностью автономного оружия предполагают, что отсутствие человеческих эмоций – главное его преимущество. Но они не рассматривают побочные эффекты применения такого оружия. Сторонники подчеркивают, например, что роботы неуязвимы для эмоциональных факторов, таких как страх и гнев, которые могут «омрачить» рассудок и привести к атаке на гражданских лиц. Они также считают, что роботы могут быть запрограммированы так, чтобы действовать без страха за собственную «жизнь», и поэтому могут пожертвовать собой.

Человеческие эмоции, однако, обеспечивают одну из лучших гарантий защиты против убийства гражданских лиц. И отсутствие эмоций может сделать убийство более легким. При обучении солдат (чтобы им было психологически проще уничтожать живую силу противника) им часто пытаются привить «психологию робота», когда то, что иначе казалось бы ужасным действием, может быть хладнокровно выполнено. Этот процесс уменьшения эмоциональной чувствительности может быть необходим, чтобы помочь солдатам выполнять боевые операции и справиться с ужасами войны. Но безотносительно военной подготовки солдаты сохраняют способность своей эмоциональной идентификации с гражданскими лицами. Это важная часть сочувствия, которое является главной в сострадании.

Роботы не могут идентифицировать себя с людьми, т. е. они неспособны испытывать сострадание (сильную проверку на готовность убить). Например, робот в зоне боевых действий мог бы выстрелить в ребенка, направляющего на него оружие. В отличие от робота, солдат-человек мог бы вспомнить своих детей, задержать открытие огня и найти более милосердное решение этой ситуации. Одно из самых больших ограничений для проявления жестокости во время войны всегда было естественное желание большинства людей не убивать. Этот естественный запрет так силен, что многие умерли бы сами, чем убили бы кого-то. Снятие этого запрета на убийство при помощи использования роботов устранило бы самое сильное психологическое и этическое ограничение на применение оружия во время войны. Война стала бы негуманно эффективной и не была бы ограничена естественным желанием солдат не убивать.

С другой стороны, полностью автономное оружие может стать прекрасным инструментом репрессии для диктаторов, стремящихся сохранить власть. Даже наиболее преданные диктатору войска могут, в конечном счете, повернуть против него свое оружие, если диктатор отдаст приказ стрелять в собственный народ. Диктатор, который обратился к помощи полностью автономного оружия, не будет бояться, что его вооруженные силы взбунтуются. Роботы не идентифицируют себя с их жертвами и будут выполнять приказ независимо от того, насколько негуманный он был.

3.1.5. Проблема ответственности за убийство полностью автономным оружием Учитывая, какие проблемы полностью автономного оружия создает международному гуманитарному праву и как оно игнорирует психологические основы гуманитарной защиты, неизбежно, что оно когда-нибудь убьет или ранит множество беззащитных гражданских лиц. Когда появляются многочисленные жертвы среди гражданского населения в вооруженном столкновении, люди хотят знать, кто за это должен нести ответственность. Если бы убийство было совершено полностью автономным оружием, встал бы вопрос: кого считать за это ответственным? Варианты ответов включают военачальника, программиста, изготовителя полностью автономного оружия и даже самого робота. Однако ни один из этих вариантов не является удовлетворительным. Поскольку нет никакого справедливого и эффективного способа назначить юридическую ответственность за противоправные действия, переданные полностью автономному оружию, подрывается еще один инструмент защиты гражданских лиц во время вооруженных конфликтов.

Первый способ решения проблемы может состоять в том, чтобы сделать военных начальников, которые используют такое оружие, ответственными за его действия на поле боя. Однако считается, что солдаты – достаточно автономные существа. И их командиры не несут юридической ответственности за противоправные действия своих подчиненных (за исключением очень особых обстоятельств). Поэтому было бы несправедливым возложить всю ответственность на военачальника за действия полностью автономного оружия. И, наверное, несправедливо считать людей ответственными за действия машин, над которыми они не имеют контроля. В некоторых ситуациях (принцип несения «ответственности за команду») военачальник может считаться ответственным за военные преступления, совершенные подчиненным. Этот принцип применяется, если военачальник знал (или должен был знать), что его подчиненный запланировал совершить преступление. И военачальник не принял меры, чтобы предотвратить преступление или не наказывал преступника после совершения преступления.

В то же время как этот принцип стремится обуздать нарушения международного гуманитарного права, усиливая ответственность военачальника, он плохо подходит для полностью автономного оружия. С одной стороны, «ответственность за команду», вероятно, можно было бы применить, если бы командующий знал потенциальные способности этого оружия выполнять незаконные действия против гражданских лиц и все же опрометчиво применил полностью автономное оружие.

С другой стороны, если бы военачальник понял (как только робот начал действовать), что робот совершает преступление, то военачальник был бы неспособен перепрограммировать робота в режиме реального времени, чтобы предотвратить преступление. Потому что робот разработан так, чтобы действовать полностью автономно. Кроме того (как будет обсуждено более подробно ниже), военачальник не может эффективно наказать робота после того, как тот совершит преступление. Таким образом, кроме случаев опрометчивого поведения «ответственность за команду» нельзя применять, и военачальник не будет считаться ответственным за действия полностью автономного оружия.

Противоправное действие, совершенное полностью автономным оружием, может быть результатом недоработки программного обеспечения. Однако программист с полной уверенностью не может предсказать решение, которое полностью автономный робот примет на поле боя. Поэтому считать программиста ответственным будет справедливо, если описанная выше ситуация произошла в результате небрежности со стороны команды программистов при написании компьютерной программы. Кроме того, чтобы считать программиста преступно ответственным в соответствии с международным гуманитарным правом, нужно доказать, что программист преднамеренно запрограммировал противоправное действие робота.

Некоторые эксперты отмечают возможность трактовать ответственность производителя за качество выпускаемой продукции как потенциальную модель для введения ответственности изготовителей полностью автономного оружия за его противоправные действия. Если бы изготовители могли бы считаться строго ответственными за недостатки в этом оружии, то ответственность изготовителей стала бы стимулом для производства очень надежных полностью автономных систем вооружения. Однако режим ответственности за качество выпускаемой оружейной продукции тоже противоречит верному решению, потому что производители оружия, как правило, не наказываются за то, как их оружие в дальнейшем используется.

К сожалению, возложение ответственности на любого из описанных выше действующих лиц (военачальника, программиста, изготовителя) не удержит самого робота от противоправных действий. По определению, полностью автономное оружие работает без человеческого контроля и возможности вмешательства в его работу. А отсутствие эмоций у полностью автономного оружия не позволит ему испытать раскаяние, если кто-то вместо самого робота будет наказан за его действия.

Также есть мнение, что само полностью автономное оружие могло бы считаться ответственным за незаконное убийство гражданских лиц. Однако в ближайшие 10-20 лет это невозможно сделать из-за недостаточного уровня развития робототехники. Робота можно «наказать», уничтожить его или ограничить его программное обеспечение. Однако это вряд ли удовлетворят жертв робота, ищущих возмездия. Кроме того, если робот не понимает, что будет наказан за то, что нарушил закон, его решения не будут находиться под влиянием угрозы ответственности.

3.1.6. Проблема понижения порога принятия решения о начале войны

Достижения в военной технологии позволили вооруженным силам значительно уменьшить непосредственное человеческое участие в ведении военных действий. Изобретение беспилотных летательных аппаратов (дронов) позволило США проводить военные операции в Афганистане, Пакистане, Йемене, Ливии без страха перед человеческими жертвами со своей стороны. Из-за этого фактора постепенная замена людей на полностью автономное оружие может сделать принятие решения начать войну более легким, а бремя потерь в зоне военного конфликта перейдет к гражданским лицам. Автоматизированное оружие изменяет политические расчеты при ведении войны. Потенциальная угроза жизни гражданских лиц вражеского государства может быть обесценена или даже проигнорирована при принятии решения об использовании военной силы. Результат применения вооруженных дронов показывает, к чему может привести применение оружия с еще большей автономией.

Военные эксперты утверждают, что беспилотные самолеты уже понизили порог для принятия решения о начале войны, облегчили политическим лидерам принятие решения на применение военной силы. Кроме того, быстрое увеличение количества беспилотных систем может притупить инстинктивное чувство неприятия убийства. Беспилотные системы создают физическое и эмоциональное «расстояние» от поля боя и поэтому делают убийство более легким.

Действительно, некоторые операторы дронов сравнивают атаки дрона с компьютерной игрой. Поэтому они чувствуют себя эмоционально отделенными от акта убийства. Война становится более безопасной и легкой, когда солдаты удалены от ужасов войны и рассматривают врага не как людей, а как человеческие фигурки на экране. И есть очень реальная опасность потерять средство устрашения, которое обеспечивают ужасы войны. Полностью автономное оружие создает те же самые проблемы.

В то время как некоторые достижения в военной технологии способствуют предотвращению войны (например, ракетно-ядерное оружие), разработка полностью автономного оружия сделает войну более вероятной и приведет к непропорциональным потерям среди мирных жителей. Поэтому полностью автономное оружие никогда не должно появиться в арсеналах вооруженных сил.

3.2. Доводы сторонников полностью автономного оружия

Сторонники полностью автономного оружия признали, что такие новые роботы должны были бы выполнить международное гуманитарное право. Поэтому предложили множество механизмов соблюдения гуманитарного права, которые, по мнению сторонников полностью автономного оружия, смогут предотвратить любые нарушения законов войны. Два из этих предложений будут обсуждены ниже.

3.2.1. «Нравственный регулятор» робототехника Рональда Аркина

Рональд Аркин (Ronald Arkin), робототехник из Технологического института штата Джорджия, сформулировал «самую всестороннюю архитектуру» для механизма соблюдения международного права при использовании полностью автономного оружия. Применение оружия должно быть ограничено минимально необходимым уровнем LOW (закон войны, law of war) и правилами использования летального оружия в бою ROE (rules of engagement), прежде чем оно сможет использоваться автономной системой. Он утверждает, что такие ограничения могут быть достигнуты при помощи так называемого «нравственного регулятора» (ethical governor).

Нравственный регулятор – сложное предложение, которое требует, чтобы роботы перед открытием огня использовали двухступенчатый процесс оценки ситуации. Во-первых, робот должен оценить информацию, которую он получил при помощи своих систем, и определить, запрещено или нет применение оружия в соответствии с международным гуманитарным правом и указанными выше правилами. Если нарушается требование различия (робот должен отличать живую силу противника от гражданских лиц), применение оружия блокируется. Если это требование не нарушается, подготовка к применению оружия может продолжаться, если атака цели необходима согласно оперативному приказу.

На втором шаге робот должен оценить последствия применения оружия, пользуясь тестом пропорциональности. Нравственный регулятор количественно определяет множество критериев, таких как вероятность эффективного поражения цели в военном отношении, возможность поражения гражданских лиц или гражданских объектов, основанных на технических данных.

Затем робот использует алгоритм, который объединяет статистические данные с поступающей информацией, чтобы прагматически оценить необходимость применения оружия. Робот может начать стрелять только тогда, когда он находит, что применение оружия удовлетворяет всем этическим ограничениям и минимизирует сопутствующий ущерб относительно военной необходимости уничтожения цели.

Аркин утверждает, что с нравственным регулятором полностью автономное оружие было бы в состоянии выполнить международное гуманитарное право лучше, чем люди. Например, оно могло бы получать больше информации и обработать ее быстрее, чем люди. Робот не может применить оружие под влиянием гнева или страха. Робот мог бы контролировать этическое поведение своих человеческих коллег-солдат. В то же время оптимистичный Аркин признает, что еще преждевременно определять, возможна ли реализация этого механизма в полностью автономном оружии.

3.2.2. «Сильный» искусственный интеллект

Другой, еще более амбициозный подход: автономные роботы будут соблюдать гуманитарные законы, потому что будут иметь разум, сравнимый (а, может, и превышающий) человеческий разум. Министерство обороны США определяет роботов с «сильным (истинным) искусственным интеллектом» как роботов с «подобной или большей способностью думать как человек». Защитники концепции разработки автоматизированного оружия с «сильным» искусственным интеллектом считают, что использование роботов, управляемых «сильным» искусственным интеллектом, на поле битвы приведет к меньшему количеству разрушений, станет «воспитывающей силой» во время войны и поможет цивилизации в ее борьбе против терроризма.

У таких роботов «вычислительная мощность компьютера приблизится к познавательной способности человеческого мозга». Но многие эксперты полагают, что это предложение может быть больше желаемым, чем реализуемым в действительности. Даже если бы разработка полностью автономного оружия с подобным человеку разумом стала бы возможной, у роботов отсутствовали бы некоторые человеческие качества, такие как сострадание и способность понять людей.

4. Контроль за разработками полностью автономного оружия

Согласно статье 36 Дополнительного протокола I к Женевской конвенции государства должны разрабатывать новое и модернизировать существующее оружие в соответствии с международным правом. Системы автоматизированных вооружений даже с участием человека в процессе управления должны подвергаться международному контролю.

Международный комитет Красного Креста выдвинул на первый план автономное оружие как проблемную область. Относительно статьи 36 Международный комитет написал: «Использование оружия дистанционного управления на больших расстояниях или оружия с датчиками обнаружения живых целей приводит к автоматизации поля битвы, в котором солдат играет все менее важную роль. И страшно подумать, что может случиться, если полностью автономное оружие будет действовать только по своему усмотрению. Ведь в самой совершенной компьютерной программе может быть сбой. Контроль необходим еще потому, что любую «не опасную» беспилотную систему легко вооружить, как это произошло с американским дроном Predator.

Чтобы соответствовать международному гуманитарному праву, полностью автономное оружие нуждалось бы в человеческих качествах, в которых оно «врожденно» испытывает недостаток. В частности, у таких роботов не было бы способности почувствовать и понять намерения людей. Кроме того, многих людей мысль о роботах, принимающих жизненно важные решения, находящиеся ранее в компетенции людей, приводит в ужас. Развитие автономного оружия должно быть остановлено прежде, чем оно достигнет этапа, когда люди будут полностью удалены от цепочки принятия решений.

Заключение

Полностью автономное оружие сделает развязывание военных действий легче и значительно увеличит урон гражданским лицам во время военных действий. Оно неспособно выполнять основные принципы международного гуманитарного права. Оно подрывает другие, неюридические гарантии, которые защищают гражданские лица во время военных действий. Хотя полностью автономного оружия еще не существует, военная технология быстро развивается в этом направлении. И появление полностью автономного оружия (роботов-убийц) возможно в течение ближайших десятилетий.

Поэтому, прежде чем это станет свершившимся фактом, государства и ученые должны принять срочные меры, чтобы рассмотреть и отрегулировать развитие военной технологии, связанной с автономией роботов. В частности, государства должны запретить создание оружия, у которого есть полная автономия, которое само будет решать, когда применить оружие.

Авторы доклада рекомендуют:

Всем государствам:

• Запретить разработку, производство и использование полностью автономного оружия через международный всеми признанный юридический документ.

• Принять внутригосударственные законы, запрещающие разработку, производство и использование полностью автономного оружия.

• Начать мониторинг технологий, которые могут привести к полностью автономному оружию. Мониторинг должен иметь место в самом начале процесса разработки и продолжаться по фазам разработки и тестирования автоматизированного оружия и оружия с частичной автономией.

Робототехникам и другим лицам, вовлеченным в разработку автоматизированного оружия:

• Установить профессиональные нормы поведения, управляющие научными исследованиями в области автономного оружия.

Такие нормы поведения могут помочь гарантировать, что научные исследования в области автономного оружия развиваются в соответствии с международным гуманитарным правом, которое защищает гражданские лица в вооруженном конфликте. Академические и научные ассоциации могли бы спроектировать и распространить такой кодекс норм поведения. Нормы поведения для военного технического прогресса уже существуют в областях синтетической биологии и нанотехнологии.

Заключение

Представленные в сборнике материалы убедительно свидетельствуют, что боевые, логистические, разведывательные, иные интеллектуальные роботы и автономные системы, находящиеся в распоряжении военных, и в особенности террористов и преступников, порождают все возрастающие риски и угрозы России, ее народу и отдельным гражданам.

Однако все обстоит не так плохо, как представляется. На самом деле все гораздо хуже. Риски и угрозы со стороны автономных интеллектуальных систем и роботов невозможно понять вне контекста Четвертой производственной революции. Сегодня становится ясно, что именно роботы являются интегрированным технопакетом, который объединяет все основные направления Четвертой производственной революции. В самом деле, сегодняшние интеллектуальные военные и гражданские роботы невозможны без информационных технологий, Больших Данных, новых материалов, нанотехнологий, искусственного интеллекта и глубокого машинного обучения. В ближайшие годы ждут появления антропоморфных роботов, где металлические и полимерные детали будут соединены с биологическими фрагментами, полученными на основе достижений синтетической биологии и биоинформатики.

С каждым днем все больше фактов свидетельствует, что при всех несомненных острых проблемах, противоречиях и трудностях, имеющихся в США, Западной Европе, Южной Корее, Китае, Японии и т. п., буквально на наших глазах разворачивается и набирает темпы Четвертая производственная или промышленная революция. До Давосского форума 2016 года она именовалась Третьей производственной революцией. Поскольку организаторы Давоса решили войти в историю, они просто поменяли порядковый номер, не изменив ничего больше в концепции производственной революции Джереми Рифкина. Еще в 2013 году Джереми Рифкин опубликовал международный бестселлер «Третья промышленная революция» (недавно изданный на русском языке), который стал настольной книгой многих политиков как Востока, так и Запада. Ее автор признан одним из наиболее влиятельных экономистов современности. Он является советником Еврокомиссии. Среди его поклонников – Б. Обама, Политбюро Коммунистической партии Китая, правительство Бразилии, а на постсоветском пространстве – руководство Казахстана. На основе идей Рифкина разработан план дальнейшего экономического развития Евросоюз.

Наряду с книгой Дж. Рифкина Третьей производственной революции посвящены еще два бестселлера – книга Питера Марша «Новая индустриальная революция: потребители, глобализация и конец массового производства» (The New Industrial Revolution: Consumers, Globalization and the End of Mass Production) и бестселлер Криса Андерсона «Производители: Новая промышленная революция» (Makers: The New Industrial Revolution). Они стали настольными книгами не только в высоких государственных кабинетах, штабах военачальников, офисах разведслужб, но и, прежде всего, для бизнеса, новой генерации научно-технического, инженерного, производственного и программистского сословий.

При всем различии позиций авторы едины в том, что производственная революция означает глубокие, быстрые в исторической перспективе, скачкообразные (фазовые) изменения в самих основах техники и технологий, используемых во всех основных отраслях хозяйства. Эти изменения ведут к необратимым и качественным сдвигам в организации труда и производства, системах снабжения, маркетинга и потребления. Производственная революция изменяет базовые структуры экономической жизни. Полностью перестраивает социум и привычные способы его регулирования. Преобразует политические институты. Любая производственная революция имеет неоспоримые положительные эффекты и неизбежно связана с целым рядом негативных, как правило, острых и тяжелых социальных последствий и проблем для широких масс населения.

Третья производственная революция по своим масштабам, последствиям и сдвигам стоит не только наравне, а возможно и превосходит Первую и Вторую производственные революции. Первая производственная революция конца XVIII – начала XIX века была связана с текстильной отраслью, энергией пара, углем, железными дорогами и т. п. Вторая производственная революция конца XIX – первой половины XX века стала детищем электричества, двигателей внутреннего сгорания, триумфом машиностроения и конвейера, как метода организации производства.

Уже на начальных стадиях Третьей производственной революции можно выделить несколько определяющих ее черт:

– во-первых, одновременное широкое производственное применение различных независимых кластеров технологий. Прежде всего, робототехники, 3D печати, новых материалов со спроектированными свойствами, биотехнологии, новых информационных технологий и, конечно же, диверсификация энергетического потенциала производства и общества;

– во-вторых, постоянно возрастающее взаимодействие между отдельными технологическими кластерами, их своеобразное «слипание», взаимное кумулятивное и резонансное воздействие друга на друга;

– в-третьих, появление на границах технологических кластеров принципиально новых, не существовавших ранее технологий и семейств технологий, в которых кластеры взаимодействуют между собой.

Основа основ превращения отдельных технологических кластеров или паттернов в единую технологическую платформу – это информационные технологии. Они буквально пронизывают все стороны технологической и производственной жизни, связывая между собой отдельные технологические блоки. Наиболее яркими примерами этого являются такие технологические паттерны, как биотехнологии, робототехника, управляемая на основе больших данных и т. п. По сути, уже на начальном этапе индустриальной революции можно говорить о формировании единой технологической платформы Третьей производственной революции.

В сфере организации производства и труда отличительной чертой Третьей производственной революции является миниатюризация производства в сочетании с сетевой логистикой и персонификацией потребления продукции. Как отмечал в своей работе К. Андерсон: «Если раньше эффективные производства и действенные сети маркетинга и продаж были под силу только большим заводам, крупным ритейловым сетям и транснациональным корпорациям, то в самое ближайшее время это будет доступно всем». Правда, при всей миниатюризации и демократизации производства одновременно будет возрастать зависимость мелкого производителя от поставщиков Больших Данных, программных продуктов и интеллектуальных услуг, которыми останутся, по мнению Дж. Рифкина, крупнейшие информационные компании, типа IBM, Google, Amazon и проч.

Иными словами децентрализация производства, переход к прямым связям в сфере распределения и персонификации потребления будет происходить в условиях сохранения господства цифровых гигантов, контролирующих ключевую технологию Третьей производственной революции – системы сбора, хранения, интеллектуальной обработки и распределенной доставки цифровых данных и компьютерных программ всех типов и размеров.

Ключевым направлением Третьей производственной революции является стремительная автоматизация и роботизация производства, войны и всех сторон общественной жизни. Как отмечают эксперты, многие элементы автоматизации и роботизации могли быть внедрены в промышленное производство еще в 90-е годы прошлого и первое десятилетие нынешнего веков. Однако в те времена экономически выгоднее оказалось использовать вместо роботов практически дармовой труд рабочих из Китая и других азиатских стран. Однако по прошествии времени ситуация изменилась. С одной стороны труд в Азии заметно подорожал. С другой стороны деиндустриализация Америки, многих стран Европы и частично Японии нанесла сильнейший удар по экономике этих стран. Наконец, в последние годы появились принципиально новые программные и микроэлектронные решения, позволяющие в разы повысить эффективность и функционал роботов при снижении себестоимости их производства. Сегодня, например, типовой американский робот на конвейере окупается в течение полутора, максимум двух лет.

Одним из первых плодов ранней стадии Третьей производственной революции становится возврат производства в Америку и Европу. В 2013-2014 годах более половины компаний с оборотом миллиард долларов, объявило, что в ближайшие несколько лет полностью вернет производство из Китая и других азиатских стран в Соединенные Штаты. В США за последнее время темпы роста промышленности превышают динамику многих других секторов экономики. За два последних года в промышленности создано более 700 тыс. несезонных рабочих мест. Это конечно не идет ни в какие сравнение с 6 млн. рабочих мест, потерянных промышленностью США. Но это места в своей массе, отвечающие требованиям Третьей производственной революции с соответствующими показателями производительности и эффективности. Следует также иметь в виду, что 75 % новых разработок и технологий и почти 90 % новых, зарегистрированных патентов создаются в США именно в сфере промышленного производства. Нельзя также не отметить, что в настоящее время Соединенные Штаты контролируют более 65 % высокотехнологичных разработок и 55 % высокотехнологичных патентов в мире. Подобные процессы активно разворачивается в Южной Корее, Японии. Началась реиндустриализация Великобритании. Спохватилась Германия, длительное время почивавшая на лаврах самой успешной высокоиндустриальной экономики XXI века. Пытается развернуть у себя Третью производственную революцию и Китай. Хотя именно в Китае в силу чрезвычайно высокой избыточной доли сельского работоспособного населения, и занятости традиционным индустриальным трудом основной части городского населения реализовать достижения Третьей индустриальной революции очень и очень тяжело.

Как уже отмечалось, ключевым направлением Третьей производственной революции является робототехника. Пора посмотреть, кто в этой сфере являются лидерами, а кто – аутсайдерами.

Уже сейчас в Америке действует или готовится к пуску в ближайшие годы более 15 тыс. полностью автоматизированных производств. В 2014 году по данным International Federation of Robotics было продано 225 тысяч промышленных роботов, что на 27 % больше, чем в 2013 году. Наибольший рост показали объемы продаж в Китае, Южной Кореи, Японии. Новых пиков достигли продажи в Америке и в Европе. При этом, в Китае, как правило, используются относительно простые роботы.

Максимальный объем продаж интеллектуальных роботов – более 40 тыс. – пришелся на Соединенные Штаты, Южную Корею и Японию. Китай таких роботов купил менее 3 тыс. Более 50 % патентов на высокоинтеллектуальные роботы и высокоавтоматизированные производства приходится на Соединенные Штаты, и еще примерно по 10-15 % – на Японию. Великобританию, Германию, и около 5 % – на Южную Корею.

Что касается России, то в 2014 г. в стране было приобретено менее 700 роботов. Из них около 50 – отечественного производства. При этом нельзя сказать, что Россия не может производить роботов. Российские компании – производители роботов – продали в 2014 г. более полутора тысяч роботов в Европу и Южную Корею, а также Китай. Однако, как говорят в интервью руководители этих компаний, отечественные товаропроизводители в робототехнике не заинтересованы.

При всей условности, лучшим показателем роботизации производства и уровня развития Третьей производственной революции является количество роботов на 10 тыс. занятых в обрабатывающей промышленности, машиностроении и т. п. По данным International Federation of Robotics в 2014 г. дело обстояло следующим образом. Лидером является Южная Корея – на 10 тыс. занятых в стране трудится почти 450 индустриальных роботов. Второе место занимает Япония с 340 роботами. Вслед за ними Германия – с 310, Швеция – со 180 и Соединенные Штаты – со 175 роботами. Если смотреть показатели по сложным, многофункциональным высокоинтеллектуальным роботам, то неоспоримое первое место занимают США с почти 50 роботами на 10 тыс. занятых, затем Южная Корея – с 31. И замыкает тройку Япония с 28 роботами.

А как же обстоит дело в России? В России на 10 тыс. занятых приходится чуть меньше 10 роботов. Если же брать многофункциональных интеллектуальных роботов, то на 10 тыс. занятых приходится менее 0,1 роботов, т. е. фактически их нет.

Несложно увидеть, что с Третьей производственной революцией дела в нашей стране обстоят, прямо скажем, плохо. Разрыв в уровне роботизации не только с лидерами, но и среднеразвитыми в плане робототехники странами просто ужасающий и с каждым годом пока он увеличивается.

Ситуация в настоящее время коренным образом отличается от положения дел в прошлом веке. В Советском Союзе не без основания народ знал, что даже если в стране производятся не слишком качественные автомобили, повседневная одежда, не всегда высоким качеством отличаются продукты питания, то с советским вооружением все в порядке. У Красной Армии есть оружие, которое может остановить любого агрессора, даже не прибегая к риску начала глобальной ядерной войны.

В то время военно-промышленный комплекс и гражданская промышленность существовали и развивались в значительной мере отдельно друг от друга. И не только в СССР. В Советском Союзе был архипелаг закрытых городов, в которых работали уникальные предприятия и научно-исследовательские институты Минсредмаша и других оборонных министерств, которые, как тогда выражались «ковали щит Родины».

В сегодняшнем мире все изменилось. В условиях Третьей производственной революции нет больше разделения экономики на военный и гражданский сектора. Этот факт нашел официальное отражение в Стратегии национальной безопасности США-2015 и Новой стратегической инициативе инвестиций и инноваций США, опубликованных в книге «Мировойна. Все против всех. Новейшие концепции боевых действий англосаксов».

В 2015 году в новой Стратегии национальной безопасности Китая, провозглашено, что вся китайская индустрия работает одновременно на укрепление обороноспособности страны и рост благосостояния китайского народа. Аналогичный подход принят и реализуется в Израиле, Японии, берется на вооружение в странах ЕС.

В этой связи в нынешнее время было бы самонадеянным полагать, что в условиях слабой роботизации промышленности и других отраслей экономики, где-то глубоко в закромах Родины, на секретных заводах будут массово производиться смертоносные боевые, неуловимые разведывательные и выносливые логистические интеллектуальные российские роботы. Безусловно, наши конструктора, технологи, инженеры, программисты, исследователи способны и создают уникальные образцы. Но для того, чтобы начать их производить массово, нужно соответствующее оборудование, кадры, технологическая и производственная культура и т. п. Однако в условиях, когда весь современный производственный потенциал это – в основном, экспортируемые из-за рубежа станки, оборудование и технологические линии, подобные надежды сродни плану построить мост вдоль реки. Маниловщина, одним словом.

Здесь хотелось бы привлечь внимание читателей к одной печальной, если не сказать чрезвычайно грустной исторической закономерности. Давайте обратимся к прошлым векам нашего Отечества.

В 1774 году в России в самом разгаре была Крестьянская война под предводительством Емельяна Пугачева, о которой А.С. Пушкин емко написал, как о «русском бунте – бессмысленном и беспощадном». В том же 1774 году в Британии был изобретен революционизирующий тогдашнюю ведущую отрасль – легкую промышленность, ткацкий станок, а Д. Уатт внес решающие изменения в свою паровую машину, которая собственно и возвестила начало решающей стадии Первой производственной революции. В декабре 1825 года на Сенатскую площадь вышли войска, возглавляемые мятежниками, которые в последующем превратились в героев-революционеров. Осенью того же 1825 года Д. Стефенсон запустил первый локомотив на первой общедоступной железной дороге в мире Стоктон – Далингтон на северо-востоке Британии. Железные дороги сделали Первую промышленную революцию необратимой.

В 1905 году началось сооружение завода Генри Форда, где впервые в мире было применено массовое конвейерное производство, сформировавшее облик современной индустрии. В 1908 году из стен завода выехал знаменитый Форд-Т, первый массовый автомобиль в мире, который собственно и ознаменовал начало Второй производственной революции. Россия же в 1903-1905 г. участвовала в трагически закончившейся Русско-Японской войне. А затем на три года погрузилась в пучину смуты и первой русской революции.

В 1923 году в США главным энергетическим источником для индустрии, транспорта и т. п. стала нефть. К этому моменту на США приходилось 72 % мировой добычи. Америка стала лидером Второй производственной революции. Что же касается России, то страна, на которую в 1913 году приходилось почти 20 % мировой добычи нефти и успешно конкурировала с ведущими державами в электротехнике, энергетике, авиастроении и т. п., к 1923 году в результате кровавой смуты, двух революций и Гражданской войны откатилась в дикость, по сути, уничтожив свою промышленность и транспорт. Показательно, что в 1923 году в СССР добывалось менее полутора процентов общемировой добычи нефти.

В 1979 году в Соединенных Штатах большая часть компаний, входящих в список «Форчун»-500 стала использовать в коммерческой и инженерной деятельности электронно-вычислительные машины. В 1981 году IBM создал первый персональный компьютер. Стартовала информационная революция. СССР в 1979 году втянулся в войну в Афганистане, где его войска находились до 1987 года. В 1991 году стал общедоступным интернет. Мир вступил в эпоху информационной революции. Этот год в наших календарях отмечен демонстрациями, митингами и августовским путчем. В декабре 1991 года в результате Беловежского сговора с политической карты мира исчез СССР, и страна погрузилась в очередную смуту. С 1993 года, с появлением первого браузера, интернет из прибежища высоколобых гиков превратился в доступную для всех виртуальную реальность. У нас этот год случились октябрьские бои в Москве и расстрел Белого Дома.

Любая производственная революция определяет расстановку сил в мире на десятилетия, а иногда и на века. Кто оказался впереди, стал хозяином мира. Остальные же на долгий период превратились в лузеров. Как показывает опыт России, мировые производственные революции всегда в нашей стране совпадали со смутами и потрясениями. Безусловно, в определенной, зачастую немалой степени это было связано с целенаправленным и негативным влиянием из-за рубежа. Однако надо смотреть правде в глаза. Главные причины кризисов любой сложной системы, а таковой, несомненно, является России, лежат внутри нее. Российские кризисы, катастрофы, смуты, всегда имевшие внутренние причины, конечно же, поощрялись, подталкивались и усиливались извне. Однако, главная проблема – в нас самих, а не в чужом злом дяде, не в Госдепе, не в Белом доме, и не в коварном «туманном Альбионе». Главная проблема в том, что правящий класс оказывался не на высоте, не справлялся со своими задачами, и не только предавал народ, которому тоже есть что предъявить самому себе, но и терял свои преимущества, а иногда и жизни.

Во второе десятилетие XXI века разворачивающаяся Третья производственная революция по своему магистральному направлению – робототехнике, бросает России пять опасных, угрожающих вызова.

Во-первых, не только Запад, но и другие страны – Япония, Южная Корея, Китай, Индия, Израиль начинают форсировано оснащать армии боевыми, логистическими, разведывательными интеллектуальными роботами и автономными системами. Они становятся обязательным компонентом не только элитных войск и спецназа, а во все возрастающем количестве поступают в армейские и даже тыловые подразделения. Армия, насыщенная роботами, – это во всех случаях более боеспособная, стремительная и выносливая армия, чем привычные традиционные войска. Ей сложно, а в будущем и невозможно противостоять. Армия-победитель, армия, надежно защищающая страну, не когда-то в далеком будущем, а в ближайшие годы – это обязательно высоко роботизированная интеллектуальная армия.

Во-вторых, робототехника, чем дальше, тем больше будет определять конкурентоспособность и эффективность не только обрабатывающего, но и производства вообще. Надо прямо сказать, что впечатляющие успехи, связанные со снижением себестоимости добычи сланцевой и вторичной нефти в США, Канаде, с примерно 90 долл. – в 2010 г. до 25-35 долл. сегодня, в решающей степени связаны с насыщением добывающих отраслей производственными и логистическими автономными и роботизированными интеллектуальными системами. С учетом значения добывающего, в том числе энергетического, сектора в экономике России без роботизации и автоматизации российские нефть и газ будут постепенно, но быстро, вытеснены с мирового энергетического рынка.

В-третьих, в мире все большую роль играют негосударственные акторы. Причем, как показывают события последних лет, в том числе с ИГИЛ, в формировании этих акторов немалую роль играют вполне легальные, в т. ч. финансовые и разведывательные структуры различных стран мира. Негосударственные акторы во все возрастающей степени переплетаются с одной стороны со вполне легальными структурами государственного управления, бизнеса, научной сферой, а с другой – взаимодействуют с транснациональной преступностью. Сегодня террористические структуры превратились в самодостаточные субъекты, действующие на глобальной геополитической арене. Они имеют собственную экономику, исследовательские подразделения, вооруженные силы. Новые террористические структуры – это уже не сети, а гетерархии и рои, аналогов которым в легальных структурах пока нет. Из материалов, опубликованных в книге видно, что овладение террористами высокими технологиями и прежде всего робототехникой – это проблема не завтрашнего, а уже сегодняшнего дня. С учетом того, что в силу многих обстоятельств террористические рои и сети особое внимание уделяют России, то роботы-убийцы террористов представляют особую опасность для нашего народа и государства.

В-четвертых, сегодняшняя глобальная преступность представляет собой уникальный феномен, аналогов которого нет в прошлом. В минувшие века и даже десятилетия преступность носила региональный, страновой, или, в крайнем случае, как, например, с мафией или триадами, трансграничный характер. Сегодняшняя преступность, в отличие от государственных, в т. ч. правоохранительных органов, не знает ни государственных, ни национальных, ни этнических, ни идеологических границ. Преступные организации нового типа действуют повсюду, исходя только из критериев дохода и власти. Все остальное вторично. В то время, как мир сегодня разделен может быть сильнее всего в истории, преступники объединены, как никогда ранее. Соответственно, надо отдавать отчет, что против правоохранительных органов в каждой стране действуют преступники всего мира.

Транснациональные преступные организации обладают невообразимыми финансовыми ресурсами. По совпадающим оценкам международных, американских и российских правоохранительных органов, финансовая прибыль, получаемая только кибер– и наркопреступниками, без учета преступных финансовых операций, торговли оружием, контрабанды и т. п., составляет 2 трлн. долларов ежегодно. Преступные организации уже сегодня широко используют роботов не только для высокотехнологичной, но и уличной преступности. Роботы в руках преступников становятся с каждым днем все большей угрозой для повседневной жизни граждан.

В этой связи надо понимать, что страна, отстающая в роботизации, в оснащенности робототехникой не только вооруженных сил, но и правоохранительных органов, становится желанной добычей для преступников. Они не только похищают деньги, крадут собственность, убивают и насилуют, но и стараются проникнуть в органы и структуры власти на всех уровнях.

Наконец, в-пятых, сами по себе высокоинтеллектуальные робототехнические системы, которые уже сегодня обладают своего рода вычислительным интеллектом, являются угрозой для человека. Чем дальше, тем больше интеллектуальные роботы в различных сферах человеческой жизни, принимают решения вместо людей. Соответственно эти решения, о чем писалось в предисловии, не по злому умыслу, а вследствие алгоритмического вычислительного характера, зачастую могут разойтись с человеческими решениями и вызвать труднопрогнозируемые и соответственно труднопреодолеваемые последствия.

В подобной нетривиальной ситуации страны, где не только далеко продвинулись исследования по вычислительному интеллекту, но и накоплена практика широкого использования интеллектуальной робототехники, имеют опыт преодоления форс-мажорных ситуаций. Это значит, что такие страны могут либо превентивно предупредить, либо, в крайнем случае, оперативно преодолеть последствия ошибочных с человеческой точки зрения решений вычислительного интеллекта. Те же страны, где исследования и практическое применение робототехники не развито, будут неизбежно главными пострадавшими от роботов с вычислительным интеллектом.

Перед лицом новых вызовов, увеличивающихся рисков и множащихся неотвратимых угроз пора прекратить заниматься национальным видом спорта – наступать на грабли. Настало время извлекать уроки не только из чужих, но и прежде всего из своих ошибок. В условиях Третьей производственной революции никакие смуты, революции и потрясения недопустимы. Цена может оказаться слишком высокой. Однако это не означает, что правящий, или как его сейчас называют «политический» класс может сохранять позиции за счет изоляции, консерватизма, игнорирования технологических перемен и отключения социально-экономических лифтов. Это невозможно. Последствия будут трагичны не только для народа и страны, но и для самого политического класса.

У России сегодня нет иного пути, как не просто включиться, а войти за счет имеющегося научно-технологического задела, в том числе в части альтернативных и закрывающих технологий в группу лидеров Третьей производственной революции. Такие возможности есть. Ресурсы пока остаются. Главный, наиболее дефицитный из них – время.

В этой связи бессмысленно и бесперспективно делиться на правых и левых, на либералов и государственников, на сторонников свободного рынка и плановой системы, на тех, кто предлагает больше свобод предпринимателям или, например, продажу нефти за рубли и т. п. Даже важные политические разногласия должны сегодня отойти на второй план. Необходимо национальное согласие на своего рода технократической основе.

Если Россия не включится в Третью производственную революции, если российские роботы не начнут на поле боя, в больницах и на сборочных линиях успешно конкурировать со своими железными или биотехнологическимии собратьями из США, Южной Кореи, Японии или Китая, то завтра Россия в лучшем случае станет добычей других цивилизаций, а в худшем – превратится в поле боя или трофей для различного рода террористических роев и сетей, транснациональных преступных синдикатов.

Пора понять, при всех политических, идеологических и иных разногласиях, все россияне, в конечном счете, – люди одной культуры. Говорим на русском языке. В этом смысле все мы – этнические русские, татары, евреи, чеченцы принадлежим к российской цивилизации. Если и дальше мы хотим оставаться самими собой, говорить и думать на родном языке, то пора отложить в сторону распри и начать делать Дело. Именно Дело, а ни что иное, является сегодня маркером, разделяющим на «своих» и «чужих», на добро и зло. Те, кто работает, производит реальные продукты или нужные услуги, создает что-то новое, двигает инновации, способствует производственной революции, помогает всему этому – на одной стороне. Те же, кто хочет оставаться в прошлом, не производить, а перераспределять, получать, воровать, преступая закон – на другой стороне. Это – чужие.

Сноски

1

Рабочий доклад группы по технологическим угрозам при Массачусет-ском Технологическом институте. Извлечения из доклада.

2

Организация, запрещенная в РФ.

3

Организация, запрещенная в РФ.

4

Peter Singer, Wired for War (Penguin Group (USA) Incorporated, 2009), p. 179 and further, notably p. 203.

5

Министерство обороны США, Unmanned Systems Integrated Road Map FY2011-2036, p. 50, см. сайт http://publicintelligence.net/dod-unmanned-systems-integrated-roadmapfy2011-2036.

6

См. http: www.usaww1.com/World_War_1_Fighter_Planes.php4.

7

Nils Melzer, “Human Rights Implications of the usage of drones and unmanned robots in warfare”, исследование Подкомитета по правам человека Европейского парламента (2013), имеется на сайте http: www.europarl.europa.eu/committees/en/studies/html, p. 5.

8

«Хьюман райтс уотч», Losing Humanity: The Case Against Killer Robots (2012), р. 2, см. сайт http://www.hrw.org/reports/2012/11/19/losing-humanity-0. См. в ответ Michael Schmitt “Autonomous Weapons Systems and International Humanitarian Law: A Reply to the Critics” Harvard International Security Journal (forthcoming 2013), см. сайт http://harvardnsj.org/wp-content/uploads/2013/02/Schmitt-Autonomous-Weapon-Systems-and-IHL-Final.pdf)/ В целях содействия такому запрещению был создан Международный комитет по контролю роботизированного оружия (МККРО). См. http://icrac.net.

9

Ronald Arkin, Governing Lethal Behaviour in Autonomous Robots (CRC Press, 2009); Kenneth Anderson and Matthew Waxman, “Law and ethics for robot soldiers”, Policy Review, No. 176 (2012), см. сайт http://www.hoover.org/publications/policy-review/article/135336.

10

David Collingridge, The Social Control of Technology (Frances Pinter, 1980).

11

А/65/321.

12

Ф/65/321, стр. 13-27.

13

Международный пакт о гражданских и политических правах, статья 6, гарантирующая право на жизнь, и статья 4 (2) о недопустимости отступлений.

14

Arkin (см. сноску 8 выше). Р. 7; Noel Sharkey Automating Warfare: lessons learned from the drones, р. 2, см. сайт http://www.alfredoroma.it/wp-content/uploads/2012/05/Automated-warfare-Noel-Sharkey.pdf; Patrick Lin et al, Autonomous Military Robotics: Risk, Ethics, and Design (San Luis Obispo, California Polytechnic State University, 2008) p. 4, см. сайт http:/ethics.calpoly.edu/ONR_report.pdf.

15

Директива министерства обороны США, “Autonomy in Weapons Systems”, Number 3000.09 of 21 November 2012, Glossary Part II. См. также United Kingdom Ministry of Defence “The UK Approach to Unmanned Aircraft Systems” paras. 202-203, имеется на сайте http://www.gov.uk/government/publications/jdn-2-11-the-uk-approach-to-unmanned-aircraft-systems; см. также, «Хьюман райтс уотч» (см. сноску 7 выше), р. 2.

16

Singer, р. 67.

17

Это также касается «своеобразности», Singer (см. сноску 3 выше), р. 101.

18

См. http://usmilitary.about.com/library/milinfo/navyfacts/blphalanx.htm.

19

См. http://www.dtic.mil/cgi-bin/GeTRDoc?AD=ADA557876.

20

См. http://www.israeli-wеapons.com/weapons/aircraft/uav/harpy/harpy.html.

21

См. http://www.baesystems.com/product/BAES_020273/taranis.

22

См. http://www.as.northropgrumman.com/products/nucasx47b/assets/X-47B_Navy_UCAS_FactsSheet.pdf.

23

См. http://singularityhub.com/2010/07/25/armed-robots-deployed-by-south-korea-in-demilitarized-zone-on-trial-basis.

24

ВВС США, “UAS Flight Plan 200902047” (Washington, D.C., 2009) p. 41, см. сайт http://www.scribd.com/doc/17312980/United-States-Air-Force-Unmanned-Aircraft-Systems-Flight-Plan-20092047-Unclassified.

25

Ronald Arkin «Goverming Lethal Behaviour: Embedding Ethics in a Hybrid Deliberative/Reactive Robot Architecture” Technical Report GIT-GVU-07-11 p. 5, available from hrrp://www.cc.gatech.edu/ai/robot-lab.online-publicationv35.pdf.

26

Anderson and Waxman, pp. 2 and 13 and Singer, р. 379.

27

Gary Marchant et al, «International governance of autonomous military robots”, Columbia Science and Technology Law Review, Volume XII (2011) p. 275.

28

Singer, р. 83.

29

Arkin, XII.

30

А/65/321, пункт 44; John Mueller “The Iraq Syndrome”, Foreign Affairs, Vol. 84, No. 6, p. 44 (November/December 2005).

31

По мнению военных экспертов, чем больше расстояние между применяющим оружие и целью, тем легче, как правило, становится лишить человека жизни. См. David Grossman On Killing: The Psychological Cost of Learning to Kill in War and Society (Back Bay Books, 1996).

32

Armin Krishnan Killer robots: Legality and Ethicality of Autonomous Weapons (Ashgate, 2009) p. 150.

33

Singer, р. 323; Peter Asaro “How Just Could a Robot War Be?” in P. Brey et al (eds.). Current Issues in Computing And Philosophy (2008), p. 7.

34

A/53/202, пункт 98.

35

Asaro, рр. 7-9. Обсуждается в работе Patrick Lin et al “Robots in War: Issues of Risk and Ethics” in R. Capurro & M. Nagenborg (eds.) Ethics and Robotics (2009), p. 57.

36

Anderson and Waxman, р. 12.

37

По мнению некоторых комментаторов, война требует определенной готовности пойти на обоюдный или взаимный риск, связанный с возможностью понести определенные жертвы. См. Kahn “The Paradox of Riskless Warfare” Philosophy and Public Policy Vol. 22 (2002) и “War and Sacrifice in Kosovo” (1999), см. сайт http://www-personal.umich.edu/-elias/Courses/War/kosovo.htm.

38

Lin, р. 50.

39

Marchant, р. 280; Singer, р. 398.

40

Arkin, р. 127.

41

Jonathan Herbach “Into the Caves of Steel: Precaution, Cognition and Robotic Weapons Systems Under the International Law of Armed Conflict” Amsterdam Law Forum Vol. 4 (2012), p. 14/

42

Дополнительный протокол I к Женевским конвенциям, 1977, статьи 51 и 57.

43

Noel Sharkey “Grounds for Discrimination: Autonomous Robot Weapons” RUSI Defence Systems (Oct 2008) pp. 88-89, имеется на сайте http://rusi.org/downloads/assets/23sharkey.pdf.

44

Peter Asaro “On Banning Autonomous Weapon Systems: Human Rights, Automation, and the Dehumanisation of Lethal Decision-making”, International Review of the Red Cross (forthcoming 2013) p. 11/

45

«Хьюман райтс уотч», р. 31.

46

Marchant, р. 280.

47

Singer, р. 398.

48

Singer, р. 398.

49

Дополнительный протокол I к Женевским конвенциям, 1977, статья 51 (5) (b).

50

«Хьюман райтс уотч», р. 32.

51

Lin, р. 57.

52

Noel Sharkey, “Automated Killers and the Computing Profession” Computer, Vol. 40 (2007), p. 122.

53

Krishnan, рр. 98-99.

54

Tonya Hagmaier et al, “Air force operations and the law: A guide for air, space and cyber forces” p. 21, см. сайт http://www.afjag.af.mil/shared/media/document/AFD-100510-059.pdf; Andru Wall “Legal and Ethical Lessons of NATOs Kosovo Campaign” p. xxiii, см. сайт http://www.au.af.mil/au/awc/awcgate/navy/kosovo_legal.pdf.

55

Markus Wagner «The Dehumanization of International Humanitarian Law: Legal, Ethical, And Political Implications of Autonomous Weapon Systems” (3012), см. сайт http://robots.law.miami.edu/wp-content/uploads/2012/01/Wagner_Dehumanization_of_international_humanizatian_law.pdf note 96 и сопутствующий текст.

56

Benjamin Kastan «Autonomous Weapons Systems: A Coming Legal Singularity?”University of Illinois Journal of Law, Technology and Policy (forthcoming 2013), p. 18 and further, см. сайт http://papers.ssrn.com/so13/papers.cfm?abstract_id=2037808.

57

«Хьюман райтс уотч», рр. 42-45.

58

Римский статус МУС, статья 28; Heather Roff “Killing in War: Responsibility, Liability and Lethal Autonomous Robots” p. 14, см. сайт http://www.academia.edu/2606840/Killing_in_War_Responsibility_Liability_and_Lethal_Autonomous_ Robots.

59

Дополнительный протокол I к Женевским конвенциям, 1977, статьи 86 (2) и 87.

60

Patrick Jin “Introduction to Robot Ethics” in Patrick Lin et al (eds.) Robot Ethics: The ethical and Social Implications of Robotics (MIT Press, 2012), p. 8.

61

Wendell Wallach “From Robots to Techno Sapiens: Ethics, Law and Public Policy in the Development of Robotics and Neurotechnologies” Law, Innovation and Technology Vol. 3 (2011) p. 194.

62

Gianmarco Verugio and Keith Abney “Roboethics: The Applied Ethics for a New Science” in Lin (see note 59 above), p. 114; Robert Sparrow “Killer Robots” Journal of Applied Philosophy Vol. 24, No. 1 (2007).

63

См. Ronald Arkin “The Robot didn’t do it” Position Paper for the Workshop on Anticipatory Ethics, Responsibility and Artificial Agents p. 1, см. сайт http://www.cc.gatech.edu/ai/robot-lab/publications.html.

64

Marchant, р. 7.

65

Krishman, р. 105.

66

Krishman, р. 113.

67

A/HR/17/28, с. 17 текста на английском языке.

68

Asaro, р. 13.

69

Протокол I к Женевским конвенциям, статья 1 (2). См. также преамбулы к Гаагским конвенциям 1899 и 1907 годов. Гаагская конвенция о законах и обычаях сухопутной войны и приложение: Положение о законах и обычаях сухопутной войны (Гаагская конвенция II).

70

Asaro, р. 13.

71

См. http://www.springer.com/medicine/surgery/journal/11701.

72

Asaro, р. 14.

73

Robert Sparrow “Robotic Ewapons an d the Future of War” in Jessica Wolfendale and Paolo Tripodi (eds.) New Wars and New Soldiers: Military Ethics in the Contemporary World (2011), p. 11.

74

Jutta Weber “Robotic warfare, human rights and the rhetorics of ethical machines”, pp. 8 and 10, см. сайт http://www.gender.uu.se/digitalAssets/44/44133_Weber_Robotic_Warfare.pdf.

75

Singer, р. 261–263.

76

Предусмотрены Гаагской конвенцией 1907 года и Дополнительными протоколами к Женевским конвенциям, принятыми в 1977 году.

77

См. сайт http://www.icrc.org/eng/war-and-law/conduct-hostilities/methods-means-warfare/index.jsp.

78

Договор о запрещении противопехотных мин (1997); и Конвенция по кассетным боеприпасам (2008).

79

Дополнительный протокол I 1977 года к Женевским конвенциям, статья 35 (2); МККК, Обычное международное гуманитарное право, норма 70.

80

Протокол о запрещении применения на войне удушающих, ядовитых или других подобных газов и бактериологических средств, Женева, 17 июня 1925 года.

81

Конвенция о некоторых видах обычных вооружений, Протокол III о зажигательном оружии.

82

Marchant, р. 287, Asaro, р. 10.

83

Marchnt, р. 300, См. также Bonnie Docherty “The Time is Now: A Historical Argument for a Cluster Munitions Convention” 20 Harvard Human Rights Law Journal (2007), р. 53 (общий обзор).

84

Договор о запрещении противопехотных мин (1997), статья 6, и Конвенция о некоторых видах обычных вооружений, Протокол V о взрывоопасных пережитках войны (2003), статья 8. Конвенция по кассетным боеприпасам (2008), статья 5, стала новаторской в том отношении, что ответственность за оказание помощи возлагается на затронутое государство.

85

S/2012/376, пункт 28 (в котором одобряется приверженность Миссии Африканского союза и Сомали на этот счет).

86

Там же, пункт 29 (Генеральный секретарь «приветствовал практику компенсации ущерба»).

87

Marchant, рр. 306-314.

88

Обсуждается в International Review of the Red Cross vol. 88, December 2006.

89

Директива Министерства обороны США.

90

Там же, пункт 4.а.

91

Там же, пункт 4. с и d.

92

Там же, приложение 3.

93

Источник: http://roboting.ru/1725-о-robotah-ubiycah.html.

Content

Владимир Овчинский, Елена Ларина
Роботы-убийцы против человечества. Киберапокалипсис сегодня

Введение

Введение в военные автономные системы. Центр Новой Американской Безопасности 2015 г. Извлечения из доклада

Что такое автономность?

Три размерности автономности

Управление и контроль в человеко-машинных системах

Автономность как сложность

Тип автоматизированных функций

Разбор термина «автономия»

Выявление, приоритизация и отслеживание эффективности поражения цели

Высокоточное оружие увеличивает человеческий контроль над военными действиями

«Человек в петле» для выбора и идентификации конкретных целей

Автономные роботизированные (человек вне «петли управления») системы наведения, доставки и поражения специальных целей

Что такое автономное оружие?

Выводы

Роботы на поле боя. Центр Новой Американской Безопасности 2014 г. Извлечения из доклада

Введение. Революция в вооружениях

Преимущества БАРС

Эффект автономности

БАРС ведут к экономии затрат

Возможности и ограничения БАРС

БАРС могут выполнять миссии, невозможные для человеко-машинных систем

Достижение превосходства в войнах роботов

Перспективы киборгизации армии США и использование экзоскелетов

Роботизированные антиминные комплексы

Одноразовые разведчики

Противокорабельные БАРС

Эвакуационные АРС

АРС для разведки и саботажа

Зависимость робототехники от развития ключевых перспективных технологий

Автономия и автоматизация против человеческого понимания

Новые энергетические источники для БАРС

Культурные и бюрократические препятствия для инноваций

Чиновники министерства обороны должны прекратить душить инновации

Рекомендации

Инновации должны быть первым приоритетом

Угрозы и риски использования автономных автоматизированных систем и роботов преступниками, экстремистами и террористами

Введение

Терминология

Направления использования ААС и роботов

Тренды технологических компонентов ААС и роботов – фактор расширения возможностей их использования деструктивными группами

Тренды программных компонентов ААС и роботов – фактор расширения возможностей их использования деструктивными организациями

Угроза использования ААС, робототехники и информационных технологий деструктивными организациями

Выводы

Совет по правам человека ООН. XXIII сессия. Доклад Специального докладчика по вопросу о внесудебных казнях, казнях без надлежащего судебного разбирательства или произвольных казнях Кристофа Хейнса. 9 апреля 2013 г. Извлечение

Резюме

III. Боевые автономные роботизированные системы и защита жизни

А. Появление БАРС

IV. Выводы

V. Рекомендации

По материалам доклада организации «Human Rights Watch» о полностью автономном оружии («роботах-убийцах»). 2013 г.

1. Планы развития автономного оружия

2. Предшественники полностью автономного оружия

2.1. Системы автоматического оборонительного оружия

2.2. Другие предшественники полностью автономного оружия

3. Роботы-убийцы и международное гуманитарное право

3.1. Доводы критиков против полностью автономного оружия

3.2. Доводы сторонников полностью автономного оружия

4. Контроль за разработками полностью автономного оружия

Заключение

Заключение

Сноски