Леонид Черняк

Об ИИ без мифов. Путеводитель по истории Искусственного Интеллекта

Введение

О названии, терминологии и дискурсивных полях

Книга задумана как компактное руководство к путешествию по огромному морю материалов, связанных с историей искусственного интеллекта (ИИ), поэтому в ее название включено слово путеводитель. На русском, к сожалению, таких текстов немного, а те, что есть, безнадежно устарели, зато на английском языке их море. Собравшемуся в плавание не помешает этот путеводитель, содержание которого ограничено короткими историческими справками. Автор не претендует ни на абсолютную объективность, ни на полноту изложения, присущую научным трудам. Для того кто делится своим впечатлениями о совершенном путешествии допустимо собственное видение и субъективные предпочтения. В отличие традиционных путеводителей в книге нет иллюстраций, стоит ли в наше время соревноваться с огромным фото-, видео- и аудиоконтентом Сети, находящемся на расстоянии нескольких кликов?

Непосредственным импульсом к написанию стали специальности, избранные моими детьми – Катей и Алешей Артемовыми. Катя – специалист по работе с текстами на естественном языке (Natural Language Processing, NLP), а Алеша – эксперт в области компьютерного зрения (Computer Vision, CV). Общаясь с ними, я пришел к выводу, что тем, кто занимается этими актуальными аспектами ИИ, не хватает представления об истории того предмета, которому они посвятили свою профессиональную жизнь. И тогда возникла идея – а не стоит ли попытаться заполнить обнаруженный пробел в историческом знании всего того, что кроется под зонтичным термином ИИ? Пришлось самому совершить погружение в историю, в результате которого появилась книга, адресованная, в первую очередь, специалистам, чья практическая деятельность так или иначе корреспондируется с тем, что принято называть ИИ.

Незаменимую роль в появлении этой книги на свет сыграла ее редактор Татьяна Грачева, моя давняя коллега (мы работали в издательстве «Открытые системы»). Мысль об обращении к ней за помощью возникла при весьма необычных обстоятельствах – это случилось ночью, в ковидной больнице, размещенной в 75 Павильоне ВДНХ. Наутро из того же невеселого места я написал ей в WhatsApp и к моей радости получил положительный ответ. Как показало дальнейшее, такое начало ни как не помешало созданию продуктивного альянса. Я глубоко благодарен Татьяне за ее заинтересованное участие и важные комментарии к тексту.

Я хочу выразить признательность моей жене, Наталье Гаранян, за ее поддержку и терпение. Думаю, что только она – клинический психолог с многолетним опытом смогла вытерпеть сложности того периода жизни, который бы я назвал «AI у нас дома» по аналогии с названием книги «Атом у нас дома», написанной Лаурой Ферми, женой великого физика.

О терминологии

Для более точного соответствия используемой в книге терминологии обсуждаемому предмету мы в дальнейшем откажемся от русскоязычного термина «искусственный интеллект» в пользу оригинального Artificial Intelligence (AI). ИИ перегружен несовременными смыслами, в русскоязычном варианте термина каждое из двух слов – и «искусственный», и «интеллект» – не полностью соответствуют оригиналу, что создает изрядную проблему.

Казалось бы, английское artificial с русским «искусственный» близки, но они далеко не тождественны. Подавляющая часть значений английского artificial (от art – искусство, мастерство) так или иначе связана с понятием «рукотворный», а в русском, как утверждают лингвисты, слово искусственный ведет происхождение из немецкого künstlich, значащего, скорее, поддельный или ненатуральный, и несет его оттенок. Показательно, в русском при всем его словарном богатстве нашлось место слову артефакт, подчеркивающему, что предмет рукотворен, что он сделан человеком. В английском Artificial Intelligence нет и намека сверхъестественную природу происхождения, использование artificial прямо указывает на то, что AI не какая-то неведомая материя, непонятным образом возникшая, способная возвыситься над человеческим разумом, чтобы творить что ей угодно по собственным правилам, а нечто более прикладное, сделанное талантом и трудом человека.

Еще большее расхождение обнаруживается между словами intelligence и «интеллект». Да, можно перевести intelligence как интеллект, но это всего лишь одно из значений этого далеко не простого слова. Чтобы убедиться в многозначности intelligence, достаточного обратиться к любому онлайн-словарю, например, популярному Multitran’у. Там наряду с «интеллектом» найдутся еще десятки самых разных переводов. Общим для всех них служит одно – извлечение информации и знаний из данных и фактов с последующим использованием результатов в прикладных целях. Поэтому идея получения полезных сведений из сырых данных, полученных тем или иным способом, объединяет совершенно разные области деятельности: и военную разведку (military intelligence), и бизнес-аналитику (business intelligence) и многое иное.

О дискурсивных полях

Книга написана с уверенностью в том, что AI – это очередной шаг в непрерывном процессе развития инструментальных средств человека, в процессе, который начался с создания примитивных орудий, продолжился средствами механизации физического, а с появлением компьютеров – и частично и умственного труда. AI позволяет еще дальше и глубже автоматизировать последний. За скобками оставлены философские подходы к AI, а также все, что связано с Общим и Сильным AI, в том числе концепции трансгуманизма и рассуждения об угрозах со стороны сверхразума и роботов-андроидов и т. п. Такой утилитарный подход к AI несомненно вызовет возражения, поэтому автор хотел бы заранее предупредить критиков – примите как факт – эта книга не для вас, если вы не согласны с авторской позицией, не читайте ее. Полемизировать на сей предмет не имеет никакого смысла.

Разброс мнений относительно AI, невероятно велик, как говорил древнеримский раб-драматург Публий Теренций Афр: «Сколько людей, столько и мнений». Нет и не может быть единственно правильной точки зрения, обсуждать проблемы AI можно только в пределах какого-то одного определенного дискурсивного поля. Напомним, что дискурсивное поле – это, по сути, сообщество единомышленников. Внутри любого дискурсивного поля образуется формальная или неформальная структура, состоящая из основателей, лидеров, активистов, приверженцев и попутчиков.

В России можно выделить несколько дискурсивных полей, так или иначе связанных с AI, некоторые из них имеют формальную организацию. Самое представительное поле образуют академические ученые, прежде всего математики. Многие из них входят в Российскую ассоциацию искусственного интеллекта (РАИИ), наследницу Советской ассоциации искусственного интеллекта, в ее составе заслуженные ученые: доктора и кандидаты наук из 45 регионов России. РАИИ проводит школы, симпозиумы, национальные конференции, ее члены участвуют международных конференциях, издает журнал «Новости искусственного интеллекта».

В существенно меньшее по численности поле входят ученые-философы, чьи интересы связаны с AI, их объединяет Научный совет РАН по методологии искусственного интеллекта и когнитивных исследований (НСМИИ и КИ). Деятельность совета включает проведение заседаний и теоретических семинаров и публикации трудов.

Есть несколько групп, состоящих из романтиков AI, часть из них концентрируется вокруг лаборатории робототехники «Сбера». Они связывают свою деятельность с Общим, или Сильным AI (Arificial General Intelience, AGI), поднимая примерно такие темы: «Может ли AI обладать сознанием?» «Может ли AI превзойти естественный интеллект?» Члены этого сообщества убеждены в том, что тест Тьюринга уже пройден существующими системами AI и что пора «разрушить стену Тьюринга» и ускоренными темпами создавать Сильный AI. Никто, правда, не уточняет, что представляет собой эта стена и почему ее надо разрушать. Они считают, что наступила пост-тьюринговская эпоха, когда человек знает, что общается с компьютером, и последний оказывается ему интереснее, чем другой человек.

И, наконец, есть огромное поле, состоящее из прагматически ориентированных специалистов, решающих реальные задачи, попадающие под определение AI. Их так много и область их деятельности так диверсифицирована, что дать общую характеристику этому полю не представляется возможным. Но можно выделить главное, как сказал известный специалист области машинного обучения Педро Домингес в своей книге «Верховный алгоритм» (The Master Algorithm): «AI – это планета, о которой мы только слышали, но теперь AI – это наша цель. Машинное обучение – это ракета, которая нас туда доставит, а ее топливо Большие данные (Big Data)».

Становясь частью современной индустрии, AI переживает сложный и неизбежный период, когда формируется обычное в таких случаях сочетание прикладной науки и инженерии, возникающее на основе предшествующих достижений в академической науке. Подобного рода трансформация теории в практику в прошлом наблюдалась неоднократно. В таких случаях с неизбежностью создается новый тип профессионального прикладного знания и возникает своего рода водораздел между академическим и инженерным знанием. Для практической инженерной работы обычно оказывается достаточным обладать ограниченным адаптированным набором прикладных знаний в сочетании с умением владеть нужным инструментарием, что же до избытка фундаментальных знаний, то порой он даже оказывается лишним. В качестве аналогии происходящему можно привести выделение в XIX и XX веках из физики таких сугубо инженерных областей как электротехника, строительная механика и других. Любой курс по теоретической электротехнике представляет собой не что иное, как выжимку из физики в сочетании с набором практик, необходимых для различных видов инженерной деятельности, от разработки до эксплуатации.

Признавая объективную необходимость упрощения, надо помнить об ограниченности инженерных знаний, иногда в процессе технических разработок возникают задачи, которые не имеют решения в рамках адаптированной инженерной модели, типичный пример проблема флаттера (возникновения вибрации). Авиационные конструкторы сами не смогли с ней справиться, потребовалась помощь со стороны физиков и математиков. Потеря связи инженерии с наукой в любой области грозит формированием того, что называют «монтерскими знаниями»: его носители успешно решают прикладные задачи, но при этом их не интересуют ни теоретические основы предмета, ни тем более его история. К сожалению, в носителей монтерских знаний превращаются многие из тех, кого называют чудовищным словом «айтишник». Трудно представить себе физика или химика, не знающего истории своей науки хотя бы в общих чертах, но, увы, среди тех, кто образует огромное дискурсивное поле, состоящее из практиков AI, знание истории этого предмета минимально, если оно вообще есть.

Книга представляет собой попытку раскрыть прикладным специалистам исторические предпосылки появления современного AI, не претендуя на большее. Она может вызвать справедливую критику со стороны представителей других дискурсивных полей, но, повторюсь, книга адресована не им.

А закончить это введение хотелось мечтой. На протяжении десятков лет в работе над AI принимали участие удивительные люди, яркие личности, их связывали сложные отношения, они испытывали триумфы побед и горечи поражений, судьба была более благосклонна к одним и несправедлива к другим. Чем не сюжет, например, для сериала на много сезонов? Как знать, может быть, кто-то и реализует эту мечту.

Глава 1 AI – От мечты к обыденности

Люди издревле стремились переложить часть своего труда на машины: первые ткацкие станки, обнаруженные археологами, относятся к 10-му тысячелетию до н. э., водяные мельницы появились в античные времена, а ветряные примерно тысячу лет назад. В последние два-три столетия процесс механизации и в последующем автоматизации пошел с постоянным ускорением, научившись использовать энергию пара, а затем и электричества люди смогли расширить сферу механизации от бытовых приборов до промышленных установок самого разного типа и перейти к автоматизации физического труда. В XX веке компьютеры позволили сделать следующий шаг – автоматизировать еще и часть часть умственного труда, которую удается запрограммировать и передать компьютерам. В XXI веке с использованием AI удалось пойти дальше – передать машинами еще ту часть умственного труда, которая не может быть запрограммирована, и превратить компьютер в интеллектуального помощника, еще больше освобождающего человека от рутины, создать умные машины, выводящие на более высокий уровень автоматизацию производственных процессов. Такое утилитарное понимание роли умного AI сложилось совсем недавно, буквально в последние годы, а прежде на протяжении нескольких десятилетий доминировало более возвышенное, скажем так, романтическое отношение к AI, люди сохраняли убеждение в возможности наделить компьютеры сравнимыми с человеческими умственными способностям, например к доказательству теорем, игре в шахматы и т. п.

Три типа представлений об AI

Сосуществуют сотни и сотни противоречащих друг другу представлений о том, что такое AI, обнаруживаемых в различных произведениях, в диапазоне от философских трактов до технических статей. На одном фланге находятся футурологи с их фантазиями о технологической сингулярности, то есть о том гипотетическом моменте, с наступлением которого технологическое развитие становится неуправляемым и необратимым. По их мнению, такой ход событий неизбежен, и тогда развитие AI приведет к созданию надчеловеческого суперинтеллекта. Успокаивает то, что за этими рассуждениями не стоит ничего кроме вольной экстраполяции существующих тенденций, наблюдаемых в техническом прогрессе. На другом фланге ученые и инженеры, работа которых связана с прикладными методами моделирования работы мозга, в их основе лежат искусственные нейронные сети (ANN, Artificial Neural Network) и их машинное обучение (ML, Machine Learning). Такие работы лишены внешней привлекательности, они мало доступны для понимания без достаточной подготовки, а их перспективы ограничены созданием умных интеллектуальных ассистентов и разного рода умных машин, в том числе роботов. Уже сегодня мы можем увидеть примеры их применения в медицине, в офисной работе, в промышленности, на транспорте и даже в быту.

Суммируя известные представления о типах AI, их можно классифицировать следующим образом:

• Супер AI, или ASI (Artificial Super Intelligence) Те, кто допускают возможность создания ASI, убеждены, что он рано или поздно может возникнуть, причем каким-то неведомым и не подвластным человеку образом. После этого он сможет не только воспроизводить любые способности человека и даже превзойти его во всех отношениях, более того ASI станет телепатом, он научится вникать в мысли и чувства человека и далее подчинить своей воле человечество. К счастью ASI существует разве что в творениях писателей-фантастов, работающих в жанре дистопии (антиутопии) и в трудах некоторых философов. Оставим писателям возможность творить, а из числа философов, приверженцев идеи ASI, наибольшую известность приобрели швед Ник Бострем (Nick Bostrom, 1973), работающий в Оксфордском университете, и австралиец Дэвид Чалмерс (David Chalmers, 1966). Заметим, что авторитет Чалмерса у некоторых философов вызывает сомнение, его книгу «Создающий ум» Джон Серл назвал «коллекцией абсурдов» (О Серле будет сказано ниже.). К числу не философов, однако прежде допускавших возможность появления ASI можно отнести известного предпринимателя Илона Маска и Билла Джоя, разработчика программного обеспечения для UNIX и сооснователя компании Sun Microsystems. В 2000 году на пике славы этой компании в журнале Wired была опубликована статья Джоя «Почему мы не нужны будущему» (Why the future doesn't need us), поначалу она привлекла к себе большое внимание, но спустя 20 лет о ней, как и о компании Sun, не вспоминают, а сам Билл Джой больше на темы ASI не высказывался. Что же касается Маска, то он явно изменил свою позицию, причем настолько, что недавно признался в ошибочности своего намерения довести в ближайшее время автономность автомобиля Тесла до теоретически максимального возможного уровня (Level 5), что уж говорить о более высоком. Показательно, что тема ASI вовсе не привлекает к себе внимание серьезных специалистов, она не обсуждается на серьезных конференциях по AI. Актуальных данных о ее популярности нет, но можно вспомнить прошедшую в 2006 году юбилейную «Дартмутскую конференцию по AI: Следующие 50 лет» (Dartmouth Artificial Intelligence Conference: The Next Fifty Years), где участникам был задан вопрос: «Когда по вашему мнению будет создан ASI?». Меньшинство (18 %) ответивших заявили, что это произойдет до 2056 года, оставшиеся голоса разделились поровну: 41 % после 2056 года, а еще 41 % – никогда. Оценивая эти и без того скромные результаты, следует еще принять во внимание два обстоятельства: во-первых, опрос проводился 15 лет назад, еще до случившегося за последние 10 лет революционного прорыва в области AI-приложений, и, во-вторых, среди участников конференции преобладали не связанные с практикой ветераны, отдавшие свои силы тому, что называют GOFAI (Good Old-Fashioned Artificial Intelligence), здесь идиому good old-fashioned можно перевести как «старый добрый» с обязательным оттенком иронии. Если бы аналогичный опрос проводился сегодня, когда вектор развития резко AI сместился в практическую сторону и в иной более прагматично настроенной аудитории, то наверняка уровень пессимизма по отношению к будущему ASI оказался бы существенно больше, не исключено, что многие из представителей современных, научных направлений вообще не поняли бы, о чем идет речь.

Сильный, или общий AI (AGI, Artificial General Intelligence) По степени разумности AGI стоит на ступень ниже ASI, его адепты убеждены в возможности создания машин, если не превосходящих уровень человека, то способных как минимум выполнять те же действия, что и человек. Эта точка зрения не менее спорна, чем позиция сторонников ASI, поскольку у человека и у машины совершенно разные способности. В чем резон попыток воспроизвести машинными средствами интеллектуальные или другие способности, присущие человеку? Человечество пошло иным путем, создавая машины, которые быстрее и лучше перемещаются по земле, в воздухе, на воде и под водой, не копируя то, как делают человек или животные, машине – машинное, человеку – человеческое, Что же до AI, то мы до сих пор толком не знаем, как устроен и как работает наш мозг, поэтому нет и не может быть системы оценок для сравнения способностей человеческого и искусственного мозга. Чаще всего сторонники AGI апеллируют к тезису Черча-Тьюринга, в предельно упрощенной трактовке постулирующего, что любая сведенная к алгоритмической форме задача может быть решена, если нет ограничений на время и объем памяти. Но кто и на чем основываясь может утверждать, что работу мозга можно полноценно алгоритмизировать? По оценкам, представленным Институтом глобальных рисков катастроф (Global Catastrophic Risk Institute) в отчете A Survey of Artificial General Intelligence Project for Ethics, Risk, and Policy (2017), в мире тема AGI не пользуется популярностью, насчитывается не более полусотни небольших коллективов, работающих в этом направлении, их труды не выходят за рамки теоретических разработок. В 2017 году издание IEEE Spectrum провело круглый стол «HLAI близко или далеко» (Human-Level AI Is Right Around the Corner – or Hundreds of Years Away) с участием десяти активно выступающих со своими прогнозами AI-оптимистов и AI-пессимистов в соотношении 5:5. Разброс мнений оказался чрезвычайно велик: оптимисты, среди них Рэй Курцвейл и Юрген Шмидхубер, верят в HLAI, но расходятся в оценках, одни готовы увидеть его в ближайшее десятилетие, а другие отводят срок на прядок больше, пессимисты же, представленные Кавером Мидом, Родни Бруксом и другими считают, что машинный и человеческий интеллект суть совершенно разные вещи и к ним не стоит подходить с общей меркой. Вывод один – если и ДА, что сомнительно, то не при нашей жизни.

Слабый, или узкий ANI (Artificial Narrow Intelligence) Слово узкий вообще-то подходит точнее, но ANI по-русски принято называть слабым, пусть будет так, но он все же узкий в том смысле, что системы с ANI обладают лишь отдельными качествами, позволяющими усмотреть в их поведении признаки разумности, они предназначены только для выполнения строго определенного узкого круга приложений. В отличие от ASI и AGI здесь невозможно никакое неподвластное человеку автономное поведение и самостоятельное развитие, системы, снабженные ANI, могут существовать только в той форме, в которой они были созданы человеком и находиться под контролем человека. Диапазон реализаций ANI распространяется от виртуальных помощников типа Алисы, Siri и им подобных до систем, работающих на компьютере IBM Watson, способных к игре Jeopardy! и к участию в медицинской диагностике. Даже такие мощные системы как Google Translation Engine или системы автономного вождения автомобилей самого высокого 5 уровня, буде они созданы, останутся в своей узкой нише, даже они не выйдут за пределы ANI. О масштабах ANI как явления, которое сейчас называют «электричеством XXI века» говорит такой факт – число стартапов, работающих в этой области во всем в мире превышает 10 тысяч, а объем бизнеса измеряется сотнями миллиардов долларов.

Тьюринг и AI

Имя Алана Тьюринга неотделимо от AI, чаще всего его связывают с возможностью создания думающей машины. В качестве подтверждения указывают на тест Тьюринга, он де позволяет судить о наличии интеллекта у машины. Но истинный вклад Тьюринга в дело AI намного значительнее, чем приписываемые ему общие рассуждения о возможности создания AI и теста. Еще в конце 40-х годов он предсказал практические пути, могущие привести к созданию «умной машины» (термина AI тогда еще не было), ни в малейшей степени не связанные с тестом. Мысли, высказанные более 70 лет назад, сегодня ценны с исторической точки зрения, но не только, основываясь на них, удается лучше понять нынешнюю ситуацию. Тьюринг, как пророк, совершенно точно предсказал два альтернативных подхода к AI: один «сверху-вниз» – этот подход мы сегодня называем символьным, а другой – «снизу-вверх», мы его называем коннекционизмом, заимствую термин из науки когнитивистики. Дальнейший процесс развития AI принял форму параллельной эволюции (коэволюцию) двух спрогнозированных Тьюрингом подходов, в рамках каждого сложился свой поток событий, во взаимосвязи они образуют историю AI. В этих условиях задача автора книги свелась к изложению событий, связанных с символьным и коннекционистским подходами.

О Тесте Тьюринга

Но начнем с теста и его места в истории AI. Сегодня о нем чаще всего вспоминают в связи с проводимым с 1990 года соревнованием Loebner Prize, где участвуют программы, претендующие на прохождение теста, жюри оценивает удалось им это или нет. Приз был учрежден изобретателем и социальным активистом Хью Лебнером (Hugh Loebner, 1942–2016). За минувшие тридцать лет несколько программных машин-участников по мнению жюри смогли пройти тест Тьюринга, чем «доказали свою разумность».

Поначалу Loebner Prize рассматривали всерьез, даже сам праотец AI Марвин Минский некоторое время публично поддерживал это соревнование. Но спустя годы тот же Минский категорически отрекся, заявив, что прохождение теста не имеет никакого отношения к исследованиям в области AI, вскоре к такому же мнению пришли многие серьезные ученые. Это действительно так, потому что претенденты используют какие-то ухищрения дабы произвести впечатление разумности на жюри, не более того. В 2008 году этот трюк удался Жене Гусману, виртуальному мальчику из Одессы, созданному российскими программистами, тогда отечественная пресса взахлеб говорила о нем, а сейчас едва ли кто вспомнит об этом «триумфе». К настоящему времени Loebner Prize выродился в привлекательное для любителей соревнование, сравнимое с такими как гонки роботов в лабиринте или футбол с участием роботов.

Тест был описан Тьюрингом в статье «Вычислительные машины и разум» (Computing Machinery and Intelligence, 1950), а его идея и название заимствованы у домашнего развлечения, известного как «Игра в имитацию». Впервые статья с описанием теста появилась на страницах малотиражного сугубо философского издания Оксфордского университета. Его название Mind, что можно перевести как размышления, оно являет собой пример «чисто английского», сугубо академического сборника, периодически выходящего с 1876 года. Mind относится к категории journal, то есть ориентирован на более узкий круг читателей, чем magazine, но по-русски обоим соответствует одно слово – журнал. На страницах Mind публикуются философские статьи, которые не претендуют на математическую строгость и уж тем более на практическую реализацию описанного в них. Выбор Mind как места для «Вычислительных машин и разума» представляется странным и как-то не вполне согласуется с позиционированием Тьюринга в науке. Он человек дела, его работы – это сочетание математики с инженерией, например, та же Машина Тьюринга или применение байесовской статистики в криптографическом проекте Ultra. Не исключено, что статья так бы и осталась в анналах Mind, но в 1956 году, синхронно с появлением на свет термина AI она была извлечена на свет и перепечатана в антологии The World of Mathematics, далее первопроходцы AI возвели ее в культ.

Научный авторитет Тьюринга был и остается настолько высок, что на протяжении тридцати лет оспаривать статус теста не решался никто. Первым посягнувшим оказался профессор Калифорнийского университета в Беркли Джон Серл (John Searle, 1932), автор статьи «Сознание, мозг и программы» (Minds, Brains, and Programs, 1980). В ней он описал свой мысленный эксперимент Китайская комната, посредством которого показал возможность имитации разумного поведения, без наличия какого-либо интеллекта. Сначала труд Серла приняли в штыки, но после 2000 года на тест посыпался град критики.

Начало критике положил Дуглас Ленат (Douglas Lenat, 1950), создатель самой мощной и единственной существующей на данный момент экспертной системы Cyc, он назвал тест Тьюрига идиомой red herring, что буквально значит «копченая селедка». (Происхождение идиомы таково – эту пахучую селедку охотники использовали как отвлекающее средство при натаскивании бассет-хаундов, приучая собаку бежать по следу, не отвлекаясь на посторонний запах.)

Один из самых известных диджерати (слово digerati образовано сочетанием понятного digital и literati, так называют представителей литературной элиты) и автор термина виртуальная реальность Джарон Ларнье (Jaron Lanier, 1960) написал в New York Times: «Предположение Тьюринга, что прошедший тест компьютер обретает ум и становится человекоподобным, столь же нелепо как утверждение, что работающий на компьютере человек становится тупее и более похожим на него».

И даже сам Марвин Минский заявил в 2003 году, что, развиваясь по пути указанному Тьюрингом, AI дошел до состояния мозговой смерти, он использовал термин brain-dead.

Ярость, с которой новоявленные критики набросились на тест Тьюринга невольно вызывает в памяти строки Константина Бальмонта: «Тише, тише совлекайте с древних идолов одежды, слишком долго вы молились, не забудьте прошлый свет…». Те, кто только что молились на Тьюринга, и Минский в первую очередь, стали его ниспровергателями. Почему? Да потому, что они с выгодой для себя свели все его наследие Тьюринга в области AI к одной статье, а исчерпав ее потенциал, решили от нее избавиться.

Статья «Вычислительные машины и разум»

Прежде, чем перейти к более значимому труду, где Тьюринг действительно указал путь в будущее AI, зададимся вопросом: «Если тест оказался заблуждением, то как же в таком случае следует относиться к «Вычислительным машинам и разуму», где он изложен? При глубоком погружении в статью складывается непреодолимое ощущение, что перед нами образец джентельменского розыгрыша высокого класса, на который купились очень многие. Если читать статью в оригинале, то нельзя не заметить присутствие в ней британского юмора, не удается отделаться от впечатления о сознательной мистификации. Тьюринг провоцирует читателя, когда начинает с прямого вопроса: «Могут ли машины думать?», подцепив его таким образом на крючок, он в том же абзаце ловко заменяет этот вопрос на другой: «Может ли машина совершать действия, неотличимые от обдуманных действий?». Совершив эту очевидную подмену понятий, он нисколько не утруждает себя необходимостью доказывать тождество двух разных способностей – мыслить и имитировать мышление. Вот она, предпосылка к появлению систем, проходящих тест в конкурсе Loebner Prize и им подобных, которые могут лишь имитировать мышление, но никак не мыслить, поэтому-то они и не имеют никакого значения для развития AI. Странно, как же удавалось десятилетиями не замечать сознательной «мины» – намеренного отождествления двух совершенно разных способностей? Не признав статью розыгрышем, невозможно понять как такой трезвомыслящий человек как Тьюринг мог предложить столь поверхностный тест, основанный не на чем-то ином как на «Игре в имитацию».

Возникает естественный вопрос: «А не является ли сама статья игрой в имитацию?» В рассуждениях об имитации мышления он был не первым, еще Дени Дидро (Denis Diderot, 1713–1784) в «Философских мыслях» (1746) не без иронии написал: «Если мне покажут попугая, способного ответить на любой вопрос, то я без сомнения признаю его разумным существом». Что же до «Игры в имитацию», то была популярна в начале XIX века, в период Первой промышленной революции, которая породила не только новую моду, например на шляпы-цилиндры, форма которых адресует нас к паровой машине, но и тягу британских аристократов к науке и к разного рода интеллектуальным салонным развлечениям. По правилам этой игры две команды, разделенные ширмой, пытаются узнать что-то одна у другой друга посредством обмена записками.

Не только слово имитация, но и метод доказательства вызывают убеждение в том, что перед нами ни что иное как гениальная мистификация, здесь нарушена принятая в науке каноническая последовательность: от гипотезы к постановке задачи, а далее к доказательству. Вместо нее Тьюринг произвольным образом выбирает девять вольно подверстанных утверждений, из которых якобы следует, что создание думающей машины невозможно, а далее успешно опровергает их. И это доказательство? Наиболее серьезный из опровергаемых аргументов Тьюринг заимствовал у Ады Лавлейс, он изложен в записке, адресованной тем, кто пытались найти признаки разума в механической Аналитической машине Чарльза Беббиджа. Более детально о мыслях Ады Лавлейс относительно разумности Аналитической машины будет написано в Главе 3.

Трудно представить, чтобы Тьюринг не понимал слабости предложенной им модели рассуждений о думающей машине, конечно же, это была шутка. Однако приверженцы Сильного AI в нужный им момент превратили шутку в свой катехизис, можно удивляться тому, что философское сообщество тоже попалось на наживку и началась бесконечная схоластическая полемика о возможности или невозможности создания AI, превосходящего разум человека.

«Умная машинерия» и два подходах к AI

Преувеличенное внимание к «Вычислительным машинам и разуму» оставило в тени другую, куда более значимую для AI работу – отчет «Умная машинерия» (Intelligent Machinery, IM), написанный Тьюрингом раньше, в 1948 году. Тьюринг использовал названии не machine, переводимое как машина, а machinery, этому слову точнее соответствует устаревшее в русском машинерия, трактуемое в словарях как совокупность машин, механизмов, технического оборудования. Таким образом он не связывает себя с определенным типом машины. Научное достоинство этой работы подтверждается тем, что в роли ее заказчика выступила Национальная физическая лаборатория (NPL), где создавались не только первые британские компьютеры, но и атомная бомба. В этом труде нет никаких поводов, дающих апологетам Сильного AI пищу для праздномыслия. Сорок с лишним лет IM оставался внутренним документом NPL, роковым в его судьбе оказалось пристрастие к секретности англичан, они же, например, более полувека хранили в тайне проект Ultra и потерявший актуальность компьютер Colossus. Случись публикация IM раньше, эта работа наверняка заняла бы более высокое место в научном наследии Тьюринга, чем «Вычислительные машины и разум», а главное оказала бы позитивное влияние на развитие AI.

В IM Тьюринг гениально предсказал возможные направления в развитии AI, здесь он не занимается мыслительным эквилибристикой или вербальными доказательствами способности машины мыслить, напротив, он предельно строг и рационален. Заметим, что Тьюринг не ограничивает технические средства для IM компьютером, хотя уже тогда было хорошо известно, что такое цифровые компьютеры, над созданием которых он работал, начиная с 1944 года. Первым был Colossus, хотя и цифровой, но еще электронно-механический специализированный компьютер, предназначенный только для дешифровки немецких радиограмм. Алгоритмы, разработанные для него Тьюрингом, основывались на Байесовской теории вероятностей, возможно, это был первый случай практического применения этой теории. Сразу же после окончания войны Тьюринг выполнил для той же NPL эскизный проект «Предложение по электронному калькулятору» (Proposed Electronic Calculator), который был использован при построении английского компьютера-прототипа ACE (Automatic Computing Engine). Поученный в процессе разработки опыт пригодился английским ученым и инженерам в 1947 году при создании первого в мире цифрового программируемого компьютера EDSAC (Electronic Delay Storage Automatic Calculator).

В IM Тьюринг поражает своей прозорливостью: он обосновал возможность существования двух альтернативных подходов к созданию AI, и, как показало будущее, эта дихотомия оказалась верной на 100 %. Один из возможных подходов он назвал подходом «сверху вниз» (top down), его суть в прямом переносе человеческих знаний в машину, позже этот подход за способ передачи был назван символьным. Начиная с 1956 года символьный подход доминировал, он развивался с переменным успехом, пока не достиг предела своего совершенства в экспертных системах и инженерии знаний, но в конечном счете он оказался тупиковым.

Второй подход Тьюринг назвал «снизу вверх» (bottom up), он строится на качественно ином предположении, не имеющем столь древних философских корней. Реальные предпосылки к такому подходу впервые возникли у нейрофизиологов в 30-е годы прошлого века, их работы подтолкнули к мысли о машине, представляющей собой искусственно созданную нейронную сеть (Artificial Neural Network, ANN).

Деление возможных подходов к AI на два – на top down и на bottom up оказалось воистину провидческим, как почти все, что сделал Тьюринг за свою короткую жизнь. Действительно AI в последующем развивался независимо по указанным им альтернативным направлениям. Детальнее о каждом из двух – символьном и коннекционизме, о том, как складывалась их история на протяжении восьми десятилетий, мы расскажем в этой книге. Здесь же можно ограничиться замечанием о том, что символьный подход был востребован в 60–90-е годы. Неудивительно, ведь он обещал невероятно быстрые результаты без особых научных вложений, казалось, что для создания AI достаточно написать соответствующие программы для уже существующих или проектируемых компьютеров. И напротив, развитие коннекционизма в силу целого ряда объективных и субъективных причин, прежде всего из-за отсутствия нужной теории и технологий моделирования ANN, было отложено на несколько десятилетий. Однако в XXI веке ситуация развернулась на 180 градусов, символьный подход ушел в забвение и восторжествовал коннекционизм. На данный момент практически все известные внедрения AI основываются исключительно на коннекционизме. Он стал фундаментом всей индустрии AI, созданной за последние 10 лет, а примеры сохранившихся систем на базе символьного подхода во всем мире можно пересчитать по пальцам.

В главе 4 будет описана история символьного подхода к AI, а в главе 5 коннекционистского.

Проблема души и тела (психофизиологическая проблема) и эффект AI

Остановимся на одной из причин, почему один из подходов оказался тупиковым, а у второго, во всяком случае так видится сейчас, перспективы ничем не ограничены. Создание работающих систем с AI связано с проблемой, схожей с той, которую немецкие психофизиологи обозначили в середине прошлого века, назвав ее Leib-Seele Problem или Psychophysisches Problem, в английский вошел перевод первого варианта Mind and BodyProblem, в русский же второго – Психофизиологическая проблема. Отношения между душой и телом играют центральную роль в современной медицине, психотерапии и психопатологии. Разумеется, с моделью мозга все гораздо проще, но принцип тот же, AI, как сознанию человека, нужна материальная оболочка, тело. В середине пятидесятых начались первые исследования в области символьного подхода к AI и тогда без каких-либо сомнений на роль тела назначили компьютеры, рассуждая следующим образом: мозг оперирует символами и компьютер оперирует символами, раз так, то почему бы и не вложить в него мыслительные способности (по Тьюрингу, сверху-вниз). Однако при этом не учли одной вещи, того, компьютер в том виде как он сегодня существует является программируемым устройством и инструментом для создания AI должно стать программирование. Программируемый мозг – нонсенс.

Нынешние компьютеры – прямые наследники тех, которые создавались в сороковые годы прошлого века с единственным желанием – автоматизировать трудоемкие процедуры расчетов и только, ничего иного от них и не ожидали. Но неожиданно оказалась, что путем перепрограммирования те же компьютеры можно использовать для решения множества иных задач.

Все существовавшие и существующие компьютеры строятся по одной из двух архитектур, созданных три четверти века назад. В подавляющем большинстве (99,9 %) по принстонской, которую не вполне справедливо называют фон-неймановской (ФНА). Неизмеримо меньшее число специализированных сигнальных процессоров созданы по альтернативной гарвардской архитектуре. Этими двумя архаичными на сегодняшний день решениями ограничено все разнообразие компьютерных архитектур. Их объединяет главное – программный принцип управления последовательным выполнением команд, в том и другим случае процессор отрабатывает записанную в память программу. В первом случае данные и программа хранятся в общей памяти, а во втором – раздельно. За семьдесят с лишним лет в ФНА внесены многочисленные усовершенствования, способствующие компенсации присущих ей врожденных недостатков – неспособности к распараллеливанию вычислений, ограничение пропускной способности канала процессор-память (проблема бутылочного горла) и других.

Программное управление известно с античных времен, о его использовании в автоматонах подробно рассказано в главе 3. На компьютеры его распространил Чарльз Беббидж, создав проект Аналитической машины, для этого он, с одной стороны, позаимствовал математические принципы разделения сложных расчетов на простые операции у Гаспара де Прони, а с другой, идею записи программы на перфокарты у Жозефа Жаккара, изобретателя ткацкой машины. Совмещение одного с другим позволило создать архитектуру Аналитической машины, предтечи ФНА. В компьютерах принципы программного управления Бэббиджа сохранились с небольшими модификациями, такими как условные и безусловные переходы и разного рода детали. В целом же нужно признать, что компьютер генетически непосредственно связан с простейшими автоматами. Это кажется весьма странным, но дистанция между Аналитической машиной Бэббиджа и ФНА не слишком велика.

Жизнь показала: рожденный считать – думать не может, попытки обнаружить хотя бы признаки интеллекта в программных системах, претендующих на эту способность, приводят к огорчающему выводу – любые потуги запрограммировать AI в конечном счете сводятся к построению систем, лишь обладающих внешними признаками AI. Очень похоже на известную максиму В. С. Черномырдина: «Хотели как лучше, а получилось как всегда». Этот печальный факт американский автор книг по истории и философии AI Памела МакКордак предложила называть «эффектом AI» (AI effect). Эффект AI обнаруживается во всех без какого-либо исключения программах, которые по замыслу авторов должны были бы демонстрировать наличие у них разума. При непредвзятом анализе в 100 % случаев обнаруживалось, что их поведение на самом деле псевдоразумно и имеет простое логическое объяснение. Как сказал один из виднейших специалистов в робототехнике Родни Брукс: «Магии AI нет, но есть обычные вычисления».

То же самое, но более образно, выражено в утверждении, известном как «теорема» Теслера: «AI – это то, что еще не было сделано» (AI is whatever hasn't been done yet.). Теоремой оно названо не вполне корректно, поскольку не содержит доказательства. Ее сформулировал Дуглас Хофштадтер, автор получившей известность книги «Гедель, Эшер, Бах: эта бесконечная гирлянда», за нее автор был удостоен в 1980 году Пулитцеровской премии в номинации «Нехудожественная литература». Хофштадтер представитель тех, кого называют AI-скептиками, он категорически отвергает возможность создания искусственного разума в форме сильного или тем более общего AI. Когда в 1996 году мир испытал шок, вызванный поражением Гарри Каспарова в поединке с суперкомпьютером компании IBM, он совершенно уверенно заявил: «Разумеется, победа Deep Blue стала поворотным моментом в истории AI, но она ни в малейшей степени не свидетельствует о наличии разума у компьютеров».

История появления самой «теоремы» такова. Ларри Теслер, именем которого она названа, известный специалист в области человеко-машинного интерфейса, работал в Xerox PARC, а позже в Apple, Amazon и в Yahoo!. Случилось так, что однажды в разговоре с Хофштадтером он поведал о наблюдаемом им феномене – если решение некоей задачи вначале может создать о себе иллюзию машинного мышления, то при детальном анализе того что внутри, оказалось – это обычные программы и никаких чудес и решение этой задачи считать примером «настоящего мышления». Наделить мыслительными способностями программируемый автомат невозможно, на этом споткнулись и великие Марвин Минский с Джоном Маккарти, и все-все-все, пошедшие по предложенному ими пути. Будучи писателем, Хофштадтер всего лишь придал этой мысли более лаконичную форму.

Как забытый было AI снова оказался в центре общественного внимания

Забегая вперед, скажем, что к началу XXI века, пережив два цикла подъема и падения символьного подхода, AI впал состояние близкое к анабиозу. Те немногие, кто сохранил веру в него, скрылись в своего рода академических окраинах, они трудились над тем, что представляло интерес для них самих и еще небольшого числа близких им единомышленников. На фоне нынешнего хайпа вокруг AI человеку, не знающему об этом мрачном периоде, трудно поверить, однако реальность была такова.

Неожиданный воскрешение AI, точнее выход из состояния многолетней летаргии случилось в интервале с 2007 по 2012 год. За этот короткий период сложились необходимые и достаточные условия для интеллектуального и технологического взрыва в ограниченной области Слабого AI (ANI). По динамике взлета, по приятию происходящего в разных слоях общества случившееся с AI можно сравнить разве с событиями, имевшими место в авиации в первом десятилетии XX века. Принято считать, что первый аппарат тяжелее воздуха «Флайер-1» построили братья Орвилл и Уилбур Райт, он взлетел 17 декабря 1903 года, а уже к концу десятилетия сотни страны-участники Первой мировой войны использовали авиацию в боевых действиях.

К создание летательных аппаратов тяжелее воздуха приложили руку не только братья Райт, оно стало возможным благодаря успехам в нескольких областях, прежде всего, в появлении легких двигателей внутреннего сгорания и в успехах в изучении основ аэродинамики крыла. Примерно то же самое можно сказать о современных достижениях в области ANI. Подчеркнем, только лишь ANI без каких-либо проекций в будущее на AGI и тем более на ASI. Нынешний взрыв ANI вызвала синергия трех факторов: первый – достижения в работе с большими данными, второй – успехи в области глубокого машинного обучения, и третий – адаптация для процессов обучения ускорителей на графических процессорах GPU.

В данном случае на роли братьев Райт жребий выбрал трех профессоров – Фей-Фей Ли, Джефри Хинтона и Эндрю Ына, каждый из них внес свою лепту в становление этих трех научно-технических направлений. Стоит сказать, что на их месте могли бы оказаться любые другие ученые, все это игра случая, существенно то, что сложились необходимые предпосылки, а кому что досталась не столь важно.

• Профессору Фей-Фей Ли из Стэнфордского университета принадлежит идея использования машинного обучения для извлечения полезной информации из больших объемов данных. В своих экспериментах она использовала базу данных аннотированных изображений ImageNet. Большинство коллег применяли для подобных задач традиционные модели и алгоритмы AI, но Фей-Фей Ли решила нарушить традицию и применить для отработки и распознавания образов мало востребованные к тому времени методы машинного обучения.

• Из всех существовавших методов машинного обучения наилучшие результаты показали методы глубокого обучения, разработанные группой математиков из Университета Торонто, возглавляемой профессором Джефри Хинтоном.

• Универсальные компьютеры оказались слишком медленны для решения задач обучения, выход нашел работавший в Стэнфорде профессор Эндрю Ын. Он предложил использовать графические процессоры GPU для моделирования ANN.

Так возникла технологическая триада, являющаяся базисом современного AI – большие данные, машинное обучение и GPU. Она является альтернативой двум компонентами действующей компьютерной парадигмы, состоящей из программирования и фон-неймановских компьютеров (CPU). Обучение на больших данных заменяет программирование, что же касается GPU, то сегодняшний день кластеры из эти процессоров, ядра которых остаются фон-неймановскими, позволяют создать обучаемую, а не программируемую инфраструктуру. Этот путь создания тела для AI далеко не совершенен, но действующей альтернативы нет, ведутся активные исследования и разработки иных нежели GPU процессоров, но они пока на уровне экспериментов.

Нынешнюю волну AI нередко называют третьей, это так, но надо отдавать себе отчет, что это лишь порядковый номер, ни теоретически, ни технологически эта волна никак не связана с предшествующими. Представленная выше группа весьма харизматичных ученых оказалась в центре внимания масс-медиа, однако необходимые и достаточные условия для возникновения этой волны ANI были созданы более широким научным сообществом.

Новые скептики

Подъем интереса к AI немедленно вызвал обратную волну, с критикой выступили люди, далекие от понимания сути происходящего. Неизгладимое впечатление на общественность произвел ныне покойный британский физик и космолог Стивен Хокинг, заявивший в 2017 году: «Развитие искусственного интеллекта может стать как наиболее позитивным, так и самым страшным фактором для человечества. Мы должны осознавать опасность, которую он несет». Хокинг выразил опасения относительно того, что новейшие технологии могут привести к деградации человека, сделав его беспомощным перед лицом природы, что в условиях естественной эволюции и борьбы за выживание означает верную гибель.

Среди тех, кто добросовестно заблуждается и выступают в прессе, не имея серьезного представления об AI, есть и вполне достойные люди, например, великий дипломат Генри Киссинджер. Его статья с эпохальным на первый взгляд названием «Конец Эпоха просвещения» (How the Enlightenment Ends) опубликована не где-нибудь, а в журнале The Atlantic.

Квинтэссенция позиции Киссинджера такова: «Просвещение началось с философских размышлений, которые распространялись с помощью новой технологии. Мы движемся по противоположному пути. Разработана потенциально доминирующая технология AI, которая нуждается в направляющей философии. Но разработкой таковой никто даже не занимается». Статья завершается выводом: «Создатели AI, некомпетентны в политике и философии, точно так же, как я в сфере технологий, поэтому они должны задаться вопросами, которые я поднял в этой статье, чтобы встроить ответы в свои инженерные разработки. Правительству США стоит подумать о создании президентской комиссии из признанных экспертов-мыслителей, которые помогут разработать национальный подход. Очевидно одно: если мы не начнем эту работу в ближайшее время, очень скоро мы поймем, что уже опоздали».

Однако это контрволна незаметно стихла, не успев как следует подняться, в 2018–20 годах поток «провидческих» выступлений заметно ослаб. В средствах массовой информации и в социальных сетях, где все чаще звучит призыв к трезвому отношению к AI под лозунгом демистификации AI (Demystification AI). В эти годы активно развивался AI-бизнес, связанный с производством средств автоматизации в самых разных сферах.

Особености третьей волны

В чем новизна очередной волны AI, что делает ее отличной от предшествующих, и не ждет ли ее такая же печальная судьба? Для этого сравним их исходные позиции. Напомним, авторы первых двух волн шли по пути, названному Тьюрингом «сверху-вниз» в сочетании с действующей по сей день двухзвенной компьютерной парадигмой, стоящей на двух китах: универсальное аппаратное обеспечение и программное обеспечение, служащее для решении конкретной задачи. В рамках этой парадигмы решение любой задачи, какой бы сложной она ни была, сводится написанию программы для компьютера, главное, чтобы он обладал необходимой производительностью. При этом упускались из виду ограничения этой парадигмы – программируемый компьютер по природе своей не может делать ничего помимо того, что в него вложил человек. Следовательно, нет такого момента, где бы он проявить свой собственный тот самый искусственный интеллект и породить что-то «от себя». Он действует строго по программе, даже при выполнении таких, казалось бы, сложных действий, как доказательство теорем, написание музыки или игра в шахматы.

Качественное отличие третьей волны от первых двух в том, что она реализует схему «снизу-вверх» по Тьюрингу, в ее основе лежит коннекционистский подход, альтернативный символьному. В отличие от процессора нейронная сеть не может быть запрограммирована, но ее можно «обучить» тем или иным образом, после чего она способна моделировать простейшие процессы, происходящие в мозге. На данный момент многообразие методов обучения, сводится к предъявлению нейронной сети большого объема данных с тем, чтобы она смогла настроиться на них и находить решения. По большей части все, что называют AI-приложениями третьей волны ограничено компьютерным зрением (Computer Vision, CV) и обработкой текста на естественном (Natural Language Processing). В отличие от первых двух волн эти приложения относятся не просто к просто узкому или слабому AI (Narrow, Weak AI), а являются сугубо специализированным AI-решениями, которые называют AI, скорее, как дань традиции.

То, что многочисленные рассуждения о возможностях AI на практике пока свелись к сугубо специализированным решениям, имеет вполне понятное объяснение. Возможности моделирования средствами искусственных нейронных сетей ограничены существующими компьютерными технологиями, для сравнения даже самые мощные GPU кластеры, совершенно ошибочно называемые суперкомпьютерами (компьютеры универсальны, а GPU-кластеры специализированы), насчитывают десятки тысяч, максимум сотни тысяч ядер. При этом мозг таракана состоит из 1 миллиона нейронов, лягушки – 16 миллионов. У более сложных существ мозг насчитывает миллиарды нейронов, что касается человека, то в его мозге примерно 85 миллиардов. На сотни тысяч ядер кластеры потребляют мегаватты энергии, а человеческий мозг – 20 ватт. Каким же надо быть безудержным оптимистом, чтобы говорить о реальной возможности сильного AI, превосходящего возможности человека? А ведь находятся!

До того, когда AI обретет потенциал, хотя бы как-то сопоставимый с самым примитивным живым мозгом еще очень далеко, на нынешнем уровне развития электроники просто не о чем говорить. Поэтому схема работы современной обучаемой AI-системы на нейронных сетях в некотором роде искусственна, в отличие от мозга даже простейших. Она разделена на два этапа, первый – training, как следует из названия на нем тренирует или обучает искусственную нейронную сеть, являющуюся грубой моделью мозга, а на втором обученная нейронная сеть переносится в другую сеть, этот процесс называется inference, что можно перевести логическим выводом иди умозаключением. В то же время мозг простейшего живого совмещает training с inference.

О компьютерах и AI

Даже при такой упрощенной схеме реализации AI классические компьютеры, построенные по ФНА с ограниченным количеством центральных процессоров (Central Processing Units, CPU) с задачей training не справляются. Фундаментальная причина заключается в том, что они строятся на процессорах, состоящих из ядер типа SISD (Single Instruction, Single data), то есть задуманы для обработки одного потока данных одним потоком инструкций, для распараллеливания число ядер может достигать нескольких десятков. Даже собранные вместе десятки мощных процессоров оказывается неспособными к моделированию работы мозга нейронной сетью с тысячами узлов, требуемой при решении задач CV и NLP. Временный выход из положения совершенно случайно нашелся в виде Graphics Processing Units (GPU), эти созданные для работы с графикой компьютерных игр процессоры относятся к типу SIMD (Single Instruction, Multiple Data), они состоят из тысяч небольших ядер, на них проще воспроизвести нейросеть и специализированный компьютер будет обладать большей производительностью. Сегодня большая часть задач training решается на GPU. Для inference обученная сеть чаще всего переносится на CPU или GPU, а также на программируемых матрицах (Field Programmable Gate Array, FPGA).

По оценкам аналитиков до 95 % всей процессорной нагрузки, связанной с AI, приходится на inference, то есть на решение прикладных задач с использованием обученных нейросетей, сюда же входит Edge AI, так называют класс автономных систем, реализующих AI на оконечных устройствах. Как следствие, эта область является наиболее привлекательной для разработчиков новых процессорных архитектур. Преодолеть нынешнюю монополию GPU в задачах training если и удастся, то нескоро.

Есть несколько альтернативных разработок, часть из них попадает в категорию умных процессоров (Intelligence Processing Unit, IPU). Одну из них ведет компания GraphCore, пытающаяся создать аппаратными средствами графовую модель представления знаний. Компани Mythic стремится к объединению в памяти работы с цифровыми и аналоговыми данными. Значительное внимание привлекает к себе разработка компании Wave Computing, она дала своему процессору название DPU (Dataflow Processing Unit), из чего следует стремление революционизировать обработку потоковых данных.

О реальных перспективах AI

Как мы видим, реальные достижения не дают основания для избыточного оптимизма в оценке перспектив создания AI, сравнимого с человеческим или превосходящего его. До тех пор, пока компьютер остается программируемым устройством, он не сможет стать в полном смысле этого слова «умной машиной». Поэтому какой бы изощренной ни была программа, полученная с использованием машинного обучения, она останется всего лишь программой, вложенной в нейросеть, и найти в ней даже признаки сильного AI принципиально невозможно.

Удивительно то, что среди ученых, и менее удивительно, что среди футурологов, все же сохраняются убеждения в возможности создания AI за счет роста производительности компьютеров, что ошибочно связывается ими с законом Мура. В 2009 Генри Макграм, руководитель известного проекта Blue Brain прогнозировал, что в 2020 году будет создан «сильный AI», но в наступившем 2021 прогноз не оправдался. Пожалуй, самый известный из современных футурологов Рей Курцвейл в книге «Сингулярность близка» (The Singularity is Near, 2005) делал тот же прогноз на 2025 год, осталось недолго ждать.

Реальные перспективы применения AI связаны с автоматизацией, причем в большей степени с автоматизацией рутинных процессоров умственного труда и с созданием промышленных, транспортных, военных систем с повышенной степенью автономности.

AI и автоматизация

Настороженность, вызываемая в обществе перспективами внедрения AI, заставляет вспомнить, что с давних времен отношение людей к механизации, а в последующем и к автоматизации было сложным, ярчайший пример восстание луддитов в начале XIX века, они препятствовали внедрению машин в ходе промышленной революции в Англии, они считали, что машины станут причиной безработицы и выражали протест в погромах. На деле происходит обратное, с внедрением машин растет производство, что ведет к увеличению числа рабочих мест, однако страх перед автоматизацией не исчез. Противники нового утверждают: «Автоматизация это плохо, она убивает рабочие места и лишает нас будущего», на что сторонники отвечают: «Автоматизация это хорошо, она создает качественно новые рабочие места и это наше будущее», при этом и те, и другие понимают, что автоматизация неизбежна. За 200 лет область автоматизации распространилась от замены человека в простейших физических операциях до управления сложными системами, где требуется определенный интеллект. Внедрение AI – очередной шаг в этом направлении.

Слово «автоматизация» происходит от греческого «автоматос», значащего «действующий самостоятельно». Автоматизацию в ее традиционном индустриальном понимании связывают с наличием образной связи в контуре управления. Первый шаг в этом направлении сделал Джеймс Уатт, заменивший в 1788 году изобретенным им центробежным регулятором мальчика с веревкой, приставленного к паровой машине. За последующие два с половиной века было создано множество машин и систем, различающихся по степени вложенной в них разумности или интеллектуальности (intelligence). Сегодня сложилась следующая трехуровневая классификация автоматизированных систем по уровню их интеллектуальных способностей:

• Assisted Intelligence – системы со вспомогательным интеллектом, обладающие ограниченными способностями, могущие делать только то, что им предписано, они широко используются в многочисленных встроенных системах в диапазоне от простых бытовых устройств до крупных промышленных объектов. В эту же категорию попадают и умные вещи, и так называемые Smart Products, и умная окружающая среда (Smart Environment). Эти системы полностью или частично избавляют человека от физического труда.

• Augmented Intelligence – системы, интеллект которых служит вспомогательным средствам для человека, они могут избавлять от наиболее рутинной части умственного труда.

• Autonomous Intelligence – системы с автономным управлением, способные к самостоятельной деятельности. Это пока еще гипотетический класс систем, возможность создания такого типа остается недоказанной.

Внедрение AI существенно расширит применение систем уровня Augmented Intelligence, открывается хорошая перспектива для появления систем поддержки приятия решений (Decision Support Augmentation, DSA) в самых разных областях – в науке, инженерии, медицине, системах обеспечения безопасности. Для таких систем появилось специальное название AI-coworker, то есть AI-коллега.

История интеллектуальных помощников

Идея интеллектуального помощника не нова, ее можно найти в классической статье «Как мы можем думать». В ней Ванневар Буш (Vannevar Bush, 1890–1974), которого за его научную и административную деятельность называли Царем Науки (Science Tsar), описал гипотетическую машину MEMEX (MEMory EXtender). Подобно Алану Тьюрингу, использовавшему придуманную им машину для доказательства вычислимости, Буш предложил свою виртуальную машину, чтобы показать, как техника могла бы помочь человеку при работе с большими объемами документов. Машину MEMEX Буш рассматривал как инструмент для совмещения способностей человека и машины, он оставил за человеком творческий подход, ассоциативное мышление и другие присущие ему качества, а на машину переложил рутинные операции с документами.

Продолжателем дела Буша стал Даг Энгельбарт (Douglas Engelbart, 1925–2013), он известен большинству изобретением манипулятора-мышки, но это его попутное достижение, а реальный вклад – системы для совместной (коллаборативной) работы NLS (oN-Line System) и средства для презентаций, используемых для поддержки публичных выступлений. Сегодня для оформления презентаций широко используют Microsoft Power Point или Apple Key Note, а в 1968 году презентация была открытием. Менее известно создание Энгельбартом концепции, названной им Augmented Intelligence (AuI), что можно перевести как «усилитель интеллекта». Идею усиления человеческих возможностей при помощи компьютера Даг Энгельбарт высказал в 1962 году в работе «Усиление человеческого интеллекта, концептуальная схема» (Augmenting Human Intellect: A Conceptual Framework).

AI и бизнес

Системы с AuI, предназначенные для расширения интеллектуальных способностей человека, становятся серьезным сегментом AI-бизнеса. Об этом свидетельствует недавний отчет Gartner «Победить в AI с опорой на AuI» (Leverage Augmented Intelligence to Win With AI). В нем Gartner считает наиболее перспективной модель партнерства человека с машиной и человеком, в центре которой находится человек, деятельность которого поддержана технологиями AI. Авторы считают, что сочетание человеческих способностей со способностями AI позволит создавать более эффективные технологии. При этом отмечается: «Цель внедрения AI заключается в создании условий, при которых человек стал бы умнее и счастливее, а не ради построения какого-то утопического «машинного мира» ради него самого. Это подход нацелен на получение преимуществ от внедрения AI, он позволит получать все лучшее и от людей, и от машин».

Другой перспективный сегмент – внедрение AI непосредственно в производственные процессы, что выведет автоматизацию на уровень гиперавтоматиации (Hyperautomation). Под гиперавтоматиацией в Gartner понимают интеграцию уже известных направлений автоматизации (роботизированная автоматизация процессов (Robotic process automation, RPA), интегрированный менеджмент бизнес-процессов iBPMS и других) с методами AI. Примерно в том же направлении рассуждают и другие аналитики, в IDC используют термин интеллектуальная автоматизация процессов (Intelligent Process automation), а Forrester – цифровая автоматизация процессов (Digital Process Automation).

Глава 2 Предпосылки к созданию AI

Можно говорить о различных предпосылках к созданию AI, среди них и сказочные, и исторические, и научные, и технические. С одной стороны это древние мифы и легенды, а также возникший в XX веке жанр литературной и кинематографической фантастики, претендующей на научность, с другой – исследования в области нейрофизиологии, позволяющие заглянуть в тайны мозга, и еще технические – это компьютеры, открывающие возможность воспроизводить нечто похожее на работу мозга.

AI в сказаниях и научной фантастике

Мы живем в удивительное время, когда почти все, о чем мечтало человечество, осуществилось: за последние пару веков люди научились перемещаться в разных средах с высокими скоростями, общаться на расстоянии, вышли за пределы Земли, победили неизлечимые прежде болезни, значительно увеличили среднюю продолжительность жизни, все это воплотилось, но совсем не так, как рисовало воображение. Для перехода от мечты к реальности потребовался огромный объем научных исследований и создание новых отраслей промышленного производства. В результате получились не ковер-самолет и крылатые кони, а мощнейшие летательные аппараты тяжелее воздуха, не живая вода, а плоды медицинской индустрии и фармакологии и тому подобное. На очереди воплощение мифов об умных машинах и оживленных рукотворных созданиях, но и здесь та же проза, тот же многолетний труд, то же сочетание науки и технологий.

Первые упоминания о служащих богам умных механизмах восходят к мифологическому наследию Древней Греции. На пирах богов-олимпийцев, описанных Гомером, из автоматически открывающихся дверей в сопровождении золотых дев выкатывались тележки-автоматы с пищей богов: нектаром и амброзией. Гесиод, современник Гомера, описал еще два разумных творения: одно из них, красавицу Пандору бог-кузнец Гефест вылепил из глины по велению Зевса, наделив ее и обычными для прекрасного пола слабостями. Движимая любопытством Пандора на горе людям открыла ящик с бедами и болезнями, оставив после себя выражение «ящик Пандоры». Совершенно иное создание – великана Талоса выковал мастер Дедал, отец того самого Икара, безрассудно взлетевшего к Солнцу на крыльях из воска и перьев. Бронзовому воину Талосу было назначено обеспечивать безопасность острова Крит, куда Зевс поселил очередную подругу Европу. Позже живший на границе старой и новой эры римский поэт Овидий сложил легенду о Пигмалионе, влюбившемся в собственное творение – в скульптуру девушки необыкновенной красоты. Покоренная силой его любви Афродита оживила статую: так появилась Галатея.

Менее известны мифы других народов о гомункулусах (homunculus – искусственный человечек). Скандинавские саги повествуют о князе Грунгнире, слепившем из глины великана Меккуркальви для борьбы с богом Тором. В индийских храмах, которые внешне напоминают космические корабли, отражены сказания о летающем дворце Вимана. Из Китая дошла легенда о монахе Дао Хуане, создателе человекоподобных механизмов для обороны монастыря. Всем известна русская сказка о Снегурочке, но есть еще одна – о Глиняном болване. Из более современных сказочных созданий, конечно же, Пиноккио-Буратино и прекрасная компания из «Волшебника страны Оз».

В Европе популярен миф о великане Големе, слепленном из глины средневековыми иудейскими каббалистами для защиты обитателей пражского гетто. Позже Голем стал персонажем ряда литературных произведений, начиная с романа малоизвестного немецкого писателя-романтика Карла Арнима «Изабелла Египетская» (1812), вслед за ним к теме Голема обращались Густав Майринк, Томас Манн, Исаак Башевис-Зингер и другие.

Однако самый значительный успех выпал на долю Мэри Шелли (1797–1851) с ее романом «Франкенштейн, или Современный Прометей» (1818), навеянным легендой о Големе. Небольшая по объему книга, написанная Шелли в юном возрасте, была десятки раз экранизирована, по ней поныне снимаются фильмы и ставятся спектакли, при этом в них нередко Франкенштейном ошибочно называют чудовище, созданное Виктором Франкенштейном.

Научная фантастика и AI

Подлинный же взрыв интереса к литературной интерпретации AI пришелся на первую половину XX века с появлением массовых изданий в жанре научной фантастики. Русское название жанра, «научная фантастика» отличается от английского оригинала science fiction (sci-fi) примерно так же, как «искусственный интеллект» от «artificial intelligence», термины несут близкий, но не тождественный смысл. Словосочетание science fiction скорее следовало бы переводить как «художественный вымысел о науке», русский же перевод страдает креном в сторону науки, хотя подавляющая часть этих произведений к ней не имеет никакого отношения. Отцом жанра sci-fi (The Father of Science Fiction), называют Хьюго Гернсбека (Hugo Gernsback, 1884–1967), австрийца, переехавшего в Америку, изобретателя, писателя, популяризатора науки и основателя первого в мире научно-фантастического журнала «Замечательные истории» (Amazing Stories), издававшегося огромными тиражами с 1922 по 2005 год.

Особо останавливаться на sci-fi не стоило бы – обычно эти книги, однажды прочитанные в юности, с годами забываются, если бы взлет интереса к sci-fi в США в предвоенные годы ни оказал колоссального воздействия на жизненный выбор многих людей того времени. О своем увлечении научной фантастикой и о ее влиянии на выбор жизненного пути неоднократно вспоминали многие из тех, кто признан великими в области AI. Когда читаешь оставленные ими мемуары, невольно создается впечатление, будто в юношеском возрасте у них произошла аберрация сознания, приведшая к тому, что до конца жизни они плохо различали реальность и вымысел. Возможно этим объясняется отсутствие у них критического отношения к тому, что они делали, а еще больше к тому, что они обещали, но так и не сделали.

Первенство в деле создания произведений о роботах принадлежит братьям Чапекам – писателю Карелу и художнику Йозефу с их пьесой R. U. R. (Rossumovi univerzální roboti, 1921), где действовали искусственно созданные биологические существа, названные ими роботами от чешского слова robota, имеющего совсем иное значение, чем в русском языке. Такая игра слов нередко случается в славянских языках, robota не то же, что созвучное ей слово работа, а каторга. (Есть похожий казус из польского, где uroda – красота.) С подачи Карела Чапека слово робот вошло во все языки и было повторено во множестве научно-фантастических произведений, хотя R. U. R. скорее можно отнести к жанру социальной утопии, а не sci-fi.

Первым автором ранней советской фантастики, упомянувшим роботов, был Владимир Орловский – химик, профессор Ленинградского фармацевтического института, он погиб во время блокады. Один из его рассказов был переведен и опубликован в Amazing Stories.

Апогей увлечения литературой sci-fi пришелся на середину прошлого века, когда в моду произведения Артура Кларка, Айзека Азимова, Станислава Лема и других именитых писателей-фантастов. Но золотое время литературы sci-fi минуло, книги читать стали меньше и фокус внимания любителей фантастики сместился на кинематограф, а позже на компьютерные игры. Особый успех достался культовому фильму «2001 год: Космическая одиссея», созданному в 1968 году в соавторстве со Стэнли Кубриком (режиссер) и Артуром Кларком (сценарий) по рассказу последнего «Часовой» (1951). За фильмом последовал роман-сиквел с тем же названием «2001: Космическая одиссея». Один из главных персонажей одиссеи – разумный компьютер HAL 9000, которому в значительной мере подчинен космический корабль. Этот и другие филмы создали в массовом сознании представление о мнимой реальности искусственного разума, способствовали мифологизация AI.

Неуемная фантазия авторов книг, фильмов и видеоигр стимулировала в массах псевдонаучное представление об AI в спектре от сильного AGI до суперинтеллекта ASI, а слабый ANI, как внешне малопривлекательный, полностью выпал из сферы интересов. Сдвиг сознания в сторону антропоморфизации легко объясним общим для всех фантастов и футурологов качеством – они способны предвидеть будущее через экстраполяцию существующего сегодня, исходя из видимого ими в данный момент. Показательны в этом отношении иллюстрации к фантастическим романам начала прошлого века, где улицы забиты конными экипажами, мостовые погребены под экскрементами лошадей, а неба не видно из-за переплетения телефонных проводов. Тенденцией писать о будущем, исходя из известного, можно объяснить массированное очеловечивание AI в научной фантастике. Жизнь дала авторам возможность увидеть разумность (intelligence) только в человеке и они не могут представить ее в иной в форме. Встречаются исключения, такие как Океан в «Солярисе» Станислава Лема, но редко. Нынешние достижения в области AI показали, что машинная разумность разительно отличается человеческой, способная к обучению машина, будучи встроенной в систему, может выполнять отдельные несложные функции лучше и быстрее человека, но при этом не имеет ничего общего с тем, как это делает человек.

О склонности фантастов очеловечивать AI точно высказался Джошуа Бенжио, один из наиболее известных в мире специалистов по искусственным нейронным сетям и глубокому обучению: «Серьезное заблуждение футурологов и фантастов состоит в том, что они видят AI продолжением существующего, они видят его похожим на нас или на животных, представляют, будто AI может обладать собственной личностью или сознанием. Но работающий AI – это обычная машина и как машина он не может обладать ни личностью, ни собственным сознанием, ни инстинктом к самосохранению».

Механика: от автоматонов до программируемых ткацких станков

Живший в I веке н. э. греческий механик Герон Александрийский вошел в историю как создатель первых автоматонов. Так назвали самодвижущиеся существа, термин сохранился до нашего времени. Кроме них на счету у Герона автоматические двери, механический театр кукол, торговые автоматы, паровая турбина и устройства управления, где программа записывалась штырьками на вал, вращаемый намотанной на него веревкой. Это простейший способ программирования сохранялся столетиями в самых разных устройствах, а программирование достигло совершенства в компьютерах, сохраняющих прямое родство с обыкновенной шарманкой. Современники Герона отнеслись к его автоматам более чем серьезно и еще много лет спустя продолжали очеловечивали их, поэтому живший на триста лет позже Аристотель счел нужным разъяснить – только живые существа способны действовать по собственной воле, а неживые исключительно под воздействием внешней силы. Эта мысль великого философа должна бы действовать отрезвляюще на тех, кто и сегодня сохраняет веру в суперинтеллект, способный превзойти человека.

Китай тоже можно назвать родиной автоматонов. Здесь задолго до Герона, в эпоху императора Му (976–922 гг. до н. э.) мастер Ян Ши сделал для своего владыки человекоподобный автоматон, способный петь и танцевать, а почти через тысячу лет другой мастер Ма Дэйфень предложил императору Сюань-цзуну (810–859) проект автоматизированных столовых принадлежностей, но тот эту идею не одобрил.

Значительно преуспели в создании автоматонов арабские механики, жившие в эпоху расцвета арабской культуры. Наибольшую память о себе оставил Аль-Джазари (1136–1206): он изготовил человекоподобные музыкальные автоматы, разместил их в лодке, ее запускали в озеро, они вней плавали под исполняемую самими музыку. Программы движения и музыки были записана на валиках, снабженных кулачками. Кстати, в традиционных автомобилях с бензиновыми четырехтактными двигателями внутреннего сгорания газораспределительный механизм управляется программой, записанной кулачками на валу.

В XVI–XVIII веках пальма первенства в деле создания автоматонов перешла к европейским мастерам, они поставляли ко дворам царственных особ поражавшие современников шутейные машины (Frolicsome Engines). Им удалось превратить ремесло создания программируемых автоматов в искусство, но с точки зрения управления они были все так же незатейливы – удивительного внешнего вида шутейные машины имели всего одну, как бы мы сказали сейчас, «прошитую» программу. Высшим достижением в области шутейных машин стали автоматоны французского механика Жака Вокансона, созданные им в середине XVIII века, их так и называли вокансонами.

Развлекательные автоматоны были непременным атрибутом большинства европейских дворов, даже у русского царя Алексея Михайловича в Коломенском дворце имелась пара механических львов, изготовленных в 1673 году часовых дел мастером Оружейной палаты Петром Высоцким. Они были способны воспроизводить некоторые движения животных и рычать. Встреча Петра I с тем, что к тому времени осталось от игрушек его отца, описана Д. С. Мережковским в историческом романе «Антихрист (Пётр и Алексей)».

Внедрение автоматов со сменной программой началась в XVI веке во Фландрии, в то время самой процветающей части Европы. Начало положили фламандские мастера, они изобрели программируемые карильоны, входившие в состав башенных часов. Классические карильоны – колокольные музыкальные инструменты, на них играли с помощью специальной молотковой клавиатуры. Их история уходит в середину I тысячелетия н. э., при раскопках в Китае был обнаружен прототип карильона, состоящий из шестидесяти четырех бронзовых колоколов. Прежде в Европе с XII века создавали городские башенные часы со звоном, но без циферблата – они предназначались исключительно для того, чтобы созывать звоном прихожан на молитву. Такие часы называли ударными (striking clock, или chiming clock). Фламандские мастера объединили карильоны с часами и снабдили их механизмом, позволявшим исполнять с заданной периодичностью различные заранее запрограммированные мелодии. Программаторами служили придуманные Героном огромные барабаны со штифтами, а для приводов к молотам использовались веревки.

Используемый во фламандских карильонах программатор в 1805 году навел мастера-ткача Жозефа Жаккара на мысль о конструкции автоматизированного станка, способного ткать узорчатое полотнище. С тех пор подобную ткань называют жаккардом. Ткацкий станок сочетал в себе два управляющих устройства – основное, в нем, как в карильоне, программа «записывалась» на барабан, а в дополнительном, обеспечивавшим разнообразие узоров, программы записывались на изобретенные Жаккаром сменные дощечки с отверстиями, похожие на перфокарты.

Чарльз Бэббидж – автор идеи автоматизации вычислений

Чарльз Бэббидж (Charles Babbage, 1791–1871) перенес идею программного управления на механизацию вычислений, в этом его величайшая заслуга. Он начал с первой из двух созданных им Разностных машин (Differential Engine), реализующей всего один алгоритм расчета, но, не закончив ее, пришел к выводу, что вычислительная машина должна быть более универсальной, то есть со сменной программой. В поисках решения для записи программы он обратился к перфокартам, известным ему по машине Жаккара, но этого оказалось мало, нужно было еще каким-то образом адаптировать собственно процедуру расчета к выполнению ее на машине. На выручку пришла разработанная его современником, математиком и инженером Гаспаром де Прони (1755–1839) система распределения труда в ручных расчетных процедурах. Потребность в создании такой системы возникла, когда император Наполеон наметил переход на метрическую систему и поручил барону де Прони возглавить эту работу. Барон, предвидя необходимость выполнения огромного количества вычислений, нашел способ ускорения этого процесса посредством распределения операций между большим числом исполнителей, разделенных на три квалификационных уровня. Высшую ступень в этой иерархии занимали несколько выдающихся математиков, среди которых были Лежандр и Карно, они готовили, как бы мы сказали, математическое обеспечение. На втором уровне стояли образованные «технологи», которые организовывали процесс вычислительных работ. Последними в этой структуре были вычислители (computers), их квалификационный максимум – умение складывать и вычитать. Обычно это были девушки, которым революция позволила выбраться из социальных низов. Заслуга де Прони в том, что он нашел алгоритмический и технологический подходы для сведения сложных вычислений к простейшим операциям, не требующим от их исполнителей творческого подхода.

Знакомство с работами Жаккара и де Прони подтолкнуло Чарльза Беббиджа на создание Аналитической машины. У Жаккара он позаимствовал программное управление, а у де Прони – разделение сложных вычислений на элементарные операции. Но, как говорят, непосредственным импульсом к конструированию новой машины оказался проигрыш партии Механическому шахматному автомату, названному Турком. С этим Турком его создатель Вольфганг фон Кемпелен (Wolfgang Kempelen,1734–1804), а после его смерти новые владельцы, разъезжали по всему миру до тех пор пока лже-автомат не вышел из строя. Секрет Турка раскрылся только через сто лет в 1947 году, когда его останки нашли в одном из американских музеев. Ни каких чудес, оказалась, что внутри куклы сидел скрытый системой зеркал человек, перемещавший фигуры с помощью системы рычагов.

Аналитическая машина в силу ее сложности никогда не была построена, лишь через несколько десятилетий сыну Бэббиджа после его смерти удалось реконструировать отдельный фрагмент. Но тем не менее в среде современников Бэббиджа появились странные предположения о ее разумности. Сам создатель Аналитической машины, конечно же, в них не верил, но и не спешил рассеивать заблуждения по весьма понятной причине – ему нужны были средства на окончание работы, а разговоры о мыслительных возможностях его творения будоражили умы, чем немало способствовали получению денег. Внушение власть имущим веры в возможность создания чудо-машины часто способствует получению инвестиций, этот прием применяли многократно особенно, начиная с 1956 года, некоторыми он используется и сейчас. Однако у Бэббиджа было двое верных последователей. Луиджи Менабреа, итальянский офицер, в последующем политик (Luigi Menabrea, 1809–1896), составивший конспект лекций, прочитанных мэтром в Турине и таким образом сохранивший для потомков труды своего учителя. Леди Августа Лавлейс (Augusta Lovelace, 1815–1852), стала автором комментариев к этому конспекту. Оба глубоко понимали суть проблемы и противодействовали попыткам наделить Аналитическую машину какими-то либо элементами сознания. Менабреа, как инженер, к тому же не связанный обязательствами перед британцами, был более категоричен в своем отрицании всяких праздных размышлений относительно разумности машины, а вот леди Августе, как члену высшего общества, куда входил и сам Бэббидж, было сложнее отстаивать свою позицию, не навредив учителю. Она допускала, например, гипотетическую возможность сочинения машиной музыки, но только в том случае, если ей будут заданы соответствующие правила. Квинтэссенцией же ее отношения к машине служат слова: «Аналитическая машина не претендует на обладание способностью создавать что-то действительно новое. Машина может выполнить лишь то, что мы умеем ей предписать. Она способна сделать формальный анализ, но не может сделать из него выводы и предсказания». Удивительно как точно и прозорливо совсем молодая женщина, не имевшая формального образования, смогла сформулировать истину, о которой не следует забывать и тем, кто пытается насаждать мысли о разумности AI в наше время.

Электроника и первые компьютеры

Аналитическая машина Беббиджа стала венцом применения механики для вычислений, за последующие сто лет ничего сравнимого сделано не было, они отмечены лишь массовым производством простых счетных устройств и табуляторов. Радикальные изменения, ставшие техническими предпосылками к созданию AI, начались в период с 1930 по 1950 год, когда произошел настоящий взрыв достижений в самых разных областях науки и технологий, от микробиологии до ядерной физики, от телевидения до авиационно-космической отрасли. Успехи в электронике способствовавшие созданию материальной базы для будущих компьютеров.

В первую очередь следует назвать изобретение электронных ламп-триодов с тремя электродами. Напряжение подавалось на два – анод и катод, а управление силой тока осуществлялось изменением напряжения на размещенном между ними третьем – сетке. Управляющий сигнал на сетке позволял варьировать поток электронов между анодом и катодом. Конструктивно на одной лампе, скомпонованной из двух триодов (двойном триоде) можно собрать двухпозиционное электронное устройство – триггер (flip-flop), способное хранить 1 бит данных. Из триггеров собирают регистры, хранящие машинное слово и выполняющие различные виды работ с двоичными числами. Регистры были и остаются основой архитектуры с хранимой в памяти программой.

Не будь компьютеров, никакого AI не могло бы быть и в помине. Трудно представить, но самые первые компьютеры к науке не имели прямого отношения, они были в чистом виде плодом инженерной мысли, строились на основе эмпирических представлений, без какого-либо теоретического обоснования. Теория к ним была несколько искусственно подверстана позже, она ассоциируеться с двумя именами – Алана Тьюринга и Джона фон Неймана, однако их роль и место в истории компьютеров не столь очевидны и значимы, как их обычно представляют. Как математик, Тьюринг вошел в историю тем, что смог справиться с проблемой разрешимости (Entscheidungsproblem), поставленной в 1900 году Давидом Гильбертом. Свои изыскания он изложил в статье «О вычислимых числах, применительно к проблеме разрешимости» (On Computable Numbers, with an Application to the Entscheidungsproblem), опубликованной в 1936 году. Для доказательства Тьюринг использовал изобретенный им виртуальный инструмент – гипотетическую машину, более известную как «универсальная машина Тьюринга» (Universal Turing Machine, UTM). Годы спустя ее стали называть «a-machine» (automatic machine), потому что через 12 лет он описал еще одну гипотетическую машину «b-machine». UTM оказалась связанной с компьютингом благодаря одному удачному, если не сказать фантастически удачному обстоятельству. Так случилось, что в июне 1937 года во время стажировки в Принстонском университете Тьюринг получил возможность пообщаться с Джоном фон Нейманом и изложить ему свои взгляды на UTM. Это обстоятельство подтверждает рекомендательное письмо Тьюрингу, подписанное фон Нейманом, где признанный ученый дал высокую оценку молодому аспиранту.

Встреча произошла не в университете, где стажировался Тьюринг, а в Институте перспективных исследований (Institute for Advanced Study, IAS), расположенном там же в Принстоне (штат Нью-Джерси), космполитичный IAS не имел непосредственных контактов с сугубо консервативным элитным Принстонским университетом. В тридцатые годы IAS, раньше, чем это сделали правительственные организации, стал принимать ученых, бежавших из нацистской Германии. Благодаря этому он принял под свою опеку Альберта Эйнштейна, Джона фон Неймана, Роберта Оппенгеймера, Курта Геделя и других знаменитых ученых. Уникальная система финансирования позволяла ученым быть независимыми от каких-либо указаний извне, каждый исследователь работал над тем, что ему интересно. Как следствие атмосфера института оказалась прекрасной питательной средой для многих научных достижений. Несомненно, что пребывание в нем оказалось полезным и для Тьюринга. Что же касается фон Неймана, то он вернулся к идее UTM через несколько лет.

Таких людей, как Джон фон Нейман, называют полиматами, то есть универсальными гениями. С момента приезда в США его научные интересы были связаны с квантовой физикой, а когда стартовал Манхэттенский проект, целью которого было создание атомной бомбы, он стал одной из его ключевых фигур. Парадоксально, его имя чаще всего упоминают в связи с компьютингом и с AI, но не с бывшими главным делом его жизни физикой и математикой, где его личные достижения чрезвычайно высоки. Фон Нейману требовалось выполнять большие расчеты для атомной бомбы, но его не удовлетворяли доступные средства механизации, в поисках выхода он обращался к нескольким специалистам, но ничто из предложенного ими не могло решетить проблему. Требуемое он неожиданно для себя получил в результате случайной встречи с майором Германом Гольштейном, в ту пору ответственным со стороны военных за проект по созданию первого цифрового электронного компьютера ENIAC (Electronic Numerical Integrator and Computer). Гольдштейн познакомил фон Неймана с создателями ENIAC Джоном Моукли и Преспером Эккертом, уже тогда назвавшими свое детище «цифровой компьютер» (digital computer). К моменту знакомства они работали над своим вторым компьютером – двоичным программируемым EDVAC (Electronic Discrete Variable Automatic Computer). (Обратим внимание на слово Variable, тогда не знали слова программируемый.) В его составе было три основных компонента – процессор, память и управляющее устройство, позволяющие загружать и выполнять программы. Научный потенциал и способность к обобщению великого математика фон Неймана были существенно выше, чем у гениальных в своей инженерной ипостаси Преспера Эккерта и Джона Уильяма Моукли. Он быстро осознал значимость и великое будущее того, что перед ним предстало в форме инженерной разработки, соотнес принципы действия увиденного им с тем, что ранее узнал от Тьюринга и в обход всех административных и этических норм в июне 1945 года под своим именем предал гласности 101-страничный «Первый предварительный отчет об (The First Draft of a Report on the EDVAC). В этой, прямо скажем, не совсем корректной акции приял участие и Гольдштейн, что странно для отвечавшего за безопасность проекта EDVAC. Отчет разошелся по миру и, превратившись в public domain (общественное достояние), стал основой для множества других проектов, в этом, безусловно, его позитивное значение, однако куда смотрели спецслужбы США?

Публикация стала причиной конфликта между Эккертом и Моукли с одной стороны и Гольдштейном и Джоном фон Нейманом – с другой, поскольку она лишила создателей EDVAC права получить патент на изобретенный ими электронный цифровой компьютер. Как показало дальнейшее, интерес фон Неймана к компьютерам был временным, больше он ничего значимого в этом направлении не сделал, а Моукли и Эккерт оказались втянутыми в нечестную патентную войну, затеянную крупными корпорациями ради своих экономических интересов. В конечном счете они были лишены формального права считаться первыми. Суд отдал пальму первенства извлеченному из безвестности профессору Джону Атанасову (John Atanasoff, 1903–1995), совершенно неожиданно для него самого, поскольку он был автором электронного калькулятора, не способного к программрованию.

Связь архитектуры компьютеров с хранимой программой исключительно с именем фон Неймана сегодня рассматривается как яркий пример печальной закономерности при распределении славы, известной как «эффект Матфея». Ее сформулировал в 1988 году социолог Роберт Мертон (Robert Merton, 1910–2003), урожденный Меер Школьник, сын эмигрантов из России. Суть эффекта в том, что научное сообщество склонно приписывать избыточные заслуги успевшим стать знаменитыми, оно готово преувеличивать достижения тех, кто ранее смог составить себе имя, а достижения тех, кто еще не получил известности, как правило, преуменьшают или вообще не признают. Как сказано в Евангелии от Матфея: «Ибо каждому имеющему будет дано, и у него будет изобилие, а у неимеющего будет взято и то, что он имеет».

Что же привлекло фон Неймана в универсальной машине Тьюринга (UTM, Universal Turing Machine)? Для создания компьютера EDVAC, она практического смысла не имела, но как математик, он понял, что изложенная им эмпирическая теория нуждается в обосновании, иначе говоря, в своего рода «теореме существования». Теоремы существования предназначены для определения условий, при которых возможно решение той или иной задачи, они служат фундаментальной основой математического знания и образования. Эти теоремы нужны абстрактно мыслящим математикам, но они не вызывают интереса у специалистов из прикладной математики. Заслуга фон Неймана в том, что он инициировал создание теоретической компьютерной науки (TCS. Theoretical computer science), вот для нее и потребовалось нечто на роль закладного камня, тут как нельзя к месту кстати оказалась UTM, ставшая своего рода теоремой существования. Тогда же сложилось существующее по сей день разделение всей компьютерной науки на высокую TCS, у нас ее называют «теоретической информатикой», и на ее многочисленные прикладные направления. Граница между ними размыта, но очевидно, что она проходит где-то по линии отношения специалистов к UTM. Теоретикам UTM служит основой мировоззрения, а на работу практиков UTM никак не влияет, они могут спокойно жить, не задумываясь и даже ничего не зная о ней. В данном случае между теорией и практикой примерно такое же соотношение, как между собственно наукой и философией науки, совместно они образуют единый организм с высоким уровнем автономности двух составляющих – можно быть успешным исследователем и профаном в философии, но возможно и обратное.

Совсем незадолго до своей кончины, в 1958 году Джон фон Нейман снова обратился к AI, он подготовил материал для выступления в Йельском университете, известному как Силлимановская лекция (Silliman Lecture). Право прочесть ее является высокой академической привилегией, оно предоставляется ежегодно одному, начиная с 1901 года. Но выступить фон Нейман не успел, после его кончины наследники издали лекцию, переработанную в небольшую книгу «Компьютер и мозг», где работа мозга сравнивается с работой компьютера и предлагается рассматривать мозг как своего рода компьютер.

Нейрофизиологические предпосылки к созданию AI

Первые шаги в направлении моделирования мозга были предприняты в 30–40-х годах несколькими коллективами нейрофизиологов. Среди них лидировала группа, в которую входили биологи, психологи, математики и инженеры, работавшие в Чикагском университете под руководством Николая Петровича Рашевского (1899–1972), признанного отца математической биофизики. Рашевский – еще один наш гениальный соотечественник, неизвестный в России, выпускник Киевского университета. Во время Гражданской войны он пошел на Белый флот, затем попал в Турцию, позже преподавал в Русском народном университете, созданном в Праге русскими эмигрантами. Деятельность университета была прекращена коммунистическим правительством Чехословакии в 1949 году, но Рашевский проработал там только до 1924 года, а потом он перебрался в США и всю последующую жизнь посвятил науке.

Работы Рашевского стали продолжением трудов двух предшественников: одного из основоположников современной нейробиологии, лауреата Нобелевской премии по физиологии и медицине за 1906 год Сантьяго Рамона-и-Кахаль (1852–1934) и лауреата Нобелевской премии по физиологии и медицине в 1932 году Чарльза Шеррингтона (1857–1952). В начале 30-х годов Рашевский первым разработал нейронную модель мозга, за оригинальность взглядов его назвали «queer duck in biology», что можно перевести как «белая ворона в биологии». В 1938 опубликовал первую книгу по математической биофизике «Математическая биофизика: Физико-математические основы биологии» (Mathematical Biophysics: Physico-Mathematical Foundations of Biology), а в 1947 книгу по математической социологии «Математическая теория человеческих отношений» (Mathematical Theory of Human Relations).

Важнейшим достижением группы Рашевского стала концепция, допускающая возможность моделирования сознания на гипотетической машине, позже такую машину стали назвать машиной с конечным числом состояний (Finite State Machine, FSM). Как было показано в последующем, FSM является простейшим конечным автоматом. Особую роль в этой работе сыграли двое его коллег – нейрофизиолог Уоррен Мак-Каллок и математик Уолтер Питтс, ставшие основателями коннекционизма, им посвящена глава 5. Свои взгляды Мак-Каллок и Уолтер Питтс изложили в опубликованной 1943 году статье «Логическое исчисление идей, относящихся к нервной активности» (A Logical Calculus Immanent in Nervous Activity). Эта статья имеет историческое значение в силу того, что в ней рассматривается принципиальная возможность использования FSM для выполнения логических операций (logical calculus) и в ней впервые высказана идея создания необходимых для этой цели искусственных нейронных сетей (Artificial Neural Networks, ANN), способных выполнять логические функции булевой алгебры. Подробно эти вопросы освещаются в главе 6.

Глава 3 AI до Дартмутского семинара

C появлением компьютеров, которые, как следует из названия, были задуманы исключительно для математических расчетов, возникли попытки, основанные исключительно на интуиции, приспособить их к решению более интеллектуальных задач, например, играть в шахматы, переводить с естественного языка, доказывать теоремы, вступать в диалог с человеком и даже писать музыку.

Компьютерные шахматы

Идея, руководившая создателями первых шахматных программ, предельно проста – играя в шахматы, человек думает, значит и машина станет мыслящей, если мы обучим этой игре. С нынешних позиций ясно, что они совершали тривиальную ошибку – в шахматы играла не машина, а они сами, воплотившие свои представления о шахматах и свое знание игры в программе. Машина не играет, она выполняет эту программу и никакого собственного машинного разума! Судьба этого увлечения напоминает то, что случилось с тестом Тьюринга – сначала безграничный энтузиазм, потом медленное угасание и, в конечном итоге остается хобби, объединяющее энтузиастов-любителей.

А начало компьютерных шахмат было громким – первым в 1948 году Норберт Винер в своей «Кибернетике» упомянул, что, по его мнению, можно создать играющую программу. Вскоре Клод Шеннон опубликовал статью «Программирование компьютера для игры в шахматы» и, наконец, в 1951 Алан Тьюринг разработал на бумаге программу, способную по его замыслу играть в шахматы. Что еще нужно для старта, если трое великих дали добро? В среде авторов шахматных программ возникло стойкое убеждение, что они создают не просто программу, а нечто важное, что в последующем можно будет использовать и в иных целях. Они заразили этой идеей общественность и с тех пор и до десятых годов нынешнего века средства массовой информации периодически сообщали на весь мир о громких победах, одержанных шахматными программами, внушая преклонение перед умным компьютером.

Достаточно вспомнить как в масс-медиа подавались поражения, нанесенные компьютерами гроссмейстерам Михаилу Талю, Бенту Ларсену, Гарри Каспарову, Владимиру Крамнику и другим. Однако во втором десятилетии XXI века успехи Слабого AI показали, что шахматные программы – это всего лишь обычные программы, как тут ни вспомнить Эффект AI. Они работают на мощных компьютерах, поэтому опережают человека по скорости перебора вариантов и не более того. Кто-то сказал, что человек против машины на шахматной доске – это то же самое, что человек против погрузчика в подъеме штанги. Шахматы не сделали компьютеры ни на йоту умнее, следовательно с точки зрения AI пользы от них нет и быть не может. Однако как хобби компьютерные шахматы имеют полное право на существование, причем поединки между программами гораздо полезнее, чем машины с человеком. Примером может стать матч, состоявшийся в 2019 году, между свободными шахматными движками Leela Chess Zero и Stockfish. Что же касается игровых систем типа Alpha Zero, основанных на машинном обучении, то для них игра не самоцель, испытательный полигон.

70 лет назад в компьютерной области на равных с американцами конкурировали англичане с их наработками по проекту ULTRA. Под руководством Морриса Уилкса (Maurice Wilkes, 1913–2010) они смогли раньше американцев построить компьютер с хранимой программой EDSAC, а в 1951 году кондитерская компания J. Lyons (!) построила первый специализированный компьютер для бизнес-приложений Lyons Electronic Office (LEO I). На протяжении нескольких лет между двумя странами сохранялся паритет, но в последующем Британия уступила из-за несравнимо меньших по своим масштабам инвестиций в исследования и разработки, а главное в производство.

Имея такую базу, за пять лет до Дартмутского семинара, группа под руководством Кристофера Стречи (Christopher Strachey, 1916–1975), куда вошли ученые из Манчестерского и Кембриджского университетов, задалась целью написать программу, способную на первых порах играть в шашки и решать простейшие шахматные задачи. Сначала они намеревались воспользоваться компьютером ACE (Automatic Computing Engine), создаваемым при участии Тьюринга, но в силу ряда технических причин он не был введен в эксплуатацию. С задержкой на год определенный успех был достигнут, когда та же программа была запущена на Mark I компании Ferranti. Позже Стречи первым попытался научить компьютер Mark II Manchester Electronic Computer исполнять музыку. Алан Тьюринг совместно с Дэвидом Чамперноуном пытался запустить на том же Ferranti Mark I свою программу Turochamp, способную сыграть полную шахматную партию, но по тем временам это оказалось технически невозможно.

В Америке первой игровой была шашечная программа для первого серийного мэйнфрейма IBM 701, ее написал сотрудник IBM Артур Самуэль (Arthur Samuel, 1901–1990), опираясь на результаты, опубликованные Стречи. По примеру Самуэля и в ряде университетов вскоре были созданы шашечные программы, на соревновании между ними в 1962 году победило детище Самуэля.

В СССР первая шахматная программа была создана 1963 году в Институте теоретической и экспериментальной физики (ИТЭФ) под руководством Александра Семеновича Кронрода (1921–1986), опрометчиво определявшего роль компьютерных шахмат так: «шахматы – это дрозофила искусственного интеллекта». Специалисты из Института Проблем Управления (ИПУ) занялись шахматами, когда в их распоряжении оказались купленные в Великобритании мэйнфреймы ICL, содержательных приложений для них не было, оставались шахматы, таковы гримасы плановой экономики. В 1972 году состоялся матч с участием написанной ими «Каиссы» и подписчиков «Комсомольской правды», в нем победили читатели. Больше против людей она не играла, однако с переменным успехом соревновалась с другими шахматными программами, в том числе весьма именитыми, в 1980 году состоялось последнее выступление «Каиссы» на чемпионате мира. Была еще и программа «Пионер», создававшаяся под руководством гроссмейстера и ученого М. М. Ботвинника. На этом советская шахматная эпопея закончилась, тому были еще и серьезные политические причины. Многие из создателей «Каиссы» оказались в числе нежелательных для партийной верхушки диссидентов и эмигрировали. Но главное, к тому времени шахматы перестали относить к AI, в то время в этой области вся надежда была на экспертные системы.

Первые попытки машинного перевода

С появлением компьютеров у нескольких ученых одновременно возникло желание применить их к автоматизированному переводу с одного естественного языка на другой (Machine Translation, MT). Но задача оказалась сложнее, чем они предполагали, только через полвека, когда MT стал одним из направлений в AI, бесплатные сервисы условно справляются с переводом текстов на уровне, достаточном для ознакомления с содержанием, но делают они это чисто формально и не имеют ничего общего с теми первыми системами.

У задачи МТ есть своя давняя предыстория. В IX веке арабский криптограф Аль-Кинди хотел упростить процесс перевода, он применил методы, которые мы сегодня отнесли бы частотному анализу, теории вероятностей и статистике. В последующем, в XVII–XIX веках предпринимались и теоретические, и даже практические попытки упростить перевод с помощью разного рода механических устройств. За редчайшим исключением все они заканчивались провалом, относительного успеха добился лишь Жорж Арцруни, француз армянского происхождения, эмигрант из России, получивший образование в Санкт-Петербургском университете. Он смог в 30–40-е годы прошлого века создать механизм помогавший переводчику. В СССР механизацией перевода занимался Петр Петрович Смирнов-Троянский (1894–1950), его машина представляла собой фотоаппарат, синхронизированный с печатной машинкой, автор получил на нее патент, но она была слишком сложной и осталась невостребованной.

Первенство в использовании электронного компьютера для MT принадлежит математику Уоррену Уиверу (Warren Weaver, 1894–1978). В 1947 году он выразил свой замысел в форме письма, адресованного Норберту Винеру, а позже в 1949 году оформил его, как тогда было приято, в виде пространного меморандума. В нем Уивер обосновал целый ряд подходов к решению задачи MT, в том числе ориентацию на нейронные сети. Идеи Уивера были приняты, он продолжил исследования в Массачусетском технологическом институте. В начале 50-х им была написана программа MT, работавшая на компьютере SWAC (Standards Western Automatic Computer), одном из двух уникальных компьютеров, разработанных в 1950 году Гарри Хаски (Harry Huskey, 1916–2017) для Национального бюро стандартов США. В 1954 году удалось перевести несколько предложений с русского на английский, но дальше дело не пошло, однако работа стимулировала исследования в области MT.

Более громкую и куда менее заслуженную известность получил другой эксперимент по МТ, известный как Джорджтаунский. Если работа Уивера была глубоким исследованием, то это начинание – ни чем иным, как типичным примером «наивного» MT. Его авторы стремились побыстрее решить актуальную на тот момент задачу – перевод технической документации с русского на английский. В эксперименте участвовали представители IBM и Джорджтаунского университета. А отличие от Уивера авторы пошли к цели в лоб – они загрузили в мэйнфрейм IBM 701 программу, оперировавшую 250 словами и 6 грамматическим правилами. Русские и английские слова и правила хранились на магнитных барабанах, переводимые предложения вводились с перфокарт, а результат выводился на принтер. Алгоритм перевода заключался в формальном подборе маски из английских слов, которая накладывалась на последовательность русских слов. Избранный метод неплохо подходил для перевода тривиальных фраз типа «качество угля определяется калорийностью» транслитерированной в «kachyestvo uglya opryedyelyayetsya kaloryiynostjyu», именно эта фраза почему-то оказалась первой из переведенных. Для более сложных фраз этот метод явно не годился. Если учесть только стоимость IBM 701, составлявшую порядка 1 миллиона долларов того времени, когда автомобиль стоил около 1000, то рациональным все, что было сделано в Джорджтаунском университете, нельзя признать никак. Тем не менее этот эксперимент, невзирая на примитивность по-своему интересен, он остался в истории как редкий для пятидесятых случай применения компьютера не по прямому назначению.

Несмотря на очевидную ограниченность решения, внимание к Джорджтаунскому эксперименту оказалось колоссальным, практически вся американская пресса писала о достигнутом успехе, используя самые восторженные эпитеты. Как только ни называли компьютер IBM: и «машиной-билингвой», и «вундеркиндом-полиглотом», и «электронным мозгом, переводящим с русского». Впрочем, можно предположить, что Джорджтаунский эксперимент потребовался корпорации IBM, скорее всего, для поднятия реноме, она задержалась на старте компьютерной гонки. На первых порах в ней лидировала компания UNISYS, прославившаяся тем, что ее компьютер UNIVAC 1 помог предсказать победу Дуайта Эйзенхауэра на президентских выборах 1952 года. Во многом благодаря рекламе машинного перевода за короткий срок IBM удалось стать монополистом на рынке мэйнфреймов. И еще стоит учесть, что эксперимент с переводом имел явно выраженный политический характер, коммунистическая угроза рассматривалась как вполне реальная со всеми вытекающими выводами.

Логические программы и гипотеза Ньюэлла и Саймона

Аллен Ньюэлл (Allen Newell, 1927–1992) и Герберт Саймон (Herbert Simon, 1916–2001) на несколько лет опередили Минского и Маккарти, попытавшись реализовать еще не названный так символьный подход к AI. Оба, и Ньюэлл, и Саймон именитые ученые, первый признанный авторитет в когнитивной психологии, второй экономист, удостоенный Нобелевской премии. Их объединило общее желание воспроизведение человеческую логику машинными средствами. Оно возникло в начале пятидесятых, когда оба работали в корпорации RAND (Research ANd Development), этом «мыслительном танке», находящемся с 1948 года на службе правительства США и призванном решать стратегически важные концептуальные проблемы. Например, Пол Бэран, работая там, стал автором сетей с коммутацией пакетов, ставший ключом для передачи сообщений в интернете. Под руководством Ньюэлла и Саймона были созданы две работающие программы Logic Theorist (1956) и GPS (General Problem Solver, 1957). По замыслу GPS должна была работать со знаниями, для этого она разделена на две подсистемы: одну можно считать прототипом баз знаний и онтологий, она хранит передаваемые в машину знания, а вторая реализует методы работы с ними. GPS оказалась способной решать некоторые формальные задачи, например головоломку о ханойских башнях, но она не могла справиться с реальными задачами.

О прозрении Ньюэлла, приведшем к работе со знаниями, есть байка, напоминающая легенду о Ньютоне и яблоке. Якобы мысль о возможности представить знания в виде символов пришла ему в голову в момент когда он наблюдал за работой алфавитно-цифрового печатающего устройства (АЦПУ). В АЦПУ, одном из немногих существовавших тогда периферийных устройств, главной деталью был вращающийся барабан, состоящий из одинаковых дисков. На каждом из размещались печатаемые знаки, а между барабаном и бумагой располагалась красящая лента, а под бумагой располагалась линейка, состоящая из молоточков. В тот момент, когда нужная литера на дорожке оказывалась в нужной позиции, по ленте ударял молоточек, она соприкасалась с бумагой, как в пишущей машинке, так за один оборот барабана печаталась целая строка. В 50-е годы еще не было каких-либо графических устройств, поэтому АЦПУ использовали не только для печати текстов, но и для вывода графики в виде мозаики из букв, цифр и других печатных знаков. В порядке развлечения на длинных полосах АЦПУшной бумаги печатали портреты разных персонажей, а на одну страницу прекрасно укладывалась пулька для популярного в те годы преферанса. Сугубо техническое решение, заложенное в печать на АЦПУ, в силу странной аллюзии вызвало у Ньюэлла мысль о возможности по образу и подобию таких вот тривиальных мозаичных картинок создать символьное представление знаний. И что только он мог увидеть в простой как апельсин мозаике из печатных знаков? Но Ньюэлл допустил банальную ошибку – отождествил простой код литеры с тем символом, которым оперирует мозг. Как можно было соотнести простое механическое устройство с мозгом?

В основу Logic Theorist легла иная формализованная процедура, опробованная ими в эксперименте по механизации принятия решений, где элементами модели служили дети, снабженные специальными карточками, они механически поднимали их в нужные моменты. Для переноса этой процедуры в компьютер был разработан язык программирования IPL (Information Processing Language). Кроме Logic Theorist (1956), на нем были написаны еще две программы General Problem Solver (1957) и шахматная NSS (1958). С помощью Logic Theorist удалось доказать 38 из первых 52 теорем опубликованных в трехтомнике «Принципы математики») Альфреда Уайтхеда и Бертрана Рассела, о результатах двух других неизвестно.

Эти программы следует признать первыми попытками создания еще не названного так AI. Саймон и Ньюэлл выдвинули много позже гипотезу о возможности осуществления разумных действий (general intelligent action) средствами физической символьной системы (Physical Symbol System, PSS). Под системой класса PSS они понимали набор сущностей, названных ими символами, из которых можно составлять другие сущности, названные ими символьными структурами. Согласно гипотезе, PSS может обладать необходимыми и достаточными способностями для воспроизведения интеллектуальных действий вплоть до сильного AI. В формулировке гипотезы Ньюэлла – Саймона содержится следующее утверждение: «Физическая символьная система имеет необходимые и достаточные средства для произведения основных интеллектуальных операций». Гипотеза так и осталась гипотезой, с момента публикации она подвергалась резкой критике со стороны специалистов, среди них: Нильс Нильсон, профессор Стэнфордского университета, ближайший коллега Джона Маккарти, философы Хьюберт Дрейфус и Джон Серл и основоположник современной робототехники Родни Брукс.

Первые диалоговые программы

Первые диалоговые системы были созданы в шестидесятые, то есть после Дартмутского семинара, их создатели не были связаны с его организаторами и с тем представлением об AI, которое там сложилось, более того они и не претендовали на наличие AI программах. Из этих систем наибольшую известность приобрела программы ELIZA, способная имитировать диалог. Название программы адресует нас к Элизе Дулиттл, героине «Пигмалиона» Бернарда Шоу. Самим «Пигмалионом» стал Джозеф Вейценбаум (Joseph Weizenbaum, 1923–2008), профессор MTI, еще один эмигрант из Германии. Он задумывал прототип ELIZA как универсальный симулятор, в который могут быть «загружены» разные личности в соответствии сценарием их поведения, но все ограничилось одной ELIZA, воспроизводящей поведение психотерапевта. Вейценбаум подчеркивал, что ELIZA не «понимает» вопросов, которые ей задают, что это всего лишь некий движок, способный разбирать текст на входе и генерировать по определенным правилам ответный текст на выходе. В основе программы лежит простейший алгоритм, который ищет во введенном тексте совпадения с теми или иными наперед заданными последовательностями символов. Найдя такие совпадения, программа подбирает из них ответ, она, конечно же, не имеет никакого понятия о содержании – она тривиально заменяет одни последовательности символов другими.

Естественно, что Вейценбаум предпринял неудачную попытку пройти тест Тьюринга, поскольку изначально задумывал ELIZA как средство для демонстрации возможности имитационного диалога. Выставить простой генератор ответов в качестве претендента на обладание AI – это ни что иное, как шикарный академический розыгрыш. Однако туповатая ELIZA Тест не прошла, но случилось то, что уже было и с творениями Герона, и с Аналитической машиной Бэббиджа, оказалось, что к «разговору с компьютером», в основе которого лежала примитивная пародия, основанная на принципах клиент-центрированной психотерапии Карла Роджерса, многие, в том числе и именитые специалисты, отнеслись всерьез с далеко идущими выводами. Для неоправданного доверия профанов программе, способной всего лишь имитировать диалог, было предложено название Эффект ELIZA (ELIZA Effect), так называют психологический феномен антропоморфизации компьютерной программы.

В противовес Марвину Минскому и Джону Маккарти Вейценбаум был убежден, что человеческий интеллект сопряжен с чувствами и интуицией, поэтому воспроизвести его на компьютере невозможно. В своем главном труде – «Возможности вычислительных машин и человеческий разум» он назвал «цифровым утопизмом» состояние умов, царившее в среде математиков слепо верящих в свои возможности и потенциал компьютеров, и подверг его жесточайшей критике.

Через несколько лет после Вейценбаума свою диалоговую программу Parry написал психиатр Кеннетом Колби (Kenneth Colby), работавший тогда в Стэнфордском Университете. Его программа PARRY стала зеркальным отражением ELIZA. Если ELIZA симулировала поведение врача психотерапевта, то в PARRY Колби пытался реализовать модель поведения больного, страдающего параноидальным расстройством личности. Модель оказалась настолько удачной, что PARRY стала первой прошедшей тест Тьюринга, более половины экспертов-психиатров приняли ее участие в диалоге за человеческое. Прохождение PARRY теста свидетельствует лишь о способности Кеннета Колби найти способ для имитации поведения параноика. Есть сведения, что PARRY и ELIZA в 1972 году «были на свидании», организованном через посредство ARPAnet, сети, предшествовавшей интернет, можно предположить, что свидетели изрядно повеселились.

Глава 4 Символьный подход к AI, от восхода до заката

Символьный подход в Эпоху Возрождения

Признаки, отдаленно напоминающие символьный подход, можно найти в трудах Раймонда Луллия (Raymundus Lullius, 1235–1315), в них он описал машину, способную приходить к логическим выводам. Этот каталонский монах, поэт, философ и теолог был одним из наиболее оригинальных умов средневековья, чем заслужил у современников почетный титул doctor illuminatus, то есть «озаренный наставник», а после смерти на столетия о нем сохранились противоречивые суждения. Иронический взгляд на Луллия обнаруживается в третьей части «Путешествий Гулливера», написанных Джонатаном Свифтом в 1726 году, 300 лет спустя. В «Путешествии в Лапуту, Бальнибарби, Лаггнегг, Глаббдобдриб и Японию» Гулливер повествует о своем вымышленном визите на летучий остров Лапуту, населенный учеными. Там, бродя по коридорам Великой Академии, он обнаружил странную машину, прозорливо названную Свифтом «компьютером» или «прибором для открытия отвлеченных истин». Прибор представлял собой навешенный на ось каркас с табличками по слову на каждой, при вращении каркаса таблички перемешивались, а когда прибор останавливался, он выдавал некоторую случайную последовательность слов. Собравшиеся вокруг него ученые мужи всесторонне разбирали полученный набор слов, пытаясь найти в нем скрытый смысл и обнаружить новое знание. (Не правда ли, напоминает извлечение информации из Больших данных.)

Однако настоящая машина Луллия была устроена иначе, она состояла из наложенных друг на друга концентрических дисков, такие устройства существовали издревле, их называли волвеллами (volvelle). Особую популярность изготовленные из пергамента или бронзы волвеллы-астролябии приобрели в Древней Греции. Арабы усовершенствовали астролябию и применяли ее для математических вычислений и астрологических предсказаний. В Западной Европе волвеллы появились в XII веке, они служили для астрономических, астрологических и алхимических расчетов. Встречаются волвеллы и сегодня, но лишь как сувенирные бумажные дисковые калькуляторы-игрушки.

Луллий оставил после себя несколько книг, из них основная – Ars Magna («Великое искусство»), в ней излагаются методы, посредством которых человек может не только легко понять и усвоить известные истины, но даже открыть новые. Помнят о Луллии и сегодня, в Европе до наших дней сохранилось несколько центров изучения Ars Magna.

Несмотря на чудачества, в деятельности Луллия было и кое-что рациональное, он за шестьсот лет (!) до ирландского математика Джорджа Буля (George Boole, 1815–1864), создателя алгебры логики, сформулировал нечто близкое, назвав это к «алфавитом для мыслей», а также начальные положения логического анализа, эвристических и дедуктивных методов. Для иллюстраций своих мыслей Луллий использовал диаграммы, похожие на графы, табличные формы представления информации, а также диаграммы Венна.

Интерес к идее символа как носителя мысли возродился в XVI веке, ранее под символом понимался просто знак чего-то, но английский поэт Эдмунд Спенсер (Edmund Spenser, 1552–1599) в 1590 году уточнил «это что-то одно, заменяющее собой что-то другое». Физик, механик, астроном, философ и математик Галилео Галилей пошел дальше – в символе он увидел связующее между человеческим сознанием и окружающим человека материальным миром. В 1623 году Галилей написал: «Я думаю, что любые ощущения вкуса, запаха или цвета и всего остального есть не что иное, как некие символы, существующие в нашем сознании». Продолжателем взглядов Галилея стал французский философ, математик, механик, физик и физиолог Рене Декарт, он дополнил их двумя собственными суждениями о символьном мышлении: первое – все сущее разделено на телесную и духовную субстанции, и второе – сознание не зависит от тела. Английский философ Томас Гоббс в целом соглашался с ним, но, будучи материалистом, отрицал картезианскую независимость духовной субстанции от телесного органа, утверждал, что к мышлению способна только материя. А раз так, то можно утверждать, что подчиненная законам природы работа мозга неродственно связана с отражением реальных материальных процессов в виде символов. В немалой степени становлению символьного подхода способствовали Исаак Ньютон и Готфрид Лейбниц, верившие в возможность объяснить существующее в мире исключительно на основе механических начал. Из всех перечисленных великих ученых идеи Гоббса ближе всего символьному AI, его труды способствовали тому, что умах большинства европейских ученых мышление представлялось как процесс манипуляции символами.

Логические машины XIX века

В XIX веке в Англии среди множества изобретателей Эпохи пара были и те, кто создавал логические машины, оперировавшие символами, среди них первенствовали Чарльз Стэнхоуп (Charles Stanhope, 1753–1786) и Альфред Сми (Alfred Smee, 1818–1877). Знатное происхождение и активное участие в политической деятельности не помешали лорду Стэнхоупу стать успешным изобретателем, автором трех счетных машин, близких по устройству машинам Паскаля и Лейбница, и ряда других новаций. Но главное его детище – Демонстратор Стэнхоупа (Stanhope Demonstrator), в его основе двумерная матричная конструкция, позволявшая механизировать решение простых логических и вероятностных задач.

Хирург Альфред Сми увлекался электробиологией (так называли влияние электричества на жизнедеятельность организма), параллельно он выдвинул утопический проект создания искусственного мозга, состоящего из двух машин – реляционной и дифференциальной. Утверждают, что при доступных изобретателю технологиях эта машина, будь она построена, заняла бы площадь, сопоставимую с территорией Лондона тех времен. В 1851 году Сми опубликовал книгу «Процесс мышления», которая стала популярной в Англии и способствовала распространению взглядов, предполагающих возможность механизации мышления.

Успешным продолжателем дела Стэнхоупа и Сми стал экономист и математик Стэнли Джевонс (William Stanley Jevons, 1835–1882). Ему повезло в жизни: учивший его преподаватель математики дружил с Чарльзом Бэббиджем, жизнь свела его непосредственно со Стэнхоупом, а прочитав книгу Сми, он вступил в переписку с Джоном Булем. Вооруженный полученными знаниями Джевонс в 1874 году выпустил собственную книгу «Принципы науки» и создал действующую логическую машину, названную современниками логическим пианино за ее внешнее сходство музыкальным инструментом. Машина Джевонса представляла собой сооружение высотой около метра, снабженное клавиатурой для ввода аргументов, а с помощью специальных пластинок на лицевой части задавалась таблица истинности. Этого было достаточно, чтобы механизировать вывод несложных логических умозаключений.

Развитием машины Джевонса стало устройство, построенное много позже в США профессором Принстонского университета Алленом Макгвардом (Allan Marquand, 1853–1924). Накануне появления цифровых компьютеров в короткий период с середины 40-х до начала 50-х годов в разных местах было создано порядка 10–12 различных электромеханических логических машин, все они были вариациями на тему машины Джевонса. Из них наибольшую известность получило устройство Уильяма Буркхарда и Теодора Калина (William Burkhartand, Theodore Kalin), созданное в середине 1947 года. Компьютеры положили конец дальнейшим попыткам механизировать логику.

В России над созданием логических машин трудился действительный статский советник Семен Николаевич Корсаков (1787–1853). Он был автором пяти «интеллектуальных машин». В краеведческом музее подмосковного города Дмитрова, в окрестностях которого он жил, есть посвященная Корсакову экспозиция, сохранилось и его захоронение.

Логические машины оставались единичными уникальными изделиями, ситуация изменилась с появлением электронных компьютеров, когда выяснилось, что помимо расчетов их можно использовать для логических операций. На логических машинах закончились первые попытки механизировать работу с символами.

Дартмутский семинар и миф о рождении AI

Местом реинкарнация символьного подхода стал математический факультет Дартмутского колледжа, где летом 1956 года группа ученых собралась на семинар, вошедший в историю как Dartmouth Workshop. Имевшие там место события стали основой для мифа о рождении AI в городе Хановере (штат Нью-Гэмпшир), название которого пишется через одно «н» в отличие от немецкого Ганновера, столицы Нижней Саксонии. Историческое значение рабочей группы, так переводится workshop, собравшей несколько десятков лучших умов, заключается в двух моментах. Во-первых, здесь было предано гласности словосочетание Artificial Intelligence (AI) и, во-вторых, здесь был постулирован символьный подход (Symbolic AI), как единственно возможный для создания AI. Эти два обстоятельства предопределили весь последующий ход событий в истории AI на много лет вперед, вплоть до 90-х годов. Как показала жизнь, амбициозное название AI утвердилось и, скорее всего, навечно, альтернативы ему нет. Что же касается символьного подхода, то он оказался куда менее долговечен, и после двух взлетов и падений прекратил свое существование. Долгожительство термина AI связано с тем, что, утратив заложенный в него изначальный смысл, с появлением новых теоретических решений и технологий, он наполняется иным содержанием, AI вышел далеко за установленные в Дартмуте символьные границы.

Что же касается собственно семинара, то его итог не вполне совпал с ожиданиями организаторов. По замыслу предполагалось провести собрание цвета профессуры Восточного побережья США для выработки полномасштабной стратегии совместных действий, направленных на создание думающей машины (thinking machine). Однако стратегического консенсуса добиться не удалось, дело кончилось тем, что сформировалась небольшая группа энтузиастов, объединенных под знаменем Symbolic AI.

Подготовка к семинару

По воспоминаниям вдовы Рэя Соломонова (Ray Solomonoff, 1926–2009), еще одного выходца из семьи эмигрантов из России, принимавшего активное участие в подготовке к мероприятию, трое – Соломонов, Минский и Маккарти собирались в ее доме для выработки программы семинара и состава оргкомитета.

На предварительном этапе четверо молодых профессоров: Джон Маккарти, Марвин Минский, Натаниэль Рочестер и Клод Шеннон подготовили документ «Предложения к Дартмутскому летнему исследовательскому проекту по AI» (A proposal for the Dartmouth Summer Research Project on Artificial Intelligence, 1955). В нем они выразили свое намерение словами: «Мы предлагаем организовать двухмесячное исследование искусственного интеллекта с участием 10 человек летом 1956 года в Дартмутском колледже, Хановер, Нью-Гемпшир. Предпосылкой для исследования служит наше убеждение в том, что все составляющее обучения или любых других видов деятельности человеческого интеллекта могут быть описаны символами, причем настолько точно, чтобы быть переданы машине и она могла бы их симулировать. Мы попытаемся понять, как общаться с машинами на естественном языке, научить их формулировать абстракции и концепции, решать задачи, подвластные сейчас только людям, а также совершенствовать самих себя. Мы считаем, что существенное продвижение в одном или более перечисленных направлений вполне возможно, если специально подобранная группа ученых будет работать над этим в течение лета». При чтении этого невольного вспоминается «Чевенгур» Андрея Платонова, где герой считает, «что еще рожь не поспеет, а социализм будет готов».

Они без особых усилий нашли спонсора в лице благотворительного фонда Рокфеллера (Rockefeller Foundation) и разослали приглашения к участию по списку, состоявшему из 32 фамилий. Удивительно, но в него не вошли звезды первой величины, персонами нон грата оказались известные кибернетики Норберт Винер, Эшби Росс и Джулиан Бигелоу, а также основоположники альтернативного коннекционистского подхода Уоррен Мак-Каллок и Уолтер Питтс. К тому же из-за априорного разногласия во взглядах на содержание программы не все из приглашенных согласились принять участие в семинаре, он оказался менее представительным, чем задумывалось.

Несмотря на афронт по отношению к кибернетике, генезис принятого на семинаре названия Artificial Intelligence, косвенным образом связан с нею. Только через 30 лет, в 1996 году Маккарти признался в истинной причине выбора им собственного совершенно оригинального названия. Он решил пойти от обратного: «Я предпочел термин AI как не имеющий аналогов во избежание нежелательной для нас ассоциации с кибернетикой. Основным стержнем кибернетики служит аналоговая обратная связь, подчиненность этой идее увела бы нас в сторону. К тому же мы не хотели приять Норберта Винера на роль гуру и вообще пускаться с ним в какие-либо обсуждения». Ныне это открыто продекларированное отречение от кибернетики не выглядит достаточно убедительным и остается пожалеть о возведении искусственного барьера между AI и кибернетикой. Стоит предположить, что Маккарти и его сподвижники руководствовались далеко не полным, если не сказать искаженным представлением не только о возможностях компьютеров, но и о предмете кибернетики.

В раздоре косвенно повинен и сам Винер. Да, это он ввел в широкий оборот давно известное название «кибернетика», но сделал это так, что его научный авторитет подавил остальных других причастных к кибернетике. Сработал тот самый злосчастный эффект Матфея, поэтому те, кто «не в теме», обычно связывают содержание предмета кибернетики исключительно с Винером, а это далеко не так. Нередко в масс-медиа его называют и отцом AI. Сейчас как никогда прежде стало ясно, что кибернетика это не только «наука об общих закономерностях процессов управления и передачи информации в различных системах», как ее определяют в словарях. Вот современная трактовка кибернетики из издаваемого сейчас журнала International Journal of Machine Learning and Cybernetics (IJMLC). «Кибернетика имеет дело со сложными взаимодействиями в системах, составляющих наше окружение. А машинное обучение выявляет связи между переменными и наборами данных, действующими в этих системах. Объединение этих двух дисциплин позволит точнее раскрыть формы взаимодействия между системами с использованием механизмов обучения на данных». Кибернетика – явление куда более широкое, чем наука об управлении, и современные подходы к AI напрямую оказываются связанными с другой, не винеровской кибернетикой, но об этом ниже. А здесь же можно утверждать, что Маккарти поторопился и «выплеснул с водой младенца», что не лучшим образом сказалось на всем последующем развитии AI. Более подробно о кибернетике в главе 5.

Крестины AI

Dartmouth Workshop продолжался немного дольше задуманного, примерно шесть недель, с конца июня до середины августа. Большинство участников рабочей группы провело в стенах Дартмутского колледжа всего одну-две недели, а полный срок лишь трое организаторов – Марвин Минский, Джон Маккарти и Рэй Соломонов. Последний не стал звездой первой величины, но это не умаляет его роли в описываемых событиях, к тому же это он создал дуэт Минский и Маккарти и он был их «духовным отцом», оказав критическое влияние на выбор символьного подхода к AI.

В англоязычной литературе о событии, случившемся в Дартмутском колледже, пишут как об акте рождения AI (Birth of AI), или об изобретении AI (AI invention), или даже об основании AI (AI foundation). Отсюда может сложиться ложное представление об AI как о какой-то объективно существующей субстанции, которую можно создать или изобрести, как о вещи, способной к самостоятельному существованию, которой до этого момента не было, а собравшейся группе усилием мысли удалось чудесным образом произвести ее на свет. С таким взглядом на AI и на его происхождение нельзя согласиться, поскольку в частном исследовательском университете, в одном из девяти входящих в Лигу плюща и по традиции называемом Дартмутским колледжем, произошло нечто совсем иное. Эту встречу нельзя назвать рождением, скорее это были заблаговременные крестины еще не рожденного младенца.

Более того, AI на семинаре не только не родился, но не был даже зачат, поскольку результатом семинара стал документ с подзаголовком «Декларация о намерениях» (Declaration of Intention), не более того. Подчеркивая это обстоятельство, Джон Маккарти до семинара написал, что под AI он понимает не продукт, а «науку и инженерию (!) создания разумных машин (intelligent machines)». Подчеркнем, не предмет, а науку и инженерию! Приверженность символическому подходу (Symbolic AI) выражена в «Декларации о намерениях» почти дословно как в предложениях к семинару: «Наши исследования будут основываться на предположении о том, что любые действия, связанные со знаниями, могут быть точно описаны и воспроизведены на машине». Из чего следует, что изначально был избран такой подход к AI, который предполагает возможность описания знаний в виде символов, затем перенос этих символьных записей в машину, а далее производство на машине новых знаний.

Выбор этого подхода легко объясним, человечество не придумало ничего иного для описания и воспроизведения присущих ему знаний кроме символьных записей. Но никакая запись не тождественна знанию, соотношение между записью и знанием далеко не так просто, только человек, понимающий язык записи (естественный или научный) может извлечь знания из записи, собственно говоря, сущность образования в значительной мере состоит в обучении этому языку. О соотношении данных, инфлюации и связи см. главу 8. Но если допустить, что символьная запись является носителем знания и метазнания, то, вполне логично предположить, что компьютер, как машина, оперирующая некими сложными символами, окажется способен к операциям со знаниями. Однако трудно представить, как можно было отождествить некий умозрительный символ, как носитель знания, с тривиальным алфавитно-цифровым символом, из кодовой таблицы ASCII или Unicode? Что общего у символа в сознании человека и восьмеричным кодом? Но тогда участникам семинара этот подход показался единственно возможным. Они его не назвали никак, но позже, когда потребовался какой-то ретроним в противовес альтернативному коннекционистскому подходу, его стали называть символьным.

Не все из побывавших на семинаре нашли понимание со стороны организаторов. Например, Саймон и Ньюэлл, стоявшие в академической иерархии заметно выше организаторов, приехали на Дартмутский семинар в полной уверенности своего приоритета, однако неожиданно для себя получили достаточно прохладный прием. Позже Саймон писал, что организаторы не захотели их выслушать, что вызвало и у них самих ответную реакцию, поскольку «… они только собирались делать то, что мы уже сделали». Однако неблагожелательный прием не помешал вскоре этим двум маститым ученым по каким-то причинам изменить свою позицию и стать верными союзниками Маккарти и Минского. Можно лишь догадываться, чем была вызвана такая покладистость.

Категорическое несогласие с позицией большинства выразил разве что один Карвер Мид, ставший позже разработчиком методов кремниевой компиляции, которые по сей день служат теоретической основой для всех современных средств проектирования полупроводниковых изделий: «Я верю в то, что отцы-основатели AI Марвин Минский и Джон Маккарти были правы в своих взглядах, но когда дошло до дела, то выяснилось, что требуются компьютеры, как минимум на восемь-девять порядков более мощные, чем те, которыми они располагали. Осознав наличие этого барьера, AI-сообщество распалось на две группы, одни отправились на поиски этих порядков, а другие продолжили делать вид, что они занимаются наукой. Я из первых». Миду совместно с Лин Конвей удалось решить задачу перевода логического описания полупроводниковых устройств в кремний, их решение и называют кремниевой компиляцией. А в начале 1970-х Мид осознал, что необходимо отделить теорию проектирования от производства и выделить ее как самостоятельную дисциплину (Electronic Design Automation, EDA), что заметно повлияло на создание технологий микроэлектроники.

После Дартмутского семинара

Организаторам семинара в короткий срок удалось добиться самого благожелательного отношения к себе со стороны правительственных кругов, а затем на выделенные им колоссальные средства создать специализированную исследовательскую лабораторию в Массачусетском технологическом институте (МТИ), учебном заведении, известном как кузница научных кадров высшей квалификации, прежде всего, для ВПК. Для работы в лаборатории Маккарти переехал в Бостон из Хановера, где он жил прежде, не случайно это место было избрано для Дартмутского семинара. Минскому было проще, он перешел в МТИ из соседствующего с ним Гарвардского университета. Удачный поворот событий и неограниченное финансирование стимулировали энтузиазм молодого коллектива талантливых исследователей. Он был подкреплен неоправданной верой в потенциал компьютеров, характерной для пятидесятых годов, тогда их называли «большим железом» (mainframe). Надежда на возможности компьютеров и на свои способности позволяла им считать, будто они смогут создать AI за какие-нибудь 5–10 лет, правда, не уточняя, что это такое, видимо по конъюнктурным соображениям. В короткий срок Минский и его коллеги отказались от прежнего определения AI как науки и инженерии в пользу размытого и неопределенного представления AI как готового для использования интеллектуального продукта. Такая «продуктовая» интерпретация AI была намного удобнее в общении с сильными мира сего.

Надо учитывать, что местом сосредоточия исследований в области AI стал именно МТИ. Он был и остается своеобразным учебным и научным учреждением, где особый академический дух и высочайший уровень научных работ и образования благополучно сочетаются с прочным сотрудничеством со спонсирующими это учебное заведение военными кругами. Не будь этого источника, все сложилось бы иначе. Неслучайно во многочисленных интервью, данных им последние годы своей жизни, Минский открыто признавал влияние материального фактора как на стремительный подъем в шестидесятые годы, когда финансирование было неограниченным, так и на спад, наступивший через 10–15, когда военные, не получившие того, что им было обещано, попросту прекратили давать средства на продолжение работ.

Щедрость Пентагона, проявленная к науке вообще и создателям AI в частности, легко объяснима. В конце 50-х – начале 60-х администрация США испытывала на себе действие «момента Спутника» (Sputnik moment). Синдром, получивший это название, вызвали запуски советских искусственных спутников Земли (ИСЗ). Первые ИСЗ оказали немыслимое по своим масштабам воздействие на Америку, причем не только на оборонную доктрину, но и на науку, образование и даже на культуру.

Мало кто знает, что остатки первого ИСЗ, упавшего в пустыне Мохаве, находятся в Сан-Франциско в «Музее битников», предшественников хиппи и молодежной революции 1968 года, обратите внимание на созвучие спутник-битник. ИСЗ разрушили представление американцев о своей географической защищенности и немедленно, через неделю после запуска первого ИСЗ состоялось посвященное этому событию заседание Совбеза США. В феврале 1958 года по указанию президента Дуайта Эйзенхауэра было создано Управление перспективных исследовательских проектов (Advanced Research Projects Agency, или ARPA). Позже в название добавили одно слово «оборонных» (Defense), с тех пор оно известно как DARPA. В том же году было организовано Национальное управление по аэронавтике и исследованию космического пространства (National Aeronautics and Space Administration, NASA). Последнему были переданы все гражданские полномочия, относящиеся, как следует из названия, к космосу.

Следствием ускоряющего воздействия Sputnik moment стали и работы в области AI, и программа «Аполлон», и создание интернета. Выражение Sputnik moment стало нарицательным, его используют по сей день в самом разном контексте, в том числе и американские президенты. В 2011 Барак Обама связывал его с необходимостью поднять уровень образования и научных исследований для сохранения лидирующего положения руководимой им страны. Дональд Трамп называл моментом спутника технологическую угрозу со стороны Китая, в первую очередь в области AI.

Большие ожидания

Несмотря на оставшиеся разногласия относительно предмета AI, участники Дартмутского семинара разъехались с большими, хотя и неопределенным надеждами на будущее. Трезвость в оценках не позволила им сосредоточиться на сильном AI (AGI), но одновременно амбиции не давали возможности опуститься до инженерного уровня слабого AI (ANI). Их видению AI почти точно соответствовал бы недавно предложенный термин «машинный разум человеческого уровня» (Human Level Machine Intelligence, HLMI). Так называют автономные системы, которые, буде они созданы, смогут делать все то, что делает человек, но лучше и дешевле.

По итогам Дартмутского семинара в МТИ была создана Лаборатория AI (Artificial Intelligence Laboratory, AI Lab), многие годы она оставалась единственным центром AI, затем там же в МТИ открыли Лабораторию компьютерной науки (Laboratory for Computer Science, LCS), а 2003 году две объединились в одну лабораторию Computer Science and Artificial Intelligence Laboratory. Появление крупного центра для исследований в области AI с практически неограниченным бюджетом выглядело как успех, но поставленная на Дартмутском семинаре цель – создание научного сообщества достигнута не была. Из воспоминаний Маккарти: «Все выглядело не так, как мы замыслили, мы не могли настроиться на совместную работу научного сообщества и регулярно встречаться. Это очень меня огорчало, поскольку не удалось создать условия для эффективного обмена идеями».

Тем временем рекламная машина набирала обороты, настрой на радужные перспективы, созданный Минским, Маккарти и другими, добрался до средств массовой информации, на головы непросвещенных граждан из самых разных источников обрушились удивительные заявления. В 1961 году Минский писал: «Я настроен весьма оптимистично относительно интеллектуальных способностей машин, при нашей жизни они обойдут нас по уровню общего интеллекта». Через шесть лет он же продолжил: «Мы вступаем в полосу новой индустриальной революции, механизирующей интеллектуальные процессы. Пока это только начало, но уже сейчас машины могут играть в шахматы, работать с текстами на обычном языке, выполнять не только арифметические, а абстрактные логические операции и иные действия, прежде доступные только человеку. Через поколение, я уверен, мало что из интеллектуальной деятельности останется недоступным машинам, проблема создания искусственного интеллекта будет окончательно решена».

Опережая Минского, буквально через пару месяцев после Дартмутского семинара, в публичном выступлении, Герберт Саймон, презрев проявленное к нему там холодное отношение, поделился следующим утверждением, ставшим самым абсурдным из всего сказанного им впоследствии: «Я не ставлю своей цель удивить или шокировать вас, но подводя итог, могу смело утверждать, что мы входим в мир, где машины смогут учиться, думать и созидать. Более того, их способность к токого рода действиям будет постоянно возрастать и со временем достигнет уровня, при котором станут неизбежными проблемы совместного существования машин с человеком во всех традиционных для него сферах деятельности». В 1965 он же продолжил: «Через 20 лет машины смогут делать любую работу, которую сейчас делает человек».

Сегодня у любого, пребывающего в добром здравии и в здравом уме, не укладывается в голове, как человек, получивший в 1978 году Нобелевскую премию, был столь опрометчив в своих прогнозах. Марвин Минский, абсолютный лидер Symbolic AI, в 1970 году, имея к тому времени почти десятилетний не слишком удачный опыт, продолжал рисовать светлые картины будущего: «Через 3–5 (!) лет у нас будет машина с интеллектом, равным способностям среднего человека».

Даже Маккарти, изначально отличавшийся большим трезвомыслием, чем его ближайшие соратники, и тот сумел отличиться по части прогнозов. Разойдясь во взглядах с Минским, он в 1964 году переехал в Калифорнию и создал в Стэнфордском университете Лабораторию AI, где, в отличие от аналогичной лаборатории в МТИ, возглавляемой Минским, он предполагал заниматься прикладными вопросами, в том числе бинокулярным зрением, распознаванием речи и интеллектуальными системами управления и привода. Но даже и он поставил целью построение умной автономной машины за 10 лет! Для начала он предложил своим коллегам собрать все эти исследовательские темы в одном проекте и примерно за год создать робот по имени Shakey, о нем детальнее в главе 6. В качестве теста этот робот должен был без участия человека собрать цветной телевизор из набора комплектующих Heathkit Color TV Kit. Набор был куплен, но Shakey не смог выполнить задуманное ни через год, ни через пять, тогда, чтобы не пропадать добру, телевизор собрали руками и установили в зале, известном как Jacks Hall.

Справедливостям ради заметим, что в конце девяностых оба, и Минский, и Маккарти признали неоправданным свой оптимизм на старте, но как-то вынужденно и неохотно, объясняя неудачи ссылками на нехватку финансирования. О каких деньгах могла идти речь, если теперь они оценивали срок, необходимый для достижения уровня HLMI, аж четырьмя или даже пятью столетиями (!), а отнюдь не нескольким десятком лет. Удивительно, что, увеличив срок на 2 порядка, они не испытали ни малейшего смущения.

Основоположники символьного подхода сознательно не замечали важности материальной стороны AI. Убеждение во второстепенности инженерии было сформулировано Хансом Моравеком в форме тезиса, получившего название «парадокс Моравека». Этот парадокс активно поддержал Минский. Моравек утверждал, что для сложных мыслительных процессов требуются относительно небольшие вычисленные мощности, и напротив, для автоматизации сенсомоторных операций требуются огромные вычислительные ресурсы: «Относительно легко довести компьютер до уровня компетенции взрослого человека в таких задачах как тест на интеллект или игра в шашки, однако сложно или невозможно достичь навыков годовалого ребенка в задачах восприятия или мобильности». Почему он принял за истину такого рода убеждение и почему с подачи Минского эту спорную мысль называют парадоксом?

Ранняя критика AI

Не все поддались на обещания скорых результатов, только несколько ученых сумели сохранить трезвый взгляд. Среди них был Джозеф Вейценбаум, автор программы ELIZA, он предупреждал об ошибочности отождествления естественного и искусственного разума, основываясь на сравнительном анализе фундаментальных представлений психологии и на наличии принципиальных различий между человеческим мышлением и информационными процессами в компьютере.

О целесообразности переориентации научного сообщества со стремления наделить машины человеческими качествами на обеспечение более продуктивного взаимодействия человека с компьютером писал Джозеф Ликлайдер, психолог, вошедший в историю своей ролью в создании интернета. Ликлайдер был руководителем отдела методов обработки информации (Information Processing Techniques Office, IPTO) – подразделения ARPA, курировавшего разработку Глобальной сети. Ликлайдер автор знаменитой статьи «Симбиоз человека с машиной» (Man-Computer Symbiosis, 1960), ставшей своего рода идеологическим базисом для создания компьютерных сетей, в ней проповедуется совершенно естественное для сегодняшнего дня прагматичное отношение к машине.

Может показаться странным, но в 60-е годы способность компьютера, играть в шахматы, сочинять музыку или выполнять перевод с иностранного языка казалась гораздо более важной, чем умение решать те многочисленные и разнообразные прагматические задачи, для которых он используется сегодня в 99,99 % случаев. Нужен был кто-то, кто мог изменить цели и по-иному расставить приоритеты, и этим кем-то оказался психофизиолог Джозеф Ликлайдер. Он предложил направление, им же названное interactive computing, где во взаимодействии с человеком машине отведена вспомогательная роль. Через пару лет Даг Энгелбьарт уточнил роль компьютера – усиление человеческого интеллекта (augmenting the human intellect).

В статье Ликлайдера находим: «Задача состоит в том, чтобы обеспечить симбиотическое партнерство человека и машины, где человек ставит цели, формулирует гипотезы, определяет критерии и дает оценки, а на компьютер возлагается рутинная часть работы, способствующая повышению продуктивности человека». Эта мысль Ликлайдера остается актуальной по сей день: с внедрением новых технологий повышается уровень взаимодействия, в компетенцию машины переходят те рутинные функции, которые прежде мог выполнять только человек.

Критические взгляды таких ученых, как Вейценбаум и Ликлайдер, с одной стороны, и отсутствие практических результатов с другой, не могли остаться незамеченными. Была, правда, надежда на системы автоматизации перевода MT, но и они не оправдывали ожиданий. Для того чтобы сравнить обещанное в этой области с реальностью в 1964 году правительство США создало специальный комитет ALPAC (Automatic Language Processing Advisory Committee), его составили семь ученых, принадлежавших к разным направлениям, в том числе и те, кто серьезно занимался проблемами МТ. Наиболее критично был настроен Энтони Этингер (Anthony Oettinger, 1929), написавший диссертационную работу на тему автоматизации составления словарей еще в 1954 году и понимавший реальную сложность задачи МТ. Эттингер автор термина компьютерные коммуникации, был консультантом по высадке на Луну «Аполлона», президентом Ассоциации вычислительной техники (ACM), участвовал в работе разведывательного сообщества. Лингвистам хорошо известна его фраза, ставшая каноническим образцом неоднозначности живого языка «Time flies like an arrow; fruit flies like a banana» (Время летит как стрела, а фруктовые мухи любят бананы). В первом употреблении flies переводится глаголом летит, а во втором существительным муха, этот пример демонстрирует ограниченность тривиальных систем MT. В своем отчете, подготовленном к 1966, году ALPAC скептически оценил сделанное и перспективы подхода «слово-в-слово», он констатировал необходимость серьезных академических исследований. Это решение критическим образом повлияло на отношение военных к AI в целом, не только к MT, и стало первым импульсом к сокращению финансирования, близилась «первая зима AI».

Отчет Лайтхилла

Свою особую роль в судьбе AI сыграло правительство Великобритании. Обеспокоенное ситуацией неопределенности, оно в 1973 году обратилось за консультацией к специалисту в области прикладной математики Джеймсу Лайтхиллу, не связанному напрямую с AI, и предложило дать объективную оценку происходящему. Лайтхилл провел всестороннее исследование, проштудировал доступные источники и побеседовал с 52 (!) наиболее известными экспертами в области AI, классифицировал полученные данные, выполнил анализ и сделал прогноз на следующие 25 лет. Отчет официально называется Lighthill Report: Artificial Intelligence.

Лайтхилл начал с анализа статус-кво, разделив всю существовавшую на тот момент деятельность в области AI на три направления – A, B и C по специфике выполняемой в этих направлениях работы.

• A – Advanced Automation (продвинутая автоматизация), сюда он включил все, что так или иначе связано с разработкой машин, способных заменить человека в самом широком смысле этого слова. Направление А он в свою очередь разделил на два канала: один – назовем его A1 – индустриальные и военные приложения, другой – приложения AI к математике и науке. Первый реализуется с применением логических, а не только, как прежде, арифметических, способностей компьютеров для совершенствования систем и процессов управления, а также при разработке таких вещей как распознавание печатных текстов, изображений, на криптографию и на тому подобные вещи, которые сегодня стали естественными составляющими окружающей среды. Второй канал A2 – это доказательства теорем, машинный перевод и другие задачи, которые можно отнести к HLMI, то есть к машинному разуму человеческого уровня

• C–Computer-based CNS (воспроизведение на компьютере центральной нервной системы), в основе которой лежат теоретические исследования в области нейрофизиологии и психологии. Слово теоретические подчеркивает тот факт, что тогда это были не попытки моделировать реальную работу нервных клеток, а создание теоретических моделей мозга на основе общих принципов, известных из нейрофизиологии. Этот направление развивают не биологи, а математики, вкладывающие в свои модели полученное ими представление о работе мозга. Сегодня мы называем этот подход коннекционистским.

• B – Building Robots (создание роботов). Лайтхилл еще использует для него название Bridge activity, то есть объединенная деятельность направлений A и B с целью создания разумных машин-роботов.

Разобрав в первой части состояние дел во всех трех направлениях, автор отчета переходит ко второй части, которую он назвал Past disappointments, то есть разочарования прошлым. В ней он констатирует, что разочарование постигло как тех, кто работал по направлению A, так и тех, кто избрал направления С и B. Реальные достижения в автоматизации с использованием AI не идут ни в какое сравнение с успехами традиционных автоматизированных систем управления, достаточно представать сложность и успешность систем управления в космической индустрии, в авиации и т. д. Достижения по части перевода и доказательства теорем не идут ни в какое сравнение с тем, что делает человек. Столь же критически Лайтхилл оценивает положение в направлениях C и B.

Его основной вывод заключался в признании явного несоответствия уровня притязаний тех специалистов, которые занимаются AI, тому, на что они способны, накопленному ими научному багажу и потенциалу доступных им технологий. Общий тон отчета по-английски не категоричен, он скорее предупреждающий, чем отрицающий, призывает к трезвости в оценке сложившейся ситуации. Доклад заканчивается прогнозом на следующие 25 лет и предостерегает от излишнего оптимизма. Руководствуясь рекомендациями Лайтхилла, Британское правительство отказалось от идеи дополнительного экстренного финансирования AI, позволив событиям развиваться естественными темпами.

Представление отчета публике приняло форму открытой дискуссии в Палате Общин, транслировавшийся по каналу BBC. На роль оппонента был приглашен не кто иной как автор термина AI Джон Маккарти. Доступная в Сети полуторачасовая запись этой акции, интересна не только по содержанию, но и по форме, ее легко найти в YouTube и на официальной странице отчета. Обычно критику, содержащуюся в этом документе, рассматривают как одну из главных причин наступления первой зимы AI, но это не совсем так. Отчет констатирует факты, его можно сравнить с медицинским анализом, вскрывающим реальное положение дел, которое не соответствовало представлению заинтересованной стороны. Поведение Маккарти на слушаниях выглядит по меньшей мере странно, он не смог ничего противопоставить безукоризненно точным доводам Лайтхилла, продемонстрировав перед камерой удручающую беспомощность. Показательно, что только лет через 8–10 Маккарти довольно вяло прокомментировал свое участие в этих дебатах. Есть выражение «must read», то есть «обязательно к прочтению», про эту видеозапись можно сказать, что она «обязательна к просмотру».

Первая зима AI

Несмотря на то что в 60–70-е годы все работы, связанные с AI, были сосредоточены всего в трех местах: поначалу только в МТИ, после переезда туда Маккарти еще и в Стэнфордском университете, а позже и в Университете Карнеги – Меллона, работавшей в них относительно немногочисленной команде удалось привлечь к себе и своей деятельности немыслимое внимание со стороны правительства США. Они не только давали многочисленные обещания о скорой готовности AI, но к тому же сулили неизбежные социальные потрясения, которые вызовет в близком будущем внедрение AI. Запуганная Минским и его командой администрация президента Джона Кеннеди начала, а его преемника Линдона Джонсона завершила создание меморандума о тройной угрозе AI обществу (The Triple Revolution), с описанием прогнозируемых опасностей по трем направлениям: первое – автономные средства вооружения, второе – сокращение занятости и третье – нарушение гражданских прав. Это был первый из бесконечной череды апокалиптических прогнозов, предвещающих чудовищную опасность AI для общества. Особую обеспокоенность проявила весьма влиятельная в те годы организация «Центр изучения демократических ценностей» (Center for the Study of Democratic Institutions), среди тех, кого эти угрозы волновали, оказались многие демократически ориентированные персонажи, в том числе Мартин Лютер Кинг.

Однако к середине семидесятых стала очевидной несущественность всех этих угроз и спекуляций, стало ясно, что все страшилки AI были инспирированы желающими получить финансирование. Даже такой верный ученик Минского, как Ханс Моравек, писал: «Многие исследователи оказались в паутине неоправданных ожиданий. Их начальные предложения, адресованные ARPA, были слишком оптимистичны. Но, осознав одну ошибку, из желания остаться на плаву они совершали следующую и попадали в порочный круг – обещали все больше, понимая, что и эти обещания не будут исполнены». Моравек открыто признал, что ARPA и администрация США были введены в заблуждение (duped). А далее случилось неизбежное, наступило отрезвление, а вслед за ним отказ от щедрого финансирования с неизбежным итогом – началась Первая зима AI. Оказалось, что за 20 лет были попусту растрачены колоссальные средства, но ни одно (!) из обещаний первой волны AI не было реализовано. С этого момента обещания ученых больше ничего не значили для тех, кто им давал средства, проповедники AI вышли из доверия. Эдвард Фейгенбаум, в свое время лучший ученик Герберта Саймона, высказался следующим образом: «Рай закончился и началась реальная жизнь. AI перестал быть многообещающей технологией и превратился в рискованное дело».

Экспертные системы и Вторая зима AI

В отличие от энтузиастов первой волны AI тот же Эдвард Фейгенбаум (Edward Feigenbaum, 1936) не ограничился простым признанием неудач, напротив, он сделал из них выводы и разработал собственный план по спасению AI, состоящий из двух частей.

• Техническая часть. Новый подход получил название экспертные системы (Expert Systems, ES). Суть его в отказе от любых попыток прямого наделения машины разумом, способностью решать общие задачи, вместо этого он сменил ориентацию на поиск подходов, во-первых, к тому, как по образу и подобию баз данных (СУБД) создавать базы знаний, накопленных экспертами в тех или иных прикладных областях науки, медицины и других и, во-вторых, создавать соответствующие средства, обеспечивающие машине способность оперировать этими знаниями.

• Финансирование. Фейгенбаум решил выйти из-под зависимости от военных и найти заинтересованных в коммерческих приложениях AI.

Предпосылкой к плану создания ES был проект по эвристическому программированию (Stanford Heuristic Programming Project), которым он руководил в конце шестидесятых. В нем Фейгенбаум отказался от методов, разработанных Ньэллом и Саймоном для решения общих логических задач, в пользу работы с отчужденными от человека и формализованными знаниями, сохраняемыми в базах. По замыслу Фейгенбаум база знаний (knowledge base, KB) – это аналог базы данных, содержащий информацию о человеческом опыте и знаниях. Для хранения знаний служат некие онтологии, так странно были названы описания, состоящие из множества объектов, представления знания и множества связей, объединяющих понятия и их отношения. Эта с трудом понимаяемая вещь не имеет ничего общего с понятием онтологии в философии.

В короткий срок в Стэнфордском университете были созданы первые экспериментальные ES. Одна из них, Mycin содержала назначения лекарств по симптоматике, а другая, Dendral – ориентирована на приложения в области органической химии. Фейгенбаум был убежден, что «сила этих интеллектуальных систем в знаниях, которыми они обладают, а не в заложенных в них алгоритмах и методах логического вывода».

За свою деятельность Фейгенбаум получил титул «отца экспертных систем», но выработанные им принципы создания ES остаются модификацией символьного подхода к AI, все тот же «сверху-вниз» по классификации Тьюринга. Суть его предложения сводится к тому, что накопленные людьми-экспертами знания некоторым способом закладываются в машину в предположении о том, что после этого машина окажется эффективнее человека в процессе оперирования этими знаниями. Предполагалось, что наибольший эффект будет достигнут в финансовом планировании, в медицинской диагностике, в геофизических исследованиях и других областях. Без излишних сомнений началась активная коммерциализация ES. В который раз проявилась вера в чудо, в 1984 году номер журнала Business Week вышел под лозунгом «AI пришел» (AI: It’s Here), вот отрывок: «Мы построили замечательный мозг, мы можем программировать человеческие знания и закладывать их в компьютер. Наконец AI достиг своей зрелости».

В середине 80-х ES достигли пика популярности, их ввели в университетские курсы и более половины крупных компаний, входящих в Fortune 500, пытались внедрить их в свой бизнесе. Лидером нового направления стала Digital Equipment Corporation (DEC), занимавшая вторую позицию в компьютерном мире после IBM, известная своими компьютерами PDP и VAX. Создаваемым здесь ES была предназначена скромная роль рабочих лошадок для тех случаев, когда человеку было трудно справляться с большими объемами рутинных знаний. Например, для совершенствования работы отделов продаж в DEC была создана ES XCON, предназначенная, как следует их ее названия, на роль «эксперта конфигураций» (eXpert CONfigurer). Он служил для задач комплектации поставляемых компанией компьютеров. Потребность в такой системе объяснялась тем, что разнообразие заказываемых конфигураций было настолько велико, что человеку с его способностями было сложно добиться согласованности поставок, часто возникали ошибки, требовались средства автоматизации. Поначалу в систему было заложено 750 правил, но со временем их число дошло до 2500. Система XCON тиражировалась вплоть до 1993 года, но со временем стало ясно, что затраты на поддержку систем этого класса оказываются выше, чем приносимая ими прибыль. По этой причине от ES отказались не только в DEC, но и в других компаниях. Однако некоторые следы ES сохранились до наших дней, они оказались воплощенными в бизнес-приложениях компаний SAP и Oracle.

Как ни странно, но самым серьезным критиком ES оказался Джон Маккарти, он совершенно справедливо называл главным дефектом экспертных систем невозможность наделить их здравым смыслом. Во многих случаях предлагаемые ES решения оказывались абсурдными. Маккарти привел в качестве примера рецепт, выписанный экспертной системой MYCIN, он действительно обеспечил бы победу над болезнью, но попутно убил больного. Крах ES обычно связывают со сложностью и трудоемкостью поддержания базы знаний, но при этом забывают об одно важном факторе – о случившейся смене компьютерной парадигмы, о замене централизованных систем на базе мэйнфреймов и миникомпьютеров клиент-серверными конфигурациями, где человек мог работать в интерактивном режиме на ПК.

Мир пошел по пути предсказанному Ликлайдером – создание трехзвенных систем управления «сервер – ПК – человек», где сервер служит для хранения и обработки данных, ПК предназначен автоматизации рутинной работы и для интерактивного взаимодействия человека с машиной в процессе принятия решений и других осмысленных действий. Это оказалось гораздо удобнее и проще.

Исторически значимые ES

Наибольших практических успехов по части ES достиг Дуглас (Даг) Ленат. Он начал с того, что в качестве диссертационной работы написал на языке Lisp «Автоматизированного математика» (Automated Mathematician, AM) одну из первых систем класса discovery systems, так назвали системы, предназначенные для открытия новых знаний. По следам AM была им же написана программа Eurisko, ее название переводится с греческого как «отыскиваю» или «открываю». Она представляла собой набор эвристик с элементами самообучения, они изменялась после того, как уточнялись ранее созданные эвристики. Программа Eurisko оставила свой след в технологии проектирования электронных интегральных микросхем, где тогда существовала проблема слишком сложная для человеческого разума, человек не справлялся с проверкой вариантов многослойного размещения компонентов на подложке.

Золотым веком для экспертных систем и лично для Лената были 80-е годы, когда каждая крупная компания считала необходимым обзавестись своей экспертной системой. Ленату повезло больше других – его идеями заинтересовалось ЦРУ, оно обеспечивает ему финансирование до сих пор. Во всех опубликованных хрониках работ по экспертным системам можно найти упоминания о его проекте Cyc. История Cyc началась в 1983 году, когда Министерство обороны США анонсировало пятилетнюю программу Strategic Computing Program, управлять реализацией которой должно было агентство DARPA. Одной из созданных в рамках этой программы компаний была Cycorp, созданная Ленатом и его партнером адмиралом Робертом Инманом. В одном из интервью Ленат так определил предмет деятельности своей компании: «С моей точки зрения, AI – это попытка заставить компьютеры делать то, что требует интеллекта, например, медицинская диагностика, сочинение музыки, изобретение новых или использование по-новому старых устройств. Компьютеры должны находить ответы на сложные вопросы наподобие "Что это?", относя их, в частности, к таким явлениям, как военные или политические кризисы. Пока на эти вопросы ни компьютеры, ни программы ответить не могут, люди остаются единственными мыслящими существами на планете, но существующая ситуация вполне может измениться в ближайшие годы, машины могут стать разумными. Для этого они должны владеть совокупностью человеческих знаний, причем речь не идет только о научном знании. Cyc – это огромный репозиторий самых разнообразных знаний, которые могут показаться тривиальными. Например, мы знаем, но не задумываемся о том, что наполненный стакан стоит держать донышком вниз, а людей не стоит тревожить по ночам и т. д. Это настолько очевидные истины, что их даже не объясняют детям, они приходят к этим выводам сами, но компьютеру следует передать и эти знания, какими бы простыми они ни казались».

По некоторым источникам ЦРУ по-прежнему эксплуатирует Cyc, который насчитывает к настоящему времени до 10 миллионов статей. Недавно Лената назвали «одиноким творцом, пытающимся научить компьютеры понимать смысл». Его деятельность оценивают по-разному, немногие оставшиеся сторонники символьного подхода, сохраняют веру в его дело, те же представители следующего поколения, кто занят практическими задачами, решаемыми средствами машинного обучения, не проявляют к Сус никакого внимания. Сам Ленат скептически относится к машинному обучению и нейронным сетям, он уверен, что когда-нибудь он и дело его жизни еще будут востребованы.

Одной из самых последних разработок, которую можно отнести к ES, является машина, вычисляющая знания (computational knowledge engine), Wolfram|Alpha. Ее создал в 2009 году известный математик и удачливый предприниматель Стивен Вольфрам, он объявил, что его компания Wolfram Research подготовила систему, в которой реализован альтернативный подход к работе с информацией. В прессе сообщалось, что она сможет составить конкуренцию Google, но это продукт совершенно иного класса. Wolfram|Alpha не ищет страницы по ключевым словам. Вольфрам так ее охарактеризовал: «Alpha – не поисковая машина, а машина, дающая ответы на заданные ей вопросы». Сам Вольфрам публично не распространяется о технологиях вычисления знаний. Относительно Wolfram|Alpha Ленат сделал следующий вывод: «Поисковая система Google работает с данными, не вникая в них, основываясь на формальном соответствии. Моя система Cyc сможет дать глубокий ответ, если вы, в свою очередь, сможете ей задать вопрос и при этом попадете в ту область, которую она знает. Wolfram|Alpha представляет собой нечто среднее. Грядущие перспективы системы в сильной степени зависят от того, насколько продуктивным окажется идея формирования базы знаний силами самой компании, удастся ли с подобным сугубо проприетарным подходом противостоять открытому редактированию, принятому в Wikipedia и других сетевых энциклопедиях». Складывается впечатление, что не удалось, и сегодня Wolfram|Alpha известна только узкому кругу специалистов.

Японские компьютеры пятого поколения

Окончательному подрыву авторитета AI заметно способствовало правительство Японии принятым им в 1982 году планом создания компьютеров 5-го поколения Fifth Generation Computer System (FGCS). Идеологом FGCS был профессор Кузухиро Фучи (Fuchi Kazuhiro 1936–2006). Он ставил целью превращение компьютеров из приспособлений для облегчения работы в системы, способные самостоятельно оперировать знаниями (Knowledge Information Processing Systems, KIPS). По его замыслу, FGCS, обладая специализированным программным обеспечением, должны были извлекать знания из баз данных и баз знаний, чтобы оперировать ими. В качестве первых задач были поставлены следующие: ввод текста под диктовку, что решило бы проблему ввода иероглифической записи, перевод с голоса, реферирование статей, поиск смысла и категоризация, а также задачи распознавания образов.

Качественное отличие этих компьютеров от традиционных, построенных на микропроцессорах с фон-неймановской архитектурой, заключалось в том, что FGCS-компьютеры должны были быть ориентированы на логическое программирование и предназначены для решения задач AI. Проект был ошибочен по целому ряду исходных положений: в нем не было функционального разделения на программное и аппаратное обеспечение, отсутствовало глубинное понимание сути AI. Десять лет упорного туда и десятки миллиарды долларов не принесли какого-либо позитивного результата. Программа закончилась провалом, так как не опиралась на чёткие научные методики, более того, даже её промежуточные цели оказались недостижимы в технологическом плане.

Взгляд на символьный AI с современных позиций

Современный AI сохраняет все то же название, которое придумал Джон Маккарти в 1956 году, но скрывает под ним совершенно иное содержание. Лингвисты называют такое явление «диахроническим сдвигом значения». Сегодня внимание сосредоточено не на мифических умственных способностях машины, а на прикладных аспектах AI (Applied AI), в итоге, практически все, что делалось прежде на протяжении предшествующих шестидесяти с лишним лет, приходится признать, как говорят зодчие, «бумажной архитектурой».

Английский термин visionary architecture, который можно перевести как «архитектура мечты» подошел бы точнее, поскольку он не несет свойственного русскому слову «бумажный» иронического оттенка. Основателем этого самостоятельного жанра утопической архитектуры был живший в XVII веке Джованни Пиранези. Рисунок на бумаге или бумажный макет позволяют творцу освободиться от физических и других ограничений. Неслучайно бумажная архитектура привлекала к себе тех, кто не мог творчески состояться в советское время. Когда нет возможности построить желаемое, архитектор творит на бумаге. Можно с уверенностью сказать, что знакомство с лучшими образцами старинной и современной бумажной архитектуры доставит эстетическое удовольствие.

Сравнение старого доброго символьного AI с бумажной архитектурой не следует рассматривать как унижение тех людей, которые отдали свои силы и талант бумажному AI, на самом деле у них не было иной возможности. Вплоть до появления теорий машинного обучения и специализированных серверов на графических процессорах общего назначения GPGPU (General-purpose computing on graphics processing units) или, как теперь принято говорить, просто GPU для реализации нейронных сетей, не было компьютерной платформы для реализации AI.

Глава 5 Дуэт «Мак-Каллок и Питтс» и рождение кибернетики

Дуэты обычны в исполнительском искусстве, их меньше в литературе, и совсем уж редки они в науке, если они и встречаются, то это скорее совместное использование двух имен, не связанное с общим творчеством. Двойные имена несут открытия или изобретения, сделанные одновременно, например, закон Бойля – Мариотта. Случается, что имена двух людей связывает не сотрудничество, а наоборот – многолетнее противостояние, как в случае Роберта Гука и Исаака Ньютона. Исключение являет собой творческий союз Уоррена Мак-Каллока (Warren McCulloch, 1898–1969), и Уолтера Питтса (Walter Pitts, 1923–1969), двух удивительных, почти позабытых персонажей, невероятно значимых для современности. Каждый из них обладал собственным даром, а синергия двух талантов стала фундаментом тех современных систем AI, где используются нейронные сети и машинное обучение. В истории науки имена Уоррена Мак-Каллока и Уолтера Питтса неразрывно связаны, они основатели коннекционизма, в этом они оказались настолько неразделимы, что о них говорят не иначе как о «дуэте Мак-Каллока и Питтса», или просто MCP.

Мятежный гений

Современники называли Уоррена Мак-Каллока «человеком эпохи Возрождения» (Renaissance man). Он был одним из последних представителей исчезнувшего племени универсальных гениев-полиматов, о нем было сказано: «Этот человек, способен сделать все что угодно, если захочет». В Сети доступна запись его интервью, сделанного канадским телевидением в 1969 году, незадолго до его кончины, она дает возможность воочию увидеть облик Мак-Каллока, его благородство и умение говорить. Писатель Тара Абрахам, автор посвященной Мак-Каллоку книги с весьма символическим названием «Мятежный гений» (Rebel Genius) видит в нем философа, поэта, невролога, нейрофизиолога, нейропсихиатра и кибернетика. Наряду с качествами ученого, она отмечает его уникальную харизму и редкую способность объединять единомышленников и создавать творческую атмосферу. Для таких людей в английском есть специальное слово collaborator (его иногда ошибочно переводят как коллаборационист, хотя по-английски это collaborationist). Коллаборатор же – это тот, кто создает условия для совместного творчества, то есть для коллаборации. Особенно ярко эта черта натуры Мак-Каллока проявилось в процессе организации конференций Мэйси, вошедших в историю науки как место, где родилась кибернетика.

Профессиональная жизнь Мак-Каллока делится на три периода:

• По окончании университета в 1923 году он работал в госпитале, с 1934 года продолжил свои исследования в лаборатории нейрофизиологии Йельского университета и с 1941 года на факультете психиатрии Иллинойского университета в Чикаго.

• Параллельно с работой в университете в период с 1943 по 1953 Мак-Каллок был занят подготовкой масштабных научных встреч, вошедших в историю науки как «Кибернетические конференции Мэйси», там были выработаны существующие поныне подходы к кибернетике.

• В последние пятнадцать лет жизни работал в МТИ, сначала совместно с Норбертом Винером, но по ряду причин ему пришлись продолжить свои исследования в области физики нейронных сетей в MIT Research Laboratory of Electronics (RLE).

Уоррен Мак-Каллок выходец из состоятельной религиозной семьи квакеров-первопоселенцев, следуя семейной традиции, он в юные годы готовил себя к карьере священника и поступил в соответствующий этому выбору Квакерский колледж. Осуществлению этих намерений помешала Первая Мировая Война, Уоррен записался во флот добровольцем, хотя поучаствовать в сражениях ему не довелось, но служба серьезно повлияла на его взгляды на жизнь и в даже на некоторые профессиональные взгляды. По окончании войны он покончил с богословием и поступил в Йельский университет, входящий в Лигу плюща, так называют неформальное объединение университетов на северо-востоке США за побеги плюща, которые обвивают их старинные здания. Вскоре после начала учебы на философском факультете вектор интересов Мак-Каллока изменил свое направление: он погрузился в труды Декарта, Лейбница и Канта, а потом область интересов сместилась в сторону нейрофизиологии, об этом чуть ниже. Изменению интересов в немалой степени способствовала, как это ни покажется странным, работа сигнальщиком на корабле. Напомним, что до появления радиосвязи на флоте использовалась семафорная азбука, где каждой букве соответствуют определенное положение рук сигнальщика с флажками. Выступая в роли ретранслятора на прием и передачу, Мак-Каллок убедился в ненадежности используемой на флоте централизованной системы связи, где флагман принимал сигналы с одних кораблей и далее транслировал их на другие. Удивительно, но возникшая тогда идея создания надежных децентрализованных систем из ненадежных компонентов, прослеживается в работах на протяжении всей его последующей деятельности.

Еще на выбор пути в немалой степени повлиял поставленный в юности вопрос, ответа на который он искал почти полвека: «Что такое число, которое может знать человек, и что такое человек, который может знать число?» (What is a number that a man may know it and a man that he may know a number?) Именно в такой далеко не простой форме юный Мак-Каллок озадачил преподавателя философии в Квакерском колледже. Пораженный глубиной вопроса, учитель сказал, что для ответа на него не хватит и трех жизней. Но Мак-Каллоку хватило одной, в 1960 году он прочитал лекцию в Институте общей семантики (The Institute of General Semantics), в название которой был вынесен тот же вопрос и был дан ответ на него. Текст лекции тогда же был опубликован в ежегоднике этого института, его несложно найти в Сети.

Упрощая и переводя на современную лексику, вопрос Мак-Каллока можно переформулировать следующим образом: «Как соотносятся человеческий разум и доступные ему данные?» Это, возможно, один из ключевых вопросов для понимания различия между интеллектом человека и AI, поскольку они обладают качественно разными способностями при работе с данными. Преимущество человеческого интеллекта – в способности делать логические выводы и решать стоящие перед ним проблемы в условиях неопределенности, ограниченного и порой неполного объема данных. Ему помогает предшествующий опыт, интуиция, наблюдательность. Но человеческий интеллект слаб при работе с большими объемами данных, он попросту не подготовлен к этому виду деятельности в процессе эволюции. И напротив, примитивный механистичный AI, снабженный необходимыми алгоритмами, используя серьезные вычислительные ресурсы, успешно справляется с извлечением полезных данных из колоссальных объемов, но ни к какому творчеству не приспособлен. Интеллектуальный потенциал машины сводится к способности перемалывать огромные массивы данных, извлекая полезную информацию, это качество оказалось востребовано с возникновением проблемы Больших данных.

Такая трактовка отношения «разум-данные» служит ключом к пониманию различия в двух намеченных Аланом Тьюрингом альтернативных подходов к AI – имитирующего человеческий мозг «сверху-вниз» и чисто машинного «снизу-вверх». Врожденная слабость первого заключается в том, что машина не обладает творческим началом, у нее нет интуиции – отсюда вывод, не следует возлагать надежды на решение средствами AI тех задач, на которые способен человек. И напротив, беспредельные перспективы развития второго подхода обеспечены неограниченной мощностью машин, их способностью механически перемалывать данные. Она не имеет пределов, поэтому компьютеры могут быть мощнейшим инструментом, поддерживающим творческий потенциал человека.

Интерес к изучению работы мозга Мак-Каллока пробудило чтение в студенческие годы тех трудов Декарта, которые не входят в классические университетские программы по философии. В них Декарт рассуждает о мозге, как о системе, состоящей из нервных волокон в виде гидравлических трубочек, движением жидкости по которым управляют мышцы, открывающие или закрывающие клапаны. Это, возможно, самая первая «нейронная» модель мозга с обратными связями. Возникший интерес к работе мозга побудил Мак-Каллока к поступлению в магистратуру Медицинского и хирургического колледжа в Нью-Йорке, но там он был разочарован, оказалось, что медики сосредоточены исключительно на физиологии и оставляют в стороне логику работы мозга и его системную организацию. В ответ на выраженное им сомнение в единственности такого подхода, он получил упрек в противоестественном, с точки зрения медиков, желании применить математические подходы к живому мозгу.

На дальнейшее становление Мак-Каллока как самостоятельного ученого неожиданным образом положительно повлияла Великая депрессия, она заставила его встать на землю, отвлечься от философских исследований, задуматься о хлебе насущном и перейти к более практическим оплачиваемым занятиям нейрофизиологией. С 1934 по 1941 год Мак-Каллок работал в Йельской Медицинской школе, где ему невероятно повезло, там он получил возможность сотрудничать с Дюссером де Баренном (1885–1940), голландским нейропсихиатром, который с 1930 года руководил лабораторией нейрофизиологии в Йеле. Де Баренн исследовал функции коры головного мозга, что особенно привлекало Мак-Каллока, к тому же их обоих объединяла этническая общность – Мак-Каллок был полушотландец, полуголландец и испытывал привязанность к Голландии как родине своих предков.

Под руководством де Баренна Мак-Каллок изучал нейроанатомию и параллельно с философских позиций размышлял о логических операциях, выполняемых мозгом. В то время в Йеле проводились семинары, предметом которых были сходные вопросы, на них Мак-Каллок узнал о работах Тьюринга с описанием универсальной машины, об «Основаниях математики» Рассела и о том, как в них рассматриваются эти вопросы. Все это способствовало усилению интереса к логике работы мозга, поэтому он продолжил свои исследования связей в нейронных сетях.

На научном ранчо

В те же годы супруги Мак-Каллок купили ранчо поблизости от популярного летнего курорта Олд-Лайм в штате Коннектикут, особое своеобразие этому городку придавала расположившаяся здесь в конце XIX века богемная колония американских художников-импрессионистов. В этом характерном своими легкими нравами месте Мак-Каллок с женой создали не имевшую аналогов научную коммуну, где в окружении полудюжины единомышленников они вели открытый, но при этом ориентированный на занятия наукой образ жизни. На ранчо сложилась атмосфера творческой лаборатории, опыт ее создания помог Мак-Каллоку в будущем стать организатором кибернетических конференций Мэйси. Нравы, царившие в коммуне, был достаточно свободными, что несвойственно довоенной Америке, в известной мере Мак-Каллок и его коллеги своим бражничеством опередили следующее поколение, названное битниками, с тем отличием, что для битников главным делом была свободная литература и, прежде всего поэзия, а для обитателей ранчо свободные размышления о работе мозга. Внешний облик Мак-Каллока соответствовал его стилю жизни – самоуверенный сероглазый красавец с нестриженой бородой, не выпускающий изо рта сигарету, этакий философ-поэт, живущий на виски и мороженом, ложившийся спать не раньше 4 часов утра. Тогда его впервые назвали мятежником за стремление нарушить все сложившиеся границы приличий, которое он сохранил на всю жизнь. Одновременно учась и обучая, Мак-Каллок стал знатоком философии, психологии, нейропсихологии и нейропсихиатрии, но этого мало, он не желал признавать их раздельного существования. Это желание приведет его к организации кибернетических конференций, о них речь позже в этой главе.

О своеобразии нравов в окружении Мак-Каллока рассказал один из обитателей коммуны и соратник в будущем Джери Литтвин (Jerome Lettvin,1920–2011), кстати, и он из семьи эмигрантов из России. В момент, когда он с подругой по заведенной на ранчо традиции купался нагишом в соседнем пруду, к нему подошел строгого вида джентльмен, спросил дорогу к дому профессора Мак-Каллока и при этом высказал свое неодобрение этой вольностью. Каково же было взаимное удивление, когда они вторично встретились: приезжий оказался крупным британским ученым, приехавшим специально на семинар Мак-Каллока. Он рассчитывал на встречу в академических традициях, но все, с чем британский профессор столкнулся на ранчо, ужасно фрустрировало его. Возвратившись на родину он не смог не поделиться своими впечатлениями.

Работа в Чикагском университете

Внешняя несерьезность «фермерского семинара» не помешала стать этому собранию стартовой точкой в карьере нескольких крупных ученых, а его организатору накопить багаж знаний, позволивший поступить на работу в Нейропсихологический институт при Иллинойском университете (Чикаго), где он провел более десяти лет с 1941 по 1952 год. Выбор в пользу этого места был неслучаен, здесь трудился Николай Петрович Рашевский, который в 1938 году опубликовал первую в мире книгу по математической биофизике. Она так и назвалась: «Математическая биофизика: Физико-математические основы биологии» (Mathematical Biophysics: Physico-Mathematical Foundations of Biology). В 1947 Рашевский выпустил еще и книгу по математической социологии «Математическая теория человеческих отношений» (Mathematical Theory of Human Relations). Важнейшим достижением группы Рашевского стала концепция, допускающая возможность моделирования сознания на гипотетической машине, построенной на основе нейронной сети. Придя сюда, Мак-Каллок нашел не только научного руководителя в лице Рашевского, но и верного соратника и друга на долгие годы в лице Уолтера Питтса.

Мак-Каллок стремился к изучению нейронных механизмов, лежащих в основе мышления, и к описанию их математическим языком. В отличие от биологов, сосредоточенных на исследовании природных механизмов нейронных сетей, его привлекал более абстрактный ментальный аспект, а конечной целью стало создание точной науки о разуме. Ему одному это не было по силам, поэтому намеревался создать объединенную общей идеей группу мыслителей. Он начал создание неформального коллектива через несколько лет, пригласив к участию математиков, нейробиологов и инженеров – среди них были Норберт Винер, Джон фон Нейман, Клод Шэннон, а также другие известные ученые. Из этого начинания в последующем выросли кибернетические конференции Мэйси. Претензии Мак-Каллока на роль основоположника-объединителя соответствовали его необычайному дару к организации коллективной работы: по отзывам современников, он был великолепным оратором, но при этом мог оставаться в тени, мог очаровывать собеседников, своим неординарным видением мира он был способен привлечь к себе всех – ученых, спонсоров и учеников.

Вундеркинд из трущоб, ставший лучшим учеником Винера

Уолтер Питтс, верный соратник Мак-Каллока со временем стал ближайшим учеником Норберта Винера, написавшего книгу мемуаров «Бывший вундеркинд». Вундеркиндом, как и Винер, был Питтс, он тоже в раннем возрасте проявил выдающиеся умственные способности, но их происхождение и судьбы имеют мало общего. Благополучная семья Винера, прежде всего отец, приложила максимум усилий для раскрытия дарования сына-самородка, а нищенская семья Питтса, и в данном случае тоже прежде всего отец, стремились к обратному.

Питтс выходец из детройтского дна, неблагополучие среды, где он родился и провел детство и раннюю юность, усилилось последствиями Великой депрессии. Ребенок-интроверт с задатками математического гения, подвергался буллингу и в своей полубандитской семье, и на улице. Спасаясь, он нашел себе убежище от окружающего в стенах на редкость богатой местной библиотеки, где он самостоятельно осваивал греческий, латынь и математику. Невозможно поверить, но в 1935 году юный Питтс самостоятельно добрался до трехтомника Бертрана Рассела и Альфреда Уайтхеда «Основания математики» (Principia Mathematica), уникального издания объемом почти 2000 страниц, увидевшего свет в 1910–1913 гг., и это определило всю его последующую жизнь.

«Основания математики» считаются одним из самых важных сочинений по математике и выдающимся вкладом в интеллектуальный багаж минувшего столетия. Как осознать тот факт, что этот фундаментальный труд 12-летний мальчик освоил за 3 (три!) дня, мало того, он обнаружил в нем несколько существенных авторских ошибок? Не усомнившись в себе, юный Уолтер счел необходимым уведомить о найденных ошибка самого Рассела и, бывает же, он получил ответ великого ученого, содержавший помимо благодарности за проявленное внимание еще и персональное приглашение на учебу в магистратуре Кембриджского университета под его руководством. Предложение, рассчитанное, как минимум, на бакалавра было сделано подростку, не имевшему математического образования. Мог ли Рассел предположить возраст, уровень образования автора письма и его материальные возможности? По понятным причинам поехать в Англию Питтс не смог, однако очная встреча с великим ученым все же состоялась, причем всего через три года, во время визита Рассела в Чикагский университет, куда он был приглашен для чтения курса лекций. Юный Питтс, узнав о лекциях, не мог не воспользоваться выпавшей ему удачей, он сбежал из дома, как оказалось, навсегда.

В Чикаго он поселился в ночлежке, обеспечивая свое существование случайными заработками, его внешний вид удивил и заинтересовал Рассела. Войдя в обстоятельства беглеца и осознав сложность его ситуации, Рассел познакомил Питтса с философом и логиком Рудольфом Карнапом, незадолго до этого эмигрировавшим из Австрии. Такое участие Рассела в его судьбе позволило пятнадцатилетнему Питтсу получить работу и открыло возможность для посещения занятия в Чикагском университете, но, главное, он попал в нужную ему среду, где обрел необходимый круг знакомств. Сначала он подружился с одним из первых специалистов в области математической биологии Алстоном Хаусхолдером, входившим в группу Николая Рашевского, а далее развернулась цепочка контактов, в конечном итоге приведшая Питтса к Мак-Каллоку. Можно представить себе эту необычную встречу, это готовый сюжет для кино – состоявшийся респектабельный 42-летний ученый и бомжеватого вида пятнадцатилетний подросток со странной челкой и в толстых очках. Их свел Джером Литтвин, давний знакомый Мак-Каллока, в последующем он станет верным спутником обоих.

Двух людей, разделенных двадцатипятилетней возрастной и колоссальной социальной дистанцией, потянуло друг другу как магниты. С первых минут знакомства и на годы вперед их объединило стремление найти логические закономерности работы сознания. Мак-Каллок рассказал, что его к этому подвигло изучение алгебры логики, которое он нашел в «Основаниях математики». Он изложил свое представление о том, как можно построить искусственную нейронную сеть и реализовать на ней логические операции. Этой короткой вводной и общей любви к «Основаниям математики» оказалось достаточно, для того, чтобы в тот же вечер новообретенные друзья-коллеги смогли приступить к проблеме моделирования мозга на основе нейронных сетей. Дуэт нейрофизиолога и математика сложился мгновенно. К сожалению, единению душ немало способствовала общая для обоих слабость – пристрастие к виски, сопровождавшее их всю жизнь и сыгравшее особенно роковую роль в судьбе Питтса.

Стоило Мак-Каллоку единожды изложить суть своих взглядов, как Питтс осознал, какой именно математический аппарат следует использовать для поддержки этих идей, в последующем сделанный мгновенно выбор стал фундаментом совместной работы. Мак-Каллок немедленно предложил ему переехать в семейный дом в пригороде Чикаго, существовавший по традициям, заложенным на ранчо в Олд-Лайме. Здесь собиралось пестрое общество поэтов, психологов, политиков с радикальными убеждениями, стоявших на позициях испанских республиканцев (в это время шла Гражданская война в Испании). Питтс попал в нужное место, здесь он получил все, о чем он мог только мечтать. А когда гости расходились, двое уединялись с бутылкой виски и предавались размышлениям о нейронной модели мозга.

Питтс обрел в Мак-Каллоке то, чего ему не хватало – личное приятие, дружбу и даже в каком-то смысле отца, которого у него, по сути, никогда не было, а Мак-Каллок нашел в юноше родственную ему душу. Пораженный случившимся, Мак-Каллок писал: «Я бы хотел, чтобы он остался со мной навсегда». Питтс прожил в доме Мак-Каллока около двух лет, ставших периодом плодотворной совместной работы, их знания удачно взаимно дополняли друг друга. Мак-Каллок еще до встречи с Питтсом имел возможность ознакомиться с описанием универсальной машины Тьюринга, которое укрепило его в мысли о возможности создания нейронной математической модели мозгла, но не будучи математиком, он не знал, каким математическими аппаратом следует воспользоваться. Пришедший ему на помощь Питтс нашел решение, он создал аппарат для математической модели мозга. Совместно им удалось показать, что нейронная сеть может выполнять те же действия, что и гипотетическая машина Тьюринга.

Как и остальным первопроходцам AI, в амбициях дуэту MCP не откажешь, Мак-Каллок вскоре заявил в своем выступлении: «Впервые в истории науки мы можем сказать, что знаем, как устроено наше знание», ни мало ни много!. Созданную ими теорию Мак-Каллок и Питтс опубликовали в работе «Логическое исчисление идей, относящихся к нервной активности» (A Logical Calculus of Ideas Immanent in Nervous Activity, 1943). В статье показано то, как нейроны могут быть связаны друг с другом, следуя законам формальной логики, и то, как посредством этих связей выстраиваются сложнейшие мыслительные цепочки.

Итогом этого периода деятельности MCP стала формальная модель нейронных сетей, ими было установлено, что нейронные сети способны выполнять логические и другие операции, реализуемые дискретными устройствами, прежде всего компьютерами. Этот вывод связал нейронные сети с компьютерами и стал нейронным фундаментом для искусственных нейронных сетей (ANN, Artificial Neural Netwock) и направления в AI, получившего название коннекционизм.

Удачливый в налаживании научных контактов Литтвин повторил свой успех в деле знакомств, представив Питтса Норберту Винеру, а тот немедленно пригласил талантливого юношу к себе на работу. Благожелательное отношение со стороны нового патрона позволило Питтсу обрести соответствующий социальный статус – он занял позицию магистра в МТИ и получил систематическую занятость под руководством великого математика. Винер пребывал от него восторге, он писал: «Без сомнений, это самый сильный молодой ученый из встреченных мной. Я не буду удивлен, если он покажет себя как один из двух-трех наиболее значительных ученых своего поколения, причем не только в Америке, но и во всем мире». Осенью 1943 года Питтс поселился в Кембридже, районе Бостона, непосредственно примыкающем к МТИ.

Винер предполагал, что Питтс способен создать более реалистичную статистическую модель мозга с возможностью масштабирования до сотен миллиардов нейронов и к тому же пригодную к обучению. Для материализации таких моделей требовались компьютеры, поэтому Винер, в свою очередь, в 1945 году он познакомил Питтса с Джоном фон Нейманом, позже последний тоже вспоминал о сильном впечатлении, произведенным на него юным дарованием. В результате этой и других встреч сформировалась группа будущих отцов-основателей кибернетики в составе Винер, фон Нейман, Мак-Каллок, Литтвин и Питтс. Невероятно, но в этой когорте признанных гениев, куда вошли мировые светила, двадцатидвухлетний Питтс выделялся не только умом, но и эрудицией. Мак-Каллок писал: «Никто из нас и подумать не мог о публикации статьи без его одобрения и корректив. Он, без сомнения, был неформальным лидером нашей группы». Литтвин, со своей стороны, дал следующую характеристику: «Он обладал несравненной эрудицией в химии, физике, истории, ботанике. <…> В ответ на любой заданный вопрос он давал развернутый текст. Весь мир представлялся ему связанным сложным и необычным способом».

При всем желании невозможно зрительно представить себе Питтса руководящим Винером и фон Нейманом. Высочайшую оценку таланту Питтса давали многие, в том числе его первый научный руководитель Рудольф Карнап: «Он остался в моей памяти самым универсальным ученым из всех встреченных мной. Он мог говорить с равным успехом о химии красителей, о биологии млекопитающих, о травах, грибах и птицах Новой Англии. Он знал нейроанатомию и нейрофизиологию по первоисточникам, для этого он изучил греческий, латынь, итальянский, португальский. При этом мог ремонтировать электрические приборы, заниматься сваркой, чинить проводку и радио. За свою долгую жизнь я не видел человека, в котором бы так сочетались эрудиция и практические умения».

В 1946 году двадцатитрехлетний Питтс уже преподавал в МТИ математическую логику и работал вместе с Винером над статистической моделью мозга. Его целью было создание трехмерных статистических нейронных сетей. По мнению коллег, назвать эту задачу амбициозной значило ничего не сказать, но, зная потенциал Питтса, никто не выразил сомнения в его способности решить ее. В 1954 году журнал Fortune составил список 20 выдающихся ученых не старше 40 лет. Его возглавили биолог Джеймс Уотсон, будущий лауреат Нобелевской премии по физиологии и медицине 1962 года за открытие структуры молекулы ДНК, Клод Шеннон, математик, создатель основ статистической теории информации, и в нем стоял Уолтер Питтс. Трагично, что, попав в эту звездную компанию, он в ней не удержался, выходцу из трущоб не суждено было достичь академических высот.

На пути к кибернетике

Статья «Логическое исчисление идей, относящихся к мозговой активности» (A logical of the ideas immanent in nervous activity, 1943) стала поворотным моментом в деятельности дуэта Мак-Каллок и Питтс. Не только потому, что младший его участник в том же году зажил автономной жизнью сотрудника МТИ в лаборатории Норберта Винера, но и потому, что оказался достигнут некоторый барьер, дальнейшее изучение деятельности мозга требовало иных подходов. В последующем оказалось, что исследования нейронных сетей Мак-Каллока и Питтса важны не столько для нейрофизиологии и биофизики, сколько для создания существенно менее сложных и полностью формальных искусственных нейронных сетей (ANN), они стали теоретической основой коннекционизма. Мак-Каллок и Питтс стремились к более глубокому познанию тайн мозга, понимая, что реальный биологический мозг устроен намного сложнее, чем любые умозрительные модели, размышляя в этом направлении, они в конечном итоге пришли к кибернетике.

Непосредственный импульс для движения в направлении к кибернетике Мак-Каллок и Питтс в очередной раз получили от Джефри Литтвина, исследовавшего механизм зрения лягушки; он работал в МТИ совместно с чилийским биологом Умберто Матураной (Humberto Maturana,1928–2021). В последующем Матурана стал выдающимся кибернетиком, одним из авторов концепции аутопоэзиса, постулирующей, что способностью к самовоспроизводству, или репликации (аутопоэзису по-гречески) обладают только живые существа, в том числе человек. Только биологические создания могут порождать себе подобных, в природе нет разделения на производителя и произведенный продукт, как в искусственно созданных системах, в том числе и системах с AI. Понимание этой концепции имеет значение для тех, кто пытается рассуждать о Сильном или Общем AI. Теория Литтвина и Матураны, столь сильно повлиявшая на дуэт MCP, была изложена в статье «Что глаза лягушки говорят мозгу лягушки» (What the Frog's Eye Tells the Frog's Brain).

О кибернетике

Прежде чем перейти к рассказу о роли, сыгранной Мак-Каллоком в становлении кибернетики, несколько уточняющих слов о ней, поскольку нет научного направления с худшим определением, чем это. Проблему определения кибернетики иллюстрирует такой анекдот: «Перед казнью троим приговоренным предлагают исполнять их последнее желание. Верующий просит пригласить священника, профессор кибернетики – предоставить ему возможность дать еще одно свое определение этому предмету, а его ученик оказался хитрее всех – он попросил казнить его после учителя, чтобы суметь послушать это определение».

Нередко кибернетику, особенно в русскоязычной литературе, называют наукой об общих законах управления в машинах и живых организмах и ее возникновение связывают с необходимостью создания сложных систем автоматического управления. Это определение имеет право на существование, но при этом надо учитывать, что оно относится лишь одному из разделов кибернетики – к теории автоматического управления (ТАУ), к этой теории не сводится вся кибернетика, она использует кибернетический подход наравне с психологией, биологией и другими науки.

А собственно кибернетика с науковедческой точки зрения и вовсе не наука, ней нет таких обязательных атрибутов науки как предмет, теория и гипотеза, метод и факты. По существу кибернетика – это междисциплинарный или даже внедисциплинарный подход к любым управляемым и служащим какой-то определенной цели сложным системам – к их структурам, ограничениям и возможностям. Подобного рода системы невозможно описать только через свойства отдельных элементов, а лишь с учетом их взаимосвязей. Множество элементов таких управляемых систем объединяется в единую систему посредством обратных связей, так принято говорить в кибернетике, или круговой причинностью, как называют эти связи в близкой по смыслу Общей теории систем, разработанной Людвигом фон Берталанфи (Ludwig von Bertalanffy, 1901–1972).

Кибернетика возникла в конце 40-х – начале 50-х годов в США в ответ на сложившиеся запросы со стороны разных дисциплин, столкнувшихся с системными сложностями, а местом своего появления на свет она обязана тому, что собственный научный потенциал этой страны был существенно усилен лучшими умами, успевшими эмигрировать из Европы. На возникновение кумулятивного эффекта, приведшего к появлению кибернетики, повлияло и то обстоятельство, что гении-эмигранты поселились компактно на ограниченном пространстве нескольких научных центров Восточного побережья США. Здесь накопилась необходимая критическая масса, возникла цепная реакция и произошел интеллектуальный взрыв. Он выразился в том, что математики, биологи, социологи, лингвисты, психологи и психофизиологии независимо друг от друга, но тем не менее синхронно по времени, пришли к выводу о необходимости системного переосмысления происходящего в их предметных областях. Физиков, химиков и представителей других естественных наук среди них не было, они были отвлечены созданием ядерного оружия и решением других военных задач.

Кибернетические конференции Мэйси

Центром кристаллизации, местом, где можно было обсудить общие вопросы, волнующие представителей разных научных направлений, стали ежегодные конференции, вошедшие в историю науки как Кибернетические конференции Мэйси (Macy cybernetics conferences). Эти конференции были частью более широкой программы конференций, спонсированных филантропическим фондом Josiah Macy Jr. Foundation с 1930 по 1960 год. Кибернетические конференции проходили в Нью-Йорке ежегодно с 1946 по 1953 год, их главным организатором, бессменным модератором и душой был Уоррен Мак-Каллок с его выдающимися способностями выступать в своем качестве collaborator. Подготовительная встреча, предшественница будущих конференций, состоялась в мае 1942 года, ее организаторами стали Уоррен Мак-Каллок, Артуро Розенблют, Грегори Бэйтсон, Маргарет Мид и Франк Розенблатт. По первоначальному замыслу они ставили своей целью объединение людей разных специальностей, в том числе инженеров, биологов, антропологов и психологов, в одну творческую группу для совместных исследований, связанных с работой мозга. В какой-то мере они предвосхитили Дартмутский семинар, но их замысел этой группы был гораздо шире и отличался, скажем так, опорой на науку. Вторая мировая война воспрепятствовала немедленному продолжению начинания, однако на время вынужденного затишья Мак-Каллок сумел сохранить энтузиазм с тем, чтобы вернуться к организации конференции. Он возглавлял конференцию на протяжении девяти лет, чем заслужил звание вечного президента конференций Мэйси. В обновленном составе оргкомитета доминировали Норберт Винер, Джон фон Нейман, Уолтер Питтс и другие математики, это математическое лобби естественным образом сместило акценты, в результате чего лингвисты и другие гуманитарии оказались на периферии. Психолог Грегори Бейтсон с грустью заметил по этому поводу: «Никто из нас, занятых социальными дисциплинами не пройдет по критериям Питтса еще лет 30».

Тем не менее консенсус, пусть и неполный, был достигнут, состоялось девять встреч, первая из них называлась «Механизмы обратной связи в биологии и социальных науках», заметим ни о каких системах автоматизированного управления тогда речи не шло. Деятельность неформального объединения ученых в конечном итоге привела к созданию кибернетики как символа этого консенсуса. Большинство участников конференций вошло в историю науки, среди них фигурами первой величины, конечно же, были Норберт Винер, Джон фон Нейман и Грегори Бэйтсон. Первый был сосредоточен на вопросах управления в искусственных и естественных живых системах, но он смотрел и дальше, на механизмы управления в более широком свете, в том числе и на управление в социальной сфере. Фон Нейман обладал фантастически широким кругом интересов, его увлекали и процессы, протекающие в человеческом мозге. Под влиянием идей Тьюринга он считал возможным описание работы мозга на языке формальной логики, а близость к работам Джона Моукли и Преспера Эккерта по созданию ENIAC позволила открыть участникам конференции сходство между компьютером и мозгом. Бэйтсон же первым распространил системное мышление на семейную терапию, разработал кибернетическую модель алкоголизма и шизофрении.

На конференции с самого начала не было полного единства взглядов, естественным образом участники разделились на три группы по интересам. Как следствие главный продукт конференций – все то, что в последующем стали называть кибернетикой, не сложилось как нечто единое, а современное представление о кибернетике с тех пор сохраняет наследие этого деления, что серьезно затрудняет возможность дать определение тому, что она собой представляет.

В первую группу, лидером которой был Мак-Каллок, входили те, кто стремился раскрыть нейромеханизмы, лежащие в основе психических явлений, и описать их на ясном математическом языке. Их намерение заключалось в создании точной науки о разуме. И хотя их подход имел отчасти механистический характер и концентрировался на общих для животных и машин паттернах, он содержал множество новаторских идей, которые оказали громадное влияние на последующие системные концепции ментальных явлений. Вторая, скажем так, винеровская группа объединила математиков и инженеров. Их работа была тесно связана с военными исследованиями, касающимися проблемы обнаружения и уничтожения самолетов противника, она, в отличие от других, щедро финансировалась военными. Наконец, третью группу составили представители гуманитарного направления, они объединились вокруг Грегори Бэйтсона и Маргарет Мид. После 1953 года перечисленные выше три группы пошли своим несхожими путями, сохраняя, однако, приверженность общему выработанному принципу: «Кибернетика – это междисплинарный подход, используемый для исследования регулируемых систем, включая их структуры, ограничения и возможности». Повторим, единой науки «кибернетики» как таковой нет, но есть общая методология для разных направлений. Любые попытки связать кибернетику с какой-то определенной наукой, как это часто делается в отечественных источниках, несостоятельны.

Одной из причин распада кибернетического сообщества, так или иначе сложившегося за 9 встреч, и тот факт, что кибернетика не сформировалась как наука, стало то, что ее признанный лидер Винер не выдержал испытания медными трубами. После выхода в 1948 году «Кибернетики» на него обрушился немыслимый поток почестей и восхвалений. Его слава вышла далеко за пределы академической среды. О Винере писали все издания – от массовых до элитарных, книга была в числе бестселлеров, конкурируя по тиражам с комиксами и любовными романами. Признаком хорошего тона стало иметь ее дома, хотя с уверенностью можно сказать, что содержание книги было большинству недоступно. Позже, когда просвещенная часть человечества выберет на роль кумира английского астрофизика Стивена Хокинга, это своеобразие в общественном умонастроении стали так и называть «эффектом Хокинга». А в 1950 году далекий от науки писатель Джеймс Болдуин назвал эту кампанию «кибернетическим сумасшествием» (The Cybernetics Craze). Массы уверовали в чудо, способное создать искусственный разум. Через десять лет те же самые общественные заблуждения, та же жажда чуда возведут на пьедестал славы Минского и Маккарти, но они сделали все возможное, чтобы возвести «берлинскую стену» между кибернетикой и AI.

Военные-прагматики увидели в кибернетике перспективы для создания новых систем вооружения, прежде всего систем для управления зенитными ракетами. И тут случилось неожиданное, в отличие от будущих отцов AI, Винер не пожелал пойти на активное сотрудничество с военными, он был убежденным пацифистом и гуманистом. Публичная демонстрация такого рода взглядов в эпоху маккартизма не поощрялась и уже к 1952 году Винера заметно отодвинули в сторону и к нему вернулся статус чудаковатого профессора, интересы которого ограничены стенами МТИ. Технические кибернетические решения военные взяли под свое крыло, а другие направления не получили существенной материальной поддержки.

Период МТИ

В этом же 1952 году и Мак-Каллок перешел в МТИ, где в то время работал Питтс и, казалось бы, виделось возможным создание тройственного союза Винер-Мак-Каллок-Питтс, он мог одарить человечество новыми достижениями в кибернетики. К несчастью, ничего подобного не случилось, не прошло и нескольких месяцев, как отношения между Винером с одной стороны и Мак-Каллоком и Питтсом с другой были разорваны, причем нелепо и навечно. Здесь стоит разделить причину и повод конфликта. Причина, скорее всего, состоит в том, что Винер, уверовавший в свое величие, потерял способность принимать иную точку зрения, чем свою. А поводом – грандиозный скандал, устроенный госпожой Винер, желавшей быть первой леди МТИ, организатором салонов и других светских мероприятий. Она не могла принять бражнический образ жизни Мак-Каллока и Питтса, усугубленный неумеренным пристрастием к виски, поэтому нашла повод, чтобы рассорить мужа с этими двумя. Супруга убедила Винера в том, что Мак-Каллок действует растлевающим образом на их старшую дочь, в итоге состоялось объяснение, закончившееся разрывом.

Этот разрыв оказался фатальным для всех троих. Винер превратился в свадебного генерала, его даже привозили в СССР и выставили напоказ на сцене под портретом Ленина. Он отошел от активной работы, написал две замечательные автобиографические книги «Я – математик» и «Бывший вундеркинд». Мак-Каллок продолжил работу совместно с Литтвиным, но и его лучшие время прошли, а судьба Питтса оказалась еще печальнее. Ему было трудно пережить разлад в наметившемся тройственном союзе и собственный научный кризис, выразившийся в том, что реальные мозговые процессы оказались сложнее создаваемых им моделей, и то, что чисто математический путь исследования не может дать желаемых результатов. На новый виток его сил не хватило. На фоне депрессии и усилившегося одиночества проявились определенные психические расстройства, они в сочетании с тяжелым алкоголизмом привели к смерти Питтса в возрасте 46 лет от цирроза печени.

Кибернетика после конференций Мэйси

Как видится сегодня, область действия кибернетики распространяется на сложные системы вообще, причем любые, независимо от их природы, при этом ее не интересует то, как эти системы устроены. Эти системы могут быть любыми – биологическими, социальными или техническими, поэтому кибернетика лишена междисциплинарных границ. Специалисты из разных областей обращают свои взгляды на системные связи в экологических, социальных, биологических и других системах. Их объединяет стремление изучить соответствующие системные свойства в дополнение к природе этих систем.

Несмотря на утверждения об универсальности кибернетического подхода, существуют два основных видения кибернетики. Одно, назовем его винеровским, наиболее популярно и основывается на очевидных системных замкнутостях, которые легко обнаружить в технологических системах, например, в автоматических системах управления. Такое видение изучается ТАУ и другими техническими дисциплинами. Его основоположники, будущие классики кибернетики Норберт Винер, Джулиан Бигелоу и Артуро Розенблют, описали его в своей совместной работе «Поведение, предназначение и телеология» (Behavior, Purpose and Teleology) в 1943 году. Заметим, тогда они еще не использовали термин «кибернетика», введенный в оборот на конференциях Мэйси. Они назвали этот подход к изучению систем термином телеология (от греческих телос – назначение, конечная цель и логос – причина, объяснение), заимствованным из философии, но придали ему несколько отличный, более прикладной смысл. В 1948 году Винер склонился к термину кибернетика, считая, что предметом кибернетики является изучение телеологии механизмов с ключевым моментом в виде понятия обратной связи.

В массовом порядке Винера называют «отцом кибернетики», хотя первым это слово в смысле «самоуправление» употребил в своих трудах еще в античные времена Платон, а в научный же оборот его ввел Ампер в 30–40-х годах XIX века. И роль обратной связи тоже была известна ранее: созданием и исследованием телеологических, то есть обладающих обратной связью машин и систем занимались Джеймс Уатт, автор первого атомического регулятора; британский натуралист Альфред Уоллес (Alfred Wallace, 1823–1913), который описал роль обратной связи биологических системах; британский физик, математик и механик Джеймс Максвелл (James Maxwell, 1831–1879). Последний наряду со своими великими достижениями в фундаментальной науке был еще и автором статьи под названием «О регуляторах» (On governors, 1868), в которой он дал теоретическое обоснование работе центробежного регулятора. Что же относительно отцовства Норберта Винера, то его причастность состоит в том, что он ввел термин кибернетика в современный оборот, а случилось это с подачи Клода Шеннона, который однажды в письме посоветовал ему: «Норберт, используйте слово «кибернетика», его пока никто не понимает, но вам оно позволит усилить свою позицию».

Уоррен Мак-Каллок исповедовал альтернативное видение, он пришел к нему от нейрофизиологии, стремясь создавать математические логические модели работы мозга. В статье «Воспоминания о различных источниках кибернетики» Мак-Каллок писал: «То, что представляет собой кибернетика сегодня (1964), началось с ее рождения в 1943, так ее окрестили в 1948, а зрелость пришла намного позже, только в начале 60-х. Создание кибернетики потребовало решения задач в таких областях как логика, математика, нейрофизиология, теория автоматов, включая AI, бионику и робототехнику».

Высочайший авторитет Винера в сочетании с признанным правом на термин подняли его авторитет на недосягаемую высоту, в массах только с ним и только с ним ассоциируется представление о кибернетике, чтобы убедиться в этом достаточно открыть любой учебник. Не исключено, что на создание культа Винера повлиял описанный ранее эффект Матфея, особенно сильно проявляющийся в научных кругах. Имя же Мак-Каллока оставалось долгие годы известным ограниченному числу специалистов.

Сейчас ситуация радикально изменилась. Показательно, что Американское кибернетическое общество (American Society for Cybernetics) в дополнение к традиционной винеровской медали (Wiener Medal for Cybernetics) учредило равную ей по весу Мак-Каллоковскую награду (Warren McCulloch Award). Эти академические призы взаимно дополняют друг друга, первый вручается зрелым ученым за их достижения, а второй молодым за многообещающие работы. Кстати, сам Мак-Каллок был вторым по счету, получившим винеровскую медаль.

Лжекибернетика

Существенный вред пониманию того, что являет собой кибернетика, нанесли люди, безответственно использующие префикс «кибер» в сочетании с чем угодно, от киберспорта и кибертерроризма до киберпространства. Искаженный впоследствии термин «киберпространство» совершенно честно предложили датские художники Сюзанна Уссинг и Картсен Хофф для своих инсталляций, в которых они действительно пытались управлять пространством, они называли их ателье киберпространства (Atelier Cyberspace). А родоначальником жонглирования словом «кибер» стал американский писатель-фантаст Уильям Гибсон в книге Neuromancer (в русском переводе «Нейромант»). Позже он оправдывался: «Когда я использовал слово киберпространство, я видел в нем только словечко, способное стать buzzword». Слово buzzword переводится как остро модное слово, но его еще трактуют и как специальный термин, произносимый с целью произвести впечатление на дилетантов. Гибсону это удалось – и понеслось. Появились философские определения, например: «Киберпространство – метафорическая абстракция, используемая в философии и в компьютерных технологиях, является (виртуальной) реальностью, которая представляет Ноосферу».

Чуть более десяти лет назад в России был опубликован полуофициальный документ «Киберпространство: новые угрозы» с военно-политической трактовкой: «Принципиально новая среда противоборства конкурирующих государств – киберпространство, которое не является географическим в общепринятом смысле этого слова, тем не менее, в полной мере является международным». Но если отбросить подобное наукообразие, то, скорее всего можно сказать, что киберпространство, если признать его существование, – это множество сервисов, которые предоставляются по сети Интернет: WWW, мобильные приложения, социальные сети, интернет-телефония, электронная почта, совместное использование файлов, многопользовательские онлайновые игры, онлайновые банковские и другие услуги, телемедицина и многое другое. (Здесь Интернет пишем с заглавной буквы, такая сеть одна и Интернет – имя собственное.)

Глава 6 Нейронные сети и машинное обучение

Египетские папирусы, содержащие рассуждения о природе мозга, датируются концом второго тысячелетия до н. э., с тех пор и на протяжении последующих веков к устройству и работе мозга проявляли интерес философы, и медики. В XX веке этой проблемой вплотную занялись нейрофизиологи, ими была разработана принятая на сегодня теория мозга. Считается, что небольшие нервные сети (neural circuit) объединяются в более крупные мозговые структуры (large-scale brain networks), а из них образуется мозг как единый орган. Обратим внимание на употребление в английском двух близких слов circuit и network, они переводятся на русский одним словом «сеть». Но в данном случае circuit – это сетевая структура меньшего размера, из множества circuit образуются network – сети большего размера. Есть компьютерная терминологическая аналогия, мы обычно переводим integrated circuit как интегральная микросхема, заменяя сеть микросхемой, но computer network переводим как компьютерная сеть. Еще одно терминологическое замечание, оно связано с тем, что, когда Уоррен Мак-Каллок и Уолтер Питтс выдвинули идею о возможности моделирования работы мозга сетью, состоящей из искусственных нейронов, они назвали такой тип сети Artificial neural network (ANN). Слово neural переводится на русский язык как нервный, а neuronal как нейронный, то есть ANN в оригинале искусственная нервная сеть, но по-русски приято переводить ANN как «искусственная нейронная сеть», что возможно точнее соответствует реальности.

Мак-Каллок и Питтс посвятили свою научную деятельность созданию формальных методов моделирования человеческого мозга, одним из ее результатов стало новое направление, обычно называемое коннекционизмом. В контексте AI оно рассматривается как альтернатива символьному подходу, но следует иметь в виду, что существует и более широкая философская трактовка термина коннекционизм. В этом случае под ним понимается одно из направлений в когнитивистике (от cognitio «познание»), науке, объединяющей теорию информационных процессов с теорией познания, когнитивной психологией, нейрофизиологией и когнитивной лингвистикой. Ключевым моментом, отличающим это направление когнитивистики от классической направлений этой науки, является опора на параллельные системы и на статистику, а не на последовательные системы и логические правила. Среди представителей когнитивистики нет единства мнений на сей предмет: одни склоняются к традиционным теориям, считая, что нейронная сеть подобна символическому процессору и для ее моделирования можно использовать программирование, но есть и более радикальные коннекционисты, утверждающие, что классическое программирование их целям не соответствует, они выбирают методы обучения.

Оставим возможность разбираться с этими разногласиями философам, а сами ограничимся тем, что будем считать в узком смысле коннекционизмом теоретический базис для того подхода к созданию AI, названному Тьюрингом «снизу-вверх», а машинное обучение будем рассматривать как альтернативу программированию. Что касается параллельных систем, то современный компьютинг к ним еще не готов, использование кластеров на графических процессорах (GPU) временное решение, по-английски stub, хотя насколько оно временно сказать сложно.

Предшественники коннекционизма

Предтечей коннекционизма был ассоцианизм – учение, рассматривающее мозг как действующий набор элементов, объединенных ассоциативными связями. Ассоцианизм – это совокупность психологических концепций и школ, сформировавшихся в XVIII–XIX веках, его приверженцы считали ассоциации идей главным или даже единственным механизмом, обеспечивающим работу сознания. У человека ассоциация может возникать при обнаружении подобия в предметах, имеющих одинаковые свойства или признаки, в их близости в пространстве и во времени. Впрочем, ассоциации может вызывать не только близость, но и контраст. Первые соображения о значении ассоциаций были выдвинуты Платоном и Аристотелем, но через пару тысяч лет картезианская школа, прежде всего в лице Локка и Гоббса, затормозила развитие ассоцианизма вплоть до начала XVII века. Он возродился в появившихся тогда учениях о психике, где мозг представлялся в виде машины, запечатлевающей следы внешних воздействий, причем так, что стимулирование одного из следов автоматически влечет за собой возникновение следующего. Начало новому этапу в развитии ассоцианизма положил голландский философ Бенедикт Спиноза (Benedictus de Spinoza, 1632–1677), его продолжателями стали англичане Джордж Беркли (George Berkeley, 1685–1753) и Дэвид Гартли (David Hartley, 1705–1757), они создали систему взглядов, называемую материалистическим ассоцианизмом. Последующие успехи в биологии и нейрофизиологии, достигнутые в конце XIX – начале XX века, вызвали взрыв интереса к ассоцианизму в трудах Германа Гельмгольца (Hermann Helmholtz, 1821–1894) – в его исследованиях органов чувств, Чарльза Дарвина – при объяснении эмоций, И. М. Сеченова – в учении о рефлексах головного мозга, И. П. Павлова – в его учении об условных рефлексах. Итогом всестороннего изучения ассоциаций в мозговых процессах стало появление ассоциативной психологии.

Пионерами современной науки, изучающей нейронную природу мозга, стали работавшие независимо друг от друга Александр Бэн (Alexander Bain,1818–1903) и Уильям Джеймс (William James, 1842–1910). Шотландский философ, психолог и педагог Александр Бэн в 80-е годы XIX разработал нейронную модель мозга, считая его состоящим из группировок нейронов (neural groupings). Бэна называют «отцом нейронных сетей», поскольку ему удалось показать то, как ассоциативные структуры, состоящие нейронных группировок, могут осуществлять функцию памяти и, более того, в развитие положений ассоцианизма ему удалось представить вычислительные способности такого рода структур. Американца Уильяма Джеймса (William James, 1842–1910), в большей мере интересовали психологические аспекты работы мозга. Позже существенный вклад в нейрофизиологию мозга внес Чарльз Шеррингтон (Charles Sherrington, 1857–1952), лауреат Нобелевской премии по физиологии и медицине в 1932 году за открытия, касающиеся функций нейронов.

Интересно отметить занятное совпадение, косвенным образом связывающее деятельность Бэна с AI. Оказывается, это он в 1876 году основал альманах Mind, где через три четверти века Тьюринг опубликовал свою статью Computing Machinery and Intelligence.

История современного коннекционизма

Новая история коннекционизма делится на два этапа. Они не равны по продолжительности и между ними лежит разрыв по времени, равный двум десятилетиям. Первый, более короткий, продлился всего 20 лет, от середины 40-х годов до середины 60-х, а второй стартовал в начале 80-х годов и продолжается до нашего времени. Главными действующими лицами первого этапа, обеспечившими становление коннекционизм как научного направления, были всего несколько человек. Это вышеупомянутые Уоррен Мак-Каллок и Уолтер Питтс. Еще Фрэнк Розенблатт (Frank Rosenblatt, 1928–1971), он попытался первым реализовать идеи коннекционизма на практике в устройстве, названном им персептроном. И, наконец, канадский физиолог и нейропсихолог Дональд Хебб (Donald Hebb, 1904–1985), он первым предложил работающий алгоритм обучения ANN. Упрощенно их деятельность можно представить в виде последовательности: Мак-Каллок и Питтс, создают модель ANN, Хебб распространяет принципы машинного обучения на ANN, а Розенблатт пытался материализовать коннекционизм.

Совместно эти немногочисленные действующие лица первого этапа заложили фундамент для развития коннекционизма, но в силу ряда обстоятельств они не смогли противостоять наступлению временного спада активности в этом направлении, который по аналогии с «зимой AI» назвали «зимой коннекционизма», продлившейся более 20 лет. Наступление этой зимы обычно связывают с выходом книги Марвина Минского и Сеймура Паперта (о нем в Главе 9) «Персептроны» (Perceptrons: an introduction to computational geometry, 1970), где идеи коннекционизма были подвергнуты серьезной критике. Нельзя сказать, что позиция Минского и Паперта не имела право на существование, дальнейшее показало, что взгляды основоположников коннекционизма изрядно страдали механистичностью, но справедливости ради надо сказать, что главная причина наступления зимы коннекционизма, конечно же, в отсутствии технологий для полноценной материализации их замыслов. Если бы нашлись соответствующие технологии, развитие пошло бы иным путем.

Итак, коннекционизм начался с работ Уоррена Мак-Каллока и Уолтера Питтса, их считают основателями нейрокомпьютинга, поскольку они первыми показали как простые цепочки нейронов, объединенные в группы, оказываются способными к вычислению логических функций. Результатом работы дуэта MCP стала констатация того факта, что таблицы истинности любой сложности могут быть собраны из нейронов, они показали достаточные условия для воспроизведения логических функций средствами ANN. Предложенная ими в 1940 году простая модель нейрона (simple threshold model) реализует функцию, называемую threshold function, или activation function, она воплощается в устройстве threshold gate. На русский язык название функции переводится как функция активации нейрона, она определяет выходной сигнал, а ее значение определяется входным сигналом или набором входных сигналов. Обычно в этом качестве используется нормализуемая сигмоидная функция активации. Нейрон, выполняющий сигмоидную функцию, называют threshold neuron, или пороговый нейрон.

В модели Мак-Каллока и Питтса связи имеют фиксированные веса, а результатом пороговой функции может быть 0 или 1, такой нейрон может быть только пороговым классификатором (classifier). Слабость модели MCP в используемой ими пороговой переходной функции, здесь нейроны имеют состояния 0, 1 и поддерживают пороговую логику перехода из состояния в состояние. Каждый нейрон в сети определяет взвешенную сумму состояний всех других нейронов и сравнивает ее с порогом, чтобы определить свое собственное состояние. Пороговый вид функции ограничивает возможности обучения нейронной сети, к тому же модель не учитывает многих особенностей работы реальных нейронов (импульсного характера активности, нелинейности суммирования входной информации и др.). Несмотря на то, что за прошедшие годы нейроматематика ушла далеко вперед, многие взгляды MCP остаются актуальными и поныне.

Мак-Каллок и Питтс продемонстрировали присущий ANN вычислительный потенциал, но чтобы его реализовать, нужен некоторый механизм для манипуляций с сетью. Каким он может быть? В традиционных компьютерах, ограниченных способностью выполнять последовательность команд, таким механизмом служит программирование. Хотя компьютер и является универсальным инструментом, но сам по себе он остается простым программным автоматом, он может выполнять заложенную в него программу, не более того. В связке компьютерного программного обеспечения с аппаратным «железо» – это постоянная часть, программа – переменная, она обеспечивает адаптацию компьютера к задаче.

В ANN по определению нет специального механизма управления, нет и не может быть отдельно существующей внешней по отношению к сети программы, поэтому здесь нужен иной механизм, каким-то образом меняющий сеть, адаптирующий ее к решаемой задаче, превращающий ANN на время решения задачи из универсального механизма, готового к обучению, в специализированный механизм, и этот процесс и принято называть машинным обучением (ML).

Предыстория и первые шаги машинного обучения

Сегодня машинное обучение (Machine Learnung, ML) связывают исключительно с ANN, что совершенно естественно, но не только ANN обучаемы, есть и иные обучаемые автоматы. Впервые мысль об обучении машины сформулировал автор шашечной программы Артур Самюэль (Arthur Samuel, 1901–1990) в далеком 1959 году! В статье, описывающей эксперимент машинной игры, он дал следующее определение ML: «Машинное обучение это научное направление, изучающее подходы к тому, как побудить компьютеры к полезным действиям, не обращаясь к программированию». Спустя 60 лет не остается ничего иного, как восхититься его прозорливостью, хотя ML по Самюэлю имеет мало общего с тем, как понимается обучение сегодня, когда обучается не программа, работающая на машине, как у него, а нейронная сеть, работа которой поддерживается машиной. Предложенный им алгоритм не делил процесс игры на обучение (training) и исполнение (inference), как это делается при обучении ANN, он использовал дерево поиска игровых позиций, достижимых из текущего состояния, с применением алгоритма альфа-бета-отсечения (alpha-beta pruning). Алгоритм отсечения перебирает и оценивает все ветви дерева поиска до тех пор, пока не найдено значение хуже, чем вычисленное для предыдущих ветвей. Этот подход впоследствии часто использовали для программирования различных антагонистических игр, в том числе очень модной одно время машинной игры в шахматы. Суть обучения в данном случае заключалась в том, что веса оценочной функции изменяются в процессе игры. В начальный период истории AI на метод альфа-бета-отсечения возлагались большие надежды, на него делали ставку такие апостолы того времени Аллен Ньюэлл и Герберт Саймон, Джон Маккарти и Марвин Минский.

Этот же метод независимо от них был открыт отечественным ученым А. Л. Брудно (1918–2009), назвавшим его «методом граней и оценок». Будучи изначально математиком, Александр Львович вел в Математическом институте им. В. А. Стеклова АН СССР семинар, содействовавший тому, что у многих его участников позднее возник интерес к электронным вычислительным машинам и кибернетике. В начале 1950-х годов А. Л. Брудно был привлечен член-корреспондентом АН СССР И. С. Бруком к созданию программ для разрабатывавшейся под его руководством ЭВМ М-2. Позже Брудно работал Институте электронных управляющих машин (ИНЭУМ).

Менее известны работы Михаила Львовича Цетлина в области близкой к ML. Цетлин – один из представителей плеяды выдающихся математиков-кибернетиков 50–70-х годов, ученик одного из крупнейших математиков XX века Израиля Моисеевича Гельфанда. Он работал над созданием устройств, которые могли бы демонстрировать целесообразное поведение в случайных средах. Предпосылками исследований стали прежние работы Цетлина, связанные с изучением поведения подопытных животных. Он интерпретировал поведение автомата как поведение животного, контактирующего со средой, которая в зависимости от его поведения наказывала или поощряла, при этом автомат мог обучаться, то есть стремиться к уменьшению числа наказаний за счет изменения своего внутреннего состояния.

Более полувека эта часть научного наследия Цетлина оставалась известна лишь узкому кругу отечественных специалистов, однако в апреле 2018 года вышла работа Гранно Оле-Кристофера, профессора норвежского Университета Агдера, директора Центра исследований в области искусственного интеллекта, имеющая необычный заголовок «Машина Цетлина. Теоретико-игровой бандитский подход к оптимальному распознаванию образов с пропозициональной логикой» (The Tsetlin Machine – A Game Theoretic Bandit Driven Approach to Optimal Pattern Recognition with Propositional Logic). С бандитизмом этот подход, конечно, не имеет ничего общего – это просто метафора. Работы Цетлина стали импульсом к развитию теории многоруких бандитов, названных так по аналогии с «однорукими бандитами», устанавливаемыми в казино: в теории вероятностей задачей многорукого бандита называют задачу, в которой ограниченный набор ресурсов необходимо распределить между противоборствующими сторонами. В своей статье Оле-Кристофер показал, как можно сконструировать самообучаемую машину на предложенных Цетлиным принципах в сочетании с пропозициональной логикой (раздел символической логики, изучающий образованные из простых сложные высказывания и их взаимоотношения).

В СССР еще несколько ученых занимались вопросами машинного обучения, но не нейронных сетей, а иных автоматов. Среди них киевлянин Алексей Григорьевич Ивахненко. В 1965-м году он опубликовал работу с описанием обучающих алгоритмов. Известный оппортунист и диссидент машинного обучения Юрген Шмидхубер, к которому мы еще вернемся, считает Ивахненко не только отцом глубокого обучения, но и метода обратного распространения ошибки (backpropagation). Впрочем, этот метод настолько очевиден, что его автором признают не менее 10 человек. Среди них американских специалистов в области оптимального управления Артура Брайсона и Генри Келли.

Особое место в этой когорте принадлежит Владимиру Наумовичу Вапнику, автору машины опорных векторов (support vector machines, SVM), впервые предложенной им в 1963 году вместе с Александром Яковлевичем Лернером в статье «Узнавание образов при помощи обобщенных портретов». Эта работа нашла продолжение в совместно статье Вапника с Алексеем Яковлевичем Червоненкисом «Об одном классе персептронов» (1964). SVM реализуют уникальный по сравнению с другими алгоритмами способ реализации машинного обучения. В том же году и в том же журнале «Автоматика и телемеханика» вышла статья трех авторов М. А. Айзерман, Э. М. Браверман и Л. И. Розоноэр «Теоретические основы метода потенциальных функций в задаче об обучении автоматов разделению входных ситуаций на классы». В полном объеме статистическая теория обучения на базе SVM изложена в книгах Вапник В. Н., Червоненкис А. Я. «Теория распознавания образов» (1974) и Вапник В. Н. «Восстановление зависимостей по эмпирическим данным» (1979). Они были переведены на английский и немецкий языки. В. Н. Вапник остается единственным представителем отечественной научной школы среди ученых, получивших признание за их вклад в машинное обучение.

Обучение по Хеббу

И первые обучаемые шахматные программы, и машина Цетлина, и многое другое из 60–70-х годов для современного исследователя представляет исключительно исторический интерес. То, что мы понимаем под ML сегодня, началось с работы Дональда Хебба, описанной им в книге «Организация поведения: нейропсихологическая теория» (The Organisation of Behaviour, 1949), где он распространил принципы ассоциативного обучения на ANN, его подход называют Hebbian Learning (HL). Предпосылки к HL заимствованы из биологии, и они остаются актуальными вплоть до наших дней. До него нейробиологи в общих чертах понимали, как работают нейроны, однако именно он первым предложил механизм, согласно которому нейроны могут кодировать ассоциации.

Дональд Хебб признан основоположником ассоциативного машинного обучения, в некоторой мере напоминающего ассоциативное обучения человека. В психологии под ассоциативным обучением понимают способность приобретать знание, привычки, умение, навыки, представления, предпочтения и т. д. Для человека оно не является единственным, педагогика насчитывают около двух десятков типов обучения, к которому способен человек, машины же способны только к одному типу обучения – ассоциативному (Associative learning), ограниченному только тем, что в его процессе обучаемый обнаруживает связь (ассоциацию) между двумя стимулами или событиями. В полном смысле этого слова к ассоциативному обучению способен только человек, существенно меньшими способностями обладают животные. В XX веке в этом ряду обучаемых систем появилась машина.

Хебб показал возможность обучения посредством воздействия на синаптическую связь, соединяющую два искусственных нейрона. Она изменяется, если в процессе обучения оба нейрона согласованно испытывают возбуждение, либо торможение, то есть один нейрон может возбуждать другой нейрон, и после повторяющейся активации клетки «нейроны, которые срабатывают вместе, соединяются» и таким образом происходит обучение. При возбуждении одновременно двух соседствующих нейронов вес синаптического соединения между ними возрастает, уменьшается или не изменяется в зависимости от выбора функции активации. Это предположение называют Правилом обучения Хебба. В его книге оно определено так: «Если аксон клетки А находится достаточно близко, чтобы возбуждать клетку B, и неоднократно или постоянно принимает участие в ее возбуждении, то наблюдается некоторый процесс роста или метаболических изменений в одной или обеих клетках, ведущий к увеличению эффективности А, как одной из клеток возбуждающих В». Правило Хебба не обладает прямым действием, из него не следует, как именно строить процесс обучения, оно допускает множество трактовок, как со стороны нейрофизиологов, так и математиков. За прошедшее время правило Хебба стало предметом многочисленных обсуждений, возникли его многочисленные модификации, но по сути оно остается единственным теоретическим основанием ML, поскольку нейрофизиологический постулат, выдвинутый Хеббом, имеет под собой прочное биологическое основание.

Возникают естественные вопросы: «Что задержало развитие машинного обучения как базиса для AI на несколько десятилетий? Почему оно уступило свое место символьному подходу, чтобы потом возродиться и практически полностью его вытеснить?» Ответ довольно прост, он обращает нас в проблеме «mind and body» (тела и души) – машинному обучению нужно тело, нужна система параллельной распределенной обработки данных (Parallel Distributed Processing, PDP), что принципиально невозможно на компьютерах, построенных по фон-неймановской схеме, вполне удовлетворяющей требованиям символического подхода. Как только открылась технологическая возможность материализации альтернативного символическому коннекционистского подхода машинное обучение расцвело бурным цветом.

Персептрон Розенблатта

Первым человеком, попытавшимся доступными ему скудными техническими средствами преодолеть барьер современного ему компьютинга и реализовать какое-то подобие PDP, был Фрэнк Розенблатт. Он ввел понятие персептрон (от латинского perceptio – восприятие) для математической или компьютерной модели восприятия информации мозгом. С тех пор представление о персептроне заметно изменилось, в современных учебниках и энциклопедиях персептрон трактуется и как математическая или кибернетическая модель восприятия информации мозгом, и как виртуальное устройство, состоящее из элементов трех типов: датчиков (тип S), передающих сигналы ассоциативным элементам (тип A) и далее реагирующим элементам (тип R). Собранные в группу такие устройства способны к восприятию (перцепции) в частном случае зрительных образов. Трактовок так много, что появляются статьи с называниями What the Hell (или Heck) is Perceptron?, что можно перевести как «Что за хреновина это персептрон?» Скорее всего, потому, что персептроном можно назвать и модель отдельного нейрона, и нейронную сеть, состоящую из группы нейронов, и стек простых нейронов, образующих многоуровневый персептрон (Multi-Layer Perceptron) и сеть из таких более сложных нейронов. Они объединены способностью к перцепции.

Можно обнаружить огромное множество статей, где в деталях разбирается работа именно той конкретной модели нейрона, которую предложил Розенблатт, анализируется ее возможности и недостатки, хотя сегодня устройство этой модели не имеет большого значения. К работе Розенблатта стоит отнестись примерно так, как к изобретенному Николаусом Отто двигателю внутреннего сгорания. В наше время лишено смысла проводить детальный анализ этого примитивного по современным представлениям двигателя конца XIX века, достаточно знать, что на нем поехал первый автомобиль Даймлера и Бенца, в этом его историческая миссия, с него начитаюсь автомобилизация. То же самое относится к персептрону Розенблатта, по объективным причинам он остался в прошлом, однако сыграл точно такую роль пускового механизма, как двигатель Отто.

Но сам Розенблатт отнесся к нему иначе, он рассматривал персептрон не просто как модель мозга, наделял его большими возможностями, он писал о нем как «первой машине, способной к собственным идеям». Основанием для этого смелого утверждения был удачный эксперимент, результаты которого стали достоянием гласности в июле 1956 года, точно в то же время, когда проводился Дартмутский семинар. Программная модель персептрона была загружена в один из первых серийных мэйнфреймов IBM 704, построенных на лампах, с памятью на линиях задержки, еще даже не с ферритовой. Эксперимент проводился в военно-морской лаборатории Корнельского университета. Эта программа сортировала вводимую колоду перфокарт, деля ее на две с разными кодами перфорации. Программа обладала способностью к обучению и через пятьдесят проходов смогла выполнять задание безошибочно. Скромность результата не помешала Розенблатту сделать в статье «Проектирование умных автоматонов» (The Design of an Intelligent Automaton) следующее амбициозное заявление: «Истории о создании машин с человеческими способностями много лет волновали писателей-фантастов, но теперь мы становимся свидетелями рождения таких машин – машин, способных воспринимать, распознавать и идентифицировать окружающее без вмешательства человека в процесс обучения». Удивительно похоже на ленинское «Революция, о необходимости которой все время говорили большевики, совершилась».

Актуальные сегодня способности «воспринимать, распознавать и идентифицировать» – это те ключевые понятия, которые отличают точку зрения Розенблатта на AI от того, что вкладывали в представление об AI отцы-основатели, ведомые Минским и Маккарти. Розенблатт не пытался возложить на машину свойственные человеку функции, но предложил использовать ее для расширения способностей человека. Информация о достижениях Розенблатта вышла на национальный уровень, The New York Times оценила их как революционные, газета вышла под заголовком «Новое военно-морское устройство обучается в процессе работы», примерно так же отреагировала и остальная пресса. Если учесть практическую ценность исторического наследия персептрона, то мы вправе сказать, что наше нынешнее представление об AI существенно ближе к тому, как понимал его Розенблатт, чем те, кто работал в МТИ. Он считал, что задача AI не в замещении человека при решении тех задач, на которые он способен, а восприятии, распознавании и идентификации потока данных со скоростью и в объемах, на которые человек не способен. Именно так сейчас трактуется AI. Если с этим согласиться, то вопреки сложившейся традиции местом рождения AI следует считать не Дартмутский колледж, а Корнельский университет, поскольку там появился только лишь термин AI, а Розенблатт наполнил его современным содержанием.

На момент создания персептрона его автору было всего 30 лет. Он, как и значительная часть специалистов первого поколения в области AI, по случайному, а может быть и не случайному совпадению родился в семье выходцев из Украины, в пригороде Нью-Йорка называющемся Нью-Рошель с преимущественно еврейским населением. Здесь он окончил Bronx High School of Science и поступил в Корнельский университет. На год позже, заметим, ту же самую школу закончил Марвин Минский, еще один сын эмигрантов из Российской империи, однако избравший МТИ для продолжения образования. По школе оба знакомы, их отношения даже можно назвать дружескими, к тому же и первая научная работа Минского тоже связана с нейронными сетями. Но в последующем научные интересы школьных друзей заметно разошлись, и даже вылились в острую, но сугубо научную полемику, отчего нередко их изображают злобными антагонистами, хотя сам Розенблатт считал своего школьного товарища всего лишь «лояльным оппозиционером».

Розенблатт не только ученый, но и инженер, уже в процессе написания диссертации в 1956 году он разработал специализированное устройство EPAC (Electronic Profile Analyzing Computer). Простейший EPAC получил развитие в созданном в 1960 году Розенблаттом более серьезном устройстве Mark-1, которое обладало в зародыше тем, что сейчас называют компьютерным зрением. Это была электромеханическая машина, снабженная матрицей из фотосенсоров 20х20, моделирующая двухуровневый персептрон и способная обучаться распознаванию алфавитно-цифровых символов. Сегодня она размещена в Смитсоновском музее в Вашингтоне. Машину не стоит путать с ее тезкой Mark I, построенной 1937–39 годах Говардом Айкеном (Howard Aiken, 1900–1973).

В отличие от других первопроходцев, для Розенблатта создание AI не стало самоцелью, он остался нейропсихологом, исследовал вопросы передачи выученных механизмов поведения от одних крыс другим с помощью вытяжек из головного мозга, опубликовал по этой теме немало работ и в конечном итоге доказал невозможность переноса памяти и навыков. У Розенблатта был широкий круг интересов, его увлекала астрономия, он создал собственную обсерваторию, где работал со студентами, и в не меньшей мере парусный спорт. Это опасное хобби привело Розенблатта к гибели во время прогулки по Чесапикскому заливу в возрасте 43 лет. Невольно на память приходит другая трагедия, в 2007 не вернулся из однодневного путешествия на яхте один из крупнейших авторитетов в компьютерной науке Джим Грей.

В том, что Розенблатт оставил работу над персептроном, нередко упрекают Марвина Минского с его книгой «Персептроны». В пользу того, что подобные утверждения ошибочны, говорит хотя бы то, что книга была издана за год до гибели Розенблатта, то есть прошло более пяти лет с того момента, когда тот оставил эту тему. Минский и Папперт математически убедительно показали ограничения, присущие усовершенствованному ими одноуровнему персептрону. Они связывали эти ограничения с существовавшими на тот момент слабостями параллельных вычислений, необходимых для реализации идеи персептрона. Это дало основания говорить о «заказном» характере книги, а также о том, будто она повлияла на пути развития AI, сместив научный и общественный интерес и, что не менее важно, поток субсидий правительственных организаций США на проповедуемый ими символьный подход к AI. На самом деле все проще, успеху символического подхода способствовала потенциальная возможность реализации на существовавших компьютерах, а для персептрона не было аппаратной основы.

Много позже заслуги Розенблатта были должным образом оценены, IEEE (Institute of Electrical and Electronics Engineers) в 2004 году учредил награду его имени за достижения в области коннекционизма и нейронных сетей. Среди удостоенных ею Владимир Вапник и Джеффри Хинтон.

Нейрон MCP на мемисторах

Менее известен работа профессора Стэнфордского университета Бернарда Уидроу (Bernard Widrow, 1929) и его аспиранта Тэда Хоффа (Edward Hoff, 1937), попытавшихся перенести функционал персептрона на устройства, названные мемисторами и создать из них ANN. Они не были ни нейропсихологами, ни математиками, а всего лишь инженерами, специалистами в области электротехники, поэтому исследования в области ANN не заняли главного места в их жизни. Уидроу был и остается специалистом в области адаптивных фильтров, а Хофф позже вошел в историю как один из создателей первого микропроцессора Intel 4004. В 1968 году он перешел в Intel, став двенадцатым в списке сотрудников начинающей компании, а много позже первым почетным сотрудником (Intel Fellow).

Но ранее в своей диссертации Хофф предложил LMS-алгоритм адаптивной фильтрации, основанный на методе наименьшего квадрата. Этот алгоритм широко используется в различных устройствах до настоящего времени и он стал основой для метода обучения по Уидроу и Хоффу (Widrow-Hoff Learning) и реализован на устройствах, изобретенных Уидроу и названных им мемистром (memistor). Мемистор представляет собой резистор с памятью, его не следует путать с близком по названию устройством мемристор (memristor, memory resistor), изобретенным на 10 лет позднее. Мемистор похож на триод, он тоже имеет три контакта, на два подается питающее напряжение, а на третий управляющий сигнал, а у мемристора всего два контакта, он способен запоминать свое состояние после прохождения по нему тока. Широкого распространения мемисторы не получили, но Уидроу и Хофф в 1960 году смогли реализовать на них одноуровневый нейрон по модели MCP, названный ими ADALINE (Adaptive Linear Neuron), а через два года и многоуровневый MADALINE (Many ADALINE).

Метод обратного распространения ошибок

Backpropagation (backward propagation of errors) переводится буквально как обратное распространение ошибок. Сегодня так называют наиболее популярный метод обучения многослойных персептронов, то есть нейронных сетей с прямой связью (feedforward neural network). Такие сети отличаются возможностью реализовать в них обратную связь, этот необходимый компонент практически любого самообучения.

В данном случае использование обратной связи в процессе обучения предполагает два прохода по всем слоям сети: прямого и обратного. При прямом проходе входной поток данных подается на входной слой нейронной сети, после чего он распространяется по сети от слоя к слою. В результате генерируется набор выходных сигналов, который и является фактической реакцией сети на данный входной образ. Во время прямого прохода все синаптические веса сети фиксированы. Во время обратного прохода все синаптические веса настраиваются в соответствии с правилом коррекции ошибок, а именно: фактический выход сети вычитается из желаемого, в результате чего формируется сигнал ошибки. Этот сигнал впоследствии распространяется по сети в направлении, обратном направлению синаптических связей. Отсюда и название – алгоритм обратного распространения ошибки. Синаптические веса настраиваются с целью максимального приближения выходного сигнала сети к желаемому.

У этого термина на удивление сложная история, backpropagation был впервые предложен Розенблаттом в 1961 году, а в 1974 году метод backpropagation описал в своей диссертации Пол Вербос (1947), но тогда на его алгоритмы научное сообщество не обратило внимание. В 1990 году Вербос опубликовал обзорную статью «Backpropagation сквозь время: на что оно способно и как оно это делает» (Backpropagation Through Time: What It Does and How to Do It), где отдает должное ряду ученых, в том числе Хинтону и Лекуну, и подчеркивает, что метод backpropagation может быть использован не только в приложении к ANN, но и к другим динамическим системам.

В последнее время странным образом возник интерес к проблеме приоритета. Такое бывает, когда наступает время какой-то идеи и она приходит на ум многим одновременно, дискутировать о приоритете в таких случаях лишено какого-либо смысла. Тем не менее полемику за право считать определенного ученого первооткрывателем backpropagation активно навязывает швейцарец Юрген Шмидхубер. Он работает в альтернативном направлении, которое называется долгой краткосрочной памятью LSTM (Long short-term memory), связываемого рекуррентными нейронными сетями. Шмидхубер отдает приоритет финну Сеппо Линнаймма, но при этом находит предпосылки к этому методу даже у Леонарда Эйлера, Огюстена Коши и еще у полутора десятка математиков, работавших в XX веке. Сильнейший гнев у Шмидхубера вызвало присуждение Honda Prize 2019 Джеффри Хинтону с формулировкой «… за достижения в области AI, включая алгоритм Backpropagation…» И в самом деле, непонятно чем руководствовалось жюри, вручающее награды за достижения в области экологических технологий, но оно допустило очевидный ляп! Что же касается скандала, устроенного Шмидхубером, то, скорее всего, поводом для него стал тот факт, что его обошли при награждении Тьюринговской премией 2018 за достижения в области глубокого обучения. Премия тогда досталась троим – Джефри Хинтону, Джошуа Бенджо и Яну Лекуну, но не ему, что на самом деле не вполне справедливо, учитывая и его достижения. Сложившаяся ситуация вынудила Хинтона прилюдно оправдываться за явную оплошность со стороны жюри Honda Prize, впрочем, что мешало ему заранее ознакомиться с формулой награждения? На фоне этой полемики особенно удивительно выглядит статья «Метод обратного распространения ошибки» в русскоязычной википедии, она явно выдержана в духе одиозных доказательств российского приоритета на любые изобретения, характерных для сталинских времен. Разногласия относительно приоритета естественны, они возникают по той причине, что сама по себе идея обратной связи в обучении очевидна, к ней пришли многие исследователи независимо друг от друга.

Сверточные сети

Очередным шагом в развитии прикладного коннекционизма стало создание иерархической многослойной ANN сверточного типа (Convolutional Neural Network, CNN) в 1980 году. Японский исследователь Кунихика Фукусима (Kunihiko Fukushima) назвал ее неокогнитрон. Он занимался распознаванием рукописных текстов и взял в качестве прототипа идею когнитрона, ранее выдвинутую шведом Торстеном Визелем (Torsten Wiesel, 1924) и канадцем Дэвидом Хьюбелом (David Hubel, 1926–2013). В 1981 году Визель и Хьюбел стали лауреатами Нобелевской премии по физиологии и медицине «за открытия, касающиеся принципов переработки информации в нейронных структурах». Фундаментальные работы Визеля и Хьюбела по нейрофизиологии зрения заложили основы организации и развития нейронных цепей, ответственных за зрительное распознавание объектов. Иногда, например в той же русскоязычной википедии, открытие CNN ошибочно приписывают Яну Лекуну.

В начале 80-х существенный вклад в развитие ANN сделал финский ученый Теуво Кохонен (Teuvo Kohonen, 1934 года). В течение многих лет он руководил Исследовательским центром нейронных сетей Технологического университета в Хельсинки, созданным специально для проведения научных исследований, связанных с его разработками. Этот класс ANN так и назван нейронными сетями Кохонена, он отличается наличием слоя, состоящего из адаптивных линейных сумматоров. «Самоорганизующаяся карта Кохонена», так их еще называют, применяется для решения задач моделирования, прогнозирования, выявления наборов независимых признаков, поиска закономерностей в больших массивах данных. Символично, что Теуво Кохонену была вручена награда имени Фрэнка Розенблатта.

Вторая волна коннекционизма и модель Изинга

К началу восьмидесятых годов, когда появились достаточно мощные компьютеры, открылась возможность для перехода от теории коннекционизма к практике, недоставало методов, позволяющих создавать компьютерными средствами некоторое подобие мозга, моделируя нейронные сети. Движение в этом направлении началось с взаимодополняющих работ двух американцев – физика Уильяма Литтла (William Little) из Стэнфордского университета и нейрофизиолога Джона Хопфилда (John Hopfield, 1933), получившего известность благодаря открытию в 1982 году ассоциативных нейронных сетей (Associative Neural Network, ASNN). Литтл смог найти параллель между мозгом и определенным классом физических систем, значение этого открытия состоит в том, он показал как известные методы моделирования, разработанные для физических систем, могут быть распространены и на нейронные сети. Эти наблюдения описаны в двух статях: в перовой «Существование устойчивых состояний в мозгу» (The existence of persistent states in the brain, 1974) показана теоретическая возможность моделирования деятельности мозга, а во второй «Модели Изинга в приложении к нейронным сетям» (An Ising model of a neural network, 1980), где показано почему именно эта физическая модель может быть адаптирована к моделированию ANN. В 1982 году Хопфилд сделал следующий шаг, доказав изоморфизм выбранной Литтлом модели Изинга и рекуррентных моделей нейронных сетей. С тех пор модель Изинга является фундаментальной основой современных работ в области ANN, хотя для большинства специалистов в этой области сам факт ее существования остается неизвестным.

Возникает естественный вопрос: «Почему модель Изинга, разработанная в 20-х годах прошлого века и используемая для моделирования в физике, химии, биологии и даже социологии, вдруг оказалась так важна еще и для воспроизведения нейронных сетей на компьютере?» Для того, чтобы ответить на этот вопрос надо развести два понятия: одно – собственно модель с тем или иным приближением отражающая свойства реального объекта, а другое – математический шаблон этой модели, который может быть запрограммирован или обучен.

В природе случается, что моделируемым объектам, имеющим совершенно разную природу, могут соответствовать одни и те же математические шаблоны. Приведем простейший пример. При замыкании одного заряженного конденсатора другим равным по емкости незаряженным заряд остается тем же, но напряжение падает вдвое и происходит неизбежная потеря накопленной энергии в виде электромагнитного и светового излучения. Точно также теряется накопленная кинетическая энергия при неупругом соударении движущегося тела с равным по массе неподвижным – в данном случае сохраняется масса, а скорость уменьшается тоже, и половина кинетической энергии уходит на нагрев. В этих двух опытах физика совершенно разная, но происходящее и в том и в другом случае описывается одним и тем же математическим шаблоном, различие лишь в том, что в первом случае на два делится произведение величины заряда и квадрата напряжения, а во втором величины массы и квадрата скорости.

Существует огромное число разнообразных природных процессов, которые описываются одними и теми же дифференциальными, интегральными уравнениями или иными уравнениями, играющими роль шаблона. Лет 70 назад обнаружилось, что шаблоны удобно воспроизвести при помощи операционных усилителей – относительно простых электронных устройств, из которых собирали специальные моделирующие аналоговые вычислительные машины (АВМ). Для имитации могут быть использованы не только электронные устройства, но и пневматические, было даже такое направление, называвшееся пневмоникой, а гидравлические интеграторы позволяли решать дифференциальные уравнения в частных производных.

Возвращаясь к модели Изинга надо сказать, что область ее действия распространяется на кооперативные системы, которые невозможно описать уравнениями. Кооперативные системы отличаются тем, что представляют собой совокупность элементов, взаимодействующих между собой, и подчиняются одновременно двум законам: по одному подчиняются отдельные элементы, а второй управляет поведением всей системы в целом. Такая сложная системная организация не позволяет объяснить свойства системы в целом через совокупность свойств отдельных компонентов.

Автор модели Эрнст Изинг (Ernst Ising, 1900–1998) предложил ее в 1920 году будучи аспирантом в Гамбургском университете. Там он изучал магнитные свойства спинового стекла – материала, имеющего магнитные свойства, но непохожего на обычные магниты. В обычных материалах, таких как железо, спины электронов обычно выстраиваются в одном направлении: если электрон со спином «вниз» окружен электронами со спином «вверх», перевертывается и, когда большинство спинов в куске железа таким образом выстраиваются, он превращается в магнит. Такое происходит в обычных магнитах потому, что сила взаимодействия между соседними спинами одинакова, в отличие от них в спиновом стекле эта сила может отличаться и даже бывает отрицательной, из-за чего расположенные рядом спины ведет себя произвольно и могут принимать противоположные направления. Единообразие частиц обычного магнита приводит к тому, что его энергия обычного магнита минимальна, если все спины выровнены. Со спиновым стеклом дело сложнее, его частицы имеют свободу воли, они не ведут себя единообразно и невозможно заранее определить его состояние, что позволяет отнести его к кооперативным системам.

Изучение кооперативных систем началось со статистической физики, где квантовая модель Изинга стала одной из стандартных, продолжилось в химии (молекулярные модели Изинга), а позже она распространилась на биологические, социально-экономические науки и даже на геологию, на одно из новейших приложений – лингвистика. И что удивительно, при столь большом природном разнообразии, для моделирования всех этих систем в качестве меташаблона можно использовать одну и ту же модель Изинга. В 2010 году наш соотечественник Станислав Смирнов стал лауреатом Филдсовской премии (2010) «за доказательство конформной инвариантности двумерной перколяции и модели Изинга в статистической физике».

Для общего знакомства с моделью Изинга и ее автором стоит прочесть статью Евгения Залмановича Мейлихова «Трагическая и счастливая жизнь Эрнста Изинга», опубликованную в журнале «Природа», он к тому же и автор весьма познавательной книги «А. С. Пушкин и физика. Кто, как и какой физике учил Пушкина». Есть интереснейшая статья группы авторов, один из которых сын Эрнста Изинга «Судьба Эрнста Изинга и судьба его модели» (The Fate of Ernst Ising and the Fate of his Model, 2017), где изложена чрезвычайно необычная биография ученого и содержится популярное введение. Тем, кого глубже заинтересует историческое значение модели Изинга, можно порекомендовать цикла статей Мартина Нисса «История модели Изинга» (History of the Lenz-Ising Model 1920–1950: From Ferromagnetic to Cooperative Phenomena и History of the Lenz—Ising Model 1950–1965).

Фундаментально роль модели Изинга в нейронауке была переосмыслена совсем недавно, в методологической статье австрийских философов Тарья Кнууттила и Андреа Лоттгерс, опубликованной в одном из старейших американских философских ежеквартальных изданий The Monist в 2015 году. Ее название «Магниты, спины и нейроны. О родственности шаблонов моделей в разных дисциплинах» (Magnets, Spins, and Neurons: The Dissemination of Model Templates Across Disciplines). Название отражает желание авторов показать логическую связь нейрофизиологии и физики. Кнууттила и Лоттгерс анализируют цепочку от Изинга к Литтлу и от Литтла к Хопфилду. Для нас статья представляет интерес в связи с тем, что ее авторы дают расширенную трактовку модели-шаблона Изинга, вышедшую из физики, но распространившую свое влияние на широкий круг дисциплин.

Кнууттила и Лоттгерс подчеркивают важность разделения двух понятий – собственно модели (физической или нейронной) и общего для них обеих математического шаблона. Они начинают статью со следующего наблюдения: «Одним из самых бросающихся в глаза фактов, обнаруживаемых при использовании современных средств моделирования, является известный феномен, суть которого в том, что одни и те же математические шаблоны соответствуют моделям, относящимся к совершенно разным областям».

У Джона Хопфилда, как и у многих исследователей AI, российские корни, его родители эмигрировали в конце XIX века из Российской Империи и получили в США физическое образование. Возможно, эта семейная близость психолога к физике позволила ему развить соображения, высказанные Литтлом. В статье «Нейронные сети и физические системы, обнаруживающие коллективные вычислительные способности» (Neural networks and physical systems with emergent collective computational abilities, 1982) он описал устройство полносвязной сети с симметричной матрицей связей более известий как сеть Хопфилда. Наравне с этим названием такие сети еще называют сетями, использующими модель Изинга (Ising model of a neural network).

Объединив нейронную и физическую модели, Хопфилд сумел перевести коннекционизм с уровня абстрактных рассуждений на прагматический уровень с возможными в будущем практическими приложениями. Таким образом он положил начало новой эре, той в которой мы живем сейчас, когда машинное обучение вытеснило с положения доминирующей парадигмы в науке об искусственном интеллекте символический подход.

По Хопфилду, нейронная сеть, которая изменяется во времени, подобна спиновому стеклу. Эта аналогия открыла возможность применить к машинному обучению математику, заимствованную из статистической физики! Сеть Хопфилда получила развитие в сети Хемминга предложенной Ричардом Липпманном в 1987 году. Сети Хопфилда и Хемминга остаются до нашего времени предметом изучения, наличие в них элементов ассоциативной памяти делает их полезными в задачах распознавания, но главное достижение Джона Хопфилда в том, что его работа стала первым камнем, вызвавшим лавину нынешнего массового распространения нейронных сетей и машинного обучения.

Машина Больцмана

Открытие Хопфилда прорвало плотину, с его работы начался активный поиск других шаблонов для моделей нейронных сетей. В 1985 году трое – математик Дэвид Окли, психолог Джеффри Хинтон и биолог Терри Сейновски опубликовали статью «Обучающий алгоритм для машины Больцмана» (A Learning Algorithm for Boltzmann Machines), они начали ее с замечания о том, что их работа служит развитием трудов Хопфилда. Статья начинается со слов: «Соответствие современных технологий сверхбольших интегральных схем VLSI архитектуре мозга стала источником возобновления интереса к коннекционизму. Такие схемы способны к долговременному хранению данных и обеспечению связей между элементами, подобными нейронам». В качестве средства для моделирования работы мозга, в идеале они видят некую многопроцессорную структуру, объединенную коммуникационной сетью, для нее они предложили название «Машина Больцмана», обратим внимание на слово машина. Оно было выбрано в честь австрийского физика Людвига Больцмана, одного из создателей статистической физики. Машина Больцмана может рассматриваться как стохастический генеративный вариант сети Хопфилда. Вероятность нахождения сети в конкретном состоянии соответствует известному в термодинамике распределению Больцмана.

Импульс, приданный Хопфилдом работам в области ANN, позволил последующим событиям развиваться с калейдоскопической быстротой. Многие из них были непосредственно связаны с Джеффри Хинтоном, что сделало его признанным лидером новой волны коннекционизма, которую можно назвать мэйнстримом. Старт состоялся в 1986 году, вместе с выходом в журнале Nature ставшей широко известной статьи «Представление обучения посредством метода обратного распространения ошибок» (Learning representations by backpropagating errors). Ее первым и основным автором был психолог-математик и видный представитель коннекционистского подхода Дэвид Румельхарт, а соавторами Джеффри Хинтон и Рональд Уилсон. В ней изложен алгоритм обратного распространения ошибки в приложении к многослойному персептрону Румельхарта, являющемуся частным случаем персептрона Розенблатта. Публикация статьи во всемирно известном журнале без упоминания предыстории backpropagating была неодобрительно встречена многим специалистами. Поскольку Румельхарт вскоре ушел из жизни, за это невольное упущение пришлось оправдываться Хинтону, это было впервые, другой случай описан выше. Но, если по существу, оппонентам не стоило поднимать волну, им следовало бы смириться с тем, что в истории науки и техники подобные прецеденты повторных открытий и изобретений далеко не редкость. Хорошо известны так называемые затяжные «патентные войны» между индивидуальными изобретателями или корпорациями.

В том же 1986 году Полом Смоленским (нельзя не обратить внимание на сходство фамилий с Минским, и у него тоже российские корни) была разработана собственная версия машины Больцмана, названная ограниченной (Restricted Boltzmann machine, RBM). RBM отличается способностью проходить обучение как без учителя, так и с учителем. В 2000-х годах RBM приобрела большую популярность и стала рассматриваться не как вариации машины Больцмана, а как особые компоненты в архитектуре сетей глубинного обучения. Дальнейшее развитие машина Больцмана получила в 2006 году в совместной работе Хинтона с его аспирантом Русланом Салахутдиновым, новую версию она назвали глубокой (Deep Boltzmann machine) в связи с тем, что она содержит множество уровней со скрытыми переменными. В 1989–90 годы отмечены активным вхождением Яна Лекуна в область ANN и глубокого обучения, он стал вторым после Хинтона лидером этого мэйнстрима. Работая в Bell Labs, он вместе с коллегами смог материализовать метод backpropagation на сверточной нейронной сети LeNet (Convolutional Neural Network, CNN) в приложении для распознавания рукописного текста на банковских чеках и на почтовых отправлениях. Ошибки при распознавании не превысили 1 %.

Канадская мафия

Ближе к середине прошлого десятилетия была накоплена критическая масса знаний в части глубокого обучения ANN. В таких случаях всегда, образно говоря, кто-то отрывается от пелотона и зарабатывает майку лидера, так было и, видимо, будет в науке всегда. В данном случае в роли лидера оказался Джеффри Хинтон, британский ученый, продолживший свою карьеру в Канаде. С 2006 года он сам и вместе с коллегами начал публиковать многочисленные статьи, посвященные ANN, в том числе и в научно-популярном журнале Nature, чем заслужил себе прижизненную славу классика. Вокруг него образовалось сильное и сплоченное сообщество, которое несколько лет работало, как теперь говорят, «в невидимом режиме». Его члены сами называют себя «заговорщиками глубокого обучения» (Deep Learning Conspiracy) или даже «канадской мафией» (Canadian mafia). Образовалось ведущее трио: Ян Лекун, Иешуа Бенджо и Джеффри Хинтон, их еще называют LBH (LeCun & Bengio & Hinton). Выход LBH из подполья был хорошо подготовлен и поддержан компаниями Google, Facebook и Microsoft. С LBH активно сотрудничал Эндрю Ын, работавший в МТИ и в Беркли, а теперь возглавляющий исследования в области искусственного интеллекта в лаборатории Baidu. Он связал глубинное обучение с графическими процессорами.

Сегодня машинное обучение ассоциируется с глубоким машинным обучением, то есть с одним из методов реализации машинного обучения, где средствами искусственных нейронных сетей имитируются структуры и функции мозга, поэтому его иногда еще называют структурным или иерархическим обучением. Термин Deep Learning раньше других использовали Рина Дехтер (1986) и Игорь Айзенберг (2000). Между тем японские специалисты утверждают, что именно они выдвинули идею, которую можно считать основой глубинного обучения, при этом называются имена Фукусимы Кунихико и Амари Сюнъити, также занимавшегося исследованием нейросетей.

Были и другие предшественники глубокого обучения, но оно «заработало» и смогло занять свое нынешнее место только после того, как было дополнено еще методом backpropagation. Этот метод применим для сверточных нейронных сетей CNN (Convolutional Neural Network), которые можно рассматривать как подобие зрительной коры, работа которой связана с активацией определённого набора простых клеток. Такие сети являются многослойными и однонаправленными (feedforward neural network).

Как любую новацию, глубокое машинное обучение, ставшее основой нынешнего AI-бума, не обошли раздоры, связанные с приоритетом. Так уж сложилось, что авторами всего того технологического богатства, которым располагает человечество, были тысячи и тысячи людей, но только избранных называют первыми. Любой приоритет условен, изобретения появляются в благоприятное для них время, когда возникают необходимые условия и предпосылки. Вот и сейчас вся публичная слава создателей глубокого обучения, а заодно и «отцов современного AI», досталась трио Хинтон-Лекун-Бенджо, но в тени остался швейцарец Юрген Шмидхубер, работающий в альтернативном направлении, которое называется долгая краткосрочная память LSTM (Long Memory).

В марте 2019 Тьюринговская награда 2018 года, аналог Нобелевской премии в компьютинге, была присуждена Джеффри Хинтону, Янну Лекуну и Джошуа Бенджо. В отличие от подавляющего большинства других тьюринговских и тем более нобелевских лауреатов, остающихся после получения наград в своих лабораториях, эти трое и их ближайшие сотрудники вышли в мир бизнеса, продолжая свои исследования в сотрудничестве с крупнейшими компаниями Google, Facebook, другими крупными вендорами, многие создали свои собственные предприятия.

Нельзя исключать, что восхождение ко всемирной славе, по своей стремительности сравнимое с превращением Золушки, стало неожиданностью для них самих, ничто из того, чем они занимались 20 лет назад, не могло этого предвещать. В роли феи оказалась совсем небольшая по численности канадская благотворительная организация CIFAR (Canadian Institute for Advanced Research), выступающая в роли распорядителя средств, выделяемых правительством Канады и провинции Квебек с 1982 года. Свою миссию CIFAR видит в периодической концентрации средств и внимания на какой-то актуальной программе, привлекая для этой цели временные немногочисленные коллективы специалистов из разных стран. Время жизни каждой из программ составляет 10–15 лет, их было порядка полутора десятков, но самой известной из них, принесшей известность CIFAR, стала Neural Computation & Adaptive Perception program, открытая в 2004. К ней были привлечены нынешние тьюринговские лауреаты, а также специалисты по смежным специальностям: в том числе биологи, психологи, физики. Не будь этого импульса, на подиуме могли бы оказаться иные люди.

Спонсирование со стороны CIFAR позволило Хинтону, создававшему «временный трудовой коллектив», привлечь Лекуна и Бенджо с которыми он был связан общими научными интересами с конца 80-х. Сейчас трудно представить, что тогда исследования в области нейронных сетей представляли интерес только для чрезвычайно узкого круга, как их тогда называли, заговорщиков (cabal-like group), а их проекты вероотступническими (renegade). В те скудные времена (lean times) никто не верил будущее нейронных сетей.

Лекун вспоминает: «Период между серединой 90-х и серединой 00-х был мрачным, невозможно было опубликовать ни одной статьи по нейронным сетям, все потеряли интерес к ним. Сети имели плохую репутацию, и на них практически распространялось своего рода табу». Ситуация стала меняться по результатам очередного конкурса по распознаванию изображений ILSVRC (ImageNet ImageNet Large Scale Visual Recognition Challenge), прошедшего в 2012. Основателем этого соревнования стала профессор Стэнфордского университета Фей-Фей Ли, которой в голову пришла оригинальная идея переноса центра тяжести исследований в области AI с моделей и алгоритмов на распознавание изображений сетевыми средствами. Для того чтобы их обучать, потребовалась большая база изображений, названная ImageNet, в качестве прототипа для нее Ли использовала разработанную в Принстонском университете лексическую базу данных английского языка WordNet, представляющую собой тезаурус и набор семантических сетей для английского языка. Вторым идейным источником для ILSVRC стал конкурс PASCAL VOC challenge, учрежденный в 2005, из названия которого следует, что он был нацелен на деление изображений на классы VOC (visual object classes).

С каждым очередным конкурсом ILSVRC точность распознавания возрастала и переломный момент произошел в 2012 году, когда конволюционная нейронная сеть CNN, названная AlexNet, показала результат, равный 16 %. В последующие годы он регулярно повышался, и вскоре сеть могла распознавать изображения лучше человека. Но при этом надо учитывать условность этого сравнения, сеть способна распознавать только определенные, заданные ей типы объектов, в то время восприятие человека этим не ограничено и он способен выносить суждения о распознанных объектах. В создании AlexNet ведущую роль сыграли двое – Алекс Крыжевский, его имя вошло в название сети, и его коллега Илья Сутскевер, оба на тот момент они были аспирантами Джеффри Хинтона в Торонтском университете. Любопытно то, что работа была сделана вопреки сомнениям Хинтона в возможности ее практической реализации. Сеть AlexNet написана на CUDA и работала на кластере, состоявшем из GPU, а ее теоретической основой была работа Яна Лекуна, написанная еще в 1989 году.

Инакомыслящие

Нередко общественное сознание переоценивает роль лидеров и, как следствие, может создаться ложное впечатление, будто кроме возглавляемого ими мэйнстрима ничего не существует. В области ANN, где сейчас работают тысячи исследователей и еще большее число разработчиков, как и в любом ином научно-технологическом направлении, есть многочленные близкие по отношению к мэйнстриму, но есть и отдаленные, а порой и вообще альтернативные направления. О соотношении между ними можно судить разнообразным рейтингам экспертов, входящих в элиту машинного обучения и нейронных сетей. Это самые разнообразные списки типа Top 5, 10 или 25 и т. п.

В большинстве из них на первой позиции лидер мэйнстрима Джеффри Хинтон, он абсолютный лидер, но на втором или на третьем стоит профессор Майкл Джордан, иногда он опережает Лекуна и Бенджо. Джордан преподает в университета Беркли, он обладает колоссальным научным авторитетом. В списках наиболее влиятельных ученых в Computer Science, составляемом журналом Science или порталом Guide2Research, Майкл Джордан существенно опережает Хинтона и других членов канадского ганга. С начала 80-х он разрабатывал когнитивные модели, основанные на рекуррентных нейронных сетях. Будучи статистиком, Джордан способствовал внедрению в машинное обучение байесовских сетей, представляющих собой множество переменных и их вероятностных зависимостей по Байесу.

В качестве постоянного оппонента Хинтону выступает немецко-швейцарский ученый Юрген Шмидхубер, профессор в Университете Лугано. В 1997 году Шмидхубер вместе со своим научным руководителем Сепплом Хохрайтером опубликовали статью Long short-term memory с описанием варианта рекуррентной нейронной сети (RNN), который они на несколько лет раннее назвали «Долгая краткосрочная память» (LSTM). Такое, на первый взгляд, нелогичное название не игра слов, оно имеет глубокие корни, идущие из психологии, где память делят на долговременную (long-term) и кратковременную рабочую (short-term). При объединении двух типов памяти в одной LSTM программа извлекает из short-term структуры, используемые для долговременного запоминания. Этот подход делает LSTM удобным для работы с последовательными данными, например текстами на естественных языках.

Более глубоким идейным оппонентом мэйнстриму является Хаим Самполинский, профессор Еврейского университета в Иерусалиме и профессор Гарвардского университета. Он автор множества работ, но наиболее доступно его позиция изложена вы статье «Глубокое обучение и альтернативные обучающие стратегии при ретроспективном анализе реальных клинических данных» (Deep learning and alternative learning strategies for retrospective real-world clinical data), написанной в соавторстве с коллегами. В ней признается, что в последние годы сочетание достижений в области машинного обучения в сочетании с доступной и недорогой электроникой позволили автоматизировать решение целого ряда сложных когнитивных задач.

Трансферное обучение

Всё нынешнее глубокое обучение относится к категории обучения с учителем (supervised DL), ставшего новой классикой. Оно обладает несколькими врожденными недостатками. По определению для него требуются чрезвычайно большие объемы данных на этапе обучения и соответственно большие вычислительные мощности. В ряде случаев требуется такая вычислительная мощность, что решение сопряженно с существенными энергетическими затратами, но полученная при этом модель способна решать только одну задачу, что снижает эффективность. То есть модель, обученная для решения одной задачи настолько специальна, что не может быть полезной для решения другой задачи, для нового решения потребуются новые данные для обучения и новые затраты на обучение. Избавлением от этого врожденного недостатка станет модифицированный тип DL, который получил название transfer learning (TL), его можно перевести как «обучение с переносом», но чаще используют кальку английского термина «трансферное обучение». TL отличается тем, что «знание», полученное при тренировке модели, сохраняется для последующего повторного использования, чем напоминает обучение человека, с той разницей, что машинное знание не имеет ничего общего с человеческим, оно не может служить источником для самостоятельной деятельности. Знание в данном случае сводится к возможности полного или частичного использования ранее обученной модели для решения новой задачи. TL повышает эффективность DL при условии родственности решаемых задач. Если модель обучена на распознавание кошек, то она окажется бесполезной для распознавания собак.

Общие идеи относительно возможностей TL и сам термин предложила известная специалист в этой области Лорин Пратт еще в 1993 году, но путевку в жизнь этому направлению в DL дал Эндрю Ын в своем ставшем широко известным выступлении на конференции Neural Information Processing Systems (NIPS) 2016. По его мнению, TL должно стать следующим стимулом для коммерческого успеха после обучения с учителем.

На данный момент видится несколько стратегий внедрения TL. Это может быть прямое использование заранее обученной модели (pre-trained models) для определенной области приложений, например NLP. Пользователям уже доступны такие специализированные как BERT, YOLO, GloVe, UnsupervisedMT и другие. Или же можно тем или иным способом воспользоваться обученной моделью для частичного экстрагирования сведений из ранее натренированного набора данных с тем, чтобы потом перенести их другую модель.

Генеративно-состязательные сети

В конце октября 2018 года на аукционе Кристи за 432 тысячи долларов был продан живописный портрет вымышленного художника Эдмона Белами из серии «Семейство Белами». Но кисть мастера этого холста не касалась, он представлял собой распечатку, созданную средствами AI. Этот успех подтвердил описанный в главе 1 Эффект AI: «Любое поражающее воображение достижение из области AI, при ближайшем рассмотрении оказывается рутинным результатом трудов математиков, инженеров и других специалистов, лишенным какого-либо собственного разума». Творцами портрета оказалась трое французов, составляющие группу Obvious, название которой переводится как «очевидно» и даже «тривиально», а их инструментом креативно-состязательная сеть (Creative Adversarial Network, CAN). Такая сеть способна создавать изображения, внешне неотличимые от созданий художников. Произведенные посредством CAN картины вполне можно признать формально прошедшими графическую версию теста Тьюринга, разумеется, это не означает, что машина научилась рисовать в полном смысле этого слова.

Сети CAN служат дальнейшим развитием генеративно-состязательных сетей (Generative adversarial network, GAN), о них говорят, что CAN – это GAN, способные мыслить креативно. Однако участники Obvious не склонны наделять их разумом, на их сайте мы находим: «… мы используем машинное обучение с тем, чтобы воспроизводить действия человека алгоритмами, основанными на статистических методах. Мы используем эти алгоритмы либо для оптимизации, выполняя сложные вычисления, либо для масштабирования, например, в чатботах, либо то и другое совместно. Алгоритмы могут быть обучены посредством идентификации общих свойств, присущих данным, со скоростью, превышающей человеческие возможности. Мы называем это Augmented Intelligence (AuI) и это совсем не похоже на то, что представляется в фантазиях».

GAN придумал в 2014 Ян Гудфеллоу будучи аспирантом, после чего моментально превратился в культовую фигуру AI (AI celebrity), теперь его именуют не иначе как GANfather (отец GAN). Ключевая мысль, заложенная Гудфеллоу в GAN, заключается в том, что в них не одна, как принято, а сразу две сети тренируются на одном и том же наборе данных. Первую называют генератором, она создает по возможности реалистичные изображения, в то время как вторая – дискриминатор – сравнивает их с исходными и фильтрует неудачные. Полученные дискриминатором результаты далее используются для обучения генератора. Очень важно, чтобы усилия обеих сетей были сбалансированы. Такое единство креативного и критического начала очень типично для творческих партнеров, например, автора и редактора, художника и критика. Можно сказать, что GAN добавила к распознавательным способностям машин еще способность, условно говоря, к воображению. Сети GAN переводят машинное обучение на новый уровень, сегодня сети обучаются с учителем (supervised learning) на колоссальном объеме учебных данных, а создание GAN стало серьезным шагом к обучению без учителя (unsupervised learning).

Уже сегодня GAN используют в крупнейших ядерных центрах для прогнозирования поведения частиц. Есть еще множество иных серьезных направлений, но на данный начальный момент популярны два: улучшение качества изображений, что критично в тех случаях, когда сложно получить требуемое качество в процессе съемки, например, в медицине (Photo-Realistic Single Image Super-Resolution), и создание изображений по текстовым описаниям (Text to Image Synthesis).

Глава 7 Роботы и умные машины

Самое старое изображение механического воина-андроида удалось обнаружить в 1935 году через 800 лет после его создания, это случилось при исследовании альбома архитектора Виллара де Оннекура (Villard de Honnecourt, 1195–1266). В XIII веке в Европе наметился подъем интереса к механике и даже к идее вечного двигателя, не случайно в этом же альбоме еще есть эскиз такого механизма. Самый известный из подобных рабочих альбомов, принадлежавших художникам и архитекторам, конечно же «Атлантический кодекс» Леонардо да Винчи, и в нем тоже среди тысяч рисунков. создававшихся на протяжении 40 лет, есть наброски двух автоматизированных устройств: повозки, датируемый 1478 годом, и рыцаря, относящийся к 1495.

Свою конструкцию робота-воина да Винчи разделил, как бы мы сегодня сказали, на две подсистемы: в одну входила нижняя часть тела – щиколотки, голени, колени и бедра, а в другую руки и плечи. Для управления первой подсистемой Леонардо предполагал внешний программатор, а механизм управления второй разместил непосредственно в грудной клетке. Воссозданная недавно реплика этого рыцаря находится во флорентийском музее Леонардо, а его именем названа одна из самых совершенных роботизированных хирургических систем da Vinci Surgical System. Это тоже робот, но он отнюдь не похож на андроида – робот-хирург многорук как Шива, он снабжен четырьмя руками: одна из них держит видеокамеру, передающую изображение оперируемого участка, две воспроизводят совершаемые хирургом движения, а четвертая служит для вспомогательных действий. Система da Vinci Surgical System при всей ее сложности всего лишь умный помощник оперирующего, лишенной автономии, всеми манипуляциями управляет врач, видящий в увеличенном масштабе трехмерное изображение оперируемого участка и действующий хирургическими инструментами посредством джойстиков.

Таков зримый результат изменения представления о роботах за прошедшие 500 лет – от мечты о железном человеке до робота-ассистента, узкоспециализированного на определенном приложении. Иногда, когда встречаются рекламы фильмов про андроидов типа «Терминатор», сознается впечатление, что их создатели и зрители отстали в своем развитии на полтысячи лет.

Роботы-автоматоны XX века

Андроиды – это частный случай автоматонов, относительно несложных механизмов, способны к воспроизведению различного рода действий, внешне они могут быть похожи на движения человека или животного, чем создается иллюзия их самостоятельного действия. Это наиболее древний вид псевдо-роботов, к ним относятся популярные сегодня выставочные и развлекательные человекоподобные устройства – они ушли недалеко от древних автоматонов, по сути своей они так же воспроизводят механические действия, как делалось в старину, но с поправкой на использование современных технологий и материалов. Столетиями до середины XIX века искусные механики радовали венценосных особ созданными ими развлекательными автоматами, которые за их изящество стоит в большей мере рассматривать как произведения искусства. Не случайно развлекательные роботы чаще можно увидеть в художественных музеях, например, в Эрмитаже, чем в музеях науки и техники.

Промышленная революция разбудила гений изобретательства, наряду с другими новациями началось строительство огромного числа механизмов, которые можно было назвать роботами, после того, как это слово вошло в оборот. Общество проявляло к ним живой интерес, в газетах и журналах того времени можно найти изрядное количество статей на тему механических существ. Различающиеся внешне, они утроены единообразно – включают в себя простейшие датчики и незатейливые сервомеханизмы, устройства для воспроизведения звуков, несложные механизмы перемещения и в редких случаях радиоуправления. Особым разнообразием отличались движители, от простых колес до нетривиальных колесных конструкций, допускающих перемещение по сложным траекториям и разного рода шагающих сооружений.

Такие роботы строились до последнего времени и даже сейчас создаются разного рода человекоподобные игрушки. О том насколько несовершенны были создания, называвшиеся роботами, свидетельствует тот факт, что в отечественную прессу попадали хваленые материалы о человекоподобных устройствах, собранных из лампочек и реле на существовавших в СССР станциях юных техников, ими были заполнены научно-популярные издания 60–70-х годов.

Среди современных автоматонов встречаются удивительно интересные конструкции, они и правда проявляют внешне почти разумное поведение. Вероятно, первым из таких роботов был FRED (Friendly Robotic Educational Device, 1984), рассчитанный на общение с подростками. Его конкурентом стал робот Topo, но это скорее исполнительный механизм, подключаемый к IBM PC или Apple Mac. Его создатели руководствовались, казалось бы, разумной идеей – обучать ребенка в процессе игры с роботом, но она провалилась. Наследником FRED в 2018 году стал социальный робот Musio, разработанный малоизвестными компаниями KDDI (Япония) и AKA (США). О нем известно, что робот обладает некоторыми способностями к распознаванию речи и изображений.

С появлением необходимых технологий возникала целая индустрия развлекательных роботов. Невероятной удачей оказался робот-игрушка Furby, похожий на Чебурашку, нарисованного выдающимся художником-мультипликатором Леонидом Шварцманом. С 1998 по 2016 год было выпущено более 40 миллионов Furby, в первой версии он снабжался простейшим магнитофоном, микрофоном и динамиком, поэтому мог «обучаться» английскому, распознавать сказанное ему и произносить несколько десятков фраз. Позже, по мере миниатюризации и усложнения электроники, его функциональность возрастала, он «научился» другим языкам, мимике и т. д. После того, как было создано мобильное приложение Furby BOOM! спрос на «живого» Furby резко упал.

В создании роботов-игрушек лидирует Японии, чему немало способствуют сохраняющиеся древние традиция: столетиями здесь изготавливали механические куклы каракури-нинге, первое слово «каракури» переводится как «механическое устройство, созданное чтобы дразнить, обмануть или удивить человека», второе слово «нинге» обозначает человека и форму, что совместно может переводиться как марионетка, а также и кукла или чучело. У японцев сложился культ таких игрушек, чему способствует фиксированное в традициях ритуальное поведение – поклоны улыбки и т. д., которые можно назвать механистическими. И, наконец, особенности местной мифологии, нашедшие свое отражение в мультфильмах-аниме.

В 2000 году началась продажа робота-щенка SONY AIBO, название которого отсылает к словосочетанию Artificial Intelligence Robot и созвучно японскому слову, переводимому как приятель. Он мог воспринимать голосовые команды, был запрограммирован на различные реакции на них, на послушание или непослушание. Несмотря на высокую цену AIBO выпускался до 2014 года. В том же году Honda выпустила робот-андроид ASIMO (Advanced Step in Innovative Mobility), способный перемещаться, распознавать лица и жесты, реагировать на голосовые команды. Вслед за Honda несколько японских корпораций выпустили свои аналоги, Sony – QRIO (Quest for cuRIOsity), Fujitsu – HOAP (Humanoid for Open Architecture Platform), Toyota – Toyota Partner Robot, Hitachi – EMIEW (Excellent Mobility and Interactive Existence as Workmate). Ни одна из этих конструкций не обладала никакими признаками интеллекта, скорее всего, все они были данью характерной для того времени маркетинговой стратегии. Развлекательные роботы дожили до нашего времени и сегодня встречаются прогнозы о развитии индустрии сексботов, для которых, можно предположить, интеллект не является главным требованием.

Роботы и лабиринты

В 1911 году американец Адольф Вигель получил патент на замечательного по своей простоте заводного игрушечного жука (Toy Beetle), внешне производящего впечатление разумного поведения. Пущенный по прямоугольному столу в произвольном направлении он доходил до кромки, обнаруживал ее, делал нескольких циклических движений взад-вперед и находил нужное направление, шел дальше вдоль ребра столешницы, доходил следующего края, где процедура циклического поиска нового направления повторялась, и так конца завода. Секрет «разумного» поведения жука фантастически прост, внутри него были два колесика, а впереди длинный щуп. Когда щуп обнаруживал край, механизм управления колесиками реверсировал привод и вступал в действие хитроумный трюк – одно из двух колес пробуксовывало и жук поворачивался на небольшой угол по отношению к кромке, поэтому в следующем цикле он подходил к краю под иным углом и процедура повторялась. За несколько циклов вперед-назад жук был способен повернуться настолько, чтобы дальше двигаться параллельно кромке стола. Возможно, это первый пример примитивного машинного обучения.

Механическое обучение по образу и подобию Toy Beetle нашло продолжение в лишенных какого-либо интеллекта роботах, которые при этом оказались способны к прохождению лабиринтов (Maze Solving Machines). Этот класс роботов строили ученые-психологи с начала 30-х годов, видя в них модели, удобные для изучения условных рефлексов, что-то вроде не требующих пищи собачек академика Павлова. Трудно сказать насколько эти эксперименты оказались продуктивными для психологии, судя по всему не очень, в последующем от них отказались, однако создание лабиринтов (maze generation) и алгоритмов поиска выхода из них (maze solving) переросло в серьезное математическое направление. Это отдельная и чрезвычайно интересная тема. Успехи в микромашиностроении и микроэлектронике открыли возможности для конструирования и изготовления обучаемых миниатюрных роботов-мышей, способных найти выход из лабиринтов, в результате возникло массовое хобби, распространенное во многих странах, прежде всего в Великобритании и Японии, в его основе несложные правила прохождения лабиринтов.

Если в лабиринте нет отдельно стоящих стенок, образующих замкнутые маршруты (такой лабиринт называют односвязным), то его можно обойти полностью, следуя правилу «одной руки», однако при их наличии, такой лабиринт называют многосвязными, правило одной руки не работает. К каким неприятностям приводит доверие правилам прохода лабиринтов описал Джером Джером в «Трое в лодке», а автор смог убедиться в этом на своем примере, когда с уверенность Джорджа пошел в лабиринт венского парка Шенбрунн.

Впервые алгоритм прохождения любых лабиринтов был описан французским математиком Э. Люка в 1882 году, он известен как алгоритм Люка-Тремо. Его реализовал психолог Томас Росс из Университета Вашингтона, создавший Robot Rat, с тех пор этот класс роботов стали называть крысами. Предпосылками к созданию Robot Rat стали работы другого американского психолога Кларка Халла. Robot Rat не был самоцелью, тогда казалось, что, если удастся создать простейшее устройство, обладающее условным рефлексом, то из множества таких устройств можно будет собрать обучаемую систему. Успех пришел к Россу, когда он объединил свои усилия с коллегой Стивеном Смитом, их трехколесный Robot Rat длиной 31 см и шириной 22 см имел электромеханическую логику, позволявшую ему находить выходы из сложных ситуаций и обучаться в процессе прохождения лабиринта. После нескольких попыток он мог проходить лабиринт без ошибок. В 1935 году Robot Rat стал сенсацией, о нем писал журнал Time, Scientific American и другие.

Самым известным покорителем лабиринтов стал робот Тезей, созданный Клодом Шенноном в 1950 году. Собственно Тезей был деревянной мышкой с магнитом, а вся логическая схема и управляющая головка с мощными магнитами была расположена под поверхностью лабиринта. Первый вариант Тезея Шеннон сделал собственными руками, он был необычайно мастеровит, но более совершенные экземпляры Тезея были исполнены профессионалами из Bell Labs. Детище Шеннона, как и Robot Rat, стало сенсацией, оно попало на страницы Popular Science, Time, Life и массы других изданий. Современники придавали Тезею гораздо большее значение, чем автор, который рассматривал его как своего рода шутку – хак, как называют подобные вещи в родном ему МТИ, в тамошнем музее их множество. Надо заметить, что Шеннон вообще отличался эксцентричностью, например, он был фанатом жонглирования, создавал странные, никому не нужны механизмы. В 1992 году он сказал «Я никогда не соотносил свои увлечения с тем, что они дают миру, я провел много времени, занимаясь совершенно бесполезными вещами. Я делал разного рода игры и игрушки, даже машины для игры в шахматы и сборки кубика Рубика, ходули с газовыми пружинами и еще бог знает что». Сейчас то, что осталось от Тезея является одним из самых ценных экспонатов в музее МТИ.

В 70-е годы с появлением доступных управляющих мини-компьютеров роботы-крысы стали шире использоваться в исследованиях по экспериментальной психологии, но за границы лабораторий они не вышли, их количество исчислялось единицами. Настоящая революция произошла с появлением встраиваемых микропроцессоров, микроприводов и батарей достаточной емкости, открылась возможность для нового хобби – создания микророботов, проходящих лабиринты. В 1978 году прошли первые соревнования среди роботов-крыс, они привлекли свыше 6000 участников, а призовой фонд составил 250 тыс. долл. Этот класс роботов называют мicromouse, существует сообщество создателей Micromouse Online, где публикуются материалы по конструированию, графики соревнований и многое другое. В последнее время появилась родственная категория роботов, проходящих на скорость размеченную трассу (line follower robot), в качестве разметки может быть использована контрастная линия в видимом свете или нанесенная магнитными чернилами. Одним из наиболее популярных соревнований среди роботов стал Чемпионат мира по футболу среди Robot Soccer World Cup (RoboCup).

Две школы робототехники

В 60-е годы в МТИ и в Стэнфорде начались попытки создания роботов с претензиями на AI, соответственно в этих университетах сложились две различные школы робототехники. Фантазийному представлению о человекоподобном роботе в большей мере соответствует робот Shakey, который создавался в период с 1966 по 1972 в Стэнфодском исследовательском центре AI (Artificial Intelligence Center of Stanford Research Institute). Позже центр был переименован в SRI International, утеряв при этом буквы AI, что символично. По утверждению статьи в Wikipedia, Shakey стал «первым мобильным роботом общего назначения, способным оценивать свои действия». Увы, слишком сильно сказано, поскольку к этому оказался не способен не только Shakey, в истории робототехники не найдется ни второго, ни последующих роботов, наделенных такими способностями. Конечно же, ничего этот робот оценивать не мог, но «мы любим его не за это». Спустя полвека Shakey был признан важнейшим научно-инженерным достижением. Если отбросить сомнительное утверждение о его способности к самооценке, то во всем остальном он действительно стал прообразом многого из того, что делается в робототехнике, в том числе и с точки зрения системной архитектуры, и использования компьютерного зрения, и методов навигации, и другого.

Для своего времени Shakey невероятно совершенен, он был снабжен телевизионной камерой и «кошачьими усами» в качестве датчика для обнаружения объектов, находился на связи по радиоканалу со своим внешним мозгом – поначалу это был компьютер SDS-940 с памятью 64 Kбайт, а потом более мощный PDP-10 увеличенной до 192 Kбайт памятью. По размеру памяти можно понять насколько он был умственно ограничен. Вычислительная часть программного обеспечения писалась на FORTRAN, а сам Shakey «понимал» команды на языке Lisp, предложенном Джоном Маккарти в 1958 году. Наработки, сделанные в процессе создания Shakey, сослужили свою службу при создании роботов Centibots, использованных позже в экспериментах, связанных с исследованиями роевого интеллекта, о чем ниже.

Но главным достижением создателей Shakey оказался не сам робот, а сопутствовавшие исследования, по их результатам было получено более 2000 патентов и опубликовано свыше 5000 статей. После первой неудачной попытки научить робота сборке телевизора создание интеллектуального робота перестало рассматриваться как самоцель, фокус сместился на создание роботов-помощников. Не случайно на торжественной церемонии в связи с помещением Shakey в Компьютерный музей в Маунт-Вью Нильс Нильсон, один из его создателей и соавтор известной книги по AI сказал: «Нынешние роботы гораздо совершеннее, у них мощные системы управления, но они по-прежнему не понимают того, что делают», чем опроверг утверждение из Wikipedia. Вслед за Shakey появилось огромное количество различных устройств, претендующих на признание их роботами, но ни одно из них не обладает признаками собственного сознания и целеполагания».

Альтернатиную массачусетскую школу робототехники называют поведенческой (Behavior-based robotics, BBR), она ставит целью создание хотя и простых, но обладающих способностью к адаптации в окружающей среде и к выполнению относительно несложных повторяющихся действий роботов. Действия систем, построенных на принципе BBR, ближе к рефлекторному поведению животных, особенно насекомых, – они делают попытку, чаще всего обнаруживают ошибку, вносят коррекцию и повторяют в цикле действие с обнаружением ошибки до тех пор, пока не достигнут желаемого результата. По сути оно представляют собой усовершенствованную версию описанного выше Toy Beetle.

Отцом концепции BBR обычно называют австралийца Родни Брукса, проработавшего более 20 лет в MIT Computer Science and Artificial Intelligence Laboratory с середины 90-х, а на протяжении последних 10 лет он возглавлял это исследовательское учреждение. Свое профессиональное кредо он выразил в статье «Слоны не играют в шахматы» (Elephants Don't Play Chess, 1990), в ней Брукс пишет, что под роботом он понимает машину, способную делать что-то полезное для человека: «Для того, чтобы робот мог делать повседневную работу в общей с человеком среде, его когнитивные способности должны быть основаны на сенсомоторном взаимодействии с этой средой, где критически важной является координация между датчиками и исполнительными органами».

В минимальной форме основную идею BBR, как это ни покажется странным, можно реализовать средствами механики. В XIX веке были созданы игрушки, воспроизводящие ее. А первый электронный BBR-робот в 1949 году создал англо-американский нейрофизиолог и психиатр Грей Уолтер (Grey Walter, 1910–1977). Он назвал его машиной соображающей (machina speculatrix) с двойным собственным именем Elmer Elsie (ELectroMEchanical Robot, Light-Sensitive), которое переводится как электромеханический робот, чувствительный к свету. По внешнему виду и по скорости передвижения робот напоминал черепашку, наделенную способностью к фототропизму, то есть к движению на свет. Добавив к Elmer Elsie несколько логических цепей Уолтер сделал машину обучаемую (machina docilis) CORA, она могла обучаться условным рефлексам по И. П. Павлову. Непосредственными преемниками Elmer Elsie стали роботы BEAM (Biology, Electronics, Aesthetics, Mechanics), использующие простые аналоговые цепи вместо микропроцессоров, что обеспечивает им простоту и надежность при выполнении определенного задания.

Близкие по смыслу исследования проводил Валентино Брайтенберг (Valentino Braitenberg, 1926–2011), итальянский кибернетик, возглавлявший отделение биологической кибернетики в Институте Макса Планка (Тюбенген, Германия). Он автор книги «Тележки: эксперименты в синтетической психологии» (Vehicles: Experiments in Synthetic Psychology). Движение тележки Брайтенберга (Braitenberg vehicle) контролировалось простейшими аналоговыми устройствами, обычно с фотоэлементами, однако при этом возникало впечатление сложного или даже интеллектуального поведения.

Одним из немногих успешных производителей BBR-роботов была и остается компания iRobot, она начала с разного рода роботов-уборщиков, но, получив контракт от DARPA, занялась и роботами военного назначения. Известность получил робот PackBot, использовавшийся при разминировании, после катастрофы на АЭС Фукусима, но недавно этот бизнес был продан специализированной компании.

Телероботы

Телеробототехника (Telerobotics) объединяет разнообразные технологии, требуемые для создания дистанционно управляемых роботов, то есть исполнительных устройств, связанных с оператором по кабелю или по различным беспроводным сетям от Bluetooth и Wi-Fi до Deep Space Network (Сеть дальней космической связи НАСА). Совокупность технологий включает телеуправление (teleoperation), а если работа ведется удаленно, то высококачественные системы видеосвязи и, скорее всего, в будущем телеприсутствие (telepresence), то есть удаленное участие оператора.

Первые системы с элементами телеуправления впервые были внедрены в морских торпедах, которые как вид противокорабельного оружия появились непосредственно после изобретения паровой машины, практически одновременно с первым пароходом Роберта Фултона. В 80-х годах XIX успехи в электротехнике позволили нескольким американским инженерам снабдить их дистанционным управлением по кабелю, чему способствовало изобретение в те же годы и там же в Америке безынерционной катушки для спиннинга. Несмотря на свое видимое несовершенство этот способ передачи управляющего сигнала сохранялся до последнего времени в противотанковых ракетных комплексах (ПТРК).

Увлечение телероботами (telerobot) началось в 1898 году, когда Никола Тесла показал управляемый по радио кораблик, совершавший предписанные ему маневры в бассейне на Мэдисон-сквер-гарден в центре Нью-Йорка. Своим творением Тесла хотел показать возможности управления по радио, но его вечный соперник Томас Эдисон был более практичен, он продемонстрировал торпеду, управляемую с берега по кабелю, она предназначалась для защиты портов, а совместно с компанией US Electrical Supply Company предложил небольшие радиоуправляемые устройства, служащие для подрыва крупных плавающих мин.

Модель Теслы представляла собой полутораметровый кораблик со всем необходимым оборудованием (двигатель, радиоприёмник, связанный с приводами, винт и руль), оператор мог дистанционно изменять направление движения и скорость. По своим возможностям он напоминает современные радиоуправляемые модели, сегодня они никого не удивляют, их можно купить в магазинах игрушек. Пресса упорно связывала изобретение Теслы с новыми типами вооружения, но он никогда не работал на войну, мечтал о создании умных машин, обладающих собственным разумом, он называл это own mind.

Тесла был пацифистом, поэтому дальше модели он не пошел, а слава отца военных телероботов досталась тому, кто превратил радиоуправление в оружие – Арчибальду Лоу (Archibald Low, 1888–1956), английскому инженеру, исследователю и автору более чем 40 книг. Лоу, изобретатель-универсал, до начала Первой мировой войны, когда ему исполнилось 26 лет, успел придумать множество новинок, в том числе новые альтернативные двигатели внутреннего сгорания и газовые турбины и даже автоматизированную машинку для варки яиц, но его самым удивительным изобретением был прообраз телевидения, о нем писали все британские газеты.

На Первой мировой, или Великой войне, как говорят англичане, Лоу служил в Военно-воздушных силах, где занимался разработкой методов дистанционного управления атакующим самолетом, но из соображений скрытности было объявлено, что предметом разработки служит летающая мишень – самолет Ruston Proctor AT. В нем многое было сделано впервые, в том числе запуск с катапульты со сжатым воздухом, установленной на грузовике, и использование гироскопа для стабилизации полета. Этот прибор был изобретен Элмером Сперри (Elmer Sperry 1860–1930), в 1908 году он получил патент на гирокомпас, который мог заменить собой морской магнитный компас, а Лоу пошел дальше, включив его в контур управления летательным аппаратом. Изобретения Лоу опередили свое время, но выполнены на кустарном уровне, поэтому оказались недооцененными английским правительством, немцы понимали их опасность, ими были предприняты две неудачные попытки убийства Лоу. В последующем автопилоты, превращающие самолеты в своего рода роботы, стали непременным атрибутом авиации. В 1947 году на самолете US Air Force C-54 был совершен трансатлантический перелет полностью под управлением автопилота, включая взлёт и посадку. Заметим, что это было задолго до появления термина Artificial Intellect.

Термин телеприсутствие как название для своей мечты предложил Марвин Минский в 1980 году, вложив в него явный привкус любимой им фантастической литературы, воплотить эту мечту удалось в 1992 году в проекте Virtual Fixtures (Виртуальный каркас), разработанном в лаборатории ВВС США по проекту Virtual Fixtures (виртуальные приспособления). В то время еще не было нынешних технологий виртуальной и дополненной реальности, поэтому пришлось использовать некоторые искусственные приемы, но общие принципы, выработанные тогда, сохранились, в том числе внешний стереоскопический дисплей и экзоскелет, повторяющий движения человека и оказывающий сопротивление при движениях, обеспечивающий обратную связь. Проектом Fixtures руководил Луис Розенберг (Louis Rosenberg, 1969), защитивший диссертацию в Стэнфорде, создатель нескольких небольших, но чрезвычайно активных компаний и к тому же автор произведений в популярном в США литературном жанре графического романа. До массового практического внедрения телеприсутствия еще далеко, сейчас так обычно называют стационарные или мобильные устройства, поддерживающие телеконференции, своего рода автоматизированные телевизионные операторы.

Главным стимулом к созданию современных телероботов стала необходимость выполнения действий подконтрольно человеку там, где он не может находиться. Первый из известных случаев использования телеробота связан с подъемом водородной бомбы, затонувшей в Средиземном море близ испанского города Паломарес. В 1966 году при заправке в воздухе потерпел крушение стратегический бомбардировщика В-52, все четыре находившиеся на борту бомбы приземлились на парашютах, но одна из них упала в воду и затонула на глубине около 600 метров. Под давлением негативного общественного резонанса на этот инцидент во всем мире и опасаясь действий потенциального противника, США приложили колоссальные усилия для поиска бомбы, собрав флотилию из нескольких десятков кораблей. Использовались самые передовые научные методы и технологии, в том числе теория байесовского поиска. С тех пор она является широко используемым приложением байесовской статистики для поиска потерянных объектов, например, затонувших кораблей. Теория байесовского поиска включена в состав программного обеспечения для планирования спасательных операций CASP (Computer Assisted Search Program), используемого Службой береговой охраны США, ВВС США и Гражданским аэронавигационным патрулем США.

Для эвакуации бомбы был использован подводный спасательный транспортер CURV–I (Cable-controlled Undersea Recovery Vehicle), созданный в начале 60-х для подъема затонувших торпед, ему удалось захватить бомбу, после чего был поднят вместе с ней на поверхность, находку немедленно представили журналистам. Так впервые фотографии термоядерного оружия попали в прессу.

Одно из самых многочисленных семейств телероботов образуют космические зонды. Приоритет в этой области принадлежит СССР, начало положила автоматическая станция для изучения Луны «Луна-9» (1966). В 1971 году на Луну был доставлен «Луноход-1», способный к передвижению по поверхности Луны. «Луноход-1» мог управляться как дистанционно, так и служить самоходным роботом. Предполагалось запустить серию таких машин: «Луноход-0» должен был стать первым еще в 1969 году, но помешал неудачный старт ракеты-носителя. Вторым попавшим на Луну стал «Луноход-2» (1973), а запуск «Лунохода-3», намеченный на 1977 год, не состоялся.

«Луноход» мог двигаться с двумя различными скоростями в двух режимах: в ручном и в автоматическом по программе. Управление осуществлялось группой операторов из Центра управления, находившегося в Крыму. Дистанционное управление осуществлялось с использованием ЭВМ «Минск-22», не предназначенной для работы в реальном времени, имевшей память на магнитных сердечниках 64 Кбайт и внешнюю память на магнитной ленте. Можно представить сложность управления, если запаздывание радиосигнала составляет около 2 секунд, а передача одного кадра длилась порядка 10 секунд.

Потребности космической программы привели к созданию ленинградского Центрального НИИ робототехники и технической кибернетики (ЦНИИ РТК), под руководством Евгения Ивановича Юревича, он автор термина «робототехника». «Мой грех, – говорит он, – я его придумал. В мире используется более короткий термин роботика, но мне было нужно стандарт выпустить, я предложил слово по аналогии с радиотехника, теплотехника». В ЦНИИ РТК было создано семейство дистанционно управляемых роботов-разведчиков (колесные РР-1, РР-2, РР-3 и гусеничные – РР-Г1, РР-Г2), снабженные подвижными телевизионными камерами, гамма-локаторами и дозиметрической аппаратурой. Роботы успешно трудились на ликвидации последтсвий катастрофы на ЧАЭС в условиях самых интенсивных ионизирующих излучений с мощностью до 20000 рентген в час, где не выдерживали другие роботы, как закупленные за рубежом, так и отечественные. На станцию также было поставлено несколько тяжелых роботов типа РП,ТР-А1 (с автономным питанием и радиоуправлением) и ТР. Модульный принцип их построения позволил в течение 2 месяцев разработать, изготовить и поставить на ЧАЭС более 15 различных машин, собранных из ранее отработанных унифицированных модулей.

Самые известные сегодня телероботы – это летающие дроны, слово drone переводится как трутень. Многочисленные попытки создать автономные и телеуправляемые боевые и разведывательные летательные аппараты начались еще во время Второй мировой войны и продолжились в последующие десятилетия, это были секретные и полусекретные разработки. Как название для летающего телеробота слово «дрон» впервые встречается в 1946 году, в журнале Popular Science: «Эти радиоуправляемые летательные аппараты имеют большой потенциал для гражданского и военного применения. Когда-нибудь корабль-матка поведет за собой боевые самолеты через континенты. Вооруженный атомными бомбами флот, состоящий из дронов, управляемых из матки, сможет нанести точные удары по выбранным целям». Военные разработки продолжались на протяжении последующих пятидесяти лет, по ту и по другую сторону железного занавеса было создано немалое количество конструкций, но без особого успеха, они в большей степени представляют интерес для истории авиации, чем для AI. Радикальные перемены начались, когда идеей создания боевых дронов озаботились израильские военные.

Необходимость в создании израильских беспилотных летательных аппаратов БПЛА (Unmanned Aerial Vehicle, UAV) была вызвана поставкой советских радиолокационных станций в Египет и, как следствие, увеличением потерь израильской авиации. За неимением необходимых собственных аппаратов была закуплена партия американских беспилотных самолетов-мишеней Chukar, их оборудовали фотокамерами, превратили в разведчиков и переименовали в Telem. Под этим именем они успешно применялись в Войне Судного дня для поиска расположения батарей ЗРК Египта и Сирии. После окончания войны, БПЛА были модернизированы – фотокамеры были заменены на видеокамеры. Telem отлично зарекомендовали себя во время Войны Судного дня в 1973 году, хотя большая часть из них была уничтожена.

Успешное применение адаптированных для разведывательных целей самолетов-мишеней подтолкнуло Израиль к созданию оригинальных специальных БПЛА, этим занялась государственная корпорация (Israel Aerospace Industries, IAI). Она производит широкий спектр авиационной техники, но в мире более всего известна как один из ведущих в мире разработчиков и производителей БПЛА, некоторые из них не имеют аналогов в мировой практике авиастроения. Ее первые БПЛА Scout и Tadiran Mastiff были разработаны в 1970-х годах, представлены публике на Парижском авиасалоне в 1979 году. Сегодня продукция IAI поставляются в целый ряд стран, в том числе и в Россию.

Настоящим роботом можно назвать такие БПЛА, которые впервые созданы израильтянином Абрахамом Каремом в своем гараже после того, как он переехал в США. Он смог реализовать одно из основных преимуществ дрона – возможность пребывать в полете несколько суток и даже более. В 1994 году созданный им ударный Predator, вошедший в последующем историю в связи с успехами в антитеррористических операциях, совершил свой первый полет. Английский журнал The Economist назвал Карема человеком, изменившим представление об оружии.

Наряду с военными приложениями дронов растут и гражданские. В целом отрасль, связанная с БПЛА, представляет собой наиболее быстроразвивающийся сегмент робототехники, в нем заняты десятки стран, в 2019 году размер бизнеса составил уже 12 млрд долл. при ежегодном росте около 20 %, и судя по всему, в ближайшем будущем будет только еще расти.

Интеллект роя

Еще одним направлением роботостроения стало изучение и моделирование поведенческих особенностей сообществ простых существ, точнее, их удивительную способность к децентрализованному принятию решений. Такие сообщества представляют пример природного синергетического эффекта, когда совокупная способность больше суммы способностей отдельных частей. В данном случае из примитивного поведения единичной особи образуется коллективный интеллект, или интеллект роя (Swarm Intelligence, SI), он обеспечивает принятие таких решений, которые по своей сложности заведомо недоступны одной отдельно взятой особи. Кто не наблюдал за поведением муравьев или необыкновенными пируэтами птичьих или рыбьих стай и не поражался согласованности их действий и не задавался вопросом, чем обеспечена их координация?

Поведение насекомых объясняется эффектом стигмергии, т. е. спонтанного непрямого взаимодействия, термин переводится с греческого как «расставление меток». Оставляя свои метки одни живые существа стимулируют или подавляют действия других членов сообщества, чем обеспечивается самоорганизация. Классическим примером стигмергии, служит обозначение своей территории кошками, собаками и другими зверями. Она же позволяет образовывать сложные внешне разумные сообщества из простых живых существ, причем без какого-либо планирования, контроля, или даже прямой связи между индивидами. Понятие «стигмергия» в приложении к самоорганизации насекомых и птиц было введено в 1959 году французским зоологом Пьером-Полем в процессе исследования «разумного» поведения муравьев, но раскрыть секреты, лежащие в основе согласованного поведения удалось исследователю из Стэнфордского университета Деборе Гордон в начале 90-х годов. Она изучала механизм SI на примере деятельности муравьев-термитов, каждый из которых не обладает каким-либо интеллектом, но их колония в целом действует весьма разумно. Выяснилось, что SI образуется посредством обмена несколькими байтами между членами такого сообщества, их оказывается достаточно для организации целесообразного децентрализованного коллективного поведения. Последовавшие в конце прошлого века исследования показали, что примерно на тех же принципах основано коллективное поведение пчелиных семей, птичьих стай и даже человеческих сообществ.

Первые опыты практического применения SI для оптимизационных приложений датируются серединой девяностых годов прошлого века, SI открывает принципиально новые возможности в области анализа данных. За время использования SI в оптимизационных задачах были созданы десятки различных подходов, из этого разнообразия можно выделить три основных типа алгоритмов: муравьиный алгоритм (Ant Colony Optimization, ACO), метод оптимизации роем частиц (Particle Swarm Optimization, PSO) и пчелиный алгоритм (Bee Colony Optimization, BCO).

• Муравьиный алгоритм (ACO). В начале 90-х Марко Дориго, ученый из Брюссельского свободного университета, первым применил математические процедуры, основанные на SI, для решения таких задач как организация грузоперевозок, управление авиалиниями, координация действий боевых роботов. Дориго – автор алгоритмов метаэвристической (metaheuristic – «поиск за пределами») оптимизации, базирующейся на подражании муравьиной колонии, которая оказалась эффективной для нахождения приближенных решений задач, сводящихся к задаче коммивояжера. Суть подхода заключается в анализе и использовании модели поведения муравьев, ищущих пути от колонии к источнику питания. Первая версия алгоритма, предложенная Дориго в 1992 году, была направлена на поиск оптимального пути в графе. Сущность ACO чрезвычайно проста – алгоритм имитирует действие феромонов, биологически активных веществ, выделяемых животными и специфически влияющих на поведение других особей. Выделяя феромоны, насекомые подают разные сигналы, например, так они обозначают метками пройденный ими путь, по этим меткам муравей может найти путь обратно в муравейник или метки показывают дорогу другим к найденной добыче. Простой эксперимент – на отмеченном пути от муравейника к источнику пищи поставлен барьер, причем так, что обход с одной стороны длиннее, чем с другой, в изменившейся ситуации сначала выбор направления обхода будет случайным, но потом окажется, что с той стороны, где путь короче, плотность потока муравьев больше, поскольку насекомые выделяют больше фермента и сильнее привлекают в нужную сторону оставшихся. Через какое-то время колония будет пользоваться только коротким путем. Примерно так же решаются и более сложные задачи – например, распределение работы по добыче еды и ремонту муравейника. Система моделирования Ant Colony System, предложенная Дориго, имитирует эту схему на графах, в ней могут видоизменяться способы распространения и восприятия «феромонов».

• Метод оптимизации роем частиц (PSO) возник из попыток объяснить синхронное перемещение птичьих или рыбьих стай, он был предложен психологом Джеймом Кеннеди и инженером Расселом Эберхартом, которые в 1995 году выпустили книгу Swarm Intelligence. В основе их метода лежит эволюционный алгоритм (Evolutionary Algorithm, EA), имитирующий социальное поведение особей в стае. Совокупное поведение всей стаи складывается из поведения каждой отдельной особи, которое лишено малейших признаков антагонизма и даже несет на себе оттенок альтруизма. Эти особенности поведения особей позволяют сложиться своего рода кооперации, где за счет возможных небольших ущербов для каждого выигрывает вся популяция в целом. Средствами SI моделируются виртуальные стаи, состоящие из условных организмов – частиц, существование которых состоит в перемещении в многомерном пространстве решений. Изменение положения отдельной частицы, точно так как особи в рое живых существ, определяется не только стремлением к конкуренции за доступные ей ресурсы, но одновременно примитивным альтруизмом, выражающемся в координации собственного поведения с поведением и соседей с возможным ущербом для себя. Каждая частица может менять свое положение и скорость в пространстве поиска ресурсов, она стремится занять оптимальный для себя участок в пространства решений, но так, чтобы улучшая собственное положение в минимальной степени затрагивать интересы соседних частиц.

• Пчелиный алгоритм BCO имеет более чем десятилетнюю историю, в отличие от ACO и PSO здесь воспроизводится более сложная иерархическая система отношений, состоящая из особей с разным статусом: матка, рабочие пчелы и трутни. Для практических исследований в области интеллекта роя используются простейшие роботы. В 2003 исследовательская группа из нескольких университетов, возглавляемая Стэнфордским исследовательским центром (SRI International, SRI) построила специальный рой из 100 роботов Centibots, в задачу которого входил поиск объектов в заданном регионе. Из этих исследований выросло новое направление, именуемой групповой робототехникой, ставящее своей целью координированную работу систем, которые состоят из большого числа в основном простых физических роботов.

Еще совсем недавно проблемы интеллекта роя интересовали зоопсихологов и энтомологов, а также академических исследователей AI. Но успехи микроэлектроники и микромеханики открыли возможность для создания искусственных существ, из которых можно создавать нечто подобное рою, и это немедленно привлекло к себе внимание тех, кто создает новые типы вооружения. В 2019 году правительства Великобритании и США заявили о своем намерении созывать эскадрильи из роботов, построенные по принципу роя (swarm squadrons). Они будут состоять из небольших по размеру взаимодействующих между собой БПЛА, от прежнего поколения их принципиально отличает способность к самоорганизации. Каждый из роботов является самостоятельным агентом, но совместно они объединены общей целью примерно так, как футболисты на поле. Пока эти технологии находятся на уровне экспериментов.

Упомянутый выше Луис Розенберг основал компанию Unanimous A. I., название которой можно перевести как единодушный AI, он использует подходы, основанные на интеллекте роя для усиления суммарного интеллекта группы людей. Розенбергу удалось сделать целый ряд успешных прогнозов, в том числе предсказать победу Дональда Трампа на выборах в 2016 году. За это в том же году он был удостоен награды «Человек года в AI», (AI Person of the Year) а его компания получила приз за лучшее приложение AI (Best Consumer Application of AI),

Промышленные роботы

C 20-годов прошлого века и до тех пор, пока не были созданы первые промышленные роботы, промышленная автоматизация была ограничена поточными линиями для производства массовых простых изделий и станками с числовым программным управлением для более единичных. «Дедушкой промышленных роботов» признан американский изобретатель Джордж Девол (George Devol, 1912–2011). Ранее созданные им машины и механизмы не получали признания, но в 1954 году ему улыбнулась удача: он получил патент на устройство, снабженное рукой-манипулятором и поэтому отличающееся от станков-автоматов большей универсальностью. Для названия этой машины он избрал несуществующее слово Unimate наподобие Kodak, предложенному Джорджем Истманом для своей компании. В патенте он описал Unimate как машину, способную быть использованной в разнообразных циклически повторяющихся приложениях. В первых вариантах управление было незамысловатым, собранным из имевшихся на рынке радиодеталей и вакуумных ламп, но вскоре совместно с изобретателем и предпринимателем Джозефом Энгельбергером (Joseph Engelberger, 1925–2015) Девол организовал компанию Unimation и начал промышленное производство.

Успех Unimation, продававшей свои Unimate тысячами, способствовал возникновению новой отрасли станкостроения. Показательно, что одной из первых купивших лицензию была японская компания Kawasaki, позже ставшая лидером этого направления. Вдохновленные возможностями Unimate рукой заинтересовались теоретики AI, среди них Марвин Минский. В начале 70-х при его участии была создана рука Tentacle (переводится как усик, щупальце), Снабженная видеокамерой и управляемая компьютером Tentacle могла собирать конструкции из детских кубиков, но большого успеха с ней Минский не добился, он быстро остыл к своей руке, тем не менее работа над ней стимулировала его на создание книги «Сообщество Разума» (The Society of Mind,1986).

Виктор Шейнман (Victor Scheinman, 1942–2016) из Стэнфордской лаборатории AI (Stanford Artificial Intelligence Laboratory) начал с нескольких не слишком удачных образцов механических рук (Rancho arm, Orm arm), настоящим достижением стала Stanford Hydraulic Arm, которой управлял большой и весьма дорогой компьютер PDP-6. Две следующие руки Gold arm и Blue arm уже вполне соответствовали потребностям индустрии, в бизнесе Шейнман оказался успешен, он одним из первых стэнфордских аспирантов сумел создать собственную компанию и коммерциализировать свои изобретения. Ему повезло, вовремя подоспели управляющие миникомпьютеры, которые позволяли снабдить руку эффективным, но не слишком дорогим управлением. Для этой цели удачно подошла модель LSI-11 легендарной компании DEC, в отличие от других компьютеров серии PDP, она была построена на 8-ми (!) разрядном процессоре 6502 компании MOS Technology и, разумеется, при его производительности ни о каком AI не могло быть и речи, но ее хватало для нормальной работы на производстве. Наибольший успех выпал на долю семейства роботизированных рук PUMA (Programmable Universal Manipulation Arm), разработанных Шейнманом по заказу Дженерал Моторс. Эта рука выпускалась тысячными тиражами, ее наивысшее достижение – успешная операция с помощью робота PUMA-560 на головном мозге.

На этом, собственно говоря, научная история промышленных роботов заканчивается и начинается индустриальная, ее события в основном развернулись в Японии, ставшей практически монополистом в этом направлении.

Экзоскелеты, манипуляторы и короботы

Роботы могут быть не только самостоятельными механизмами, но и составными частями системы человек-машина, расширяющими возможности человека – это экзоскелеты, манипуляторы и короботы. Из этих трех категорий раньше других появились экзоскелеты, название переводится как «внешний скелет». Экзоскелеты могут быть активными, то есть исполнительными механизмами снабженными собственным источником энергии, или пассивными, использующими только энергию человека.

Признанным автором первого экзоскелета был российский изобретатель и это тот редкий случай, когда нет нужды бороться за приоритет. Николай Александрович Ягн (1849–1905) назвал его эластипедом. Он родом из чешских немцев, учился в Петровско-Разумовской земледельческой академии, изобрел множество различных устройств, в том числе регулятор для автоматического наполнения парового котла и поддержания в нем уровня воды и даже новый тип подводной лодки. Венец его карьеры эластипед – приспособление для облегчения ходьбы, он представлял собой систему пружин, которые закреплялись на теле человека, автор рассматривал его как средство для скоростного перемещения пехоты. Однако военным трудно было представить скачущих на пружинах пехотинцев, поэтому изобретение осталось на бумаге. Сегодня эта идея реализована в джоли-джамперах – небольших развлекательных ходулях с изогнутой рессорой, позволяющей прыгать на высоту до 2 метров. Современные активные экзоскелеты снабжаются автономными источниками энергии, различными приводами и исполнительными механизмами, усиливающими человеческие конечности и снимающими нагрузку с позвоночника. Их распространению в промышленности и в военном деле мешает нерешенность проблемы источника энергии, надежды связывают с водородными элементами. Кроме полных экзоскелетов, существуют и частичные – это протезы конечностей.

Появление манипуляторов связывают с необходимостью дистанционной работы с радиоактивными материалами: потребовались устройства, воспроизводящие действия человека в изолированном от него помещении. Сначала для этой цели использовались простые механические пантографы, но в конце 40-х в Аргонной лаборатории, которой руководил Энрико Ферми, были разработаны электромеханические манипуляторы с сервоприводами и обратной связью.

Новейшим и наиболее перспективным из трех направлений являются коботы, или коллаборативные роботы (cobots) – это почти автономные роботы, участвующие в трудовом процессе совместно с человеком. Они делят с человеком общее рабочее место, в этом их принципиальное отличие от промышленных роботов, функционирующих по определению в изолированном от человека пространстве. Из соображений безопасности здесь ключевой проблемой является взаимодействие человека с роботом, причем речь идет не о фантазийном, азимовском, а о совершенно реальном. Одно из основных правил – энергия, питающая робота, всегда под контролем человека.

Изобретателями коботов стали профессора Эдвард Колгейт (Edward Colgate) и Майкл Пешкин (Michael Peshkin) из не слишком известного в России Северо-Западного университета (Northwestern University) в Эванстоне, штат Иллинойс. На самом же деле, этот университет в списке 20 лучших университетов мира. Ученые усомнились в сложившемся представлении о роботе, как о чем-то обязательно автономном и в 1997 году получили патент на «устройство и метод прямого физического взаимодействия между человеком и универсальным манипулятором, управляемым компьютером». Это содружество открывает фантастические возможности, коммерциализация коботов произошла практически мгновенно, первые серийные продукты были выпущены уже в 2004 году. Коботы могут облегчить деятельность человека на рутинных операция (логистика, упаковка), обеспечить большую точность и качество в металлообработке, они могут быть включены в системы автоматизации проектирования и производства CAD/CAM и в многое другое. Уже сейчас разрабатывается семейство Cobot-Air которое позволить принципиально изменить процедуры обслуживания самолетов, оно будет включать как колесные машины, так и летающие дроны для обслуживания верхней части фюзеляжа.

Рынок коботов является одним из самых быстрорастущих, в 2020 году он составит примерно 1 млрд долл. и ближайшее десятилетие предполагается ежегодный рост 30–50 %.

Чатботы и виртуальные помощники

До появления нынешних мультимедийных средств казалось, что роботы могут иметь только материальное воплощение для занятия физическим трудом. Но с появлением разнообразных устройств, поддерживающих человеко-машинный интерфейс, с одной стороны, с другой, с возрастанием роли данных в современной экономике, изменилось представление о труде. Умственный труд оказался не менее важен, чем физический и, как следствие, оказалось насущным создание виртуальных роботов для автоматизации такого труда. Виртуальные роботы, не рассматриваются в качестве замены человеческого интеллекта, а как средство для его расширения (Augmented AI, AuI). Это направление роботизации находится на начальном уровне развития, пока самыми распространенными приложениями, относимыми к роботам, остаются речевые технологии (conversation-based technology). В их числе разговорные роботы чатботы (chatbot), речевые агенты (conversational agent) и виртуальные помощники (virtual assistant). В порядке возрастания сложности они могут быть упорядочены:

• Чатбот, действует в режиме один вопрос – один ответ (single-turn exchanges), например, «Гугл, какая гора самая высокая на Земле?»

• Речевой агент, вступает в диалог с пользователем, стремясь понять его проблему. Такой агент обучен задавать заранее подготовленные вопросы, чтобы выйти на возникающую проблему и по возможности ее решить, например, при обращении в банк: «Моя карта не срабатывает».

• Виртуальный помощник, настраивается на индивидуальные запросы клиента, пользуется накопленной о нем информацией, по мере взаимодействия с клиентом обучается и повышает качество ответов. Он может напомнить расписание полетов или список дел.

Создание виртуальных роботов требует решения двух проблем. Одна в большей мере формальная или техническая, она делится на две составляющие: распознавание и воспроизведение речи, задачи из этой категории уже имеют более или менее удовлетворительные решения. Другая категория – то есть содержательная – «понимание» обращений пользователя и формирование ответов.

Свою историю речевые боты ведут от программы ELIZA, написанной в 1966 году профессором МТИ Джозефом Вейцбаумом. Качественно новый шаг через 30 лет совершил Ричард Уоллес (1960), создатель виртуального собеседника «Искусственное лингвистическое интернет-компьютерное существо» A. L. I. C. E. (Artificial Linguistic Internet Computer Entity). Уоллес создал AIML язык разметки для AI по образу и подобию XML.

Между ELIZA и современными речевыми технологиями возник разрыв на несколько десятилетий, в первую очередь он был обусловлен отсутствием необходимых средств для распознавания речи (Automatic speech recognition, ASR) и воспроизведения голоса (Speech synthesis). Первая из этих задач оказалась чрезвычайно наукоемкой и потребовала более полувека работы большого числа специалистов. Нетрудно догадаться, что в ее решении были заинтересованы многочисленные спецслужбы разных государств, начало деятельности в этом направлении описано в «Круге первом» А. И. Солженицына. На речевой ввод возлагались огромные надежды – еще в 1977 году Билл Гейтс заявил, что через десять лет клавиатуры станут не нужны, компьютеры смогут понимать человеческую речь. В 1987 году он оказался скромнее, выразив убеждение в том, что через пять лет большая часть интернет-запросов будет совершаться с помощью речи, а не клавиатуры. И это предсказание тоже не сбылось, и в 2021 году клавиатура не исчезла и она успешно используется для запросов.

Для создания чатботов нужны еще средства распознавания речи, работы в этом направлении начались еще в 50-е годы, первые шаги в этом направлении были сделаны в процессе совместной работы лабораторий из нескольких университетов по программе автоматической транскрипции речи (Robust Automatic Transcription of Speech, RATS), спонсированной DARPA. Она завершилась созданием Harpy System, способной распознавать речь примерно на уровне трехлетнего ребенка. В последующем продолжались многочисленные эксперименты и исследования, но конца 90-х годов трудно было говорить о практической реализации технологий распознавания речи.

Решающий прорыв в этом направлении был сделан Google в 2001 году с изобретением Google Voice Search, использовавшем вычислительные мощности больших ЦОДов, хранящих сотни миллиардов речевых образцов.

Попытки распознавания, основанные на физике и статистике, главным образом на скрытых Марковских цепях были полезны, но не привели к конечному результату. Для коммерческих приложений требуется распознавание речи, а не идентификация говорящего, то есть система должна с равным успехом понимать речь разных людей с разными особенностями голосов. Решение такой задачи требует сочетания двух подходов – акустического и лингвистического, оно не может быть получено без методов машинного обучения. Только в середине прошлого десятилетия появились комплексные продукты от Google и Apple. Существующие системы ASR относятся к классу гибридных, в них сочетаются три модели – акустическая (acoustic), языковая (language) и модель произнесения (pronunciation), каждая из них обучается независимо от других и весь процесс в целом оказывается сложным и долгим. На смену этой парадигме идет следующая, где одна модель включают всё – End-to-end (E2E) ASR.

Отрадно отметить, что в области ASR, не уступая зарубежным компаниям работает Центр Речевых Технологий ЦРТ (ныне он куплен «Сбером»), его продукт CHiME Speech Separation and Recognition Challenge (CHiME-6) признан лучшим в своем классе на международном конкурсе в 2020 году.

Speech synthesis, в большей мере инженерная и прикладная задача, начиная с пятидесятых воспроизведением голоса занимались математики и инженеры в интересах военных спецслужб. Результатом стал класс приборов – вокодеров, превращающих живой звук в сигнал, который можно сжать или закодировать, чтобы уменьшить полосу пропускания и затруднить декодирование, а затем воспроизвести с тем или иным качеством. Успехи в этом деле привели к тому, что сегодня вся музыкальная индустрия основывается на новом поколении вокодеров, способных превратить убогое хрипение в хит.

Умные машины и киберфизические системы

Ни один фантаст не мог предположить создание киберфизических систем (Cyber-Physical System, CPS) – продукта конвергенции встроенных систем с AI. Этот термин возник в 2006 году при подготовке семинара, посвященного будущему встроенных систем в Национальном научном фонде США, его устроители пытались пересмотреть роль встроенных систем с учетом перспектив в области AI. И это им удалось – они уловили общую тенденцию и уже через пару лет прогресс в этом классе систем был признан одним из наиболее важных направлений технического развития в США, а чуть позже и в Европе. Администрация президента Барака Обамы включила киберфизические системы в приоритетный список инноваций. Реальные подвижки в CPS начались во втором десятилетии XXI века с подъемом третьей волны AI. В 2013 году Брюсселе состоялась специальная конференция Cyber-Physical Systems: Uplifting Europe's innovation capacity, посвященная киберфизическим системам и их роли в инновационном процессе, где было подтверждено, что развитие CPS служит важнейшим фактором для подъема европейской экономики.

Предшественниками CPS можно считать встроенные системы реального времени, распределенные вычислительные системы, автоматизированные системы управления техническими процессами и объектами, беспроводные сенсорные сети. CPS – это системы, состоящие из различных природных объектов, искусственных подсистем и управляющих контроллеров, позволяющих представить такое образование как единое целое. В CPS обеспечивается тесная связь и координация между вычислительными и физическими ресурсами. Область действия CPS распространяется на робототехнику, транспорт, энергетику, управление промышленными процессами и крупными инфраструктурами. Создание полноценных систем CPS в перспективе приведет примерно к таким же изменениям во взаимодействии с физическим миром, как те, к которым привела в свое время Сеть.

Можно выделить несколько основных предпосылок, сделавших CPS возможными. Первая – рост числа устройств со встроенными процессорами и средствами хранения данных: сенсорные сети, работающие во всех протяженных технических инфраструктурах; медицинское оборудование; умные дома и т. д. Вторая – интеграция, позволяющая достигнуть наибольшего эффекта путем объединения отдельных компонентов в большие системы, такие как Интернет вещей, и умная среда обитания (Smart Building Environment). Третья – ограничение когнитивных способностей человека, они не позволяют ему справиться с объемом информации, требуемой для принятия решений, поэтому какую-то часть действий нужно передать CFS, частично выведя человека из контура управления (human out of loop) и предать ее AI. В то же время в ряде случаев CPS могут усилить аналитические способности человека, поэтому есть потребность в создании интерактивных систем нового уровня, сохраняющих человека в контуре управления (human in the loop). Появление технологий AI позволяет решить обе эти проблемы.

Область приложения CPS естественным образом разбивается на следующие основные сегменты: умное производство, умные сети и услуги, умные здания и инфраструктуры, умный транспорт.

Умное производство

Главная составляющая умного производства (Smart Manufacturing, SM) – это управляющий им производственный интеллект (Manufacturing Intelligence, MI). Еще совсем недавно под MI понимали только программное обеспечение, превращающее данные в знания, необходимые для менеджмента, а сейчас MI видится шире – как совокупность всех возможных средств автоматизации управления на основе AI в сочетании с робототехникой, аддитивными и другими современными технологиями.

Умное производство состоит из умных машин (Smart Machines), отличающихся от современных мультифункциональностью, малыми габаритами, возможностью адаптации к потребностям пользователей, реализуемой путем сбора нужной функциональности в одной машине. Такие машины самоуправляемы – они могут оценивать состояние окружающей среды, обнаруживать и исправлять ошибки – например, реагировать на износ оборудования. SM позволяет оптимизировать все производство прежде всего за счет создания единой системы, в которой машины могут обмениваться данными между собой в режиме реального времени: обмен между оборудованием, расположенным непосредственно на производственных площадях и в логистической цепочке, включая бизнес-системы, поставщиков и потребителей; передача сведений о своем состоянии обслуживающему персоналу. При этом производственное оборудование, получая сведения об изменившихся требованиях, может само вносить корректировки в технологический процесс.

Системы класса CPS объединяют гетерогенные компоненты в единую систему с применением многочисленных контуров управления, состоящих из датчиков, управляющих компьютеров и исполнительных органов. Такая цельность SM отличает их от современного производства, нацеленного на массовое воспроизведение тех или иных физических объектов без полноценной функциональной интеграции. Нынешние промышленные роботы имеют ограниченное применение – их более широкому распространению мешают высокая собственная стоимость и сложность настройки, оправдываемые при выполнении повторяемых операций. Ручной труд остается, поэтому из-за желания снизить стоимость заводы переводятся в слаборазвитые страны, что приводит к разрыву цикла проектирование-производство с неизбежным снижением качества.

Умное энергоснабжение

Современная жизнь находится в зависимости от сетей, предназначенных для передачи энергии, данных и т. п., ставших частью цивилизации, поэтому следующая задача CPS заключается в создании более эффективных умных сетей (Smart Grids). Максимально возможное снабжение их датчиками для сбора данных и обработка этих данных позволят предложить оптимальные решения, обеспечивающие экономическую эффективность, непрерывность снабжения, экологическую безопасность и защиту от террористических атак.

Национальная энергосистема – это система систем, состоящая из множества компаний, каждая из которых располагает теми или иными ресурсами от электростанций до счетчиков в домах потребителей. Уникальная особенность электрических сетей заключается в их полной зависимости от потребителей, текущее потребление почти полностью определяет вырабатываемую мощность, попытки сохранять и накапливать выработанную энергию немногочисленны, поскольку пока еще слишком сложны и дороги. Можно представить себе, какой объем информации нужно обработать для получения оптимального решения, учитывающего рыночные факторы, количество и качество производимой энергии (электричество, как любой товар, имеет собственные параметры качества – напряжение, частоту, форму кривой электрического тока), состояние линий передачи и многое другое. Очевидно, что принятие решений без AI невозможно.

Умные сооружения

Современные технологии строительства позволяют создавать умные сооружения (Smart Buildings), конструкции с минимальным или вообще нулевым потреблением энергии (Net-Zero Energy, NZE). Но они нуждаются в постоянном мониторинге, они должны быть подключены к умным сетям и соответствующим образом управляться средствами CPS с тем, чтобы наиболее целесообразно использовать предоставляемые внешним миром ресурсы и услуги. Объединение данных, полученных из разных источников, позволяет достичь режимов эксплуатации, близких к оптимальным.

Кроме того, основная задача для сооружений состоит в мониторинге их собственной конструкции и факторов внешней среды, которые на них воздействуют. Например, традиционно контроль за мостами сводится к периодической проверке их состояния без учета сейсмических, температурных, ветровых и других воздействий, поэтому их строили с колоссальным запасом, но даже при этом периодически происходят разного рода неприятности. Сегодня появилась возможность снабдить сооружения датчиками и передавать телеметрию в пункты контроля. Включение в контур управления CPS позволит не только безопасно эксплуатировать существующие сооружения и продлевать их жизненный цикл, но и создавать качественно новые конструкции.

Умный транспорт

Умные транспортные системы (Smart Transportation) оборудованы различными компьютеризированными встроенными системами управления на разных уровнях. Практически решены задачи связи транспортного средства с системами обслуживания и дистанционного доступа человека к различного рода транспортным услугам. Снабженные AI CPS обеспечат создание полноценной связанной системы, включающей связь между машинами (Vehicle-to-Vehicle, V2V) и между машиной и внешней окружающей ее инфраструктурой (Vehicle-to-Infrastructure, V2I). В целом V2I играют координирующую и кооперирующую роль, обеспечивая сбор информации из разного рода источников и распределяя ее между группами автомобилей или отдельными автомобилями – например, сообщают водителям рекомендуемые параметры (дистанцию, скорость), с тем чтобы все участники движения перемещались быстрее и безопаснее.

Глава 8 Данные и AI

Нынешние тенденции в AI связывают с наступившим периодом демократизации (democratization of AI), подразумевая под этим смещение фокуса с отвлеченных исследований в строну практических приложений, ориентированных на управление бизнесом, производство, медицину и науку. В новых условиях AI привлекает к себе инвестиции, как следствие возрастает объем исследований и далее, срабатывает положительная обратная связь, приводящая к экстенсивному развитию этого направления. Обещанные прежде воздушные замки уступают место проектам с конкретными и ожидаемыми результатами, что отражено в отчете Gartner «Кривая хайпа в AI» (Gartner Hype Cycle for Artificial Intelligence, 2020). В нем проявлено скептическое отношение к некоторым тематикам, эффектным, но, как оказалось, лишенным практических перспектив. Например, внедрение разрекламированных беспилотных автомобилей откладывается на 10 лет и более, ну а когнитивные технологии (мыслящие системы) вообще сняты с дистанции на весь обозримый период. Что же касается Сильного AI (Artificial General Intelligence, AGI), то на сей предмет в отчете сказано еще более категорично: «AGI потерял какую-либо коммерческую перспективность и предприятиям рекомендуется сосредоточить свое внимание на решениях, основанных исключительно на Слабом AI. Gartner предостерегает: компаниям следует игнорировать любые заявления тех AI-вендоров, которые выступают с предложениями рыночных продуктов на основе AGI».

Не только гартнеровские, но и другие отраслевые аналитики солидарны в том, что в рамках Слабого AI реальные шансы на успех есть у двух у направлений: одно усиливает возможности зрительного восприятия и получило название компьютерного зрения (Computer Vision, CV), в второе многократно повышает способность человека при работе с текстом на естественном языке (Natural Language Processing, NLP). На их основе уже созданы и создаются инструментальные средства, обеспечивающие автоматизацию рутинных составляющих умственного труда. По классификации, приведенной в главе 1, CV и NLP относится к типу AI, усиливающему способности человека (Augmented AI, AuI), а именно, они помогают ему в извлечении полезной информации из больших объемов данных, получаемых из внешней среды. В первом случае источник данных, прежде всего, фото и видеосъемка, во втором источники текста чаще всего в интернете. Совместно они обеспечивают решение проблемы Больших данных (Big Data).

Big Data относится к числу немногих названий, имеющих вполне достоверную дату своего рождения – 3 сентября 2008 года, в этот день вышел специальный номер научного журнала Nature,посвященный ответам на вопрос «Как могут повлиять на будущее науки технологии работы с большими объемами данных?». Ситуация, связанная с Big Data, вылилась в проблему из-за сложившегося дисбаланса между количеством данных, получаемых средствами различных цифровых технологий в XXI веке. За короткий срок оно лавинообразно возросло, но средства извлечения из этих данных полезной информации заметно отстали. Отмеченное рассогласование возникло по очевидной причине – за все годы существования так называемых информационных технологий, которые на самом деле имеют дело с данными, а вовсе не с информацией, о самостоятельной роли данных почти никто не задумывался. Сложилась странная ситуация: есть технологии, якобы информационные, а вот что именно является предметом этих технологий, неизвестно, в одних случаях – цифры, в других – тексты, в третьих – управляющие сигналы и т. д. Можно ли представить себе еще какую-то технологию, не имеющую четкого представления о предмете обработки или переработки? Все, что необходимо было знать о данных, сводилось к представлению в двоичным или восьмеричных кодах и их количеству, выраженному в байтах, к форматам, к технологиям хранения и методам доступа. Игнорирование значения данных воспринималось как нечто само собой разумеющееся, такое положение могло бы продолжаться и далее, если бы количество данных не стало угрожающе велико, а сетевые методы доступа к данным не превратились в фактор заметного влияния на жизнь общества. На протяжении десятилетий развивались методы, обеспечивающие передачу, хранение и обработку данных, без учета связи между данными и хранящихся в них информации и знаний.

Но в последние годы ситуация резко изменилась, что отражает лозунг «It's the data, stupid», указывающий на возрастающую роль данных в современной науке, бизнесе и других отраслях человеческой деятельности. Он представляет собой парафраз «Это экономика, тупица» – знаменитого лозунга предвыборной кампании Билла Клинтона, который помог ему в 1992 году победить Джорджа Буша-старшего. Если в 2008 году вопрос о данных был только поставлен, то через пару лет проблема выплеснулась на страницы ведущих экономических изданий. В февральском номере журнала Economist за 2010 год вышла статья «Данные, везде данные» (Data, data everywhere), в ней происходящее названо индустриальной революцией данных. Британский математик и успешный предприниматель Клив Хамби (Clive Humby, 1955) одарил человечество гениальным лозунгом «Данные – это новая нефть» (Data is the new oil)». Это утверждение развил журнал Economist в опубликованном в 2017 году отчете «Теперь самый ценный ресурс в мире не нефть, а данные» (The world’s most valuable resource is no longer oil, but data). Заслуга Хамби в том, что он раньше других увидел параллель – собственно нефть всего лишь сырье, потребительскую ценность имеют ее производные – бензин, пластики и все остальное, то же самое и данные, для того, чтобы они стали источником новой стоимости, они должны быть переработаны.

Данные и информация

Итак, по аналогии с нефтью данные – это сырье, а потребляются продукты переработки данных, то есть является полезная человеку информация, она имеет потребительную стоимость. Оксфордский словарь английского языка свидетельствует – еще в XIV веке слово информация употреблял Джефри Чосер, автор «Кентерберийских рассказов». В последующем написание варьировалось, встречаются и informacion, и enformation, и другие. Потребовалось более полутысячелетия, чтобы сложилось современное написание и научное представление о том, что такое информация. Долгие годы под информацией ограниченно понимали данные, переданные по каналам связи. Каналы передачи данных определяли как средства обмена данными приема и передачи информации. Под информацией понималась полезная составляющая данных, отсюда возникло желание каким-то образом оценить количество переданной информации и качество каналов.

Шенноновская теория информации

В двадцатые годы прошлого века пионерами в исследованиях, связанных с передачей информации, стали двое: английский статистик и генетик Рональд Фишер (Ronald Fisher, 1890–1962) и американский физик и радиоинженер Ральф Хартли. (Ralph Hartley, 1888–1970). Хартли связал количество передаваемой информации с пропускной способностью канала и предложил меру переданной информации, выбрав для этой цели логарифм числа возможных символов в последовательности, ее называли хартлиевской. В 30–40-е годы были заложены теоретические основы передачи данных, из числа ученых этого поколения необходимо отдать должное американцу Гарри Найквисту (Harry Nyquist, 1889–1976) и нашему соотечественнику академику Владимиру Александровичу Котельникову (1908–2005).

Основоположником того, что прямо скажем так, не совсем удачно названо и продолжают называть теорией информации, стал Клод Шеннон. Он обобщил работы предшественников и сформулировал основные положения того, что он сам назвал математической теории связи в одноименной статье (A Mathematical Theory of Communication, 1948), заметим, не теорией информации! От работ предшественников позицию Шеннона главным образом отличает углубленное представление информационной энтропии, как меры хаотичности информации. Предельно упрощая, информационная энтропия – это то, насколько много информации вам не известно о системе.

Под информацией Шеннон понимал лишь сигналы, несущие содержание, которое распознает получатель, роль которого он не принимал во внимание. В процессе передачи данных изначальная энтропия уменьшается, поэтому сумма оставшейся энтропии и переданной информации равна начальной. Хотя Шеннон и оперирует понятием информации, точного определения он не предлагает, впрочем, оговаривая, что сообщения могут иметь какое-то значение. К тому же Шеннон, оперируя понятием энтропия, предостерегал своих последователей от чрезмерного теоретизирования при трактовке энтропии. Настороженное отношения автора к введенному им понятию была объясняется тем, что он был не вполне самостоятелен при выборе этого термина. Хорошо известен и неоднократно описан тот факт, что он находился под влиянием обладавшего огромным авторитетом и фантастической харизмой Джона фон Неймана. Так вот, это фон Нейман навал шенновскую теорию передачи данных теорией информации. А еще он внушил Шеннону необходимость введения понятия информационной энтропии следующим образом: «Во-первых, это название использовано в нескольких физических дисциплинах, значит у нее уже есть имя. Во-вторых, и что не менее важно, никто не знает, что такое энтропия в этом контексте, это даст вам преимущество в любой дискуссии». Удивительно, но через несколько лет сам Шеннон поступил подобным образом, он посоветовал Норберту Виннеру использовать термин кибернетика с аналогичной аргументаций.

В качестве единиц для измерения шенновской информации были предложены бит, нат, трит и хартли (децит, бан, дит), различающиеся основанием логарифма: двоичный бит – основание 2, натуральный нат – основание e, троичный трит – основание – 3, хартли – основание 10. Соответственно при передаче одного бита энтропия уменьшается вдвое, трита – втрое, а ната и хартли в 10 раз. Бит еще и единица изменения объема данных, 8 битов образуют байт, далее идет килобайт и т. д. Бит, как единица измерения шенноновской информации, и бит, как единица измерения данных, родственны, но не тождественны.

Данные и их содержание

Достоинство трактовки информации по Шеннону в ее формальности, а ее недостаток – в привязанности исключительно к коммуникациям без учета смысловой нагрузки сообщения. Она вполне адекватна задачам, связанным с оценкой пропускной способности каналов, потерей данных в процесс передачи и другим, относящимся к коммуникациям, где содержание сообщения не учитывается, но такой подход к инфломации не имеет никакого отношения к решению содержательных задач, например, проблемы Big Data. Даже на интуитивном уровне понятно, что возможны и другие подходы к пониманию информации, учитывающие ее содержательную строну и они были. Через три года после публикации Шеннона на 8-й Конференции Мэйси британец Дональд Маккей (Donald MacKay, 1922–1987) представил свой альтернативный подход, отличающийся учетом семантической природы информации. Он отметил, что видит проблему передачи информации не только в обеспечении физики для поддержки потока символов от передатчика приемнику, но и в передаче семантики того, что передается. А главное, он определял информацию, принимая в расчет не только передающую, но и получающую сторону, которая тоже изменяет свое информационное состояние после получения сообщения. Какая польза от передачи данных, если принимающая сторона не смогла перевести их в информацию?

Нет ничего удивительного в том, что математикам, составлявшим среди участников конференции Мэйси большинство, формально строгая позиция Шеннона, бывшего к тому же одним из организаторов конференции, представлялась более сильной. Ничто из сказанного Маккеем не поддавалось количественной оценке, в итоге шенноновское воззрение на информацию восторжествовало и надолго. После конференции, чтобы уточнить свою позицию, Маккей предложил называть информацию по Шеннону селективной «selective information» от английского select (выбор), потому что здесь сообщение образуется посредством выбора из множества элементов энтропии. Свой же подход Маккей называл структурным (structural information). В структурную информацию Маккей включает шенноновскую селективную информацию, но для связи со смыслом она должна быть дополнена теми или иными вспомогательными данными, которую он называет метакоммуникацией (metacommunication). Семантическая составляющая метакоммуникации позволяет получателю (человеку или обученной нейросети) интерпретировать селективную информацию. Формы метакоммуникации могут быть совершенно различными – от тривиальной разметки, доступной для «понимания» относительно несложным программам, до такой, которая включает предварительно известные человеку знания и использует механизмы рефлексии, свойственные человеку. Такая информация может приобретать субъективные качества. По существу метакоммуникации мало отличаются от метаданных, о них ниже.

О способностях человеческого интеллекта оперировать информацией чрезвычайно интересно рассуждал венгерско-британский философ Майкл Полани (Michael Polanyi, 1891–1976). Он пришел к выводу, что есть знания и умения, которые можно описать четкими правилами и наглядно объяснить, например, как грамотно писать, но есть и такие феномены, которые люди, владеющие ими, не способны объяснить, у них нет соответствующих слов. Самый очевидный пример – езда на велосипеде, но есть и более высокоуровневые задачи, нередко мы называем эту способность интуицией. Полани образно сформулировал свое наблюдение во фразе: «Мы знаем больше, чем можем сказать», ее называют Парадоксом Полани. Есть специальный термин tacit knowledge (скрытое знание), то есть такое знание, обладая которым, человек не может его выразить или объяснить.

Взгляды Маккея на природу информации разделял британо-американский ученый Грегори Бейтсон (Gregory Bateson,1904–1980), прежде всего он психолог-кибернетик, но у него есть работы, связанные с эпистемологией, теорией информации, антропологией и другими дисциплинами. Эдвард Фредкин (Edward Fredkin, 1934) профессор нескольких крупнейших университетов входит в число пионеров цифровой физики и цифровой философии. Он дал следующее определение: «Информация обретает смысл в процессе ее интерпретации», что явно указывает на зависимость информации от принимающей стороны.

За последние 20–30 лет представления многих ученых еще дальше отошли от шенноновских канонов. Они рассматривают информацию как системообразующий фактор, например весь живой мир основан на передаче генетической информации, ее еще называют biotic information. Информация в живом организме является частью его материальной системы, в нем чрезвычайно сложно отделить информационную составляющую от материальной. Известно, что за 5–7 лет меняются все клетки человеческого организма, но при этом человек остается самим собой за счет сохранения его информационного «скелета». Сложность информационного устройства живого делает невозможным реплицирование человека, поскольку даже однояйцевые близнецы различаются между собой, даже они не взаимно тождественны друг другу. По-видимому, одна из фундаментальных ошибок сторонников Сильного AI, допускающих создание искусственного разума, превосходящего по своим возможностям человеческий, заключается в том, что они отделяют информационную составляющую от биологической.

Примерно то же самое относится к природным социальным, культурным и лингвистическим системам. Информация, содержащаяся в них, относится не к селективной по Шеннону, а к структурной по Маккею. Изучением культурных и лингвистических систем занимается медиаэкология, этот термин media ecology и основные направления для исследований в этой области предложил канадский культуролог, философ и филолог Маршалл Маклюэн (Marshall McLuhan, 1911–1980). А роль информации в таких системах наиболее глубоко изучил американец Роберт Логан (Robert Logan 1939 г.), физик, занимающийся медиаэкологией, автор книги «Что такое информация?» (What Is Information? 2014).

Взаимосвязь между данными и информацией, пирамида DIKW и ее значение для AI

Взаимосвязь между данными и информацией намного сложнее, чем может показаться. Сами по себе данные, как набор байтов, не имеют никакого смысла, но те же данные, поставленные в контекст, превращаются в информацию. Роберт Сейнер (Robert Seiner), один из ведущих специалистов по работе с данными, издатель бюллетеня The Data Administration Newsletter (TDAN.com) дал следующее определение: «Данные плюс метаданные равняется информация» (Data plus metadata equals the information). Такое упрощенное определение информации допустимо в приложении к текстам или изображениям, в том случае, если их можно снабдить метаданными. Однако есть и иные типы данных, которые необходимо превращать в информацию без привлечения специальным образом подготовленных метаданных, для этого требуется знания и интуиция человека. Такие данные-изображения, полученные в результате различного рода экспериментальных исследований, таких как медицинские обследования, съемки земной поверхности или каких-то иных опытов. В качестве примера принимающей стороны можно привести врача-диагноста, рассматривающего рентгеновские или другие снимки, или геофизика перед которым лежат результаты полевой съемки. Изображения не имеют никакого содержательного смысла для непосвященного, но чем выше уровень квалификация специалиста, анализирующего эти изображения, чем больше, условно говоря, метаданных он может извлечь из своего сознания, тем содержательнее оказываются данные. Иногда такие скрытые метаданные называют латентными или интеллектуальными (Latent metadata, Intellectual metadata). В значительной мере целью образования является обучение специалистов к работе со скрытыми метаданными. Автору пришлось стать свидетелем работы геофизиков с результатами полевых работ. Чем больше багаж знаний, профессиональная эрудиция, те больше информации человек способен извлечь из карты, он сам является носителем метаданных.

Рассел Аккофф (Russell Ackoff, 1919–2009), специалист в области исследования операций и теории систем предложил четырехуровневую иерархическую модель (четырехзвенную модель) DIKW (data, information, knowledge, wisdom), связывающую данные, информацию, знания и здравый смысл, основанный на глубоком познании.

• Данные (data) получаются из внешнего мира в результате человеческой деятельности с использованием тех или иных устройств.

• Информация (information) создается посредством анализа отношений и взаимосвязей между фрагментами данных в результате ответа на вопросы: Кто? Что? Где? Сколько? Когда? Почему? Цель анализа – помещение данных в контекст.

• Знания (information) получаются в результате синтеза полученной информации с человеческим разумом, служат для приятия решений, ведущих к достижению заданных целей.

• Глубокое понимание (wisdom) служит основой для принятия решений.

Практически все, что называют умственным трудом, укладывается в пирамиду DIKW – работающий в этой сфере получает данные из внешнего мира, извлекает из них информацию, осмысливает ее переводит в знания и выбирает те знания, которые требуются для принятия решений.

Данные и наука о данных

Интерес к данным привел к созданию того, что назвали Data Science. И с этим термином возникают сложности перевода, в данном случае это вопрос, как быть со словом science. Есть классическое русское определение науки как области человеческой деятельности, направленной на выработку и систематизацию объективных знаний, но Data Science – это не классическая наука со всеми ее необходимыми атрибутами. Однако в английском для science есть и «система получения знаний» (system of acquiring knowledge) и «знания, полученные из практики» (knowledge attained through study or practice), то есть Data Science стоило бы перевести как получение знаний из данных. Но это звучит нескладно, поэтому остановимся просто на DS.

Авторами современной концепции DS считают двух статистиков: Уильяма Клевеланда (William Cleveland,1943) и Лео Бреймана (Leo Breiman, 1928–2005). Первый в 2001 году опубликовал статью «Data science: план действий для расширения области действия статистики» (Data Science: An Action Plan for Expanding the Technical Areas of the Field of Statistics), в которой связал статистику с data mining и извлечением информации и знаний из данных. Для такой расширенной трактовки задач, отличной от традиционной статистики он предложил название Data Science, известное ранее, но в ином контексте. А второй в том же году опубликовал работу «Статистическое моделирование: две культуры» (Statistical Modeling: The Two Cultures) в которой ему удалось ликвидировать разрыв между статистикой и компьютерной наукой.

Но у DS, как у всего остального есть предыстория и она начинается с работ американского математика Джон Тьюки (John Tukey, 1915–2000), он первым задумался о данных, как самостоятельной сущности. Тьюки больше известен как изобретатель термина бит (bit от BInary digiT), в качестве минимальной единицы измерения данных, а еще в книге «Обучение конкретной математике» (The Teaching of Concrete Mathematics) он первым использовал слово software. В дополнение биту в 1956 году Вернер Бухгольц (Werner Buchholz, 1922) предложил удобную для кодировки восьмибитовую единицу меры данных и назвал ее байтом. Бухгольц эмигрировал из Германии в 1938 году, Был членом команды в IBM, которая проектировала первые мэйнфреймы IBM 701 и IBM 7030 Stretch.

И все же основным делом жизни Тьюки был исследовательский анализ данных (Exploratory Data Analysis, EDA), служащий инструментом для изучения основных свойств данных, нахождения в них общих закономерностей, распределений и аномалий. Этот тип анализа отличается от, например, более известного и широко используемого метода статистической проверки гипотез тем, что не предполагает наличия некоторой априорной гипотезы, нуждающейся в подтверждении, – в EDA формулирование гипотезы, анализ и ее доказательство выполняются параллельно. В 1962 году Тьюки написал: «После долгих лет работы в области классической статистики я стал сомневаться в том, что для получения полной картины достаточно одной статистики, мои интересы стали смещаться в сторону более полного анализа данных, включая тонкие процедуры и методы анализа и интерпретации данных».

Работы Тьюки стали предпосылкой к интеллектуальному анализу данных – направлению, открытому Ильей Иосифовичем Пятецким-Шапиро (1929–2009), советским, а позже израильским и американском математиком. В 1989, покинув СССР, Илья Иосифович провел первый семинар Извлечение знаний из баз данных (Knowledge Discovery in Databases, KDD). Его дело продолжает сын Григорий Пятецкий-Шапиро (1958), живущий в США

Название Data Science предложил Петер Наур (Peter Naur, 1928–2016) в 1974 году. Датчанин Наур более всего известен как создатель одного из первых алгоритмических языков ALGOL 60 и нотации Бэкуса-Наура (Backus—Naur form, BNF). Он определил Data Science не совсем так, мы ее понимает сейчас, в его представлении это наука, изучающая жизненный цикл цифровых данных.

Крупнейший специалист в области баз данных Джим Грей (James Gray, 1944 – признан погибшим в 2012) радикально переосмыслил роль данных. За несколько недель до своего бесследного исчезновения на борту яхты у Калифорнийского побережья (2007) он выступил с речью, в которой представил свои соображения о качественных изменениях в современной науке, связанных с возможностью собирать и анализировать большие объемы экспериментальных данных. Для характеристики нового периода в науке Грей использовал термин «четвертая парадигма» (fourth paradigm). По Грею, тремя предыдущими парадигмами были экспериментальная, теоретическая и вычислительная.

Стартовым выстрелом для нынешнего периода в истории DS стало интервью Главного экономиста Google Хала Вариана (Hal Varian) изданию McKinsey Quarterly, где он выдал многократно повторенную сентенцию: «Статистик – самая привлекательная работа (sexy job). Колоссальную важность приобретет его способность взять данные, понять их обработать, выделить нужное, визуализировать и передать другим».

У DS находится общее с кибернетикой, это тоже не традиционная наука в науковедческом представлении, а междисциплинарный подход, объединяющий методы, процессы, алгоритмы, системы и другие средства, служащие для извлечения информации из сырых данных, в том числе структурированных и не структурированных. DS объединяет Data mining (иногда переводится как Интеллектуальный анализ данных или Добыча данных), Большие данные, CV и NLP как методы, используемые для извлечения информации из изображений и текстов.

Несколько слов о data mining

Историю DM можно начать с теоремы Томаса Байеса (1763), позволяющей вычислить вероятность события с учетом ранее известных и новых данных. Можно также вспомнить основополагающие работы в области регрессионного анализа Ариена-Мари Лежандра (1805) и Карла Гаусса (1809). С тех пор и поныне статистические методы извлечения полезной информации из данных были и остаются краеугольным камнем для DM. Собственно термин data mining был предложен в середине 80-х Робертом Хехт-Нильсеном (Robert Hecht-Nielsen, 1947–2019) основателем компании HNC (Hecht-Nielsen Neurocomputer Corporation), позже она вошла в состав компании FICO, признанного крупнейшего финансового аналитика. HNC первой разрабатывала ПО для прогнозов, основанное на нейронных сетях. В нем моделировалось распознавание информации, скрытой в данных, по образу и подобию человеческого сознания. Эти разработки имели оборонное назначение, что естественно для компании, находящейся в Сан-Диего, центре ВМС США, но позже областью приложения стала финансовая индустрия, страхование, розничная торговля.

Современный интеллектуальный анализ данных имеет в основе три составляющие – собственно данные, извлекаемая из данных информация и полученные из данных знания.

Метаданные и гипертекст

Художественные тексты и особенно стихи содержат в себе скрытые метаданные. Обычно символьные данные сами по себе никакого смысла не имеют, они становятся полезным источником информации в том случае, если сопровождаются вспомогательными данными, указывающими на то, как их интерпретировать. Простейший вид явных метаданных – запись данных в предопределенную структуру, например в СУБД или в электронную таблицу, где нахождение числа или слова в определенной позиции придает ему значение и открывает возможность для поиска и анализа. Такие метаданные можно назвать структурными. Есть альтернативный способ явного представления метаданных, он по идее прост – достаточно можно снабдить данные ярлыками-метками, указывающими на смысл, который имеют следующие за ним записи. Такая разметка удобна для неструктурированных данных, в том числе и записей на естественном языке.

С момента появления самых первых компьютерных систем для работы с текстами все электронные документы содержали те или иные символы для управления печатью (CR, LF и др.). Однако их возможности оставались весьма ограниченными, методы разметки были привязаны к определенным принтерам, а с появлением новых устройств с более широкими возможностями (такими, скажем, как принтер с шаровой головкой) потребовались новые средства управления печатью. Чтобы преодолеть этого ограничение исследовательская группа корпорации IBM, возглавляемая Чарльзом Гольдфарбом, разработала язык разметки GML, «отвязавший» текст от формата печати.

Последующие исследования Гольдфарб вел самостоятельно; в конечном итоге они привели его к созданию языка Standard Generalized Markup Language (SGML). В период с 1978-го по 1985 год язык проходил сложный процесс стандартизации. В конечном итоге он был принят и American National Standards Institute (ANSI), и европейским агентством Computer Office of Official Publications. На следующем этапе SGML попал в европейский центр исследований физики элементарных частиц (CERN). Здесь первое средство для использования SGML разработал Андерс Берглунд (Anders Berglund). В CERN была разработана и технология CERNDOC на основе SGML, которая в последующем оказалась столь успешной, что была принята американской ассоциацией издателей American Association of Publishers. Одним из активных пользователей этой технологии был Тим Бернерс-Ли (1955), создавший совместно с Робертом Кайо (Robert Cailliau, 1947) Всемирную паутину WWW, поэтому нет ничего удивительного в том, что при разработке HTML он использовал свой опыт работы с SGML.

И все же SGML оказался весьма сложен, поэтому широкого распространения не получил, зато стал прототипом для двух широко известных языков. Первый – XML (eXtensible Markup Language), служащий для кодирования документов в World Wide Web, второй – Hypertext Markup Language (HTML), используемый для кодирования документов, воспроизводимых браузерами.

К разметке близок гипертекст, этот термин был предложен в 1965 году Тедом Нельсоном (Ted» Nelson, 1937 года) который определил его следующим образом: «Массив текстов или графики, объединенных сложными связями, которые с достаточной полнотой не могут быть представлены в бумажной форме. Связи могут включать карты контента, ссылки, аннотации, комментарии и другие инструменты для указания». В истории гипертекста сложилась вполне устоявшаяся хронология событий. Точкой отсчета обычно называют Ванневара Буша и его гипотетическую машину Memex (Memory Extender), далее переходят к Дагу Энгельбарту, затем к Теду Нельсону и, наконец, к Тиму Бернерсу-Ли, работашему совместно с Робертом Калио.

Несмотря на то что гипертекст с его ссылками может быть полноценно реализован только в электронной форме, предпосылки к его возникновению обнаруживаются задолго до появления компьютеров. Первым к идее гипертекста подошел Ванневар Буш, в своей эпохальной статье As We May Think, опубликованной в Atlantic Monthly. Он описал гипотетическую машину memex для работы с текстовыми источниками информации. Он писал: «Появятся новые типы энциклопедий, где фрагменты будут объединены ассоциативными связями, которые могут обрабатываться средствами memex». Задуманная Бушем машина должна была хранить книги и другие документы, обеспечивать доступ к ним и таким образом расширять творческие возможности человека.

Надо заметить, что и у Буша был предшественник, это немецкий инженер еврейского происхождения Эмануэль Гольдберг (Emanuel Goldberg, 1881–1970), создатель действующей (!) «Статистической машины». Она стала первым устройством для работы с размеченными данными, перенесенными на микрофильмы. Машина Гольдберга стала первым инструментом, позволяющим автоматизировать поиск в больших массивах данных с использованием разметки. Гольдберг родился в 1881 году в Москве в семье полковника медицинской службы российской армии (к слову, должность весьма необычная для человека со столь очевидными этническими корнями), а умер в 1970-м в Израиле.

Статья Буша послужила стимулом для Дага Энгельбарта на исследования в области систем, расширяющих интеллектуальные возможности человека. Эти работы в конечном итоге привели к созданию лаборатории Augmentation Research Center, где была построена уникальная для своего времени система NLS (oNLine System). Как ни странно, но попутно созданная компьютерная мышь оказалась самым знаменитым отпрыском этого проекта.

Data Labeling

Для CV и NLP нужны размеченные данные, в связи с этим появилась новая технологи data labeling (нанесение этикеток на данные, аннотация). На данный момент никаких средств для автоматизации этого процесса нет и в обозримом будущем не будет, поэтому эту нудную работу (handmaid data labeling) будут вручную выполнять низкоквалифицированные работники. Их можно назвать «синими воротничками» индустрии AI. Рабочие должны выполнять вручную огромный объем работы, например, аннотация одного человеческого образа требует указания от 15 до 40 точек и делается это все обычными средствами человеко-машинного интерфейса. Для разметки изображений сейчас есть и свободно распространяемые технологии (Sloth, Visual Object Tagging) и коммерческие (Diffgram Supervisely), и другие. Список средств для разметки документов, используемых при обработке текстов на естественных языках NLP, существенно длиннее.

Очевидный шанс стать супермонополистом в области data labeling есть у Китая, эта страна располагает необходимым количеством высококвалифицированных специалистов, здесь выработаны государственные программы по развитию AI, но в то же время наличествует неограниченное количество желающих на роль исполнителей низкого уровня. Они работают надомно или в стесненных условиях на так называемых «фабриках разметки» (tagging factories), получая чрезвычайно низкую заработную плату.

Типичным примером фабрики разметки служит компания Mada Code, насчитывающая более 10 000 (!) надомников, выполняющих разметку данных для задач оптического распознавания и обработки текста на естественном языке. Среди ее клиентов крупные компании и университеты. Руководитель Mada Code сказал: «Мы строительные рабочие цифрового мира, мы кладем кирпич на кирпич, но играем заметную роль в ИИ. Без нас невозможно построить небоскребы».

Необходимость ручной разметки позволяет оценить уровень зрелости нынешних работ в области AI тем, что напоминает закон, принятый в Англии на заре автомобилизма, который требовал, чтобы перед автомобилем шел человек, предупреждавший о его появлении.

Глава 9 Два основных направления в AI – компьютерное зрение и средства для работы с текстом на естественном языке

В начале третьего десятилетия XXI века, на седьмом десятке лет истории AI стало очевидно, что ни Общий AI (General AI), ни Сильный (Strong AI), а лишь только Слабый AI (Narrow AI) имеет шансы для развития, причем внутри Слабого AI наибольший перспективы у тех его направлений, которые усиливают возможности человека (Augmented AI, AuI). Из AuI-решений особое внимание привлекают к себе два: Компьютерное зрение (Computer Vision, CV) и Работа с текстами на естественном языке (Natural Language Processing, NLP). Оба они служат для создания технологий, способствующих повышению способностей человека к восприятию информации, заключенной в больших объемах фото/видео и текстовых данных. Эти технологии поддерживают автоматизацию преобразования данных в информацию на уровне интерфейса между уровнями данных и информации на пирамиде DIKW (Данные, Информация, Знания, Здравый смысл).

История компьютерного зрения

Компьютерное зрение – это междисциплинарная область исследований и разработок, служащих для содержательной интерпретации (по-английски understanding) цифровых фото и видео данных. Используемое в английском слово understanding в обычных условиях переводят как понимание, но в данном контексте точнее походит интерпретация, понимание слишком человечно. Компьютерное зрение включает в себя физические и программные методы работы с данными в сочетании с методами анализа и интерпретации изображений, основанными на нейронных сетях и машинном обучении, что позволяет отнести их к AI.

Средства, составляющие CV, выполняют примерно такую последовательность действий: получение изображения (image acquisition), предварительная низкоуровневая обработка изображения (pre-processing), выделение линий, ребер (feature extraction), выделение интересующих областей (detection, segmentation), оценку изображения на соответствие (estimation of application-specific parameters) и, наконец, главное – распознавание изображения (image recognition). Полученный результат передается либо для дальнейшей обработки, например, в систему проверки доступа по лицу или же человеку-эксперту.

В CV наряду с распознаванием изображений (Image recognition) используют термин распознавание образов (Pattern recognition). Эти термины близки, но не синонимичны, не случайно в названиях конференций они содержатся в разных сочетаниях. Из американских одна сейчас называется Conference on Computer Vision and Pattern Recognition, а несколько лет назад она же называлась Pattern Recognition and Image Processing, а другая International Conference on Pattern Recognition and Information Processing. Есть еще две конференции – американская и европейская вообще с одинаковыми названиями International Conference on Image Processing, Computer Vision, and Pattern Recognition.

Распознавание изображений предполагает оцифровку изображений и преобразование их теми или иными алгоритмами в изображения более удобные для получения полезной информации. Распознавание образов, скорее всего, распространяется на более широкий круг данных, чем изображений, в него входит и распознавание голоса, и данных метеопрогноза, и обнаружение скрытых закономерностей геолого-геофизических данных, а также данных иной природы.

Особо следует сказать о машинном зрении, как о прикладной области компьютерного зрения, это инженерная область, связанная с созданием систем контроля производственным оборудованием и роботами-манипуляторами.

Ошибка Папперта

И здесь тоже начало было положено многолетними нейрофизиологическими исследованиями, они достигли высшей точки в конце 40-х годов, но далее возникла пауза, для дальнейшего продвижения не было необходимых технических средств. Однако пауза длилась недолго, после 1956 года, когда восторжествовал символьный AI (Symbolic AI), возникли смелые идеи альтернативного пути к CV на основе символьного подхода с использованием универсальных компьютеров. Тогда главной казалась проблема ввода изображения в компьютер, на нее были брошены большие силы, в результате Минский с коллегами сумели успешно решить ее, после чего казалось, что от оцифрованного изображения до CV остался всего один шаг.

Этот шаг предстояло сделать профессору Сеймуру Папперту (Seymour Papert, 1928–2016) из AI Lab МТИ, он поверил в скорое решение и организовал летний проект Summer Vision Project с той же готовностью к обещаниям, которую на десять лет ранее проявил его руководитель Марвин Минский. Участие самого Папперта свелось к написанию короткой шестистраничной программы действий для группы аспирантов и студентов на несколько каникулярных месяцев. Не правда ли похоже на поручение собрать робота за время летних каникул, данное Джоном Маккарти своим аспиратам. Однако недостаточно продуманный проект, как и следовало ожидать, с треском провалился. Трудно представить подобное легкомыслии, если даже сейчас, полвека спустя многие задачи CV еще не решены. Однако этот фальстарт не мешает многим авторам признавать Сеймура Папперта одним из основоположников компьютерного зрения.

Иронизируя по поводу ошибки Сеймура Папперта, нужно отдать должное, он был замечательным ученым, сочетал в себе качества математика и психолога-педагога, создал первый язык программирования для детей Logo, где реализованы образовательные идеи швейцарского психолога и философа Жана Пиаже (Jean Piaget,1896–1980). Logo жаль, этот интересный язык, способствующий самостоятельному развитию ребенка, сейчас почти забытый он не выдержал конкуренции со стороны богатого интерфейса и неограниченных возможностей подключенных к сети устройств. Кстати, и Папперт тоже, как и многие присные к AI, родом из семьи еврейских эмигрантов из Российской империи.

Нейрофизиологические предпосылки к CV

Фундаментальные предпосылки к решению задачи компьютерного зрения были сделаны не математиками, а нейрофизиологами, причем исследования природы зрения начались существенно раньше упомянутого выше летнего семинара. Предположение о роли зрительной части головного мозга, отвечающей за обработку визуальной информации, в 1810 году выдвинул австрийский врач и анатом Франц Галль (Franz Gall, 1758–1828), известный как создатель паранауки френологии. Позже сложилось несколько школ исследования работы мозга, успешнее других механизмы зрения изучал немец Герман Мунк (Hermann Munk, 1839–1912), один из крупнейших физиологов своего времени.

В XX веке первенствовали ставшие классиками американец Дэвид Хьюбел (David Hubel, 1926–2013) и Торстен Визель (Torsten Wiesel, 1924) со статьей «Рецептивные области одного нейрона в первичной зрительной коре мозга кошки» (Receptive fields of single neurons in the cat’s striate cortex, 1959). В ней авторы показали наличие в мозге животного особого типа нейронов, способных реагировать на изображение, там же они представили общие принципы обработки визуальной информации в нейронных структурах. Хьюбел и Визель обнаружили наличие специализированных клеток, которые обрабатывают данные о фрагментах изображения и передают их в нейронную сеть более высокого уровня с тем, чтобы мозг собирал из них целостное изображение. Спустя годы за это открытие Хьюбел и Визель совместно с Роджером Сперри (Roger Sperry, 1913–1994) получили Нобелевскую премию, по физиологии и медицине «за открытия, касающиеся принципов переработки информации в нейронных структурах».

Дело Хьюбела и Визеля продолжил британец Дэвид Марр (David Marr, 1945–1980) в своей книге «Зрение: вычислительный подход к представлению и обработке визуальной информации человеком» (Vision: A computational investigation into the human representation and processing of visual information, 1982), она вышла после смерти Марра, прожившего всего 35 лет. Он стал открывателем подхода, где человеческий мозг ассоциируют с компьютером, Марр видел в нем систему, перерабатывающую входной поток сенсорной информации, он представил процесс переработки зрительной информации в виде иерархии из четырех стадий от первичной проекции внешнего объекта на сетчатку глаза до его опознания человеком. Результаты обработки зрительной информации на каждой предыдущей стадии, являются исходными данными для следующей стадии:

• Собственно видение, формирование изображения на сетчатке.

• Первичный анализ структуры изображения – выделение текстуры, контуров, формы, взаимного расположения объектов в пространстве.

• Составление эскиза – определение общей ориентации и глубины контуров, оценка глубины и расстояния от точки наблюдения до объекта.

• Построение трехмерной модели – создание общей сцены видения ситуации в виде отдельных объектов независимо от их расположения на сетчатке, формирование объемного изображения внешнего мира.

Первые практические шаги

За двадцать лет до Марра инженер Расселл Кирш (Russell Kirsch, 1929), сын выходцев из России, вместе со своими коллегами по Национальному бюро стандартов (NBS) разработал первую в мире систему оцифровки изображения. В отличие от других организаций, занимающихся стандартизацией, NBS имело сильную исследовательскую лабораторию, где в 1950 году был построен компьютер SEAC (Standards Electronic Automatic Computer), там же были созданы некоторые периферийные устройства, без которых трудно представить себе современный компьютер. Среди них дисковый накопитель, его разработал в 1951 году еще один уроженец России Яков Рабинов (Рабинович), его конструкция была доведена до коммерческого продукта в IBM. Расселл Кирш сделал в 1957 два смежных изобретения, первое – сканер, состоящий из вращающегося барабана, на который помешалось сканируемое изображение, и считывающей головки с сенсором-фотоэлементом, второе – цифровой способ записи изображения в виде матрицы, состоящей из пикселей. Возможности доступной компьютерной памяти ограничивали размер изображения несколькими килобайтами, поэтому максимальное разрешение этого сканера составило всего 179 на 179 пикселей. Собственно идея разбиения изображения на отдельные точки-пиксели была высказана еще в XIX веке, этимология этого термина неоднозначна, существует множество мнений по этому поводу. Но Кирш придумал разбивку изображения на прямоугольные пиксели и способ кодировки уровней серого. Занятно, работа эта была выполнена в инициативном порядке, что дало Киршу повод шутить относительно кражи машинного времени у более важных задач, в частности у расчетов термоядерной бомбы. Тем не менее в компьютерную историю компьютер SEAC вошел в первую очередь благодаря этой работе. Из-за ограничений по памяти пришлось ограничиться сканированием только лица младенца на той фотографии, где изобретатель держит на руках своего трехмесячного сына. Но и этого оказалось достаточно для вхождения полученного Киршем цифрового изображения в список 100 наиболее важных фотографий в истории человечества, опубликованный журналом Life в 2003 году.

Говоря о следующем персонаже – Ларри Робертсе, внесшем свой вклад с историю CV, автор вынужден сделать отступление и высказаться от первого лица. Дело в том, что мне повезло быть лично знакомым с Ларри, это случилось из-за увлечения историей интернета. Во время пребывания в Сан-Хосе, столице Кремниевой Долины, у меня выдался свободный день, в рассуждении как его использовать, я набрался смелости и позвонил ему. Ларри неожиданно пригласил меня посетить возглавляемую им тогда компанию Caspean. Позже мы с ним встречались в Москве, это было в 2002 году, вместе участвовали в передаче Матвея Ганапольского на радио «Эхо Москвы». Все это время я видел в Ларри лидера команды «отцов-основателей» интернета, куда кроме него входили Винтон Серф, Роберт Кан и Леонард Клейнрок. Хорошо известно, что Ларри Робертс взял на себя роль технического руководителя проекта ARPAnet и именно он нарисовал знаменитую схему объединения первых четырех узлов, ему же принадлежат многие предложения по части коммутационного оборудования. Вплоть до последних лет жизни он проектировал новые технологии для опорной сети интернет (backbone).

Недавно я обнаружил, что в молодости, работая над диссертацией в Линкольновской лаборатории МТИ, он создал некоторые подходы к CV и это оказалось полной неожиданностью. Оказывается, еще в 1963 году Робертс опубликовал работу «Машинное восприятие сплошных трехмерных моделей (Machine perception of three-dimensional solids), которую и поныне рассматривают как один из краеугольных камней CV. В ней он описал методы, служащие для восстановления трехмерной машинной модели предмета по его двумерной фотографии. Однако после успешной защиты диссертации Робертс не продолжил начатого, увлекшись идеями Джозефа Ликлайдера, высказанными в знаменитой статье «Межгалактическая компьютерная сеть» (Intergalactic Computer Network). В ней автор, ставший к тому времени директором Управления методов обработки информации (Information Processing Techniques Office, IPTO), описал компьютерную сеть, ставшую прообразом интернета. Идея глобальной сети показалась Робертсу более привлекательной и перспективной, реализуя ее, он приобрел всемирную известность.

В противоположность Ларри Робертсу, японец Кухинико Фокушима (Kunihiko Fukushima) остался верен избранному в молодости пути. Роль, сыгранную им в истории CV, можно сравнить с той, которую сыграл Джон Хопфилд в истории ANN. Заслуга Фокушимы в том, что он как и Хопфилд проложил мостик между нейрофизиологическими моделями и ANN, но он это сделал в приложении к CV.

Начало современной истории CV

В 1989 году в ту пору молодой французский ученый Ян Лекун, работая в Bell Labs, применил алгоритм обратного распространения ошибки (backprop style) к обучению CNN, разработанному Фокушимой. Он, как и его предшественник, использовал обученные сети CNN для распознавания рукописных цифр в почтовых индексах (zip code). Цифры на американских конвертах пишутся не по трафарету, а в свободной форме, поэтому потребовалось распознавание с элементами AI. Усовершенствованный Лекуном тип CNN получил собственное имя LeNet, позже его стали называть lenet5. В первой версии система, в основу которой легла обученная сеть LeNet, смогла обрабатывать 91 % писем с точностью 1 %. Результат работы был изложен в статье «Применение метода обратного распространения ошибок к распознаванию рукописных почтовых кодов. Нейронные вычисления» (Backpropagation applied to handwritten zip code recognition. Neural Computation). Позже в период с 1989 по 1998 он вместе к коллегами опубликовал еще несколько важнейших статей. Среди соавторов Джошуа Бенджо, составивший вместе с ним и с Джеффри Хинтоном триумвират награжденных Тьюринговской премией за достижения в области ANN и машинного обучения.

Примерно в том же направлении до сих пор работает коллектив психологов из Калифорнийского университета в Беркли. Их объединяет уверенность в возможности целостного восприятия изображения, по-английски это называется perceptual grouping, а переводится как перцептивная группировка. Целостный подход к CV предполагает синтез изображения из его отдельных деталей, его концептуальный базис – гештальтпсихология, руководствующаяся принципом целостности. Несмотря на кажущуюся перспективность perceptual grouping, приверженцам этого подхода не удалось выйти за пределы академических исследований. Обзор работ этого направления можно найти в статье британского психолога Джозефа Брукса «Традиционные и новые методы перцептивной группировки (Traditional and new principles of perceptual grouping).

Компьютерное зрение в его современном понимании началось с отказа от идеи целостности и от восстановления трехмерных моделей по полученному тем или иным образом двумерному изображению в пользу более прагматических решений, нацеленных на выявленных заданных свойств наблюдаемого объекта. Этот путь можно назвать выделением скрытых метаданных. Первыми на него встали англичане Крис Харрис и Майк Стефенс, в 1988 году они опубликовали статью «Детектор, обнаруживающий углы и ребра» (A combined corner and edge detector). Позже его стали называть просто методом уголкового обнаружения (Corner detection). В 1999 году Дэвид Лоу пошел дальше, ему удалось справиться с проблемой распознавания вне зависимости от масштаба изображения, он описал свое решение в статье «Распознавание объектов по локальным независимым от масштаба признакам» (Object Recognition from Local Scale-Invariant Features). Лоу канадец, он закончил свою карьеру в 2018 году качестве старшего научного специалиста в Google. Его научные интересы сосредоточены на CV, за свои достижения в этой области он дважды удостоен Приза Гельмгольца на ICCV (International Conference on Computer Vision), главной отраслевой конференции.

В бытность профессором университета Британской Колумбии Лоу запатентовал метод масштабно-независимых результатов преобразования признаков SIFT (Scale-Invariant Feature Transform). Принятый перевод SIFT как масштабно-инвариантная трансформация признаков не совсем верен, потому что transform это не transformation и масштабно-независимой является форма хранения признаков, а отнюдь не масштабно-инвариантный процесс трансформации. Все достаточно просто, алгоритмы, реализующие SIFT, в процессе обучения выявляют и сохраняют координаты локальных признаков в масштабно-независимой форме и фиксируют их в базе данных. А далее объект в новом изображении распознается посредством сравнения его признака с признаками из базы данных. Подход, предложенный Лоу, оказался чрезвычайно результативным, он используется в самых разнообразных современных приложениях. Он развивается и создано несколько новых подходов к распознаванию, унаследовавших его основы.

Особое место в истории CV занимает метод обнаружения объектов Виолы – Джонса (Viola—Jones object detection). Он был предложен в 2001 году Полом Виола в прошлом профессором МТИ, более всего известным работами в области распознавания лиц, удостоенным премий Марра и Гельмгольца, и Майклом Джонсом, сотрудником исследовательской лаборатории Mitsubishi Electric. Метод Виолы – Джонса универсален, он обычно используется для распознавания лиц. В его основе сильный бинарный детектор, состоящий из каскада более слабых детекторов, они разбивают изображение на прямоугольники, осуществляют поиск эталонов и сравнение с ними. Если обнаруживается совпадение, изображение передается дальше по каскаду, а случае несовпадения поиск продолжается. Математической основой метода является алгоритм машинного обучения AdaBoost (Adaptive Boosting, в данном случае можно перевести как адаптивное усиление). Алгоритм усиливает классификаторы, объединяя их в «комитеты».

CV в XXI веке

Наступление XXI века ознаменовалось бумом исследований в области CV, причем не столько академических, сколько прикладных с участием тысяч специалистов, их невозможно каким-то образом систематизировать, остается только представить наиболее известные достижения.

Информационный взрыв, привлекший к себе широкое внимание, связан с деятельностью Себастьяна Труна (Sebastian Thrun,1967) профессора Стэнфордского университета, бывшего в ту пору директором Стэнфордской лаборатории искусственного интеллекта (SAIL). Он вошел в историю как руководитель весьма успешной разработки роботизированного автомобиля Stanley, выигравшего соревнование DARPA Grand Challenge в 2005 году, и Junior, который занял второе место на DARPA Challenge в 2007 году. Эти соревнования спонсировало правительство США с наивной надеждой на скорое создание автономных автомобилей для военных нужд. Цель казалась так близка, что в который раз вызвав неумеренный восторг, в журнале Scientific American вышла статья «Триумф роботов». На основе SAIL в 2009 году Google построила свой автономный автомобиль, с обещанием выпустить в 2020 году полноценный автомобиль-робот. Сегодня мы отнесли бы его к уровню Level 5, где можно обойтись без рулевого колеса (steering wheel optional). Но и это, и другие подобные обещания остаются невыполненными, наиболее ответственные компании сегодня говорят о достижении ими Level 3, позволяющего водителю отвлечься (eyes off), то есть автомобиля с частично автоматизированными функциями управления.

Начиная с 2010 года стали поступать сообщения об успехах в области распознавания лиц, среди первых была компания Facebook. Когда эта технология в 2011 помогла идентифицировать в убитом американским спецназом в операции «Копье Нептуна» Усаму бен Ладена, она казалась благом. Но когда стало ясно, насколько эти технологии усиливают возможности «Большого брата», отношения к ним заметно изменилось. В странах с развитой демократией распознавание лиц ограничено и широко обсуждается, а в таких как Китай, и подобных по уровню авторитаризма внедряется по максимуму.

Спустя год мировую общественность совершенно потряс эксперимент, проведенный в лаборатории Google X, он показал способность обученной нейронной сети самостоятельно, или, точнее, почти самостоятельно распознавать изображения, в данном случае фотографии кошек. Выбор такого объекта для распознавания оказался удачен с маркетинговой точки зрения, учитывая популярность фотографий «котиков» в Сети. Эксперимент освещала вся мировая пресса, первой в этом ряду оказалась «Нью-Йорк Таймс», где была опубликована статья самого именитого компьютерного журналиста Джона Маркова. За этой сенсацией стоял совершенно строгий академический доклад, сделанный Эндрю Ыном и его коллегами на 29-й конференции по машинному обучению в Эдинбурге. В эксперименте использовалась 1000 сероверов, собранных в кластер, что позволило моделировать сеть, состоящую из 3 миллионов нейронов и 1,15 миллиарда синапсов. При этом точность распознавания не превысила 16 %. Для сравнения, человеческий мозг состоит из 100 миллиардов нейронов и 1000 триллионов синаптических соединений, это для справки тем, кто намеревается создавать сильный AI. Эксперимент детально описан в статье Building High-level Features Using Large Scale Unsupervised Learning, ее перевод названия нуждается в комментарии. В задачах CV распознаваемые характеристики можно разделить на простые (low-level features) и сложные (high-level features). Поэтому оно должно выглядеть так «Создание сложных характеристик с использованием крупномасштабного обучения без учителя». Использование термина «без учителя» может создать впечатление, что система, снабженная AI, может обучиться чему-то сама, разумеется это неверно, без руководства человека никакой AI не способен к самостоятельному получению знаний. Unsupervised в этом контексте означает, скорее, неконтролируемый, то есть процесс обучения осуществляется автоматически, но по заданию человека.

Средствами CV удается автоматически преобразовать фото- и видеоданные в информацию, что с успехом удалось сделать Ыну с коллегам в вышеописанном эксперименте с кошками с использованием технологий самообучения ANN. Еще в 2007 году группа авторов под руководством того же Эндрю Ына опубликовала статью «Обучение с самообучением: Трансферное обучение на неразмеченных данных» (Self-taught Learning: Transfer Learning from Unlabeled Data). В ней они рассматривают четыре типа обучения

• Supervised Classification – Обучение с учителем

• Semi-supervised Learning – Обучение с частичным участием учителя

• Transfer Learning – Трансфертное обучение

• Self-taught Learning – Обучение без учителя

Эти виды обучения отличаются по степени использования заранее помеченных данных. В случае обучения с учителем она максимальна и, напротив, в случае обучения без учителя минимальна. Идея последнего проста, можно на некотором тестовом наборе научить саму сеть самостоятельно учиться, а после этого она получит возможность накапливать внутри себя необходимый ей комплекс метаданных, чтобы решать поставленную перед ней задачу распознавания. Но в отличие от человека, использующего при обучении творческие способности, ассоциации и т. п., машина по определению тупа, поэтому процесс ее обучения требует затрат большой вычислительной мощности, к тому же эта мощность при использовании фон-неймановских CPU на задачах машинного обучения используется нерационально.

Основным инструментом для разработчиков CV служат библиотеки функций, позволяющие решать стоящие перед ними задачи с использование нейронных сетей и методы машинного обучения. Библиотеки позволяют аккумулировать опыт и небольшими силами создавать серьезные работающие системы из готовых блоков. Почти все библиотеки относятся к открытому ПО, в числе наиболее популярных: OpenCV, TensorFlow, CUDA, YOLO, MATLAB, Keras, SimpleCV, BoofCV, CAFFE, OpenVINO и DeepFace, но ими список не ограничивается, поскольку по своим возможностям они заметно различаются, выбор зависит от решаемой задачи.

В подавляющим большинстве рейтингов лидирует библиотека OpenCV, что заслуживает особого внимания. Хотя она относится к открытым продуктам и она развивается силами большого числа добровольцев, но у нее, что случается нечасто, российские корни. История OpenCV с создания сотрудниками Саровским ВНИИЭФ, работавшими по контракту с Intel, Нижегородской программной технологической лаборатории (NSTL, Nizhny Software Technology Lab). Одним из ее основателей стал Валерий Федорович Курякин, первыми разработчиками были Вадим Писаревский и Виктор Ерухимов, а американский участник проекта Гари Брадски инициировал развите в виде свободно распространяемой продукта с открытым исходным кодом. В 2000 году библиотека получила название OpenCV. Дальнейший путь развития OpenCV был непрост, однако он привел к успеху, библиотека скачана более 20 млн раз и ее элементы использовались при разработке Android и iOS.

Проблема умного железа

Используя метафору «души и тела» в приложении к AI, можно сказать, что в CV – это проблема «души», она решается давно и успешно, но проблема «тела» остается далека от решения, несмотря на кажущееся благополучие, обеспечиваемое графическими процессорами GPU и собранными из них кластерами с рекордными показателями производительности, измеренной в петафлопах, то есть в единицах, не имеющих непосредственного отношения к нагрузке, создаваемой AI-приложениями. История специализированных аппаратных технологий для CV и вообще задач машинного обучения только начинается.

Приходится признать, что для такого класса задач используемые ныне GPU и намного реже специализированные микросхемы (ASCI) и матричные массивы (FPGA) служат тем, что по-английски называют stopgap measures, то есть средствами, обеспечивающими временное решение, не более того. О степени несовершенства можно судить по тому, что мозг потребляет порядка 40 ватт, а если бы удалось создать компьютер, моделирующий равное число нейронов современными технологиями, его мощность оценивалась бы тысячами мегаватт, но есть на 7–9 порядков больше. Поэтому нынешнее положение можно сравнить с тем, что было в первые годы существования компьютеров, когда в ход шли любые доступные радиодетали – лампы, транзисторы, конденсаторы, сопротивления, магнитные сердечники. Это происходило до семидесятых, до тех пор пока не появились интегральные микросхемы, а позже и микропроцессоры.

Проблема железа для CV заключается в том, что до сих пор нет процессоров, полностью соответствующих задачам моделирования. нейронных сетей. Фон-неймановские CPU были задуманы для расчетов, то есть для последовательного выполнения одной программы, хотя за десятилетия их научились искусственными приемами адаптировать к распараллеливанию, или, как сейчас чаще говорят, к работе в многопоточном режиме, более соответствующим требованиям машинного обучения. Однако CPU, имея относительно небольшое число (десятки) производительных ядер, остаются способными обрабатывать ограниченное количество мощных потоков. Ограниченность обычных CPU для задач CV и других задач, связанных с машинным обучением, была осознана давно, чтобы с ней справиться в ход идут не только графические, карты (GPU), аудиокарты, сигнальные процессоры, программируемые матрицы FPGA и многое другое. Успешнее других оказалось внедрение GPU, задуманные для задач трехмерного рендеринга они отличаются большим числом ядер, но эти ядра существенно меньше и проще, чем CPU. Так уж случилось, что GPU, рожденные для компьютерных игр, смогли обеспечить прорыв в AI. Сегодня огромные кластеры, собранные из игровых в прошлом процессоров, обеспечивают всю индустрию AI.

Но GPU являются паллиативом, если посмотреть на проблему шире, то надо признать, что аппаратные средства, поддерживающие CV, NLP и другие решения из области machine intelligence, являющейся подмножеством AI, должны быть рассчитаны на совершенно иную нагрузку, чем традиционные. Во-первых, в их основе должен быть приближенный компьютинг (approximate computing), дающий удовлетворительно точный, но не гарантированно точный результат. Именно так, неточно, работает человеческое мышление. Исследования показывают, что снижение точности на 5–10 % может понизить энергопотребление на два порядка. Во-вторых, обучение должно стать органической частью архитектуры, идея обучения на основе программируемой архитектуры похоже на своего рода оксюморон. Пока удовлетворение этих требований возможно только в идеале. Тем, кого интересует проблема соотношения аппаратного обеспечения и машинного обучения, будет интересно данное в марте 2020 интервью Яна Лекуна «На экзотическом железе трудно добиться успеха». В нем он раскрывает проблему соотношения аппаратного обеспечения и машинного обучения, делая упор на том, что неэффективно использование матричного умножения для выполнения операций свертки – основы конволюционных сетей CNN. На данный момент альтернативу GPU, поставляемых компанией Nvidia, составляют несколько процессоров. Наиболее известно среди них существующее с 2016 года семейство тензорных процессоров Google (Tensor Processing Unit, TPU), представляющих собой специализированную интегральную схему, предназначенную для поддержки библиотеки машинного обучения TensorFlow. Возможно, подходящим решением проблемы железа для CV станут графовые модели, где вершины представляют вероятностные характеристики данных, а ребра – корреляцию между этими свойствами. Этим путем идёт британская компания Graphcore, производящая процессоры Colossus MK2 IPU (Intelligence Processor Unit), название которого адресует к электронно-механическому компьютеру Colossus, испробованному во время Второй Мировой Войны в операции Ultra. Другой многообещающий стартап Cerebras (Головной мозг) выбрал для себя в качестве руководящей идею использования специализированных процессоров на разреженных матрицах. К тому же ее процессор CS-1 изготовлен по необычной технологии Wafer-Scale Engine (WSE), то есть масштабирование на всю подложку. Он занимает всю поверхность кремниевой пластины размером 215 x 215 миллиметров, состоит из более чем 1,2 триллиона транзисторов, собранных примерно в 400 000 ядер.

Особый интерес вызывает деятельность компании Tachyum, созданной выходцем из Словакии Радославом Даниляком. Здесь была разработана процессорная архитектура под названием Prodigy, что переводится как чудо или виртуоз, она представляет собой универсальный 64-ядерный процессор, объединяющий в себе качества CPU и GPU и при этом потребляющий на порядок меньше энергии. Процессор уже выпускается, на его основе в Словацком национальном суперкомпьютерном центре будет построен самый мощный в мире AI-компьютер. Этот проект должен стать центром кристаллизации общеевропейских исследований в области AI, он привлекает к себе и административные, и деловые, но, главное, академические ресурсы. Показательно, что техническим консультантом Tachyum является Стив Фарбер, один из двух разработчиков архитектуры ARM и участник проекта по созданию неизоморфного компьютера SpiNNaker, способного эмулировать мозг.

Что же касается возникшего было энтузиазма, вызванного созданием нейроморфных, то есть подобных мозгу компьютеров, то он постепенно угасает. Причина очевидна – то, что делается на основе полупроводников, плохо соотносится с живым мозгом, или, как его называют, wetware, то есть «влажным железом». Это общая закономерность – все, что сделано человечеством для перемещения по земле, по воде и воздухе, для создания новых материалов и видов энергии, для передачи данных, не является прямым воспроизведением существующего в природе. Скорее всего и создатели компьютерных архитектур будущего пойдут тем же путем, не пытаясь иными средствами повторить живое.

История NLP

NLP принято переводить как «обработка текста на естественном языке», хотя в оригинале текст не упомянут. Перевод вообще странен, если вдуматься. «Текст на естественном языке», а бывают ли тексты на неестественном языке? Казалось бы, к NLP имеют отношение лингвисты, а это явная периссология, пользуясь их терминологией, поэтому оставим NLP. Подавляющая часть работ из области NLP связана с операциями над текстами, но есть еще устная речь и другие знаковые системы, например, жестовые языки, из NLP им посвящено небольшое количество публикаций.

Многие источники определяют NLP как способность программы или компьютера понимать человеческий язык или текстовые документы, хотя точнее интерпретировать, возможность такого перевода understanding обсужден выше. NLP, так же как и CV, служит интерфейсом между уровнем данных и уровнем информации в пирамиде DIKW, то есть представляет собой средство преобразования данных-текстов в более удобную для человека форму, иначе говоря, NLP – это зонтичный термин для различных средств, служащих для автоматизации работы с текстами. Потребность в них постоянно возрастает, поскольку человечество порождает тексты с гигантской скоростью. На своеобразие NLP, как научного направления, влияют особенности языка – это не некое объективно существующее природное явление с известными свойствами, язык – является плодом тысячелетней эволюции, он создан человеческим сообществом и не имеет строгих законов, неоднозначен и перманентно изменяется во времени. Наука о языке не может быть столь же стройной как естественные науки, по этой причине не удается выстроить совершенно строгую и логичную последовательность имен и открытий, приведших к тому виду, в котором это направление AuI существует сегодня. NLP сложилось примерно так как складывается большое мозаичное полотно.

Предыстория NLP

По данным палеолингвистики – одного из направлений исторической лингвистики, реконструирующего дописьменные языки, предпосылки к появлению языка как средства коммуникации возникли примерно полмиллиона лет назад. Сторонники моноцентрической теории считают, что следующий шаг – создание единого прамирового языка – был сделан 70 тысяч лет назад, разумеется эти даты достаточно условны. Количество существующих на данный момент живых языков колеблется в пределах от 2500 до 7000, количество мертвых не поддается оценке. Долгие тысячелетия язык существовал в форме устной речи, в отдельных горных районах есть свистящие языки и по историческим меркам совсем недавно, в XIX веке были созданы жестовые языки для неслышащих.

Первые опыты записи простейших сообщений датируются 9-м тысячелетием до н. э., об этом свидетельствуют найденные в Месопотамии глиняные печати. Самую раннюю из известных систем письма, клинопись, придумали шумеры в 4-м тысячелетии до н. э. Первые попытки изучения языка датируются 2-м тысячелетием, это случилось в Вавилоне, там глиняные таблички размножились в таком количестве, что были созданы прообразы библиотек с элементами каталогизации. С тех пор и на протяжении столетий параллельно сосуществовали два направления: одно – исследования языка, приведшие к появлению науки лингвистики, второе – систематизация текстов, начавшееся с создания библиотечных систем, вылившееся в информационную науку (information science). В СССР до семидесятых годов совершенно заслуженно называли ее информатикой, но потом это название усилиями относительно небольшой группы энтузиастов у нее отобрали и так стали называть computer science, чем создали изрядные затруднения.

Радикальные изменения в работе с текстами начались в конце XV века в Европе после изобретения печати наборным шрифтом, обычно его связывают с именем Иоганна Гутенберга (Johannes Gutenberg, 1400–1468). Печатные оттиски с цельных досок делали намного раньше, что же касается набора из отдельных литер, он был изобретен в Китае за два столетия до Гутенберга. Наборная печать оказался востребована и обрела популярность в Европе под влиянием преобразований Эпохи Возрождения. Набор не только привел к увеличению тиражей книг, но еще и способствовал созданию определенных стандартов на издания, что позволило перейти от плохо упорядоченных монастырских скрипториев к близким к современности университетским библиотекам с их систематическим хранением книг.

Каталоги, как неотъемлемая часть любой библиотеки, были придуманы в еще Ассирии в середине 1 века до н. э., но свой классический вид (ящики с каталожными карточками) они приобрели благодаря изобретению Карла Линнея. Этот ученый создал не только единую систему классификации растительного и животного мира, но и вообще стал основоположником систем классификации, за что получил титул «отца современной таксономии». До Линнея каталоги имели вид тетрадей, а он заменил непрерывные тетради дискретными карточками, которые можно дополнять и переупорядочивать со всеми вытекающими последствиями. Библиотечные каталоги на карточках появились впервые в Австро-Венгрии в 1780 году, для записи данных о книгах использовалась рубашка удобных по формату игральных карт. После Французской революции и в наполеоновские времена карточные каталоги были заметно усовершенствованы. Окончательный стандарт на формат карточки 3х5 дюймов и конструкцию ящика был прият в конце XIX века. С 90-х годов прошлого века бумажные каталоги стали вытесняться компьютерными и в 2015 был напечатан последний тираж каталожных карточек.

С появлением печатных книг возникла массовая грамотность, она стимулировала изучение языка и появление лингвистики. Впрочем, термин лингвистика (linguistics) появился намного позже, только лишь в середине XIX века, до этого лингвистами (linguist) называли студентов, изучающих язык. Предпосылки к созданию новой науки создал Вильгельм фон Гумбольдт, а также Иоганн Гердер и Иоганн Кристоф Аделунг. Отцом современной лингвистики считают швейцарца Фердинанда де Соссюра (Ferdinand de Saussure, 1857–1913), основателя Женевской лингвистической школы, заложившего основы структурной лингвистики. Материалы прочитанных им лекций собрали и издали в виде книги «Курс общей лингвистики» в 1916 году его ученики Шарль Балли и Альбер Сеше. История лингвистики – самостоятельная дисциплина, мы ее затрагивать не будем.

В истории обнаруживаются и более ранние попытки применить формальные методы для работы с текстами, известен, например, Авраам бен Самуэль Абулафия, еврейский мыслитель и каббалист, живший в Испании во второй половине XIII века. Он был современником Раймунда Луллия, есть сведения, что Абулафия и Луллий состояли в переписке. Объектом исследования Абулафии был трактат Сефер Йецира (Книга творения) – один из основополагающих каббалистических текстов. В нем рассматривается то, как бог создал язык и способ его записи 22 буквами еврейского алфавита. Абулафия пошел дальше, он стремился понять можно ли, следуя формальным правилам, манипулировать символами для получения новых истин. Идеологически Абулафия и Луллий близки, первый манипулировал буквами, а второй с помощью своей машины – словами. Абулафия назвал созданное им наукой о комбинации букв, которую можно считать зародышем NLP.

В своем романе «Маятник Фуко» Умберто Эко вернул имя Абулафии в современную массовую европейскую культуру, так им назван персональный компьютер, принадлежащий главному героем Бельбо. Этот компьютер, используемый для работы с текстами, стал наравне с людьми одним из персонажей «Маятника», а выдержки из книги Абулафии Эко использует в качестве эпиграфов к главам.

Как это ни странно, но близкой к кабалистическим представлениям Абулафии о языке оказалась диссертация «О комбинаторном искусстве» (On the Combinatorial Art) Готфрида Лейбница, написанная им в 1666 году в двадцатилетнем возрасте до того, как он стал признанным универсальным гением, проявившим себя в философии, логике, математике, механике, физике и даже юриспруденции, истории и дипломатии. В зрелом возрасте Лейбниц изменил свои взгляды на более здравые, когда в 1690 году диссертацию издали без согласования с ним, он выразил категорический протест.

NLP, данные и информация

Текст – это символьные данные, содержащие информацию, если текст обозрим, то человек без всякой помощи прекрасно справляется с решением задачи преобразования этих данных в полезную для себя информацию. Но в наше время объем текстов, доступных в цифровой форме, таков, что человек с ним справиться не может и возникает потребность в автоматизации этого процесса. Возвращаясь к иерархической модели DIKW, можно сказать, что NLP – это технология преобразования текстовых, она служит инструментом для интеллектуального анализа текстов (text mining, TM), для преобразования неструктурированного текста на естественном языке в нормализованные структурированные данные, которые можно хранить в базах или хранилищах данных и т. д. NLP сочетает методы лингвистики, математики и компьютерной науки и делится на две взаимодополняющие составляющие Natural Language Understanding (NLU) и Natural Language Generation (NLG).

Иногда NLU еще называют Natural Language Interpretation (NLI), подтверждая тот факт, что для перевода английского слова understanding в NLU можно использовать и русское слово интерпретация. Для понимания-интерпретации текстовые данные подвергаются синтаксическому анализу (parsing), делятся на более мелкие и простые части, над которыми могут выполняться какие-то иные операции с целью превращения этих данных в структурированные и извлечения из них полезной информации. NLG решает обратную задачу превращения структурированных данных в читаемый текст на разговорном языке, то есть в неструктурированный и неформатированный текст, такой текст называют plain text.

Три подхода к NLP

Можно выделить три основных подхода к NLP:

– Символьный подход предполагает использование лингвистических правил, записанных человеком.

– Статистический подход основан на распознавании образов в больших объемах текстов с целью «понимания» естественного языка.

– Коннекционистский подход сочетает элементы символьного и статического с использованием нейронных сетей.

NLP на основе символьного подхода

Сохранение, казалось бы, устаревшего символьного подхода в NLP имеет очевидную причину – язык является символьным по своей природе. С символьного подхода все началось и он существует до сих пор, поэтому в определенной мере сохраняют актуальность некоторые первые решения, основанные на логике, правилах и онтологиях как формах представления знаний. Время с конца 40-х – до конца 60-х ассоциируется главным образом с задачами машинного перевода (Machine Translation, MT), описанными в главе 3. По итогам широко известного Джорджтаунского эксперимента стало формироваться MT как новое научное направление, с 1954 началось издание журналов Mechanical Translation и Computational Linguistics, на протяжении 10 лет было проведено несколько крупных, в том числе международных конференций. В них участвовали самые заметные ученые того времени, среди которых был Марвин Минский и Ханс Лун, более известный как изобретатель алгоритма Луна (Luhn algorithm), используемого до сих пор для вычисления контрольной цифры номера пластиковой карты с целью выявления ошибок, вызванных непреднамеренным искажением данных.

Энтузиазм первопроходцев находился в явном противоречии с возможностями существовавших на тот момент компьютеров, напомним, что иных средств взаимодействия с компьютером кроме принтера перфокарт не существовало и вся работа осуществлялась в пакетном режиме. Решение задач MT требовало иного аппаратного обеспечения, поэтому возникали утопические проекты создания специализированных компьютеров для работы с нецифровыми данными. Несмотря на то, что ничего позитивного в области MT тогда достигнуто не было, важнейшим наследием первого периода NLP стали теоретические работы в области вычислительной лингвистики. В первую очередь следует отметить труды Нома Хомского (Noam Chomsky, 1928), еще одного потомка выходцев из Российской Империи.

Следующие 10–15 лет с начала 60-х напоминают недолгий, но яркий взлет экспертных систем, случившийся в интервале между двумя зимами AI. Он привел к вопросно-ответным системам NLP с их попытками использовать экспертные знания, эту волну можно назвать семанически-ориентированной. В 1961 году в МТИ создали систему Baseball, способную вести диалог, она понимала вопросы, относящееся к культовой в Бостоне бейсбольной команде Red Sox и могла давать подходящие ответы, система детально описана в статье Baseball: an Automatic Question-Answerer. Выбор в пользу бейсбола понятен – клуб Red Sox был и остается одним из символов Бостона. В конце 60-х там же в МТИ Терри Виноград (Allen Winograd, 1946), фамилия которого недвусмысленно подсказывает происхождение, создал программу для «понимания естественного языка». Она была написана на языке LISP для компьютера DEC PDP-6, снабженного графическим дисплеем, новинкой того времени. Необычное название SHRDLU взято от раскладки алфавитных клавиш наборных строкоотливных машина, их называли линотипами и массово использовали для механизации набора пока их не заменили компьютерами.

Пользователь мог общаться с SHRDLU приказами на простом английском, следуя им SHRDLU перемещала изображения простых объектов в упрощенном «мире блоков»: кубики, конусы, шары и так далее. Среда SHRDLU была настолько проста, что для описания действий хватало пятидесяти слов, таких как существительные «блок» или «конус», глаголов «помести на» или «перемести в» и прилагательных «большой» или «синий». Выражения из них были тривиальны, но создавалось впечатление, будто программа понимала то, что имел в виду пользователь. SHRDLU. Человек может попросить SHRDLU: «Положи зеленый конус на красный блок и затем сними конус». Человек также мог задавать вопросы об истории действий – например, может спросить: «Ты поднимала что-нибудь до того, как поднять конус?» Позже Виноград, уйдя из МТИ в Стэнфорд, дал вполне критическую оценку этой системе: «Я пришел к выводу, что успешность взаимодействия самым серьезным образом зависит прежде всего от интеллекта человека, и что существует множество иных способов взаимодействия с компьютером, который таким интеллектом не обладает».

В большей мере удача сопутствовала Уильяму Вудсу (William Woods, 1942) и его вопросно-ответной системе LUNAR, созданной в рамках космической программы Apollo содружеством ученых из МТИ и уникальной компании Bolt Beranek and Newman (BBN), получившей гораздо большую известность в качестве разработчика и производителя маршрутизаторов для сети ARPAnet. Эта система описана в опубликованном компанией BBN в 1972 году в отчете The Lunar Science Natural Language Information System.

Наиболее близка к практической реализации NLP была компания Artificial Intelligence Corporation, разрабатывавшая с 1975 года вопросно-ответную систему INTELLECT.

Однако идею создания вопросно-ответных систем на основе правил, задаваемых человеком (handwritten rules), в конечном счете постигла та же участь, что и первые попытки создания систем MT. Окончательно же судьбу вопросно-ответных систем не в их пользу решил Даг Энгельбарт, разработавший NLS (On-Line System), создатель манипулятора мышки и того, что мы сегодня называем презентациями, без чего не обходится ни одна лекция, ни одно публичное выступление. Энгельбарт смотрел на жизнь совершенно иначе, чем создатели вопросно-ответных систем, он не пытался заменить человека компьютером, уже тогда прекрасно понимая значение разделения функций между машиной и человеком. NLS строилась на принципе ETLANTU (Easy To Learn And Natural To Use), т. е. «легко изучить и просто использовать», и главное в ней – идея создания интегрированной интерактивной визуальной среды, адаптированной к нуждам пользователя.

Публике NLS была впервые представлена в 1968 г. на Осенней объединенной компьютерной конференции (Fall Joint Computer Conference). Именно там состоялся дебют основных составляющих системы, включая мышь. Отметим, что все это происходило в режиме телеконференции между залом и лабораторией в SRI. Появление современных человеко-машинных интерфейсов окончательно похоронило первое поколение вопросно-ответных систем, однако ему было суждено возродиться через полвека в образе разнообразных чат-ботов.

NLP на основе статистического подхода

В 90-х изменилась парадигма NLP – вместо превращения компьютера в инструмент для перевода или оперирования заложенными в память человеческими знаниями возникла идея использования его в качестве инструмента для автоматизации работы с текстами и извлечения информации из текстовых данных. Это направление получило название NLU. Один из известных подходов к извлечению скрытой в тексте информации основывается на статистике, достаточно вспомнить «Пляшущих человечков» Конан Дойла.

Математическую структуру текста начал изучать Андрей Андреевич Марков (1856–1922), использовав для этого первые 20 000 букв из «Евгения Онегина». В качестве эксперимента он поместил их в 200 таблиц 10х10, исключив из текста знаки препинания и пробелы, чтобы потом определить вероятность появления гласных и согласных. Он хотел убедиться в том, что появление буквы в том или ином месте не совсем случайно и подчиняется какой-то закономерности. Эта работа привела его к тому, что теперь называют цепью Маркова. Речь идет об анализе последовательности случайных событий с конечным исходом, где вероятность каждого события зависит от состояния, достигнутого в предыдущем событии, увязывая таким образом настоящее с будущим независимо от прошлого.

Основными импульсами к развитию статистического подхода стали, с одной стороны, возможность работы с большими объемами текстовых данных, доступными через интернет, а с другой – применение статистических методов для разбора с использованием алгоритмов динамического программирования. Успеху статистического подхода способствовал постоянный рост производительности, обычно связываемой с законом Мура и постепенная утрата доминантного положения лингвистической теории Хомского.

NLP на основе коннекционстского подхода

О коннекционистском подходе Connectionist Natural Language Processing (CNLP) начали говорить с конца 90-х и он активно обсуждается сейчас. Из названия следует, что это комплексный подход, уходящий корнями в физику психологию, физиологию, лингвистику биологию и инженерию. Стоящие на этом пути проблемы далеки от решения, поэтому иногда этот подход упрощенно сводят к сочетанию символического и статистического подходов.

Заключение

За короткий срок представление о том, что такое AI радикально изменилось, еще лет 10–15 назад под AI понимали область отвлеченных академических изысканий, а в общественном сознании доминировало навязанное авторами научной фантастики и футурологами представление о чем-то враждебном и опасном для человека или даже человечества в целом. Еще совсем недавно, в 2006 году к 50-ой годовщине Дартмутского семинара автором была написана статья с названием «Весна придет, когда не знаю», адресующим к зимам AI и с надеждой на благоприятные изменения. Предположить столь скорое наступление весны было совершенно невозможно. Наконец все стало на свои места – забыты мечты о Сильном AI, полный отказ от мыслей о конкуренции AI с человеком (competition) в сторону сотрудничества (coopetition). Апокалиптические прогнозы остались в прошлом, сейчас на самых разных уровнях об AI говорят как об одной из важнейших составляющих мирового рынка высоких технологий со всеми вытекающими из этого последствиями – рост производительности, улучшение условий и безопасности труда, возможность автоматизации в новых сферах и т. д.

AI освободился от приписываемой ему способности делать что-то самостоятельно. Анализ известных внедрений AI показывает, что только чатботы являются примером в некоторой степени автономного AI, скорее всего потому что это приложение не отличается большой сложностью. Во всех остальных случаях AI играет сугубо вспомогательную роль, ему отведено место умного помощника человека или, точнее, как говорили прежде, соработника. Именно так следует перевести принятый английский термин AI-coworker. Такому AI-коллеге можно передать ряд рутинных функций, освободив от них человека, оставив за ним более сложные, с элементами творчества. На редкость точно по этому поводу недавно написала Миранда Кац, автор журнала Wired: «Мы живем не в золотой век AI, а в золотой век повышения производительности труда человека средствами AI (AI-enhanced productivity)». AI-технологии становятся органичной частью современной производственной среды и даже среды обитания, где AI-коллеги в большинстве случаев материализованы как программные продукты и гораздо реже – как какие-то физические устройства. Нынешние экономические сдвиги связаны с качественно новым способом взаимодействия человека с машиной, прежде всего, в области анализа данных, применение AI-коллег освобождает человека функций, не требующих обладания серьезными когнитивными способностями. В такой области, как управлении бизнесом, это может быть реферирование, то есть чтение стандартных документов, выделение тех или иных показателей, перенос этих данных в электронные таблицы или базы данных. Основанное же на этих данных стратегическое и тактическое планирование, выбор и приятие решений остаются за человеком. Нечто подобное может иметь место и в других областях, от медицины до разработки ПО.

Как на этом прозаичном фоне отнестись к прошлому, к сложному пути, по которому исследователи AI шли путем метода проб и ошибок? К сожалению приходится признать, что из знаний в области AI, накопленных за первые 70 лет его истории, не осталось почти ничего полезного для нашего времени. Для объяснения этого явления возможно подойдет эмпирический закон полураспада знаний (half-life of knowledge), сформулированный австрийским экономистом Фрицем Махлупом (Fritz Machlup, 1902–1983), эмигрировавшим в Америку. Закон получил широкую известность благодаря книге популярного писателя и ученого Самюэля Арбесмана «Период полураспада фактов. Почему все, что мы знаем имеет конечный срок» (The Half-Life of Facts: Why Everything We Know Has an Expiration Date, 2012). В ней он приводит следующую статистику: наиболее долгий период полураспада знаний в медицине, он достигает 45 лет, а дальше по убывающей – в физике 13, в математике 9, в психологии 7. Нетрудно предположить, что в компьютерной науке он еще короче и тем более в AI.

Что же к таком случае остается? При распаде знаний остается наиболее существенное, можно предположить, что одним из долгоживущих AI останется предложенное Аланом Тьюрингом деление на два подхода «сверху-вниз» и «снизу-вверх». Они соответственно ассоциировалось с символьным AI и коннекционизмом, но сейчас по прошествии лет, накопив определенный опыт эти подходы можно назвать иначе – подход «сверху-вниз» ориентированным на модель (Model-driven AI, MDAI), а подход «снизу-вверх» ориентированным на данные (Data-driven AI, DDAI).

MDAI – это прямой наследник символьного AI (symbolic AI), строившегося исходя из так и не доказанной гипотезы о возможности создания программной модели искусственного мозга. Для организации процесса передачи знаний в модели использовались самые разные приемы, но все они страдают общими непреодолимыми недостатками – они чрезвычайно трудоемки в процессе создания и поддержки, зависят от человеческих ошибок (prone to human error), а в ряде случаев сложность такова, что человек попросту оказывается не в состоянии создать необходимую модель знаний. Например, если средствами MDAI решать задача распознавания, то следует сделать полную декомпозицию опознаваемого предмета, выделить все возможные признаки и разработать правила сравнения данных, заложенных в модель с распознаваемым изображением. В экспериментах по распознаванию геометрических фигур такой подход был возможен, но для предметов из реального мира требуемое количество признаков и признаков и слишком велико. Поэтому MDAI неприменим к популярным сейчас компьютерному зрению и к работе с текстами на естественном языке.

Однако модели были и остаются важным инструментом исследования, самых разных научных и технических областях создатели моделей стремятся приблизить их как можно ближе к природе, к реальной жизни, но при этом осознанно принимают во внимание их ограничения. На модели, например, можно оценить аэродинамику, но не все особенности поведения летательного аппарата в воздухе. Возможности моделей ограничены, показателен следующий афоризм британского статистика Джорджа Бокса (George Box, 1919–2013): «В сущности, все модели неправильны, но некоторые полезны».

Своим высказыванием Бокс открыл многолетнюю дискуссию о значении моделей, которую статистики ведут более 40 лет. Если существует сомнение в справедливости статистических моделей, имеющих под собой серьезную математическую основу, то что говорить об эмпирических моделях мозга? Нет ничего удивительного в том, что MDAI на данный момент никаких практических перспектив на будущее не имеет. Но ни от чего нельзя зарекаться, не исключено, что в будущем станет возможен компромисс между MDAI и DDAI, но для этого нужны методы, обеспечивающие автоматизацию при создании моделей.

Подход DDAI – продолжение коннекционизма, он назван так, потому что в данном случае AI строится на скрытых знаниях (tacit knowledge), самостоятельно излеченных машиной из предъявляемых ей данных в процессе обучения AI, такой процесс можно назвать автоматизированной излечения информации или знаний. Как любая автоматизация, DDAI гарантирует независимость от человеческих ошибок. DDAI того, что реально делается в AI-индустрии, «AI, который работает» (AI that works). Причина доминирующего положения DDAI имеет вполне очевидные объяснения – это доступное по цене и обладающее высокими показателями аппаратное обеспечение (серверы, процессоры и системы хранения) и успехи в программном обеспечении, реализующем машинное обучения (ML), и искусственные нейронные сети (ANN). Лет 10 назад настал момент, когда сложились условия для воплощения DDAI и после этого «процесс пошел». Ускоренное развитие методов DDAI стало стимулом к созданию новых программных и аппаратных технологий и далее, буквально на глазах складывается система с положительной обратной связью, где новые компьютерные технологии открывают более широкие перспективы для AI, а развитие AI стимулирует развитие технологий. Синергия AI и технологий позволяет качественно расширить сферу автоматизации. В отчете McKinsey «Четыре столпа автоматизации рабочих мест» (Four fundamentals of workplace automation) показано, что существовавшие до сих пор традиционные технологии позволяют автоматизировать не более 5 % рабочих мест, а с использованием методов DDAI количество автоматизируемых рабочих мест возрастет до 60 %, а уровень автоматизации составит порядка 30 %.

Для создания обложки использованы материалы Wikipedia

https://ru.wikipedia.org/wiki/%D0%9F%D0%B8%D1%82%D1%82%D1%81,_%D0%A3%D0%BE%D0%BB%D1%82%D0%B5%D1%80#/media/%D0%A4%D0%B0%D0%B9%D0%BB: Lettvin_Pitts.jpg

https://en.wikipedia.org/wiki/Marvin_Minsky#/media/File: Marvin_Minsky_at_OLPCb.jpg

https://en.wikipedia.org/wiki/Frank_Rosenblatt#/media/File: Rosenblatt_21.jpg

https://en.wikipedia.org/wiki/Ramon_Llull#/media/File: Ramon_Llull.jpg

Content

Леонид Черняк
Об ИИ без мифов. Путеводитель по истории Искусственного Интеллекта

Введение

О названии, терминологии и дискурсивных полях

О терминологии

О дискурсивных полях

Глава 1 AI – От мечты к обыденности

Три типа представлений об AI

Тьюринг и AI

О Тесте Тьюринга

Статья «Вычислительные машины и разум»

«Умная машинерия» и два подходах к AI

Проблема души и тела (психофизиологическая проблема) и эффект AI

Как забытый было AI снова оказался в центре общественного внимания

Новые скептики

Особености третьей волны

О компьютерах и AI

О реальных перспективах AI

AI и автоматизация

История интеллектуальных помощников

AI и бизнес

Глава 2 Предпосылки к созданию AI

AI в сказаниях и научной фантастике

Научная фантастика и AI

Механика: от автоматонов до программируемых ткацких станков

Чарльз Бэббидж – автор идеи автоматизации вычислений

Электроника и первые компьютеры

Нейрофизиологические предпосылки к созданию AI

Глава 3 AI до Дартмутского семинара

Компьютерные шахматы

Первые попытки машинного перевода

Логические программы и гипотеза Ньюэлла и Саймона

Первые диалоговые программы

Глава 4 Символьный подход к AI, от восхода до заката

Символьный подход в Эпоху Возрождения

Логические машины XIX века

Дартмутский семинар и миф о рождении AI

Подготовка к семинару

Крестины AI

После Дартмутского семинара

Большие ожидания

Ранняя критика AI

Отчет Лайтхилла

Первая зима AI

Экспертные системы и Вторая зима AI

Исторически значимые ES

Японские компьютеры пятого поколения

Взгляд на символьный AI с современных позиций

Глава 5 Дуэт «Мак-Каллок и Питтс» и рождение кибернетики

Мятежный гений

На научном ранчо

Работа в Чикагском университете

Вундеркинд из трущоб, ставший лучшим учеником Винера

На пути к кибернетике

О кибернетике

Кибернетические конференции Мэйси

Период МТИ

Кибернетика после конференций Мэйси

Лжекибернетика

Глава 6 Нейронные сети и машинное обучение

Предшественники коннекционизма

История современного коннекционизма

Предыстория и первые шаги машинного обучения

Обучение по Хеббу

Персептрон Розенблатта

Нейрон MCP на мемисторах

Метод обратного распространения ошибок

Сверточные сети

Вторая волна коннекционизма и модель Изинга

Машина Больцмана

Канадская мафия

Инакомыслящие

Трансферное обучение

Генеративно-состязательные сети

Глава 7 Роботы и умные машины

Роботы-автоматоны XX века

Роботы и лабиринты

Две школы робототехники

Телероботы

Интеллект роя

Промышленные роботы

Экзоскелеты, манипуляторы и короботы

Чатботы и виртуальные помощники

Умные машины и киберфизические системы

Умное производство

Умное энергоснабжение

Умные сооружения

Умный транспорт

Глава 8 Данные и AI

Данные и информация

Шенноновская теория информации

Данные и их содержание

Взаимосвязь между данными и информацией, пирамида DIKW и ее значение для AI

Данные и наука о данных

Несколько слов о data mining

Метаданные и гипертекст

Data Labeling

Глава 9 Два основных направления в AI – компьютерное зрение и средства для работы с текстом на естественном языке

История компьютерного зрения

Ошибка Папперта

Нейрофизиологические предпосылки к CV

Первые практические шаги

Начало современной истории CV

CV в XXI веке

Проблема умного железа

История NLP

Предыстория NLP

NLP, данные и информация

Три подхода к NLP

NLP на основе символьного подхода

NLP на основе статистического подхода

NLP на основе коннекционстского подхода

Заключение