Хелен Папагианнис

Дополненная реальность. Все, что вы хотели узнать о технологии будущего

Helen Papagiannis

AUGMENTED HUMAN

© 2018 Eksmo Publishing Company

Authorized Russian translation of the English edition of Augmented Human ISBN 9781491928325 © 2017 Helen Papagiannis

This translation is published and sold by permission of O’Reilly Media, Inc., which owns or controls all rights to publish and sell the same.

© Михайлов В.Г., перевод на русский язык, 2017

© Оформление. ООО «Издательство «Эксмо», 2019

Об авторе

Хелен Папагианнис – признанный во всем мире эксперт в области дополненной реальности, уже более десяти лет работающая в этом направлении как исследователь, разработчик и технологический евангелист. Была руководителем по инновациям в Infinity Augmented Reality Inc. и старшим научным сотрудником в лаборатории дополненной реальности Йоркского университета в Торонто. Хелен Папагианнис – спикер TEDx, ISMAR и ISEA. Ее лекция на TEDx в 2011 г. попала в десятку самых рейтинговых видеороликов о дополненной реальности, а в 2016 году она вышла в финал престижной «Всемирной технологической премии». До того, как она начала заниматься исследованиями в области дополненной реальности, Хелен сотрудничала с дизайн-бюро Bruce Mau Design, где возглавляла проект «Значительные изменения: будущее глобального дизайна», организовала новаторскую выставку и участвовала в написании бестселлера, посвященного новейшим изобретениям и технологиям, изменяющим мир.

Вводное слово

Подлинность новых купюр в 200 и 2000 рублей можно проверить с помощью мобильного приложения дополненной реальности. Наводите камеру телефона – и готово. Этой новости уже несколько месяцев, так почему же я решила начать с нее? Само по себе приложение – скорее забава, чем серьезная разработка, но мне кажется, это отличная иллюстрация того, что дополненная реальность уже стала частью нашей жизни, если такие структуры, как Гознак РФ, используют ее и если это касается такой консервативной сущности, как деньги. Или еще один пример: мой 12-летний сын ходит в кружок по программированию на Unity (это самый популярный движок, в котором работают разработчики дополненной реальности). И это в общем-то рядовой факт для московского школьника в наши дни: кто-то ходит на баскетбол, а кто-то – «на Unity».

Одно из ключевых свойств технологии – улучшать жизнь, незаметно, органично и естественно для человека. Вы думаете, что это все еще фантазия про будущее, а она уже в вашем кармане, доступна на самых ходовых версиях Android и iPhone.

В России работает порядка 20 компаний, которые занимаются дополненной реальностью (Augmented Reality, AR), в том числе и компания Formika Lab. Одни создают hardware – «железо», – и будет здорово, если их идеи по созданию AR-устройств (очков дополненной реальности) или платформ смогут конкурировать с идеями Microsoft, Apple или Google. Победить такие корпорации почти невозможно, но вполне реально придумать «фичу», которую те купят.

Большая же часть AR-компаний (и мы в том числе) думает не столько о создании технологии (она уже есть и будет стремительно развиваться), сколько о ее грамотном использовании. Она должна быть полезной для людей и экономически целесообразной для компаний. И вот здесь есть где развернуться.

Автор книги, которую вы держите в руках, Хелен Папагианнис пишет про AR: «Не слишком часто рождается совершенно новая среда», – и, ссылаясь на главу Apple Тима Кука, добавляет: «AR – такая же значительная идея, как смартфон». Мне, как разработчику дополненной реальности, этот тезис, конечно, нравится. И я верю в колоссальный потенциал разработки, которая, к слову, и существование самого смартфона может сделать ненужным. AR сейчас требует использования устройств (очков или телефона), но в будущем достаточно будет голоса или даже сигнала вашего мозга.

Чем хороша книга «Дополненная реальность»? Тем, что она не столько о технологии, сколько о человеке. Она подходит для широкого круга читателей. Но, думаю, ее любопытно будет прочитать и разработчикам. AR принято считать визуальным инструментом: дополненная реальность дает нам «новые глаза». Но также – и на это обращает внимание Хелен – она дает нам новые уши, нос, цифровую тактильность.

Любопытно, что одной из первых сфер, где стали активно использовать виртуальную и дополненную реальность, стала медицина. Еще в 1996 году было создано приложение виртуальной реальности (Virtual Reality, VR) для снятия боли у пациентов. Отсутствие зрения, слуха, возможности говорить и передвигаться привели к большому количеству изобретений в области AR и VR. Автоматически раздвигающиеся двери не выглядят так, будто их создали для людей с ограниченными возможностями. Но это именно так. Продолжая аналогию: и другие технологические идеи, созданные для преодоления физических ограничений, способны существенно расширить способности здоровых людей. Тело – это, пожалуй, самый «естественный» интерфейс, который у нас есть.

В книге собраны десятки примеров приложений, способных передавать звуки, запахи, вибрации. Лаборатории по всему миру работают надо созданием продуктов, способных напрямую обращаться к отдельным участкам мозга. Главная рекомендация, которую могу дать: при прочтении вооружитесь ноутбуком и телефоном, не поленитесь посмотреть видео экспериментов и попробуйте установить описанные здесь приложения. Так ваше погружение в тему будет более увлекательным.

И позволю себе еще один совет: читайте о технологиях, интересуйтесь новыми разработками и идеями. Это новая грамотность. Нам повезло жить в мире, который стремительно меняется за счет повсеместного распространения различных технологий. Все-таки лучше понимать, как они работают.

Екатерина Дегай, директор Formika LAB, российской компании, специализирующейся на дополненной и виртуальной реальностях, апрель, 2018 г.

Предисловие

Когда Хелен сказала мне, что собирается издать эту книгу, я вызвался (а если точнее, попросил ее) написать это предисловие. На тот момент я еще не успел прочитать ее рукопись и понимал только основной замысел того, что она намеревалась рассказать, но, зная ее репутацию в ученых кругах, я понимал, что эта работа будет очень точной и содержательной.

Многие люди трудились совместно для того, чтобы создать эту новую технологию. Долгие годы ее рассматривали как нечто новое, как технологию, применение которой еще не найдено. Недостаточная известность ограничивала возможности по ее распространению, без чего нельзя было привлечь необходимые инвестиции и, в конечном счете, сделать дополненную реальность экономически жизнеспособной и широко распространенной. Поводом для написания мною настоящего предисловия является то, что я был одним из так называемых пионеров, которые находились у истоков разработки AR.

Для меня это путешествие началось 52 года назад, когда я служил офицером ВВС США на авиабазе Райт-Паттерсон, где работал над созданием кокпитов для истребителей и других военных машин. Моя задача состояла в том, чтобы решить проблему получения и передачи пилотом диапазона частот, обрабатываемых или пропускаемых авионикой, с учетом сложности систем, c которыми они работают в напряженной и опасной обстановке. Эта проблема побудила меня начать поиск возможностей дополненной реальности, помогающих пилотам управлять самолетами на более высоком уровне восприятия. Идея состояла в том, чтобы собрать и отобразить информацию в виде виртуальных изображений, спроецированных и наложенных на находящуюся в поле зрения пилота картинку, используя специальные устройства, расположенные в шлеме. Позже в рамках этих исследований я также занимался проблемами виртуальной реальности (сокр. VR от англ. «virtual reality»).

Теперь, когда технологии AR и VR практически сформировались (это заняло больше времени, чем я ожидал), моя миссия как создателя соответствующего инструмента подходит к концу. Пришло время передать переходящее знамя Хелен и ее команде. Одно дело – создать новый инструмент, но еще важнее – суметь его использовать. В конце концов, результат – это самое главное.

Как я уже отметил, Хелен Папагианнис проделала значительную работу в ходе написания этой заслуживающей внимания книги. В ней закладывается основа для понимания термина «дополненная реальность» с ее различными формами; здесь вы найдете систематический подход и классификацию приложений, а также описание самого предмета исследования и используемых на его базе приложений (и их создателей). Но автор не останавливается на этом. Складывая мозаику из своих рассуждений, Хелен подводит нас к пониманию того, что AR – это необычная технология. Это не просто новый инструмент – это способ дополнить человека. Применение этой технологии не предполагает изоляцию от реального мира, как, например, телевидение, фильмы или виртуальная реальность, а, наоборот, позволяет дополнить реальный мир, усиливая тем самым эффект восприятия. С этого ракурса она показывает нам, что AR несет в себе потенциал для развития и что наше представление о перспективах этой технологии пора расширять.

Если говорить о потенциале технологии AR, необходимо отметить, что она может повысить уровень нашей свободы при помощи, например, нелинейного повествования и альтернативных реальностей, изменяющих само физическое восприятие. Как пишет Хелен, нам нужно отбросить старое мировосприятие.

Автор книги предвидит в ближайшем будущем целый поток открытий в области того, что она называет «человек дополненный». Несомненно, ее слово не последнее в этом вопросе, и это важная и необходимая веха в одиссее по дополнению человека.

Я особенно ценю понимание и чуткость Хелен по отношению к роли создателей (или «операторов чудес», как она их называет) как стимула в развитии технологии. Исходя из моих собственных наблюдений, нет какого-то одного сообщества, которому принадлежит это пространство. Это место как для рассказчиков и художников, так и для инженеров и ученых, работающих в области компьютерных наук. Надеюсь, что эта технология станет «невидимой», так что применять ее в будущем станет еще легче.

Я присоединяюсь к выводу, который делает Хелен в конце этой книги, что нам нужно работать вместе, как единая цивилизация, для того чтобы максимально эффективно использовать инструменты нашего времени, возвысить человечество и вдохновить всех на позитивные изменения в мире. Поскольку в конечном итоге мы должны ответить на единственный вопрос: станет ли дополненная жизнь лучше обычной?

Том Фернесс, основоположник технологий AR/VR и основатель Virtual World Society, июль 2017 г.

Введение

Почему я написала эту книгу

Двенадцать лет назад я впервые осознала возможности дополненной реальности как нового инструмента коммуникации. Это была чистая магия: виртуальный трехмерный куб возник вокруг меня, что меня абсолютно поразило. Дополненное изображение куба не было интерактивным в то время (оно не делало ничего, кроме как появлялось), однако это заставило меня задуматься о том, как AR может расти и развиваться. Начиная с этого момента я посвятила свои исследования и публичные выступления новым возможностям, которые открываются благодаря технологии AR.

Я написала эту книгу, потому что стала свидетелем того, как фокус в работе с этой технологией наконец смещается с нее самой к разработке классного контента и поиску новых возможностей применения AR. Эта книга посвящена как раз таким «большим идеям» и новым необычным проектам на основе дополненной реальности. Пришло время представить, смоделировать и начать воплощать в жизнь наше чудесное будущее.

По мере того, как AR развивается, мы должны задаться вопросом: как дополненная реальность может усовершенствовать жизнь пользователей, сделать ее проще и лучше? Основатель Медиалаборатории Массачусетского технологического института (МТИ) Николас Негропонте однажды сказал: «Компьютеризация – это уже не о компьютерах. Это о жизни». Аналогично и AR – это понятие, подразумевающее теперь не только технологию, но и реальную жизнь и ее наполнение новым волшебным и необычным опытом. В этой книге рассказывается о том, как AR обогатит нашу повседневную жизнь и беспрецедентным образом расширит человеческие возможности.

Кто должен прочитать эту книгу

Совершенно новая среда появляется редко. Вы должны прочитать эту книгу, если вы создатель, исполнитель или исследователь, прокладывающий путь там, где пока нет рельсов, и хотите внести свой вклад в эту стремительно развивающуюся отрасль. Вас также должна заинтересовать эта книга, если вы относите себя к продвинутым пользователям, открытым для всего нового.

Для того чтобы понять содержание этой книги, не требуется обладать какими-то специфическими знаниями об AR. Для достижения наилучшего эффекта я рекомендую познакомиться с технологией AR самостоятельно на конкретном примере (в идеале на нескольких примерах), включая любые приложения, упомянутые на страницах этой книги.

Структура книги

В главе 1 дается классическое определение AR образца 1997 года, а также ее эволюция вплоть до сегодняшнего дня и тенденции развития. В этой главе представлены новые горизонты AR, которые делают возможными новое пространственное восприятие и новые ощущения. Благодаря этому опыт использования дополненной реальности становится более захватывающим, интегрированным и интерактивным.

В главе 2 рассказывается о том, как компьютерное зрение дает нам «новые глаза» и перспективы для взаимодействия с миром, начиная с художественных инсталляций и заканчивая роботами и беспилотными автомобилями, помогающими людям с ослабленным зрением.

Глава 3 посвящена исследованиям инноваций в области тактильных технологий (тактильная обратная связь) для синхронизации того, что мы видим, с тем, что мы чувствуем, и для создания новых путей взаимодействия с использованием сенсоров.

Помимо использования звука для навигации и повествования, в главе 4 рассматриваются подходы к расширенному звуку и описываются «беспроводные наушники-вкладыши» (аудиогарнитура, помещаемая в ухо), которые меняют способ восприятия вами окружающей среды и позволяют окружающей среде «слышать» вас.

Из главы 5 вы узнаете о такой растущей области научных исследований, как цифровые запах и вкус – о новейших прототипах и разработке продуктов, дополняющих возможности обмена информацией с миром, усиливающих ощущения от развлекательных приложений, углубляющих наши знания об окружающей среде и влияющих на качество жизни в целом.

В главе 6 мы узнаем о том, как технология AR открывает впечатляющие перспективы для повествования и информирования людей, познакомимся с уже существующими разработками в этой области и узнаем, куда нас приведут грядущие изобретения.

В главе 7 рассматривается, как аватары, интеллектуальные агенты, новые объекты и материалы в реальном времени видоизменяют контекст таких привычных процессов, как обучение, развитие, прогнозирование.

В главе 8 рассказывается о том, как человеческий организм можно дополнить различными технологиями, от электронных тканей до встроенных в организм интерфейсов, контролируемых мозгом.

В главе 9 приводится десять категорий современных экспериментальных AR технологий, которые, возможно, изменят ближайшее будущее и даже смогут привести все человечество к невиданному прогрессу.

Глава 1. Новая волна реальности

Очень скоро вы войдете в новую реальность. Здесь мир дополняет вас, подстраиваясь под ваше окружение, предпочтения и потребности. Реальность становится гибкой, изменчивой и высоко персонализированной; все это настраивается и управляется вами. Весь мир в одно мгновение становится изменяемым, нарушая коммуникационные барьеры и создавая новое сенсорное сознание, которое коренным образом меняет зрение, слух, осязание и обоняние. Правила старого мира больше не применимы. Портативные компьютеры, датчики и интеллектуальные системы расширяют человеческие способности и наделяют нас сверхспособностями.

Это новая Дополненная Реальность. Вы готовы?

В этой книге я расскажу вам о дополненной реальности, о возможностях и перспективах развития этой технологии. Я продемонстрирую вам возможности нового цифрового измерения и покажу, как функционирует эта среда. При этом вам не придется оставлять свою физическую реальность. Цифровые изменения уже вошли в ваш мир.

Позвольте мне объяснить. Эта книга не о виртуальной реальности (VR), но научиться различать AR и VR все же необходимо. Для использования технологии VR нужно надеть специальную гарнитуру, которая полностью блокирует физическое восприятие, заменяя реальный мир измененной компьютерной средой.

Приложение SnowWorld, разработанное в лаборатории Технологии человеческих интерфейсов (сокр. HIT, от англ. Human Interface Technology) Университета Вашингтона в 1996 году Хантером Хоффманом и Дэвидом Паттерсоном, было первой программой, погружающей в мир VR, призванной снизить болевые ощущения у взрослых и детей. SnowWorld был разработан специально для того, чтобы помочь в лечении пациентов с ожогами и уходе за ними. Хоффман объясняет[1], как технология VR помогает облегчить боль, отвлекая пациентов от реального мира:

Боль требует сосредоточения внимания. Суть VR заключается в том, что при ее использовании пользователь переносится в компьютерную среду. Погружение в другой мир задействует много когнитивных ресурсов, отвлекая мозг от обработки сигналов о боли.

Технология VR основана на иллюзии погружения в иное пространство и время, которые, как правило, сильно отличаются от реальности. В технологии AR вы не покидаете реальный мир, и виртуальная составляющая вливается в ваше окружение посредством прозрачных цифровых очков, смартфона, планшета или портативного компьютера. Вы по-прежнему будете видеть и ощущать реальный мир вокруг себя всеми органами чувств, но теперь он расширен при помощи цифровых технологий и изменяем.

Одним из первых приложений с применением технологии дополненной реальности было Word Lens[2]. Представьте себе путешествие в страну, местным языком которой вы не владеете. Заказать блюдо из меню или понять информацию на дорожных знаках без чьей-то помощи может оказаться трудной задачей. С помощью Word Lens вы можете навести ваш смартфон на напечатанный текст на иностранном языке и тут же перевести его на выбранный вами язык. И, таким образом, благодаря технологии AR вы глубже погружаетесь в новую среду.

На технологию VR есть свой специфический спрос, но AR позволяет нам глубже погружаться в реальный мир и быть с ним теснее связанными – мир, в котором мы проводим большую часть нашего времени. Как и в случае с VR, мы должны осознавать, что расходуем наши «ресурсы внимания» для восприятия информации из дополненной реальности, но вместе с тем мы не отстраняемся от окружающего мира или друг от друга. Нужно отдавать себе отчет в том, что в центре этой новой среды находится сам человек. Главная цель всего этого – не потеряться во всевозможных устройствах, но дополнить нашу действительность технологическим фоном, продолжая при этом жить реальной жизнью.

Что такое дополненная реальность?

Наиболее распространенное определение AR звучит так: цифровое наложение на реальный мир, выраженное в компьютерной графике, тексте, видео или аудио, которое является интерактивным в реальном времени. Технической оболочкой для дополненной реальности является смартфон, планшет, компьютер или AR-очки, оснащенные специальным программным обеспечением и камерой. Вы можете использовать AR, чтобы найти и идентифицировать звезды и планеты[3] в ночном небе или узнать больше про музейные экспонаты с помощью интерактивного AR-гида[4]. AR предоставляет возможность лучше понять наш мир и почувствовать его совершенно по-иному.

Краткое определение AR, используемое по настоящее время, было дано в 1997 году пионером этого направления Рональдом Азума, и звучит оно следующим образом: «AR позволяет пользователю видеть реальный мир с виртуальными объектами, наложенными полностью или частично на объекты реального мира. Поэтому AR дополняет реальность, а не полностью заменяет ее»[5].

Технология AR заключается в накладывании виртуальных образов на сфокусированный реальный предмет с помощью камеры и программного обеспечения на включенном устройстве, таком как смартфон. В качестве предметов из реальной жизни могут быть выбраны знаки, изображения, объекты, звуки, местоположение или даже человек. Исходные данные обрабатываются с помощью программного обеспечения и сравниваются с базой данных потенциально соответствующей информации. Если есть совпадения, запускается технология AR, и дополненный контент накладывается поверх реальности.

Согласно определению, данному Рональдом Азума, дополненная реальность включает в себя следующие три характеристики:

• объединяет реальный и виртуальный миры;

• интерактивна в режиме реального времени;

• обеспечивает распознавание в трех измерениях (3D).

Распознавание, третья характеристика, состоит в том, чтобы эффективно вписывать трехмерные виртуальные объекты в реальный мир. Без точного распознавания иллюзия существования виртуальных объектов в реальном мире будет нарушена и эффект реалистичности не будет достигнут. Так, если виртуальная AR-лампа парит над вашим столом, а не стоит непосредственно на столе, то такой технический сбой разрушает иллюзию того, что эта лампа действительно находится в вашем пространстве (если только не допустить, что в вашем офисе завелись призраки). Зато если к какому-то виртуальному объекту добавить, например, тень, он станет для вас более правдоподобным, поскольку будет иметь характеристики окружающей физической среды.

Как развивается AR

То, чего, по моему мнению, не хватает в этом описании сегодня и что отличает следующую волну развития AR, – это контекст. Контекстная информация преобразует наш опыт взаимодействия с AR, поскольку теперь с одинакового опыта для всех пользователей дополненная реальность сместилась в сторону персонализированного опыта, учитывающего ваши расположение, интересы и потребности. Контекст основывается на характеристиках получаемой из внешнего мира наиболее важной информации и подстраивается под вас, накладывая соответствующие образы поверх реального мира.

Контекстное распознавание технологии AR не только должно позволять лампе выглядеть так, будто она действительно находится на столе (как говорилось в определении 1997 года). Технология должна обеспечивать появление лампы тогда, когда вам требуется больше света, или выключать свет, когда вы уходите с работы. Технические аспекты этой задачи будут решены в ближайшее время, и, хотя эта сторона продолжит оставаться важной, фокус в дальнейшем сместится на вопросы значимости и эффектности получаемого пользователем опыта по дополнению реальности.

Процесс поиска целей усложняется и теперь заключается не просто в распознавании цели, выбранной из статичной библиотеки вещей, как, например, изображение динозавра в учебнике, запускающее трехмерную модель динозавра, отображаемую в дополненной реальности. Сегодня эта трехмерная модель может изменяться, подстраиваясь под такие факторы, например, как уровень знания предмета каждым из учеников или даже их индивидуальные особенности восприятия информации. Так, в следующий раз, когда ученик откроет книгу, AR изображение динозавра изменится с учетом нового изученного материала. Технология дополненной реальности становится живой, «дышащей» базой данных: взаимодействие факторов внешнего мира и дополненной среды, изменяющихся в реальном времени, позволяет технологии адаптироваться под ваши индивидуальные особенности, исходя из имеющихся данных.

Уже давно пора переосмыслить значение технологии AR и ее возможное применение, учитывая, что в настоящее время она вышла за рамки чисто теоретических рассуждений и получает все больше практического применения. Раньше для использования AR требовалось специальное оборудование, которое было громоздким и неудобным. Но сегодня, благодаря тому, что современные смартфоны оснащены огромным количеством датчиков, технология AR стала доступна практически каждому. В дальнейшем дополненная реальность будет применяться все чаще, например в незаметных портативных компьютерах, встроенных в одежду, очки или даже вшитые под кожу человека.

Крупные компании, такие как Apple, Facebook, Microsoft, Google и Intel, пристально наблюдают за дополненной реальностью и инвестируют в ее будущее, привлекая к ней массовую аудиторию. Генеральный директор Facebook Марк Цукерберг называет AR «новой коммуникационной платформой». Он пишет: «Мы считаем, что настанет день, когда дополненная реальность станет частью повседневной жизни для миллиардов людей»[6].

Генеральный директор Apple Тим Кук считает[7], что AR – это «настолько же значительная идея, как смартфон». Кук говорит: «Я думаю, что потенциал AR настолько велик, что его можно назвать огромным. Я очень впечатлен возможностями дополненной реальности, они могут улучшить жизнь многих людей и сделать ее более насыщенной». В 2017 году на ежегодной Всемирной конференции разработчиков (WWDC) компания Apple представила ARkit, передовую платформу для разработки приложений AR для iPhone и iPad. В Докладе WWDC Крейг Федериги, старший вице-президент Apple по разработке программного обеспечения, назвал ARkit «самой распространенной платформой AR в мире»[8].

AR – это расширение ощущений человека, и эта технология не будет развиваться изолированно. Реальный эффект AR будет заключаться в том, что она станет основой для создания среды, сочетающей в себе также другие новейшие технологии, такие как портативные компьютеры, датчики, Интернет вещей (сокр. IoT от англ. «Internet of Things»), машинное обучение и искусственный интеллект.

Первая волна AR, которую я называю «наложение», была связана с наложением цифровых образов поверх реальности. В качестве примеров «наложения» можно привести трехмерную модель бейсболиста, возникающую на бейсбольной карточке, или виртуальную игру-викторину, появляющуюся на картонной подставке для кружки в баре. Эти проекты практически не имели вариаций и не менялись, если вы взаимодействовали с ними повторно; типичный одинаковый контент, не вызывающий у пользователя желания обратиться к нему снова. Часто для такого рода приложений также требовалось загрузить и распечатать определенное изображение для фокусировки, распознавания и запуска дополненной реальности.

Вторую волну AR я называю «Проникновение». Это новое поколение является более захватывающим, интегрированным и интерактивным по сравнению с первым. Ключевое различие между «Наложением» и «Проникновением» (в котором собственно и заключается секрет получения впечатляющего опыта взаимодействия с AR) – это вы. Вы являетесь движущей силой в «Проникновении». Вы – это контекст, определяющий дополненную реальность.

В отличие от «Наложения», технология этой волны выходит за рамки использования напечатанных объектов к новому пониманию пространства и глубокому погружению в окружающую среду. Весь мир становится объектом трекинга. При переходе к технологии «Проникновения» снимаются ограничения «Наложения» и возникает возможность для сенсорного и более тесного взаимодействия как с внешним миром, так и друг с другом.

Новые сенсорные смартфоны, поддерживающие технологию AR, такие как Lenovo Phab 2 Pro и Asus ZenFone AR, использующие в работе технологию AR от Google под названием Tango, – отличные пример того, как работает «Проникновение». Технология Tango включает в себя отслеживание движения и восприятие глубины, позволяя устройству ориентироваться в физическом пространстве подобно тому, как это делают люди.

Когда вы держите устройство и перемещаете его по комнате, камера, распознающая глубину, фиксирует то, что расположено рядом, и может определять физические границы и местоположение предметов вокруг. Оно способно определить, где находятся стены, пол и даже мебель. В недалеком будущем такие технологии, как Tango, позволят по-новому взглянуть на привычные повседневные действия, такие как, например, рассказывание ребенку сказки на ночь. Представьте себе, что кровать превращается в виртуальный джип для сафари, и обезьяна прыгает с комода на лампу, в то время как лев крепко спит на комоде. Ваша физическая среда, переплетаясь с виртуальным дополнением, погружает вас внутрь самой истории.

Проникновение в ваши чувства

Kinect от Microsoft позволил технологии AR сделать большой шаг вперед в области распознавания целей в реальном мире. Kinect сыграл важную роль в этом, сделав человека частью AR, благодаря отслеживанию движений тела. До Kinect цели для распознавания AR были, как правило, статичными и ограничивались напечатанными изображениями. Эта технология сделала AR более интерактивной и позволила распознавать не только ваши действия, но даже выражение лица и эмоции. (В главе 2 рассказывается, как компьютерное зрение усовершенствовало AR и как оно позволяет нам по-новому взглянуть на мир через эти новые «глаза».)

Изобретатель Kinect Алекс Кипман (он же изобрел AR-гарнитуру Microsoft HoloLens) описывает[9]влияние Kinect, как «монументальный сдвиг от компьютерной индустрии из того старого мира, в котором мы должны были понимать технологии, в новый мир, где технологическая составляющая растворяется и начинает понимать нас». Технология AR не только распознает нас и окружающую среду, но и начинает распознавать нашу деятельность и реагировать на нас. Взаимодействие с технологией становится более естественным, так как технологическая составляющая исчезает и ощущения выходят на передний план. Это и есть «Присутствие».

«Присутствие» обеспечивает новый уровень погружения: от эффекта технологии «Наложения» мы переходим на новый уровень, на котором благодаря взаимодействию технологии со всеми нашими чувствами, мы оказываемся в более многомерном пространстве. Взаимодействие со всеми остальными человеческими чувствами, помимо зрения, будет играть наиболее важную роль в следующей волне AR. Например, дополненный звук часто сопрягается с визуальными эффектами, но звук может использоваться в AR и самостоятельно, без визуальной составляющей, или даже интегрироваться с элементами воздействия на другие органы чувств. В дополнение к визуальному и аудиальному восприятию, в настоящее время AR может воздействовать на осязание, обоняние, вкусовые рецепторы и даже создавать новые ощущения (более подробно об этом вы можете прочитать в главах 3, 4 и 5).

«Проникновение» – это технология AR, создающая новый гибридный режим, который объединяет реальное и виртуальное. AR наполняет физический мир цифровыми свойствами, а виртуальный мир становится осязаемым. Технология дополненных тактильных ощущений воздействует на чувство осязания человека за счет изменения давления воздуха, деформируемых экранов и специальных контроллеров. Например, AR позволяет протянуть руку и погладить виртуальную кошку, ощутив прикосновение к ее шерсти и вибрацию от мурлыкания.

Благодаря технологии AR также возможно создание вкуса и запаха с использованием таких устройств, как, например, Electronic Taste Machine[10] и Scentee – оба изобретены Эдрианом Дэвидом Чоком, профессором, изучающим полную информатизацию в Университете Лондона. Scentee – небольшое устройство, подключаемое к аудиоразъему смартфона и позволяющее отправлять сообщения, которые источают определенный запах. Electronic Taste Machine благодаря использованию металлических датчиков может передать на ваш язык разные вкусовые ощущения – от кислого до горького, соленого или сладкого, в зависимости от типа электрического тока, проходящего через электрод. В результате этого в мозг передается виртуальное ощущение вкуса.

Чокхочет, чтобы мы могли взаимодействовать с компьютерами так, как мы это делаем в реальном мире, используя при этом все пять чувств. Он объясняет[11]:

Представьте, что вы смотрите на свой рабочий стол или на свой iPhone или ноутбук, где все находится за стеклом, в окошке, и вы либо касаетесь экрана, либо наблюдаете за происходящим через него. Но в реальном мире мы можем приподнять стекло или открыть окно, прикоснуться и почувствовать вкус или запах.

Эта следующая волна AR позволяет нам «открыть окно» и расширить спектр человеческих чувств.

Человеческий мозг может воспринимать оцифрованные и электрохимические сигналы, создавая новые ощущения. Человеческий глаз не различает такие явления, как радиоволны, рентгеновские лучи и гамма-лучи, потому что у нас нет соответствующих биологических рецепторов. И дело не в том, что эти лучи невозможно увидеть; человек не может увидеть их, по крайней мере пока, потому что у нас нет соответствующих органов чувств. AR может дать людям такие сверхспособности, благодаря которым мы не только увидим больше, но и сможем использовать все остальные органы чувств, получая более насыщенный опыт и знакомясь с расширенным спектром информации и данных. Теперь у нас есть технология, позволяющая узнать этот мир намного лучше.

Различное применение AR

Давайте рассмотрим несколько отраслей, которые новая волна AR уже затронула.

Дополненное здравоохранение

Благодаря AR у врачей появилась возможность взаимодействовать с виртуальными 3D-моделями человеческого тела. Так, сегодня врачи могут работать с цифровыми моделями и даже трехмерной печатью на различных этапах лечения. Новейшие разработки в области сенсорно дополненного восприятия однажды позволят хирургам оперировать виртуальный мозг, ощущая его физически, прежде чем выполнять реальные операции.

Дополненное образование

Уже сегодня технология AR позволяет распознавать выражения лиц, позволяя, например, отследить момент, когда у студента возникли сложности в освоении материала. Учителя смогут использовать эту технологию в ближайшем будущем для изменения содержания уроков в зависимости от воздействия на учащихся. Например, если вы обучаетесь дистанционно или просматриваете лекцию через свое устройство AR и по вашему выражению лица можно сказать, что вам что-то непонятно, предмет будет разъяснен вам еще раз. Или, например, если вы отвлеклись, ваше внимание может привлечь какой-то вопрос.

Дополненная торговля

С помощью AR уже сегодня можно посмотреть, как будут выглядеть те или иные вещи в вашем доме (например, мебель) или как они будут смотреться на вас самих, если речь идет, скажем, о часах или одежде. Современные технологии развиваются таким образом, чтобы дать вам возможность не только видеть, как выглядят вещи, но и прикоснуться к ним.

Дополненная работа

AR уже сейчас позволяет получать инструкции и помощь в реальном времени, делясь изображением того, на что вы смотрите, с другими людьми. Формируются новые процессы проектирования, позволяющие осуществлять дистанционное сотрудничество в режиме реального времени, в результате чего меняется сам подход к работе людей, находящихся в разных точках земного шара. Например, архитектор из Японии может виртуально присутствовать на месте строительства в Канаде и оказывать строителям полноценную поддержку.

Дополненные развлечения

Однажды вам больше не понадобится телевизор: ваша AR-гарнитура станет вашим развлекательным центром, наполненным персонализированным контентом. Независимо от того, появится ли в вашем доме ваш любимый исполнитель и споет вам, или вы окажетесь в открытом поле, чтобы пройти через виртуальный лабиринт, – новые формы цифрового контента будут адаптированы к вашему физическому окружению и будут с ним сосуществовать.

AR сегодня: основное внимание сконцентрировано на человеке

Когда я начала работать над технологией дополненной реальности 12 лет назад, основное внимание в этой области уделялось технологии в целом; о контенте стали задумываться уже намного позже, если вообще задумывались, и, как правило, такие размышления были запоздалыми. В то время, когда большинство исследователей и разработчиков работали над техническими проблемами AR, мне посчастливилось быть частью команды, работавшей в уникальной лаборатории в Йоркском университете Торонто (Канада), под руководством Кейтлин Фишер, где мы вместе формировали будущее повествовательной составляющей дополненной реальности. Наша лаборатория сильно отличалась от других исследовательских центров того времени: мы работали на базе факультета изобразительных искусств и кафедры кинематографии, в то время как большинство университетских исследовательских лабораторий по развитию AR базировались на кафедрах вычислительной техники. В других лабораториях, как правило, делался акцент на исследования в какой-то конкретной области AR с уклоном в разработку и совершенствование отдельных методов. В то же время наша лаборатория сосредоточила работу на создании контента и эффекте от использования этой технологии.

С нашим подходом мы были «агностиками» в том, что касалось программного и аппаратного обеспечения. Дополненная реальность вдохновила наши разработки, но ее технологические рамки нас не ограничивали. Во многих лабораториях занимались решением этих проблем, а вот над созданием контента и новыми видами применения технологии никто не работал. Мы экспериментировали над объединением технологий, комбинируя их по-новому, чтобы уйти от традиционных ограничений в использовании AR. Если какой-то технологии не существовало на тот момент, мы обращались за помощью к инженерам и ученым, чтобы создать ее.

В 2009 году в нашей лаборатории был разработан один из первых коммерчески доступных инструментов – программа SnapDragonAR, работающая по принципу перетаскивания объектов из одного места в другое. Она позволила людям, не обладающим специальными знаниями в области программирования, внести свой вклад в формируемую среду и сделала AR доступной для педагогов, художников, кинематографистов и вообще для широкой аудитории. Благодаря этому появился потенциал для создания AR-контента любым человеком, которому это может быть интересно. В результате наших усилий вселенная AR вышла за рамки исключительно технической сферы программирования, и новаторы дополненной реальности и по сей день продолжают развивать и совершенствовать ее.

AR – это уже не просто технология; это возможность формировать реальный мир в соответствии с нашими пожеланиями и делать значимые открытия, приносящие пользу всему человечеству. За последнее десятилетие сама технология, понимание ее места в мире и ее возможности сильно изменились. Теперь, когда у нас есть все эти невероятные возможности, как мы поступим? Это вопрос, на который мы должны ответить все вместе: как должна развиваться технология AR? Нам нужны лидеры в бизнесе, дизайне и культуре, которые помогут управлять развитием и внедрением новых возможностей в этой быстро растущей отрасли. AR радикально изменит то, как мы живем, работаем и играем.

Глава 2. Взглянуть на мир по-новому

Мы находимся в начале масштабного процесса изменения того, как мы видим и воспринимаем окружающую нас реальность. Компьютерное зрение, машинное обучение, новые типы камер, датчиков и встраиваемых в одежду электронных устройств невероятно расширяют человеческое восприятие. Дополненная реальность дает нам «новые глаза».

Развитие AR как нового средства коммуникации уходит корнями в историю движущихся изображений и зарождения кино. В 1929 году один из пионеров кинематографа Дзига Вертов говорил о силе камеры, описывая новую реальность: «Я глаз механический. Я машина, показывающая вам мир таким, каким только я его смогу увидеть». Известный фильм Вертова «Человек с киноаппаратом» был снят с использованием инновационных ракурсов и технологий, фиксирующих картинку, не доступную для человеческого зрения.

Вертов экспериментировал с новыми точками для съемки (например, съемка с движущихся транспортных средств, таких как мотоцикл, или размещение камеры на железнодорожных путях в момент, когда поезд проходил по ним). Он также экспериментировал с ускорением и замедлением видеоряда. Вертов использовал новую технологию механической камеры для расширения возможностей человеческого глаза и создания новых способов наблюдения. Он писал: «Мой путь – к созданию свежего восприятия мира. Вот я и расшифровываю по-новому неизвестный вам мир».

Спустя почти столетие путь Вертова привел нас к AR, раскрыв новую реальность и понимание нашего мира. Камера играет центральную роль в работе AR: она соединена с компьютерным зрением для сканирования и расшифровки нашего физического окружения. Раньше AR главным образом основывалась на использовании координатных меток (в виде черно-белых геометрических узоров) или изображений для дополнения двумерных (2D) поверхностей, таких как печатные версии журналов.

Реальный мир, однако, не плоский, он находится в трехмерном (3D) пространстве. В отличие от 2D координатных меток или изображений, датчики для распознавания трехмерного пространства используются в AR для фиксирования и отображения реального мира. Датчики распознавания трехмерного пространства, такие как камера Microsoft Kinect и камера RealSense от Intel, не используют в своей работе устаревшие координатные метки и изображения, в результате чего трехмерное пространство иначе воспринимается, передается и дополняется с использованием компьютерных технологий.

Дзига Вертов в своей работе исследовал, как камера, подобно механическому глазу, может превосходить возможности человеческого зрения. Он продемонстрировал, каким выглядит мир сквозь призму камеры. Камеры с датчиками глубины, такие как Kinect и RealSense, дают возможность понять обратное: что было бы, если бы компьютер мог видеть, как человек? Технология AR начинает подражать особенностям человеческих чувств, позволяя нам взглянуть на мир совершенно по-новому.

Вы – контроллер

В 2010 году, когда появился Microsoft Kinect, технология AR вышла на новый уровень. Слоган Kinect «You are the controller» в переводе означает: «Вы – контроллер». Изменяя положение своего тела, движение которого фиксируют датчики, пользователи могут создавать дополненную реальность и управлять ею.

До создания Kinect для того, чтобы технологию AR можно было бы применить в сочетании с вашим телом, вам пришлось бы покрыть себя специальными координатными метками, напечатать изображение на своей одежде или даже сделать особую татуировку. Но с появлением Kinect использование технологии AR стало значительно более захватывающим, потому что барьер между пользователем и дополненной реальностью исчез и они слились воедино. Стоя перед экраном с подключенным устройством Kinect, вы можете видеть и взаимодействовать с трансформированной версией себя[12], как будто вы стоите перед волшебным цифровым зеркалом. Дополненная реальность, создаваемая вашими движениями и жестами, формируется индивидуально под вас.

На базе Kinect проектировщики сразу же начали создавать новые интерактивные программы. Инсталляция «Предательство неприкосновенности»[13] (2012) Криса Милка – прекрасный пример использования Kinect художником. Вы предстаете перед рядом из трех интерактивных панелей, которые олицетворяют творческий процесс через рождение, смерть и перерождение. Ваше тело зеркально отражается как темная тень с различными преобразованиями, происходящими на каждой панели. На первой панели ваше тело распадается на мириады разлетающихся птиц. Когда вы переходите ко второй панели, эти птицы слетаются, чтобы напасть на вас. На третьей и последней панели у вашего силуэта прорастают гигантские крылья, и, хлопая руками, ваше отражение взлетает, поднимаясь с земли в небо.

Милк дал следующей комментарий по поводу своей инсталляции:

Мне интересно, когда между моей работой и зрителем возникает двухсторонний диалог. Посетитель выставки становится непосредственным участником содержания и концепции моей работы, и с помощью технологии AR делается акцент на испытываемых впечатлениях, на инновационной способности к глубокому духовному погружению.

Часть «магии» Kinect заключается в том, что технология становится невидимой, потому что она предельно проста в использовании: вы стоите перед экраном и двигаетесь. Программа реагирует на движения вашего тела и формирует движения на экране. Технология позволяет создавать изображения, но без вашего участия это становится невозможным. Технология отступает на второй план, и вы в буквальном смысле становитесь ключевой фигурой в ее работе.

Наблюдение за движением и прогнозирование действий

Kinect использует камеру для измерения глубины, что позволяет ей распознавать мир в трех измерениях. Это устройство работает, проецируя совокупность инфракрасных световых точек на всю комнату, а затем, измеряя, за какое время свет от каждой из этих точек возвращается обратно на сенсор камеры, определяет расстояние до каждой точки комнаты. Программное обеспечение считывает данные для идентификации любых выделяющихся частей человеческого тела, например головы или конечности. Kinect использует модель скелета человека, состоящую из многочисленных частей и соединений. Хранящее в своей памяти более 200 поз, программное обеспечение фиксирует движения человеческого тела и может спрогнозировать, какое движение ваше тело вероятнее всего совершит дальше.

Прогнозирование – важный аспект человеческого восприятия, который мы широко используем в повседневной деятельности, чтобы взаимодействовать с нашим окружением. Джефф Хокинс, основатель компании Palm, создавшей первый карманный компьютер, и автор книги «Об интеллекте» (опубликованной в 2004 году[14]), описывает человеческий мозг как систему памяти, которая хранит и воспроизводит полученный опыт для того, чтобы спрогнозировать возможные сценарии развития.

Хокинс указывает, что человеческий мозг постоянно прогнозирует дальнейшие события. Мы познаем мир через последовательность шаблонов, которые храним, и воспроизводим, и, соотнося с увиденным, предполагаем, что будет дальше.

На базе технологии Kinect, исследователи из Лаборатории персональной робототехники Корнеллского Университета (США) запрограммировали робота, прогнозирующего действия человека[15] и способного решать такие задачи, как разлив напитков или открытие двери холодильника. Робот фиксирует движения вашего тела, чтобы определить, какое действие вы производите в настоящий момент. Затем он обращается к базе видеоданных, в которой содержатся около 120 видов деятельности (от чистки зубов до приема пищи и разогревания еды в микроволновой печи), чтобы предсказать, какое движение вы сделаете дальше. Затем робот планирует своевременно помочь вам в решении той или иной задачи.

Создание трехмерной карты с технологией SLAM

Для того чтобы робот мог перемещаться в окружающей среде и выполнять действия, он должен иметь возможность создавать карту своего окружения и понимать свое местоположение внутри этой среды. Для решения такой задачи инженеры-робототехники разработали метод одновременной локализации и построения карты (сокр. англ. SLAM – от Simultaneous Localization and Mapping). До разработки SLAM датчики, необходимые для построения такой карты, как правило, были дорогими и громоздкими. Kinect предоставил недорогое и легкое решение. Видеоролики с Kinect-роботами появились на YouTube в течение нескольких недель после презентации Kinect. Среди роботов, работавших по этой технологии, были различные варианты: от квадрокоптера, летающего по комнате самостоятельно без управления человеком, до робота, способного перемещаться по завалам в поисках выживших после землетрясения[16].

Беспилотный автомобиль[17] от Google также использует технологию SLAM с собственной камерой и датчиками. Автомобиль обрабатывает как данные карты, так и данные датчиков для определения своего местоположения и обнаружения объектов вокруг себя, учитывая их размер, форму, направление и скорость движения. Программное обеспечение прогнозирует, что объекты могут сделать дальше, и автомобиль выполняет соответствующие ответные действия, например уступает дорогу пешеходу, пересекающему улицу.

Применение SLAM не ограничивается автономными транспортными средствами, роботами или беспилотными летательными аппаратами; люди могут использовать этот метод для нанесения на карту своего окружения. В Массачусетском технологическом институте (США) был разработан один из первых примеров встроенного в одежду SLAM-устройства[18]. Первоначально система была разработана для сотрудников службы спасения, к примеру, спасателей, отправляющихся на неизвестную территорию. При использовании камеры Kinect, размещаемой в районе грудной клетки, цифровая трехмерная карта создается в режиме реального времени, и пользователь перемещается по окружающей его среде. Конкретные местоположения могут сопровождаться комментариями, включаемыми с помощью переносной кнопки. Картой можно поделиться и сразу же отправить ее по беспроводным каналам связи руководителю, находящемуся удаленно.

С помощью SLAM также стали возможны новые формы игр. Разработанная в 2011 году компанией 13th Lab (Стокгольм, Швеция) Ball Invasion[19] является ранним примером интеграции SLAM в игры с применением AR. Держа iPad перед собой, вы видите, что ваше физическое окружение заполнено виртуальными объектами, которые нужно преследовать и расстреливать. Уникальность «Ball Invasion» заключается в том, что виртуальные элементы взаимодействуют с реальным миром: виртуальные пули отскакивают от стены перед вами, а виртуальные шары закатываются за вашу мебель. Когда вы играете в игру и перемещаете камеру iPad, вы создаете трехмерную карту окружающей среды в реальном времени, в которой становятся возможны такие взаимодействия. В 2012 году 13th Lab выпустила PointCloud[20] – набор средств разработки программного обеспечения (SDK, от англ. software development kit), позволяющий создавать приложения для iOS с применением технологии SLAM. 13th Lab была приобретена VR-компанией Oculus в 2014 году.

Сегодня SLAM является одной из основных технологий платформы Google Tango AR. В 2015 году программы на планшетах для разработки приложений на платформе Tango стали доступны сначала для профессиональных разработчиков, а затем уже появились и смартфоны с поддержкой Tango: в 2016 году – Lenovo Phab 2 Pro, в 2017 году – Asus ZenFone AR. С применением Tango становятся возможными: точная навигация без GPS, окна в виртуальные трехмерные миры, измерение пространств в реальном времени и игры, определяющие свое местоположение в комнате и предметы вокруг. Google описывает цель Tango как наделение «мобильных устройств человеческим пониманием пространства и движения».

Наши смартфоны уже являются нашим продолжением, и с такими технологиями, как Tango, они начинают видеть, изучать и понимать мир подобно тому, как это делаем мы. Благодаря этому будут возникать новые типы взаимодействия, в которых виртуальная среда легко сопоставляется с нашей физической реальностью и имеет контекстуальный смысл, создавая более глубокое чувство погружения. Границы между виртуальным и реальным будут размываться все больше и больше. Технология будет способна не только распознавать нашу среду, но, возможно, поможет нам переосмыслить нашу повседневную жизнь.

Возможность видеть для незрячих

Если мы можем создать технологию визуализации для компьютеров и планшетов, почему бы не использовать ее, чтобы помочь видеть людям? Раджив Монгия, директор RealSense Interaction Design Group компании Intel, вместе со своей командой разработал прототип портативного устройства, которое использует технологию трехмерной камеры RealSense, помогая людям с ослабленным зрением лучше ориентироваться в пространстве.

Комплект RealSense Spatial Awareness Wearable впервые был представлен в рамках Международной выставки бытовой электроники (CES) 2015 года в Лас-Вегасе. Он состоит из жилета, оснащенного компьютером, который подключается по беспроводной сети к восьми вибрирующим датчикам (размером с палец), которые расположены на груди, туловище и на лодыжках. Он работает по принципу анализа глубины окружающей среды. Обратная связь направляется пользователю с помощью тактильной технологии, использующей вибрационные двигатели и посылающей в качестве обратной связи вибрацию.

Вибрационные датчики можно сравнить с вибрационным режимом мобильного телефона, интенсивность вибраций которого возрастает или снижается в зависимости от того, как близко от вас находится тот или иной объект. Если объект очень близко, вибрация усиливается, а если он удаляется, вибрация ослабевает.

Дэррил Адамс, технический руководитель проектов в Intel, занимался тестированием данной системы. 30 лет назад Адамсу был поставлен диагноз пигментная дистрофия сетчатки, и, по его словам, данная технология позволила ему получить максимальный эффект, расширив периферическое зрение при помощи тактильных ощущений.

Для меня очень ценно, что с этой технологией я могу распознавать, когда рядом начинается какое-то движение. Если я почувствую вибрацию, я сразу же могу повернуться в соответствующем направлении, чтобы увидеть, что вызвало реакцию сенсоров. Это, как правило, означает, что кто-то приближается ко мне и я смогу поприветствовать этого человека или хотя бы буду знать, что рядом кто-то есть. Без использования этой технологии я обычно не замечал людей вокруг, и часто оказывался в неудобном положении.

Система была протестирована на трех пациентах, каждый из которых обладал своими уникальными потребностями и уровнем зрения, от низкого до его полного отсутствия. Монгия и его команда работают над тем, чтобы создать систему с изменяемыми модульными компонентами, обеспечивающими пользователям возможность выстраивать комбинацию датчиков и уровня тактильного эффекта, которые наилучшим образом соответствовали бы конкретной ситуации.

Адамс хотел бы, чтобы программное обеспечение стало контекстно-ориентированным и система могла бы реагировать на потребности пользователя в любой заданной ситуации. Он считает, что эта технология может развиваться и быть дополнена, например, такими функциями, как распознавание лиц или отслеживание движения глаз. Таким образом, пользователь может быть предупрежден, когда кто-то смотрит на него, а не просто когда некто есть поблизости.

Искусственный интеллект (от англ. Artificial Intelligence – AI) можно было бы в будущем использовать для обеспечения встроенных в одежду компьютеров максимально эффективным распознаванием происходящего вокруг пользователя контекста. Такие методы, как машинное обучение, могут наделить компьютеры некоторыми способностями человеческого мозга, позволяя программам научиться выполнять новые задачи на основе новой полученной информации, не будучи специально запрограммированными для таких задач.

Обучение компьютера способности видеть с помощью машинного обучения

OrCam[21], устройство, предназначенное для слабовидящих, использует машинное обучение, чтобы помочь носителям интерпретировать и лучше взаимодействовать с их физическим окружением. Это устройство способно читать текст и распознавать такие вещи, как лица, продукты и бумажные деньги Устройство OrCam оснащено камерой, которая закрепляется на очках и непрерывно сканирует поле зрения пользователя. Эта камера подключена тонким кабелем к портативному компьютеру, помещаемому в кармане. Вместо датчиков вибрации (используемых, например, в RealSense Spatial Awareness Wearable) OrCam использует звуковые сигналы. Динамик, направляющий звуковые сигналы к внутреннему уху, информирует пользователя, произнося вслух названия объектов, слова или имена людей.

С помощью OrCam пользователь может направить устройство, указав на тот предмет, который ему интересен. «Наведите устройство на книгу, и оно прочитает ее», – говорит Йонатан Уэкслер[22], руководитель отдела исследований и разработок OrCam. «Проведите пальцем по счету за телефон, и устройство прочитает текст, давая понять, кто отправитель и какая там сумма». Чтобы научить систему читать, ей неоднократно показываются миллионы примеров для выработки соответствующих устойчивых моделей алгоритмов.

Уэкслер отмечает, что при идентификации людей и лиц нет необходимости указывать на них. «Устройство подскажет вам, когда ваш друг приближается. Требуется около десяти секунд, чтобы научить устройство распознавать человека», – говорит он. «Все, что требуется, – это чтобы этот человек смотрел на вас, а затем назвал свое имя». OrCam сделает снимок этого человека и сохранит его в своей системной памяти. В следующий раз, когда человек окажется в зоне видимости камеры, устройство распознает его и даже идентифицирует по имени.

OrCam использует машинное обучение для распознавания лиц. Команда исследователей и разработчиков создала для OrCam базу, включающую сотни тысяч изображений всех видов лиц, чтобы научить свое программное обеспечение распознавать каждого конкретного человека. Когда пользователь носит OrCam, программа сортирует все загруженные изображения, отклоняя те, которые не соответствуют лицу в зоне видения, пока не останется только одно соответствующее изображение. Чтобы распознать лицо, сфотографированное ранее с помощью OrCam, нужно всего несколько мгновений.

Обучение мозга видеть посредством звука

Это устройство обладает способностью сканировать окружающую среду и описывать посредством звука то, что находится вокруг. Другой подход применяется в таких визуальных технологиях как vOICe[23] и EyeMusic[24]. Вместо того, чтобы использовать машинное обучение и рассказывать пользователю, на что он смотрит, эти технологии анализируют возможности обучения человеческого мозга взаимодействию с миром при помощи других органов чувств – изучая, например, как можно видеть с помощью звука.

Нейробиолог Амир Амеди задается вопросом: «Что, если мы найдем способ, как можно передать визуальную информацию в мозг людей с ослабленным зрением, обойдя проблемы с глазами стороной?» Исследования построения мозгом визуальных образов, проведенные Амеди и его командой, показывают, что у слепых от рождения людей при использовании устройств на базе vOICe или EyeMusic активизируются те же области мозга, что и у зрячих. Однако сигнал поступает в мозг не через участок, отвечающий за зрительные образы, а через другой, соответствующий восприятию звуков, но в конечном счете сигналы все равно достигают цели в соответствующем отделе мозга.

Система vOICe (от англ. OIC = «Oh, I See», в пер. «О, я вижу») преобразует изображения, фиксируемые камерой, в звуковые сигналы, чтобы помочь слепым от рождения людям видеть. Система vOICe, разработанная Питером Мейджером, состоит из пары солнцезащитных очков с небольшой встроенной камерой, подключенной к компьютеру и двум наушникам. (Сист ему также можно использовать на смартфоне, загрузив специальное программное обеспечение и используя встроенную камеру.)

Программное обеспечение vOICe преобразует ваше окружение в «звуковой пейзаж». Камера непрерывно сканирует среду слева направо, преобразуя каждый пиксель в звуковой сигнал: частота представляет собой положение по вертикали, а громкость каждого звукового сигнала представляет собой яркость пикселя. Более яркие объекты производят более громкие звуки, а частота указывает на то, является ли объект высоким или низким.

Амеди совместно со своими коллегами обучили слепых от рождения людей способности «видеть», используя vOICe и EyeMusic, более современное приложение, разработанное Амеди, которое также способно различать цвета и передавать соответствующую информацию звуками. Для передачи цветов используются различные типы инструментов. Например, синему соответствует труба, красному – аккорды органа, желтому – скрипка. Белый озвучивается человеческими голосами, а черный – тишиной.

По словам Амеди, для того, чтобы научить свой мозг пользоваться такой технологией, требуется около 70 часов. Пользователям рассказывается, как идентифицировать большие категории объектов, включая лица, тела и пейзажи. Каждая из таких категорий обрабатывается в зрительной зоне коры головного мозга. «Все думают, что информация в мозге формируется под влиянием чувств, но наши исследования показывают, что это не так, – говорит Амеди[25], – человеческий мозг более гибок, чем мы думали».

Исследования и изобретения, подобные тем, которые создали Амеди и Мейджер, показывают нам, что привычное определение зрения изменяется. И оно будет продолжать меняться, поскольку компьютеры и человеческий мозг учатся видеть по-новому.

Выберите свою собственную реальность

Возможность видеть и распознавать наше окружение с помощью компьютерного зрения также позволяет отфильтровывать нашу реальность и избирательно видеть (или не видеть) мир вокруг нас. Это включает и возможность удаления из нашей реальности объектов, которые мы не хотим видеть.

В эпизоде «Белое Рождество» (2014) популярного сериала «Черное зеркало», в сатирической манере обыгрывающего современные технологии, создатели показали, как выглядела бы наша жизнь, если бы людей можно было убирать из нее одним нажатием кнопки. На месте человека, которого вы «блокировали», образовывалось пустое место, издающее приглушенные звуки, а удаленный человек при этом продолжал видеть обычную картину. В 2010 г оду японский разработчик Такаюки Фукацу продемонстрировал технологию, практически не отличающуюся от той, что показали в «Черном зеркале». Используя Kinect и OpenFrameworks, Оптический Камуфляж[26] Фукацу демонстрирует, как человеческая фигура сливается с фоном, становясь невидимой.

Доктора Стива Манна, профессора электротехники и информатики в Университете Торонто (Канада), некоторые называют «отцом встроенных в одежду компьютеров». Манн дал определение термину «настраиваемая реальность» в 1990-х годах. Он говорит: «настраиваемая реальность отличается от виртуальной реальности (и дополненной реальности) тем, что она позволяет нам отфильтровывать то, что мы не хотим видеть». По мнению Манна, встроенные в одежду вычислительные устройства предоставляют пользователю «созданное по своему усмотрению личное пространство». Манн использовал настраиваемую реальность для добавления личных заметок и указаний вместо рекламы.

Современный медиа-художник Джулиан Оливер назвал работу Манна источником вдохновения для своего проекта Artvertiser, начатого в 2008 году совместно с Дэмианом Стюартом и Артуро Кастро. Artvertiser[27] – это программа, заменяющая рекламу на щитах произведениями искусства. Она работает по принципу распознавания компьютерами рекламных объявлений, которые затем преобразуются в виртуальный холст, на который художники могут проецировать изображения или видео. Работы можно увидеть, используя небольшое устройство, которое выглядит как бинокль.

Оливер считает, что Artvertiser не относится к AR, а является примером «улучшенной реальности».

Он описывает проект, как переход общественных пространств от платформ по принципу «только для чтения» к принципу «чтение—запись». Artvertiser является примером прорывного подхода, заключающегося в том, чтобы скорректировать пространства, в которых преобладает реклама.

Brand Killer[28] (2015) – это современный проект, основанный на работе Манна и Оливера. Brand Killer был создан группой студентов Университета Пенсильвании (США) – Томом Катулло, Алексом Критсом-Кристофом, Джонатаном Дубином и Ридом Розенблатом – с целью убрать рекламу в зоне видимости пользователя. Студенты задаются вопросом[29]: «Что, если бы мы жили в мире, где потребители не видели бы излишества корпоративного брэндинга?» Brand Killer – это размещаемый на голове дисплей, использующий обработку изображений OpenCV для распознавания и скрытия брэндов и логотипов, которые встречаются на пути пользователя. Это «AdBlock[30] для реальной жизни», заявляют создатели.

Уже сейчас, находясь в Интернете, у нас есть возможность блокировать рекламу и даже людей, с которыми нам бы не хотелось больше общаться. Помимо рекламы и других людей, что еще нам бы хотелось удалить или заблокировать в поле зрения с помощью настраиваемой реальности?

Поскольку мы говорим о будущем AR, нужно рассмотреть вопрос о том, позволит ли цифровая фильтрация, настраивание и замена контента обогатить нашу реальность или же, наоборот, отделит нас от реального мира и друг от друга. Я надеюсь, что эти новые технологии будут использоваться для поддержания человеческого взаимодействия, связи и общения и даже повышения уровня взаимопонимания.

Хотя нам часто свойственно изолировать себя от многих проявлений реальности, которые мы не хотим видеть, например, бездомные, нищета и болезни, есть вещи, которые мы, как общество, должны активно решать. Настраиваемая реальность несет в себе потенциал для укрепления привычки игнорировать и даже для роста невежества. Мы не должны закрывать глаза на жизненные реалии.

Положительная сторона настраиваемой реальности заключается в том, что ее можно использовать для обеспечения более высокого уровня концентрации. Эта технология имеет потенциал для создания будущего, в котором будет меньше отвлекающих факторов, что приведет к более частому общению людей друг с другом. Сегодня нас просто заваливают всевозможными уведомлениями и технологиями. Что если настраиваемая реальность поможет нам с легкостью отключать на время все отвлекающие факторы?

Еще один важный вопрос: кто будет создавать эту новую реальность? Будут ли это какие-то конкретные люди, корпорации или группы людей? В настроенной кем реальности мы будем существовать, и какие визуальные фильтры или инструменты будут в ней присутствовать? Используя терминологию Оливера, будем ли мы частью среды, доступной для «чтения и записи» или «только для чтения»?

По аналогии с тем, как Интернет доступен не только для чтения, но и для редактирования, я надеюсь, что AR и настраиваемую реальность также можно будет изменять. Тим Бернерс-Ли, считающийся одним из создателей Всемирной Паутины, дает ее определение как места для обмена информацией новыми эффективными способами. «Изначально я хотел создать такую среду, где мы все могли бы общаться, читать и писать», – говорит он[31]. Интернет должен был стать новым инструментом для обмена и получения информации, и технология AR может быть использована так же.

Такие примеры, как: возможность дать незрячим людям подобие зрения, появление новых интерактивных направлений для творчества, создание роботов, помогающих нам в повседневной жизни, доказывают, что AR – технология, позволяющая взаимодействовать с этим миром по-новому. Дополненная реальность может повысить уровень нашей жизни и вдохновить на изменения, благодаря которым мы станем ближе к окружающему нас миру и друг к другу.

Если заменить слово «машина» на слово «человек» в цитате Дзиги Вертова в начале этой главы: «Я машина, показывающая вам мир таким, каким только я его смогу увидеть», – можно оценить то, насколько обогащает нашу жизнь Интернет, собирая по всему миру опыт, накопленный другими людьми. Чтобы оказать позитивное влияние на общество и внести свой вклад в развитие человечества, к AR нужно применять те же принципы, по которым изначально создавалась Всемирная Паутина – ее основным принципом является всепринимающий характер, без исключений.

Глава 3. Тактильные ощущения

Отличием следующей волны дополненной реальности является новый сенсорный опыт, задействующий и другие органы чувств, помимо зрения. За счет осязательных эффектов в AR есть возможность не только синхронизировать то, что мы видим, с тем, как мы чувствуем, но и создавать новые способы тактильной коммуникации. Механизм тактильного отклика, используемый в Apple Watch , обеспечивает , к примеру, обратную связь для уведомлений, а в приложениях виртуальной реальности таких производителей, как Tactical Haptics[32], он позволяет выйти на новый уровень реализма. На основании этого можно отметить тенденцию развития цифровой тактильности.

В реальном мире вы можете использовать свои руки, чтобы прикоснуться к чему-либо, поднять некий предмет или что-то сделать. В AR виртуальная составляющая существует в вашем физическом пространстве, но если вы протянете руку, чтобы коснуться виртуального объекта, в зависимости от того, используете ли вы смартфон или очки, вы почувствуете стекло или просто пустоту.

В главе 1 распознавание описывалось как встраивание виртуальных объектов в трехмерное пространство реального мира. Распознавание в AR сегодня сконцентрировано на визуальной составляющей, но как же быть с другими органами чувств? Если одной из целей AR является создание единой среды, в которой реальное и дополненное неразличимы, то иллюзия, очевидно, разрушается, когда пользователь, пытаясь прикоснуться к виртуальному объекту, ничего при этом не чувствует. В следующем поколении AR прикосновение к виртуальным объектам становится возможным, размывая и дальше грань между реальным и виртуальным.

Тактильные ощущения помогают нам ориентироваться и лучше чувствовать реальный мир. Наше чувство осязания помогает нам получать информацию на более глубоком уровне и ощущать такие характеристики предмета, как текстура и вес. Это позволяет понять, из чего сделан предмет и как он соотносится с другими предметами. Осязание позволяет нам убедиться, что объект существует физически.

Для меня утверждение, приведенное выше, оставалось верным до того момента, пока мои чувства не были введены в заблуждение, когда я впервые испытала устройства с применением haptics (технологии, обеспечивающей тактильную обратную связь) в 2011 году в Magic Vision Lab в Университете Южной Австралии. Я помню тот момент, когда я изо всех сил пыталась определить, что было физически реальным и что виртуальным. Я была ошеломлена. Я могла посмотреть и прикоснуться к виртуальной рыбе, чувствуя ее, будто она была реальной. Это было совершенно новым и сбивающим с толку ощущением: касаться виртуальных объектов и получать тактильную обратную связь от чего-то, что физически не существует в реальном мире. Как это возможно?

Нося портативный шлем-дисплей (HMD) и используя тактильный девайс под названием PHANTOM Desktop, оснащенный похожим на шариковую ручку устройством, которое нужно держать в руке, я могу касаться виртуальных объектов, появляющихся в моем физическом окружении, и ощущать их. Это тактильное устройство имитирует контакт, используя три небольших двигателя, которые обеспечивают обратную связь, создавая давление на стилус. В дополнение к текстуре, с помощью этого устройства можно ощутить вес виртуального предмета.

Это очень правдоподобная иллюзия: то, что я видела, действительно соответствовало моим ощущениям. Визуальная и тактильная составляющие тесно взаимосвязаны в реальности, но, как правило, при использовании AR-устройств эта взаимосвязь теряется. Последний опыт навсегда изменил мое представление о дополненной реальности и повлиял на мое видение того, как эта новая среда будет развиваться в будущем.

В 2011 году я написала книгу «Кто боится жуков?»[33], первую в мире AR-книгу с возможностью распознавания образов при помощи iPad. Книга объединила искусство моделирования бумажных фигур (разрезание, склеивание и складывание из бумаги) с магией AR, благодаря которой книга становилась интерактивной, позволяя лучше понять природу страха перед насекомыми. Если смотреть на книгу через iPad или смартфон, то на ней периодически появлялись различные виртуальные насекомые и членистоногие, в том числе волосатый тарантул, который мог поползти по руке читателя. Когда я работала над этой книгой, технология цифровой тактильности еще не была разработана в Magic Vision Lab, но теперь я отчетливо представляю, как эта технология может быть интегрирована в следующую редакцию моей книги. Благодаря этой технологии ощущение страха будет более сильным, т.к. можно будет не только увидеть паука, ползающего по вашей руке, но также и почувствовать его вес и прикосновение к коже.

Как и в случае с вышеупомянутым примером виртуальной рыбы, можно воссоздать то, как мы ощущаем конкретные вещи в физическом мире, и применять эти свойства к виртуальным объектам с целью улучшения качества «распознавания». Для дальнейшего развития AR как новой среды, важно найти и исследовать новые способы использования технологии дополненной цифровой тактильности, помимо воспроизведения ощущений от аналогов из окружающей среды.

Например, можем ли мы создать приложения с контрастными тактильными свойствами, когда что-то мягкое по своим свойствам будет восприниматься как нечто твердое? Как мы можем выйти за пределы экрана, чтобы по-новому испытывать чувство осязания? И как еще мы можем использовать тактильную стимуляцию в невербальных коммуникациях? В этой главе мы поговорим об исследованиях и инновациях в области тактильных технологий, проливающих свет на эти вопросы.

Тактильные технологии, применяемые в сенсорных экранах

В 2011 году в Magic Vision Lab я впервые стала свидетелем функционирования тактильной технологии, но оборудование, требуемое для ее применения, было дорогостоящим, громоздким и не доступным для обычного человека. Использование основной части AR-приложений на сегодняшний день предполагает наличие смартфона или планшета, а в ближайшем будущем также ожидается более широкое распространение интерактивных очков, которые изменяют возможности тактильной стимуляции в AR. Если раньше примером ее использования было только взаимодействие с сенсорным экраном смартфона или планшета, то теперь появляются новые виды применения.

В статье «Краткие рассуждения о будущем дизайна взаимодействий» (2011)[34] Брет Виктор, разработчик пользовательских интерфейсов и процессов взаимодействия человека с компьютером, отмечает, что в большинстве концепций взаимодействия будущего не уделяется внимание тому, что чувствуют наши руки и как они манипулируют вещами. Он пишет, что почти каждый объект в мире имеет свойства, которые можно почувствовать, прикоснувшись к нему, – будь то вес, текстура, пластичность или форма. Тем не менее он говорит, что такие устройства, как iPad, «приносят в жертву все тактильное богатство работы с нашими руками». Виктор рассуждает о будущем, когда появится новая «динамическая среда, которую мы сможем видеть, чувствовать и изменять».

Как далеко мы продвинулись с 2011 года и с момента выхода статьи Виктора? В 2015 году Apple представила механизм тактильного отклика на iPhone и iPad, обеспечив тактильную обратную связь для пользователя. Тактильные устройства обратной связи и контроллеры становятся предметами активной разработки в индустрии игр VR, а также, вероятно, мы увидим в ближайшем будущем эту технологию, адаптированную для AR-приложений.

Технология E-Sense компании Senseg, которая была впервые продемонстрирована на Международной выставке бытовой электроники (CES) в 2012 году, представляет собой один из способов интеграции тактильной симуляции в AR посредством планшета или смартфона.

Дейв Райс, вице-президент основанной в Финляндии компании Senseg, описывает данную технологию как внедрение тактильных эффектов в сенсорные дисплеи различных устройств, включая смартфоны, планшетные компьютеры, сенсорные панели и игровые устройства. Он рассматривает возможности приложений, приводя в качестве примера игру «Охота за сокровищами», смысл которой заключается в поиске спрятанного сундука с сокровищами, но найти его на экране можно только на ощупь. Райс добавляет[35]: «Там не было визуальных подсказок, и это очень увлекательно, потому что теперь у нас есть возможность дополнить картинку осязаемыми эффектами, это позволяет создавать новый мир открытий».

В основе работы E-Sense лежит использование электростатических полей, которые вводят в заблуждение наше чувство осязания и имитируют различные уровни трения, позволяя создавать ощущение текстуры на плоском экране. В этой технологии используется Закон Кулона: притяжение или отталкивание объектов или частиц в зависимости от их электрического заряда. Так, например, когда вы натираете воздушный шар о свои волосы, он прилипает. Если потереть воздушный шар о голову, электроны переходят с ваших волос: волосы положительно заряжены, воздушный шар отрицательно заряжен, а противоположные заряды притягиваются. Senseg создает аналогичную силу притяжения между вашим пальцем и экраном. Управляя этой силой, можно создавать целую тактильную гамму, обеспечивая многообразные ощущения от взаимодействия с разными изображениями.

Представьте, что вы используете эту технологию на смартфоне или планшете, чтобы посетить виртуальный зоопарк прямо у себя дома и почувствовать на ощупь мягкую овечью шерсть. Тактильная функция может теперь соответствовать тому, что вы видите с использованием AR: виртуальное больше не ощущается как «стекло».

Fujitsu Labs из Японии – еще одна компания, работающая над технологией тактильной симуляции для сенсорных экранов. Компания презентовала прототип планшета с функцией тактильной симуляции на Всемирном мобильном конгрессе в 2014 году в Барселоне, где было показано, как технология может имитировать объемные детали, такие как выпуклости, гребни и выступы на поверхностях сенсорного экрана. Эта программа позволяет испытать ощущение как от поворота ключа в замке, прикосновения к песку или к струнам музыкального инструмента.

Вместо электростатической тактильной обратной связи Fujitsu Labs использует для тактильного эффекта ультразвуковые вибрации, импульсы которых передаются с различной силой. Вибрации отталкивают палец от поверхности планшета и в зависимости от силы имитируют различные текстуры. Быстрое изменение импульсов между низким и высоким трением может создать ощущение грубой или неровной поверхности, или же поверхность может казаться гладкой за счет подаваемого воздуха, уменьшающего силу трения. Fujitsu Labs планирует коммерциализировать эту технологию, в частности интегрируя ее в онлайн-магазины, где особенно важна возможность потрогать ткань, из которой сшита приобретаемая вещь.

Деформируемые экраны

И Senseg, и Fujitsu имитируют чувство осязания на плоских сенсорных экранах. Но что, если сенсорные экраны могли бы изменять свою форму и физически принимать форму изображений или объектов? Представьте, что вы своими руками преобразовываете виртуальные объекты из двумерного пространства в трехмерный мир.

GHOST[36] – это исследовательский проект, над которым с 2013 года работают разработчики в четырех университетах Великобритании, Нидерландов и Дании, где они занимаются изучением дисплеев с изменяющейся формой. Исследователи создали плоскоэкранный дисплей Lycra, который, в отличие от стекла, может изменять свою форму, благодаря чему можно почувствовать форму соответствующих объектов.

Каспер Хорнбэк, исследователь из Копенгагенского университета, отмечает: «Почти все экраны имеют квадратную форму, поэтому для реализации данной технологии в полном объеме требуется возможность изменения их формы. В поле интересов наших исследований находятся экраны, которые могли бы изменять свою форму». Эта идея перекликается с мыслью Брета Виктора об экране компьютера как динамическом визуальном носителе, который может принимать практически любую форму, и вот теперь возможность появления такой среды становится все более реалистичной.

Такая технология могла бы, например, позволить хирургу работать на виртуальном мозге, получив необходимый осязательный опыт перед выполнением аналогичной операции в реальном мире. Художники и дизайнеры, работающие с различными физическими материалами, такими как, например, глина, смогут двигать объекты собственными руками и хранить их в своем компьютере. Хорнбэк предполагает, что с помощью такого дисплея вы сможете держать руку вашего близкого человека, даже находясь на другом континенте.

Эсбен Варминг Педерсен, член исследовательской группы Копенгагенского университета, объясняет, чем отличается работа деформируемого дисплея от того, как работают обычные стеклянные сенсорные экраны. «Все, что видит iPad, – это кончик пальца, касающийся стекла. Так, когда iPad пытается определить, где и как мы его касаемся, устройство можно рассматривать как своего рода систему координат». Деформируемый дисплей имеет более сложный принцип работы: когда вы прикладываете палец к экрану, камера считывает информацию в трех изменениях и определяет силу давления пальца на поверхность. Педерсен работает над разработкой алгоритмов компьютерного зрения, которые позволят распознавать эти трехмерные данные и использовать их таким образом, чтобы компьютер мог лучше понять и применить их в своей работе.

Одна из проблем, которую обозначает Педерсен, заключается в том, что мы еще не знаем, как работать с этими новыми экранами. Он говорит о том, что к настоящему моменту уже выработался определенный «словарь» для взаимодействия с двумерными дисплеями, например, если свести пальцы, изображение уменьшится, а если смахнуть пальцем картинку, она сменится другой. Однако если говорить о жестах в трехмерном пространстве, или деформируемых жестах, использование таких экранов уже становится менее очевидным. Педерсен в настоящее время занимается разработкой такого интуитивного словаря новых жестов.

Педерсен и Хорнбэк опубликовали[37] в 2014 году исследование по распознаванию жестов, где респондентов попросили показать жесты, которые они находят подходящими для выполнения различных задач, таких как выбор, навигация и трехмерное моделирование на деформируемом экране. Среди жестов, которые предлагали участники исследования, были движения за дисплеем, толчок ладонью с вытянутыми пальцами, захват и скручивание.

Интеграция тактильного ощущения за пределами экрана

Компания Disney Research Labs использует другой подход к технологии тактильной стимуляции, не делая упор на разработку специальных экранов, но развивая новые способы для взаимодействия с системой. Технология REVEL[38], разработанная в 2012 году Иваном Пупыревым и Оливье Бо, может обеспечить интеграцию искусственных тактильных ощущений не только в сенсорные экраны, но и в предметы повседневного пользования, такие как мебель, стены, деревянные и пластиковые предметы и даже человеческую кожу.

REVEL использует новый тактильный эффект, которому Disney Research Labs дала название реверсивная электровибрация[39]. Работа устройства заключается в том, что оно выдает слабый электрический сигнал в тело пользователя, создавая колебательное электрическое поле вокруг его пальцев. Когда пользователь проводит пальцами по поверхности объекта, он чувствует соприкосновение с определенной текстурой, что создает дополненную реальность. Различные тактильные ощущения могут быть созданы путем изменения уровня сигнала.

Гладкий пластиковый предмет может показаться на ощупь шершавым и неровным, хотя на самом деле он не такой. REVEL можно применить к AR, чтобы добавить текстуру к виртуальному контенту, проецируемому на стол, стены или отображаемому через AR-очки. REVEL также может использоваться без очков или проекций для создания дополненной реальности к существующим объектам, таким как, например, стеклянные витрины в музеях, что могло бы позволить посетителям ощущать артефакты, которые могут быть хрупкими и единственными в своем роде, а в определенных случаях и вовсе недоступными для прикосновения. Кроме того, REVEL может быть настроен индивидуально под каждого пользователя и может даже использоваться для отображения личного контента, такого как подсказки при восстановлении пароля, которые вы можете почувствовать.

В 2013 году Disney Research Labs также разработала AIREAL[40]. Эта технология обеспечивает тактильные ощущения в воздухе без необходимости носить или касаться какого-либо специального устройства. Такой эффект достигается путем стимуляции кожи пользователя полями давления сжатого воздуха с использованием воздушных завихрений (воздушных колец), позволяющих пользователям одновременно видеть и чувствовать проецируемые изображения.

Датчики глубины изображения, интегрированные в AIREAL, фиксируют в трехмерном режиме изменения положения рук, головы и тела пользователя. Например, спроецированная трехмерная бабочка может отображаться на руке пользователя. Движение руки пользователя отслеживается AIREAL, и направление завихрений регулируется в соответствии с движением крыльев бабочки. Первые отзывы пользователей подтверждают[41]: «физические ощущения от взаимодействия с виртуальной бабочкой соответствуют аналогичным реальным», что, по словам одного из пользователей, «ощущается как реальность – кажется, что бабочка настоящая».

UltraHaptics[42] также позволяет вам ощущать виртуальные объекты в воздухе. В то время как AIREAL работает, направляя небольшие кольца воздуха в пользователя, чтобы имитировать прикосновение, UltraHaptics использует высокочастотные ультразвуковые волны. Ultrahaptics была разработана учеными-компьютерщиками в Бристольском университете в 2013 году в рамках проекта GHOST. Ее выделили в отдельный проект для развития коммерческого использования технологии.

С помощью UltraHaptics инфракрасный датчик отслеживает точное положение пальцев пользователя в трехмерном пространстве и позволяет точно направить ультразвук на руки пользователя, создавая ощущение соприкосновения. Компания предлагает целый ряд приложений для этой технологии, включая взаимодействие с движущимися объектами в играх VR (которые могут быть расширены до AR), а также элементы управления для автоматических панелей. В домашних условиях данная технология может использоваться для того, чтобы избегать прикосновения к кухонным приборам грязными руками во время готовки.

Компания также работает над решениями в области повышения уровня безопасности и сотрудничает с Jaguar Land Rover в рамках разработки системы воздушного сенсорного управления, применяемой в экране Predictive Infotainment. Ее целью является устранение необходимости для водителя отвлекаться, сокращая количество времени, которое ему требуется, чтобы перевести взгляд и изменить положение рук. С технологией UltraHaptics положение рук водителя на интерактивном поле отслеживается так, как если бы он держал руль, при этом система генерирует тактильное ощущение, подтверждающее связь. Вы можете почувствовать кнопки и рычаги, переключать их в воздухе и получать отклик, подтверждающий, что действие успешно совершено, и при этом нет необходимости смотреть на дисплей.

Тактильная симуляция как способ коммуникации

Возможности таких систем взаимодействия, как UltraHaptics, не ограничиваются имитацией элементов управления или ощущением виртуальных объектов. Марианна Обрист, сотрудник и преподаватель кафедры информатики Университета Сассекса (Великобритания), использует UltraHaptics для изучения возможностей передачи эмоций в общении. Обрист пишет:

Прикосновение – это мощный инструмент для общения между людьми. В настоящее время наблюдается растущий интерес к разработкам интерактивных систем, которые отвечают за передачу эмоций, помимо голоса и мимики. В частности, общение и передача эмоций при прикосновении – это область исследований, которая открывает новые возможности для разработок в сфере эмоционально-ориентированного общения.

Обрист обратила внимание на то, как технологии следующего поколения, такие как UltraHaptics, могут, стимулируя различные области рук, передавать ощущение счастья, грусти, волнения или страха. Короткие, резкие струи воздуха, попадая в область вокруг большого пальца, указательного пальца и средней части ладони, создают волнение, а печальные чувства создаются медленной и умеренной стимуляцией внешней стороны ладони и области вокруг мизинца.

Обрист приводит пример пары, у которой случилась ссора утром перед уходом на работу. Когда они снова встретятся, женщина испытает приятные ощущения, передаваемые через ее браслет в середину ладони. Это чувство успокоит ее и укажет на то, что ее партнер больше не сердится.

Обрист считает, что данная технология имеет многочисленные возможности для применения. Она предоставляет новые способы общения не только слепым и глухим людям, но и вообще всем. Она может применяться как при взаимодействии двух людей, например, как отдельная тактильная система между парой или друзьями, так и при взаимодействии сразу нескольких получателей, например, в кинотеатре – для усиления впечатления от просмотра.

Smartstones[43], компания, расположенная в Санта-Барбаре, Калифорния, работает над тактильной системой взаимодействия для друзей и близких, чтобы они могли общаться без помощи слов. Платформа Smartstones позволяет настраивать библиотеку сообщений и отправлять и получать их с помощью простых жестов. Электронное устройство под названием Touch имеет форму гладкого камня, который можно носить как подвеску или браслет или просто держать в руке. Сообщения принимаются на Touch как уникальная комбинация вибраций и вспышек светодиодов, называемая Hapticon.

Каждый камень имеет Bluetooth-соединение, гироскоп, светодиодные фонари, динамик, емкостный сенсорный интерфейс (который распознает и реагирует на легкие касания) и библиотеку распознавания жестов. Хотя для использования Touch смартфон не требуется, есть специальное приложение, которое позволяет вам запрограммировать его, заставляя реагировать соответствующим образом на различные типы касаний. Вы можете использовать его для создания собственной уникальной системы общения и даже отправки секретных сообщений. Камень можно запрограммировать на отправку любимому человеку сообщения «думаю о тебе» двойным касанием или «чувствую себя взволнованно», если потереть его пальцем. Также он умеет распознавать такие типы касаний, как смахивания, нажатия и встряхивания.

Хотя Smartstones могут использовать все, продукт первоначально предназначался для пожилых людей, у которых был инсульт или неврологическое заболевание, такое как боковой амиотрофический склероз. Smartstones также заинтересовал родителей детей, страдающих аутизмом. Одной из главной целей создания устройства было предоставить возможность общения тем людям, которые не могут это делать устно. При помощи этого устройства каждый может общаться быстрым и простым способом, не тратя время на изучение таких альтернативных средств коммуникации, как шрифт Брайля или язык жестов. «Мы, по сути, создаем платформу для непрерывного взаимодействия большого количества людей, – комментирует[44] Андреас Форсленд, основатель и генеральный директор Smartstones. – Сегодня мы фокусируемся на межчеловеческой коммуникации, стараясь расширить границы возможностей человеческого взаимодействия и повысить его качество. Особенно это ценно для людей с нарушениями речи, такими как аутизм, боковой амиотрофический склероз, афазия». Используя систему взаимодействия, устройства Smartstones могут отправлять импульсы с камня на камень, преобразовывать данные в текст или даже в голосовые сообщения.

Работы Обрист и Форсленда посвящены технологиям, поддерживающим более сложные формы цифровой коммуникации и новые виды взаимодействия пользователей с использованием рук, языка и эмоций. В то время как наша жизнь становится все более «цифровой», такие проекты помогают восстановить и, возможно, даже вывести на новый уровень важность прикосновений в век технологического прогресса, придавая новое значение тактильности и создавая новый способ понять мир и друг друга.

Дивный новый мир тактильных фильмов

Что если помимо того, чтобы касаться предметов, реальных или виртуальных, только кончиками пальцев, у вас была бы возможность чувствовать их всем своим телом? В своей статье[45] Брет Виктор также пишет: «Имея возможность использовать все тело целиком, вы действительно думаете, что будущее интерактивных технологий в касании только одним пальцем?»

Феликс Хейбек, Алексис Хоуп, Джули Лего и София Брюкнер, исследователи из Медиалаборатории Массачусетского технологического института, написали книгу, которую вы можете носить и «читать» с помощью всего вашего тела. Прототип сенсорной литературы[46] представляет собой жилет, оснащенный функцией тактильной стимуляции, который связан с книгой и позволяет читателю почувствовать на физическом уровне эмоции, испытываемые главным героем. Надеваемое устройство способно изменять звук, освещение, температуру, стягивать грудную клетку и даже менять сердечный ритм читателя, чтобы передать то, что испытывает в этот момент герой книги.

«Летишь вечером в ощущалку, Генри? – спросил помощник Предопределителя. – Я слышал, сегодня в «Альгамбре» первоклассная новая лента. Там любовная сцена есть на медвежьей шкуре, говорят, изумительная. Воспроизведен каждый медвежий волосок. Потрясающие осязательные эффекты».

Олдос Хаксли

Прототип сенсорной стимуляции впервые упоминается в научно-фантастическом романе Олдоса Хаксли «О дивный новый мир» (1932), в котором описывается, как зрители «испытывают ощущения» вымышленных персонажей. «Тактильные фильмы» – фильмы, в которых сочетались ощущения осязания с визуальными эффектами и звуком. Зрители кинотеатра брали в руки металлические шары, закрепленные в подлокотниках стульев, и испытывали тактильные ощущения, повторяющие ощущения персонажей на экране.

Возвращаясь к идее Обрист о том, что сенсорную стимуляцию можно использовать в кинотеатре, чтобы создать более сильные ощущения от просмотра, я могу предположить, что ее идеи могут быть применены следующим образом. Вместо повторения тактильных ощущения персонажей (как в тактильных фильмах из отрывка выше, описывающего, что можно было почувствовать волосы шкуры медведя), эмоциональное состояние персонажа могло бы передаваться за счет подачи коротких резких струй воздуха в середину руки зрителя (как в исследовании Обрист), чтобы передать волнение персонажа. Такую технологию можно применить даже без сопутствующего видеоряда и использовать для дополнения аудиокниг или радиотрансляций. «Осязание эмоций» становится реальным, создавая новые возможности для передачи эмоций персонажа посредством не только зрения и слуха, но также осязания.

В работах Обрист, Форсланда, а также исследователей Массачусетского технологического института приводятся способы создания сильного восприятия другого человека или персонажа посредством невербального преобразования чувств, настроения, сообщений или даже целой истории. Результатом этого становится формирование нового способа познания и понимания человеческих чувств с помощью своего тела. Но как еще можно использовать этот тип информации для интерпретации и понимания других типов данных?

Сенсорная замена

Нейробиолог Дэвид Иглман занимается разработкой специального жилета с тактильной симуляцией, целью создания которого является расширение способностей человека воспринимать данные новым интуитивным способом.

Иглман и его команда в собственной Лаборатории по изучению восприятия и действия в Медицинской школе Стэнфордского университета (США) создали устройство под названием VEST[47] (по первым буквам от англ. Versatile Extra-Sensory Transducer[48]) – приспособление, которое позволяет глухим людям воспринимать речь с помощью вибрации. Смартфон или планшет с установленным на нем приложением использует свой микрофон для распознавания звуков. Затем эти звуки передаются по Bluetooth на жилет. Тот преобразует звуки в различные виды вибраций, которые пользователь ощущает спиной.

Иглман делает акцент на том, что испытываемые при этом чувства не следует интерпретировать как своеобразный шрифт Брайля. В своем выступлении на конференции TED в 2015 году[49] он отметил[50]:

Вибрация, которую вы чувствуете, когда на вас надет жилет, повторяет частоту вибраций издаваемого звука. То, что вы чувствуете, не является кодом для буквы или слова это также не аналог азбуки Морзе, – вы ощущаете на себе сам звук.

Иглман отделяет этот жилет от других носимых устройств, таких как Apple Watch, где разные варианты вибрации используются для передачи разных сигналов (например, различные варианты шаблонов вибрации для входящего звонка и текстового сообщения).

Вместо этого VEST использует «сенсорную замену» – информация подается в мозг через нестандартные сенсорные каналы, и уже затем в мозге формируется ощущение. Это похоже на продукты EyeMusic и vOICe, рассматриваемые в главе 2, суть работы которых сводится к тому, что мозг способен «видеть» под воздействием звука. В этих случаях, вместо того, чтобы попадать через зрительную зону коры мозга, сигнал поступает в мозг через слуховую зону, а затем уже попадает в соответствующий отдел. VEST также использует сенсорную замену для глухих людей.

Иглман и его команда предложили испытать VEST глухим людям. Во время своей лекции на конференции TED Иглман продемонстрировал, как Джонатан, 37-летний глухой от рождения мужчина, понимал значение сложных комбинаций вибраций после всего пяти дней обучения пользования устройством.

Следующим шагом для Иглмана и его команды в разработке VEST станет преобразование другой информации, например данных фондовых рынков или прогноза погоды. Так, например, если изменения на фондовом рынке будут передаваться посредством слабой вибрации, пользователи VEST смогут чувствовать и даже предугадывать определенные экономические тренды.

Больше не нужно ждать подарков в виде отдельных ощущений, отмеряемых нам матерью-природой. Вместо этого, как и любой хороший родитель, она дала нам инструменты, с которыми мы можем вылететь из гнезда и двигаться в развитии по своей собственной траектории».

Итак, далее встает вопрос: как мы будем использовать наши чувства, такие как осязание, чтобы ощущать мир по-новому?

В главе 2 мы рассмотрели, как с помощью дополненной реальности можно преобразовать наши среду и контекст, используя новейшие визуальные возможности. Здесь же, учитывая прогнозы Иглмэна, можно предположить, что в будущем мы сможем не только видеть, но и чувствовать по-новому и познавать мир, как никогда раньше, при помощи прикосновений. От работы с деформируемым экраном до передачи эмоций через вибрации, до нового восприятия мира через одежду, оснащенную устройствами тактильной стимуляции, как, например, разработанный Иглманом жилет, – все это подтверждает, что наше дополненное будущее наощупь не «стеклянное» и несет в себе технологии, интуитивно понятные любому человеку. Мы существуем в трехмерном пространстве и ощущаем вещи всем своим телом, но технологически мы часто ограничены только двумя измерениями экрана. Самые мощные AR-приложения позволят нам почувствовать вещи, как будто они существуют на самом деле, и использовать эти возможности человечества в новых гибридных цифровых устройствах для того, чтобы еще больше расширить потенциал нашего восприятия.

Глава 4. Дополненный звук и аудиогарнитура

Звук позволяет нам существовать как в окружающей среде, так и перенестись в какое-то другое место. Слушая, мы можем создать «театр разума», где, используя свое воображение, можно создавать визуальные образы или даже путешествовать во времени. Уже сейчас в нашей жизни встречаются многочисленные примеры звукового дополнения нашей среды: например, человек, едущий в набитом поезде, который не слышит окружающий его шум благодаря шумоподавляющим наушникам, или женщина, которая слушает свою любимую рок-музыку в самолете во время взлета и посадки. В будущем дополненный звук позволит нам блокировать «шум» повседневной жизни и обеспечит более сильные ощущения от звуковых эффектов.

«Когда люди говорят о технологии дополненной реальности, они обычно считают, что речь идет только о визуальных эффектах, которые накладываются камерой на изображение. Это всегда касается визуального ряда. Но не многие знают, что то же самое можно делать и со звуком», – сказал Майкл Брейденбрюкер, соучредитель Last.fm и основатель RjDj (Reality Jockey Ltd.). Заблуждение о том, что AR – это только визуальные эффекты, сохраняется и по сей день, несмотря на то, что звук не менее гибок и транспортабелен и зачастую не требует визуального дополнения.

Звуковые эффекты могут быть использованы как вместе с другими дополненными ощущениями, так и самостоятельно. Звук может помочь вам лучше ориентироваться в пространстве и быстрее находить необходимую информацию, испытывать яркие ощущения, раскрывать воображение, изменять окружающую среду. В этой главе рассматривается каждая из областей применения дополненного звука и приводятся примеры различных аудиогарнитур, завоевавших популярность на растущем рынке носимых устройств. В дополнение к получению данных из уха о здоровье и активности пользователя, аудиогарнитура позволяет создавать новые формы взаимодействия и общения, включая цифровую умную поддержку, реагирующую на голосовые команды в режиме реального времени.

Дополненный звук с привязкой к местности

Навигация на местности, информационный тур по музею или управляемая медитация – все это примеры того, как записанный или воспроизводимый в прямом эфире голос становится вашим проводником в своеобразном путешествии. Звук может сделать ваше окружение ярче, дополнив его аудиоэффектами или музыкой, сфокусировав ваше внимание на деталях, которые вы не заметили бы самостоятельно. Дополненный звук может открыть новые грани и качества этого мира.

Джанет Кардифф из Канады известна во всем мире своими запоминающимися аудиопрогулками, которые она записывает с 1991 года. Кардифф так говорит о своей работе[51]:

Аудиопрогулки похожи по своему формату на аудиогид. Вы берете CD-плеер или iPod и встаете или садитесь в определенном месте и нажимаете на кнопку воспроизведения. На CD вы слышите мой голос, дающий указания, например, «поверните налево» или «войдите в эту дверь», накладываемые на фоновый звуковой ряд: звук шагов, машин, птиц или другие звуковые эффекты. Это важная часть записи. Виртуальный записанный звуковой фон должен соответствовать характеристикам реального мира, чтобы создаваемое новое пространство воспринималось как «бесшовное сочетание» реального и дополненного. В своих записях я не только направляю слушателей, но и делюсь своими мыслями и информацией, которая побуждает дослушать лекцию до конца.

Кардифф создает смешанную реальность со звуком в качестве основного элемента, ведя адресованное лично вам повествование в людном месте и делая это место для вас более индивидуализированным. Она также говорит[52], что ее прогулки можно назвать одной из форм «путешествий во времени». Работа Кардифф служит отличным примером прообраза дополненной звуковой реальности, ставшей доступной с использованием современных технологий.

Эндрю Мэйсон является основателем и генеральным директором Detour[53], стартапа из Сан-Франциско, предлагающего коллекцию аудиопрогулок дополненной реальности под названием Detours. Мэйсон отмечает, что работа Кардифф, наряду с проектами других создателей, произвела огромное впечатление на него. «Первое, что я сделал, когда начал изучать эту идею, – это стал путешествовать по всему миру, чтобы тестировать разные аудиофайлы, привязанные к местоположению», – объясняет он. Среди них были: «Прогулка с Кардифф по Центральному парку»[54], «Аудиопрогулка по Бруклину» и «Необычные прогулки по Лондону»[55], созданные Фран Панеттой. «Эти работы побудили меня создать звуковую реальность, привязанную к местоположению, для создания кинематографического эффекта в реальной жизни, переноса слушателей в другой мир и максимального погружения их в ощущения и опыт других людей», – отмечает Мэйсон.

При включенном приложении Detour, голос местного рассказчика автоматически сопровождает вас в наушниках по ходу движения. Мэйсон отмечает, что Detour отличается от других приложений аудиотуров тем, что при его использовании нет необходимости постоянно брать в руки телефон или щелкать по значкам на карте для воспроизведения аудио. «Мы хотели создать такое приложение, которое позволило бы людям почувствовать, будто их сопровождает кто-то из местных, а технологическая подоплека отошла бы на второй план», – говорит Мэйсон[56]. Когда аудиосопровождение само по себе становится интерфейсом, а смартфон лежит в вашем кармане с выключенным экраном и вам не нужно постоянно на него смотреть, вы можете сосредоточиться на том, что вас окружает, и на рассказе вашего гида.

Detour отличается от обычных аудиогидов тем, что эта технология знает ваше местоположение на протяжении всего времени работы, делая возможным динамичное использование, адаптируемое под ваш темп ходьбы, время суток и даже погоду. Нет необходимости нажимать кнопку «Воспроизведение» каждый раз, когда вы достигаете следующего пункта своего маршрута: программа анализирует ваши движения и автоматически определяет, что вы уже там. Для этого Detour использует GPS, iBeacon и другие датчики в вашем смартфоне, определяя точное местоположение. iBeacon – это разработка компании Apple, работающая на базе энергоэффективной беспроводной технологии Bluetooth Low Energy (BLE) для предоставления информации и услуг на основе вашего местоположения. Ее можно использовать при неуверенном приеме сигнала GPS. Сами маяки[57] – это недорогие Bluetooth-передатчики, которые работают как датчики определения расстояния. Приложения на iOS получают сигнал этих маяков и реагируют, когда ваш телефон или планшет попадает в зону охвата сигнала. iBeacon используются в работе приложения Detour, чтобы автоматически запускать конкретную аудиозапись при приближении к определенной геопозиции. В дополнение к iBeacon, Detour использует акселерометр вашего телефона, фиксирующий ваши движения и шаги, и магнитометр для определения направления, в котором вы смотрите.

Дополненный звук для сочувствия и понимания

Detour был создан для того, чтобы «помочь людям заглянуть за обычно непроницаемую перегородку и открыть для себя то или иное место по-новому», – говорит представитель компании Харис Батт[58]. Detour позволяет вам посетить уникальные места, как, например, Тендерлойн, один из самых необычных и быстро меняющихся районов Сан-Франциско, чтобы увидеть ту его часть, которую немногие могут увидеть, а большинство не замечает. В ходе аудиопрогулки вы не только слушаете рассказы о людях, которые здесь жили и работали, но и можете зайти в церковь, которую они посещали, или в хостел, где они останавливались. «Когда вы повторяете те же движения, которые когда-то совершал кто-то другой, в этом есть нечто, что помогает лучше понять чувства, испытываемые другими людьми», – говорит Марианна Маккьюн, разработчик Detour.

Маккьюн 15 лет проработала репортером на радио. Она начинала с молодежной радиопередачи на общественном радио Нью-Йорка под названием Radio Rookies[59], в которой подростки, живущие в неблагополучных районах, рассказывали истории о себе и своей жизни. Маккьюн описывает одну из задач этой программы следующим образом: «Они рассказывают истории о том, что, по их мнению, важно для аудитории, имеющей с ними мало общего, чтобы более образованные и обеспеченные радиослушатели могли лучше понять, как они живут». Она приводит в качестве примера рассказ одной из девушек-подростков, Ширли Диас, по прозвищу Звезда, выступавшей на Radio Rookies. Она говорила на темы, обычно замалчиваемые широкой аудиторией. «Но когда вы слушаете ее, вы чувствуете, что погружаетесь в ее жизнь и начинаете понимать ее точку зрения, – говорит Маккьюн. – Она ведет вас по своему миру так, что вы можете увидеть этот мир ее глазами. Поэтому вы не отстраняетесь, как если бы наблюдали за ее жизнью со стороны, а смотрите на все с ее точки зрения».

«Я думаю, что у Detour есть потенциал, чтобы добавить еще один уровень, позволяющий увидеть мир глазами других людей: это даст вам возможность буквально почувствовать то, что испытал кто-то другой», – говорит Маккьюн. Она приводит в пример письмо, которое она получила от человека, попробовавшего аудиопрогулку Detour по Тендерлойну[60]. «Я и несколько моих коллег заинтересовались этой аудиопрогулкой, потому что наши офисы находятся рядом с Тендерлойном, но мы мало что знали об этом районе, – говорится в письме. – Самым ярким моментом единения с программой было, когда когда мы зашли в церковь Святого Бонифация и увидели всех этих бездомных, спящих на церковных скамьях. Мы пожертвовали им кое-какие лекарства и поболтали с одним из волонтеров, который оказался бывшим наркоманом, самостоятельно излечившимся от зависимости». В результате этой прогулки завязалась оказавшая на нас большое влияние беседа, которая, скорее всего, не произошла бы при обычных обстоятельствах. Письмо заканчивалось так: «Странно, как нечто такое простое, как небольшое пожертвование и общение с этим человеком, может полностью изменить ваше отношение к целому району». Маккьюн комментирует это следующим образом: «Я думаю, что сочетание звукового сопровождение и физическое присутствие в описываемом месте побуждают людей выходить за привычные рамки».

Дополненный звук обладает способностью преодолевать определенные психологические барьеры и способствовать лучшему пониманию окружающих и сопереживанию. Это помогает вам не только увидеть мир чужими глазами, но и физически ощутить себя на месте другого человека. Это может вдохновить вас на определенные действия и даже изменить всю вашу жизнь, даже если толчком для этого будет простой разговор с кем-то, с кем при обычных обстоятельствах вы бы никогда не встретились.

В виртуальной реальности также используются технологии, прокладывающие дорогу разработкам, связанным с сопереживанием. «Облака над Сидрой» (2014) – VR-фильм, снятый режиссером Крисом Милком при поддержке Организации Объединенных Наций. В фильме рассказывается история 12-летней девочки по имени Сидра, живущей в сирийском лагере беженцев в Иордании. Фильм был показан на Всемирном экономическом форуме в Давосе в январе 2015 года группе лидеров, решения которых влияют на жизнь миллионов людей. Как отмечает Милк, эти люди, возможно, никогда бы не испытали тех чувств, которые испытывают живущие в палатках беженцы.

Когда вы используете гарнитуру VR и смотрите с ее помощью «Облака над Сидрой», вы наблюдаете за миром маленькой девочки, видя его на 360 градусов во всех направлениях. Вы не смотрите на Сидру через телевизионный экран, а сидите прямо в ее комнате, слышите ее голос, как будто вы находитесь рядом. Ее мир становится и вашим миром тоже. Когда вы смотрите вниз, вы видите, что вы сидите на той же земле, что и она. «Из-за этого, – говорит Милк[61], – вы лучше понимаете ее ощущения. Вы сопереживаете ей сильнее».

Хотя технология VR специально предназначена для того, чтобы переносить вас в места или среды, не доступные вам физически, с помощью AR можно еще сильнее увеличить степень сопереживания, как это было сделано в Detour, побуждая вас взаимодействовать с вашей средой, когда это возможно. Одна из целей Мэйсона в использовании Detour – это заставить людей выйти из своей зоны комфорта и начать исследовать окружающий их мир. «Во многих компаниях, похоже, считают наивысшей ступенью развития создать такую возможность, при которой вы будете постоянно сидеть на своем диване в гостиной, куда вам будут доставлять еду, привозить и забирать вашу одежду и где вы сможете общаться с вашими друзьями с помощью VR-гарнитуры Oculus Rift, – говорит Мэйсон[62]. – Возможно, я покажусь вам ретроградом, но я люблю жизнь в ее привычном понимании. Я хочу, чтобы Detour стала компанией, которая поможет людям получать больше позитивных эмоций».

Большинство туров являются журналистскими по своему типу, так как в них рассказывается об истории, людях и окрестностях, но в Detour с его дополненными аудиопрогулками, есть, например, проект, в котором рассказывается о войне с мусором в Сан-Франциско. План развития города называется «Нулевые отходы» и его цель – перестать направлять на свалку или сжигание все отходы к 2020 году. Это означает повторное использование или переработку всего, что выбрасывается в Сан-Франциско. Вместо того, чтобы просто показывать вам груду мусора и свалку, данный проект помогает вам задуматься о том, сколько мусора ежедневно производится, показывая вам различные стороны повседневной жизни в Сан-Франциско. Detour изменяет ваше привычное видение мира, благодаря аудиосоставляющей, и вдохновляет на перемены, которые продолжаются еще долго после завершения тура.

Помощь людям с ослабленным зрением при перемещении по городу

Дополненные аудиопрогулки, такие как Detour и Cardiff, позволяют вам глубже погрузиться в ваше физическое окружение, открывая новый мир, с которым вы, возможно, ранее не сталкивались. Но как насчет людей, которым, возможно, придется полагаться на такую технологию, чтобы просто ориентироваться в повседневной жизни? Cities Unlocked от Microsoft – это новая аудиотехнология, разработанная для незрячих людей, чтобы помочь им перемещаться по городскому пространству.

«Я был вдохновлен на создание этого проекта, когда родилась моя дочь и у нее были выявлены проблемы со зрением, – говорит[63] Амос Миллер из Microsoft, у которого также ослаблено зрение. – Я хотел вывести ее прогуляться или пойти с ней в кино и подумал: «Как сделать так, чтобы можно было заниматься подобными вещами без колебания?» Он рассказывает, как система навигации «рисует картину мира с помощью звука, подобно тому, как маяк указывает направление при помощи света» и как эта система снимает страх у людей перед новыми путешествиями.

При ношении специальной аудиогарнитуры, использующей костную проводимость и подключенной к вашему смартфону, вы слышите голос, направляющий вас и описывающий место, в котором вы находитесь. Такая гарнитура надевается над челюстной костью и при помощи вибраций передает звук через челюстную кость к внутреннему уху. Это позволяет слышать окружающие звуки, не надевая наушники. Маленькая коробочка, расположенная на задней панели гарнитуры, содержит акселерометр, гироскоп, компас и микросхему GPS для отслеживания вашей позиции. Система подключена к вашему смартфону с данными о местоположении и навигации с GPS и Microsoft Bing Maps[64], чтобы направлять вас, а также ориентируется на сеть радиомаяков с поддержкой Bluetooth (так же, как и в Detour), размещенных в различных районах города.

Направляющая аудиотехнология используется для создания трехмерного звукового ландшафта, указывая направление движения и описывая ориентиры по мере продвижения. Если интересующее вас место находится в 10 метрах впереди и справа, голос, уведомляющий вас об этом, будет звучать так, как будто исходит именно оттуда. В дополнение к пошаговым направлениям голосом звуковые сигналы сопровождают вас во время передвижения, например особый сигнал будет указывать на то, что вы придерживаетесь правильного курса, а другой звук предупредит вас о приближении к обочине. Вы также можете запросить у системы дополнительную информацию о местных достопримечательностях, например часы работы, и получить эту информацию из базы данных Bing с помощью голосового или механического запроса. Кроме того, Microsoft разработала интегрированное приложение под названием CityScribe, позволяющее людям помечать в своем городе препятствия, которые не отмечены на большинстве интерактивных карт, такие, как, например, скамейки в парке, низкие выступающие углы, мусорные баки или уличная мебель.

Кейт Риддл – одна из тех, кто тестирует гарнитуру Microsoft. Будучи человеком с сильно ослабленным зрением, она отмечает, что эта технология помогает ей посещать новые места и не волноваться, если что-то выйдет из-под контроля, в то время как раньше ей приходилось несколько раз пройти по одному и тому же пути, прежде чем запомнить его особенности. «Благодаря этой технологии я не испытываю больше такого сильного стресса, когда оказываюсь в новом месте, – говорит[65] она. – Это сильно расширяет мои возможности и делает путешествие приятным, а не сложным. Вместо того чтобы выходить в новое место, «потому что нужно», теперь я делаю это «потому что могу»». Для таких людей, как Риддл, эта технология действительно меняет жизнь.

Технология Cities Unlocked может получить и более широкое применение. В видеоролике[66] Microsoft рассказывается о том, что нетрудно представить, как в ближайшем будущем эта технология будет использоваться для решения всех видов повседневных задач, таких как поиск ближайшего туалета в большом торговом центре или изучение нового города, когда вы не говорите на местном языке. Эта технология может не только направить вас в интересующее место, но и придать уверенности, позволяя лучше ориентироваться в окружающем пространстве и теснее взаимодействовать с миром.

Создание полезных технологий для всех

Звук является одним из элементов технологии Cities Unlocked. Первооткрыватель в области взаимодействия человека и машины и главный научный сотрудник Microsoft Билл Бакстон заявляет, что его любимая часть проекта – это не технология, а момент, когда ощущение присутствия технологии исчезает. «Самая лучшая технология – это та, которую ты не замечаешь. Она просто становится частью нашей жизни, – говорит Бакстон[67]. – Правильно взаимодействуя с технологией, пользователь должен чувствовать себя не оператором оборудования, но просто человеком. Идя по улице, вы должны думать о том, что хотите попасть на работу или просто подышать свежим воздухом, или позаниматься спортом, а не о том, что вы управляете при этом какой-то технологией».

Ключ к совершенной разработке для Бакстона прост и заключается в следующем: если вы понимаете потребности ограниченного круга пользователей и делаете для него продукт, то в итоге можете сделать нечто полезное для всех. Он приводит следующее объяснение:

Я как конструктор интерактивных технологий основное внимание всегда уделяю качеству человеческого опыта. Я очень рано понял, что, если вы хотите что-то понять, нужно, прежде всего, разобраться с экстремальными проявлениями и попытаться понять тех, кто находится на самом краю. Практически всегда то, чему вы научитесь у этих людей, будет справедливо и для всех остальных.

Я обратилась к Бакстону[68] с просьбой подробно остановиться на идее разработки «крайних случаев» в интересах всех. Он ответил: «Cities Unlocked – пример такой разработки, нацеленной на узкую аудиторию, которая затем подтолкнула вперед развитие технологии дополненного звука в целом». Бакстон указал мне на его «любимую ссылку» в статье Фрэнка Боуи 1987 года «Создание компьютеров, доступных для людей с ограниченными возможностями»[69].

Боуи писал: «Если бы опции, необходимые разным пользователям, были интегрированы во все компьютеры, качество жизни миллионов людей с ограниченными возможностями могло бы быть значительно выше». Он приводит дизайн зданий как наиболее частый пример концепции всеобщей доступности, ссылаясь на архитектуру и форму автоматических дверей и одноуровневых поверхностей при входе. «Эти особенности архитектуры кажутся нам естественными: они не выглядят так, как будто они были созданы специально для людей с ограниченными возможностями», – отметил Боуи. Он привел в качестве примера пандус, наблюдая за тем, как на каждого человека в инвалидной коляске приходится десять человек без ограничений в возможностях, которые также его используют: родители с детскими колясками, велосипедисты, грузчики и просто пешеходы, которым удобнее подниматься по рампе, чем по лестнице.

Боуи приводит примеры, которые подтверждают, что технология, разработанная для удовлетворения особых потребностей пользователей-инвалидов, оказалась применима для всех. Он отметил также компьютеры, которые разрабатывались для понимания и распознавания человеческой речи (в 1987 году), оказавшиеся полезными для таких людей, как руководители, неохотно использующие клавиатуру, или сотрудники, руки которых заняты для выполнения других задач, как, например, у инспекторов качества на заводских сборочных линиях. Я спросила Бакстона, думал ли он, что принципы разработки новых технологий изменились с тех пор, как статья была написана три десятилетия назад. Его ответ был следующим: «В процессе разработки решений, предназначенных для широких масс, создаваемые новые технологии могут помочь и людям с ограниченными возможностями, и наоборот». Это важный момент, поскольку мы разрабатываем будущие технологии дополненной реальности и хотим, чтобы они стали доступными и полезными для как можно большего количества людей.

Окружая вас звуком

Звук используется в VR для усиления реалистичности виртуальных мест, чтобы они ощущались как настоящие. Мы увидим, что звук применяется в AR в большей степени для увеличения чувства погружения, начиная от звуковых эффектов и заканчивая голосовыми взаимодействиями. Принцип работы проектов Cardiff, Detour и Cities Unlocked заключается в наложении на реальный мир дополнительной виртуальной составляющей, обеспечивая возможность перемещаться в голосовом сопровождении соответствующей программы. В дополнение к навигации звуковое сопровождение позволяет усилить повествовательный и развлекательный эффект дополненной реальности.

Джоэл Сьюзэл, директор по VR и AR компании Dolby, говорит[70]: «Аудио в виртуальной реальности – это не роскошь, это необходимость». Он указывает, что в реальной жизни нет границ, мы ощущаем мир вокруг нас во всех направлениях. В VR мы должны стремиться к тому же. В отличие от традиционных фильмов, в которых наше внимание может быть обращено на определенные точки на экране, создание трехмерной среды требует больше, чем просто визуальных стимулов. «Положение ваших ушей изменяется в зависимости от положения головы», – по мнению Сьюзэл, поэтому так важна направленность звука. Звук добавляет степень погружения в среду VR, позволяя кинематографистам сделать вас частью описываемой истории. В Cities Unlocked используются пространственные звуковые сигналы, чтобы направлять пользователя, имитируя звук, исходящий из определенного места. Этот же эффект может применяться в VR и AR, чтобы помочь привлечь внимание пользователя в повествовании или в игре.

При ношении очков AR, таких как HoloLens[71] от Microsoft (оснащенных двумя маленькими динамиками, расположенными рядом с ушами), когда вы отворачиваете голову и тело от предметов, издающих звуки, звук передается так, будто его источник находится позади вас, и наоборот – если вы поворачиваетесь к источнику звука. Аналогично, когда вы приближаетесь к виртуальному объекту, звук становится громче. Это помогает сделать виртуальные объекты более реальными. Например, во время игры в AR вы сможете услышать, как виртуальный дракон приближается к вам и ревет в ваше левое ухо.

Аудиотехника компании HyperSound[72] обеспечивает еще один способ создания эффекта погружения. Подобно тому, как фонарик направляет луч света, Hypersound направляет звук в виде узкого пучка, используя ультразвуковые волны и концентрируя его в определенном месте для создания точной звуковой зоны. Люди, находящиеся вне области звука, не слышат его, тогда как для людей внутри звуковой зоны, эффект напоминает звук в наушниках. Можно создать частную зону прослушивания в общественном месте или направить звуковой пучок в целевое местоположение. Например, McDonald’s использует HyperSound в экспериментальной программе, чтобы направлять звук телевизора на определенные столы в своих ресторанах, позволяя определенным посетителям слышать звук телевизора и не нарушая покой остальных. Данная технология находит самое широкое применение: от дисплеев в магазинах[73] и музейных интерактивных платформ до игр[74].

Йорг Мюллер[75], доцент информатики Орхусского университета (Дания) разработал уникальный прототип BoomRoom[76], который позволяет напрямую взаимодействовать с виртуальными источниками звука прямо в воздухе. Мюллер и его команда создали небольшую комнату (три метра в диаметре), окруженную кольцом из 56 динамиков, скрытых за шторами. Используя компьютерное зрение и отслеживание жестов, можно управлять звуками как в движении, так и оставаясь неподвижным.

Пространственная музыкальная комната была построена как приложение для целой системы. Музыкальный трек может быть присвоен объекту, находящемуся в этой комнате, например вазе. Чтобы трек заиграл, вы должны поднять вазу в воздух и «вылить» его из нее. Жесты, такие как разведенные в стороны или сведенные вместе руки, могут управлять громкостью, высотой частот и басами.

Мюллер пишет: «Мы считаем, что способность «касаться» источников звука в воздухе и заставлять объекты «говорить» открывает много новых возможностей для взаимодействия человека и компьютера». В качестве примера он описывает «шариковый автоответчик», представляющий собой чашу, наполненную мраморными шариками:

Когда из чаши достают один шар и несут его через комнату, он начинает воспроизводить записанное сообщение. Если пользователь хочет удалить сообщение, он может просто вытащить его из шара и выбросить в корзину. На шарик можно даже записать ответ и отправить его автору сообщения. Если сообщение необходимо сохранить, нужно просто переложить шарик в другую чашу.

Конечно же, сам по себе шар не воспроизводит звук, это иллюзия. Это обычный шарик, а колонки, встроенные в стены, воспроизводят звук так, что кажется, будто он исходит из самого шара. Мюллер говорит: «Идея заключается в том, что все объекты сами по себе абсолютно обычные и не являются инструментами».

В другом примере Мюллер описывает, как непрочитанные электронные письма могут принять форму стаи птиц, сидящих или парящих в комнате с новыми сообщениями и срочными письмами, пролетающими прямо над пользователем, и все они также создают направленный звук. Различным отправителям можно присвоить разные звуки чириканья птиц. Если пользователь хочет прочитать сообщение, он может подойти к птице, «коснуться» ее в полете, и сообщение будет прочитано голосом. Также можно отвечать или пересылать электронные письма, поймав и направив птицу в соответствующем направлении.

Дополненный звук может создавать новые способы взаимодействия с нашим повседневным миром. И это не столько об автоответчике-шарике или о стае птиц, отправляющих ваши электронные письма, сколько о разработке новых парадигм взаимодействия, которые раньше не были возможны. Такое творческое и художественное переосмысление привычных действий вдохновляет на переосмысление того, как мы взаимодействуем с информацией и какие новые уникальные типы взаимодействия можно придумать.

Для интеграции BoomRoom в повседневную жизнь необходимо, чтобы панели с колонками стали достаточно дешевыми для встраивания их в стены вашего дома. На данный момент прототип заставляет задуматься о том, как мы можем применять дополненный звук для общения и взаимодействия с окружением, используя движения тела.

Воображение и игра со звуком

Японским стартапом в сфере носимых технологий Moff Band[77] было разработано устройство для детей, в котором сочетание движений и звуков способствует развитию воображения во время игр и чтения. Надеваемый браслет подключается к приложению на вашем смартфоне или планшете через Bluetooth и использует встроенный акселерометр и гироскопические датчики для определения того, какие движения делает ребенок. Выбранные звуковые эффекты воспроизводятся в реальном времени в зависимости от движений ребенка и включают такие звуки, как, например, барабаны и гитара, лязг японских мечей или звуки, относящиеся к различным видам спорта. Moff Band может распознать два отдельных движения: перемещение руки влево-вправо и вверх-вниз. Вы можете находиться на расстоянии до 10 метров от устройства, и оно будет реагировать на вас, издавая звуки.

Двое детей (или взрослых) могут использовать Moff Band, чтобы играть вместе. Например, повторяя движения, совершаемые во время игры в теннис, вы будете слышать звуки отскакивающего теннисного мяча, взмахивая в воздухе воображаемой ракеткой. Кроме того, вы услышите восторженные крики виртуальных зрителей. Moff Band сочетает технологию с физической активностью: дети прыгают и двигаются, чтобы проигрывать звуки.

Moff Band в сотрудничестве с телеканалом PBS KIDS запустили приложение PBS KIDS Party. Это приложение (для детей 5-8 лет) предназначено для того, чтобы помогать в обучении через творческие игры и движения при ношении браслета. Приложение включает в себя игры Freeze Dance[78] и Piñata Party[79], а также игру, развивающую счет, и позволяет записывать свои собственные звуки.

Konstruct[80] – это AR-приложение, разработанное Джеймсом Аллибаном в 2011 году, и основанное на технологии лондонской компании String[81]. Эта технология позволяет создавать виртуальные скульптуры с помощью смартфона и вашего голоса. Это еще один способ применения дополненного звука: вместо того, чтобы использовать звук для дополнения визуального восприятия, делая его более реалистичным, Konstruct создает абстрактные визуальные эффекты с помощью вашего голоса. По аналогии с Moff Band, оно реагирует на звуки, которые вы производите: речь, свист и даже если вы просто подуете на микрофон. Вы можете комбинировать различные трехмерные фигуры, цветовые палитры и настройки для создания бесконечного набора виртуальных образов. Уровень громкости также влияет на размер фигур.

Как Moff Band, так и Konstruct создают виртуальные образы, позволяющие экспериментировать со звуком при помощи вашего воображения, в результате чего каждый раз получаемые образы могут быть персонализированными, настраиваемыми и уникальными. Одной из причин, позволяющих этой технологии создавать эффект погружения, является создание уникальных образов для каждого конкретного пользователя.

Дополненный звук и персонализация

RjDj, стартап, основанный в Лондоне в 2008 году соучредителем Last.fm Майклом Брейденбрюкером, в котором он реализовал разработанную им нелинейную музыкальную форму под названием реагирующая музыка. Эта музыка реагирует на слушателя и его среду в реальном времени с помощью приложения для смартфонов. Надев наушники, пользователь слышит персонализированную звуковую дорожку, созданную из звуков его физического окружения, которые были записаны с помощью встроенного в смартфон микрофона и микшированны в реальном времени. Хотя в 2013 году сайт RjDj был закрыт и приложение было удалено из открытого доступа, созданные компанией инновации и сегодня остаются актуальными в области дополненного звука.

Мы все знакомы с идеей персонализированных плейлистов (Last.fm разработала такой сервис), но RjDj выходит за обычные рамки, персонализируя музыку и песни, чтобы они реагировали на вас и ваше окружение. «Потребовалось почти 10 лет для того, чтобы моя первоначальная идея, благодаря новым технологиям, обрела форму и стала RjDj», – говорит Брейденбрюкер[82].

Приложения RjDj используют новые способы взаимодействия, доступные с iPhone, такие как встроенные элементы, сенсоры, портативность, и создают музыкальный сервис, который раньше был невозможен. Креативный директор RjDj Роберт Томас рассказывает о технологии этих приложений:

Приложения RjDj были созданы на базе программного обеспечения «Pure data», находящемся в открытом доступе. В RjDj разработали свой собственный порт для iPhone. У нас был свой собственный инструментарий для создания дополненных звуковых эффектов. В работе наших приложений участвует практически каждый датчик, который можно найти в iPhone, включая информацию о движении, времени, погоде, местоположении и, конечно же, микрофон, позволяющий определить громкость и звуковые частоты.

Сегодня приложения дополненного звука, такие как Detour, используют датчики смартфона для определения особенностей вашего окружения, получая информацию о вашем местонахождении и генерируя контент, соответствующий этому месту. Мы рассмотрим также датчики, применяющиеся в других аппаратах, помимо смартфонов, в том числе AR-очках и других устройствах, воздействующих на человеческие чувства. Датчики будут играть важную роль в грядущем будущем AR-технологий, способствуя созданию персонализированного контента, благодаря которому мы сможем быть более вовлеченными в окружающую среду и взаимодействовать с ней по-новому.

Here One[83] – это новый продукт компании Doppler Labs, состоящий из пары беспроводных наушников, подключающихся к смартфону через Bluetooth. Here One управляет звуками окружающей среды в реальном времени, создавая персонализированный звук.

В первую очередь, Here One создавался для музыкантов и любителей музыки. Используя в приложении элементы управления уровнем высоких, средних и низких частот и эффектов, таких как, реверберация, эхо или фланжер, вы можете настроить звук вокруг вас в зависимости от ваших предпочтений и даже создать новый звук. «Here One не транслирует и не воспроизводит записанную музыку, – объясняет глава компании Ноа Крафт, – «вместо этого цифровой сигнальный процессор внутри Here One действует как звуковая студия в ушах, предоставляя вам регулятор громкости, эквалайзер и эффекты для преобразования звуков в реальном мире».

Крафт прогнозирует следующую версию Here One, которая будет обеспечивать выделение определенных частот и тонов для коррекции шума реального мира, например детского плача или шума проезжающего поезда. В этой связи мы можем рассматривать Here One как форму настраиваемой реальности (глава 2), «самостоятельно созданного личного пространства», как описывает его Стив Манн, но здесь основное внимание уделяется звуку, а не картинке. В отличие от настраиваемой реальности, отделяющей нас от мира и друг друга, такие программы, как Here One, могут использоваться для того, чтобы сфокусироваться на чем-то, изолировав нежелательные и усилив интересующие звуки, такие как, например, голос человека, с которым вы обедаете в шумном ресторане. Для Крафта будущее Here One контекстуально. Он описывает то, как видит применение этого приложения, следующими словами[84]:

Мы рассматриваем его как устройство, которое вы вставляете в ухо и оставляете, пока различные внешние условия оптимизируются. Машинные алгоритмы, над которыми мы работаем, будут по-настоящему интуитивными. Итак, представьте, что вы идете в ресторан, где, используя геопозиционирование и статистические данные, полученные в результате анализа ваших предпочтений, мы можем сказать: «Эй, Билл, мы знаем ваши предпочтения в уровне шума». Обычно когда вы идете в ресторан, вы уменьшаете уровень громкости на пятнадцать процентов. Но мы также знаем параметры этой комнаты, и мы знаем, что вы находитесь в левом углу, где присутствует двусторонняя реверберация. И поскольку вы переключили аппарат в режим разговора, мы активизируем направленные микрофоны и снизим уровень внешнего шума, чтобы, находясь в заднем углу, вы могли с комфортом пообщаться с вашим собеседником.

Крафт говорит о VR как о технологии, которая изолирует и «выводит вас из реальности», и он, так же как и Мейсон из Detour, хочет, чтобы вы были сильнее погружены в реальность. Крафт верит в будущее, в котором «вам не нужно будет сидеть и смотреть на лица на экране, как мы все делаем это сейчас», и где мы будем использовать наши чувства расширенным образом для реализации их полного потенциала, будь то снижение внешнего шума или запуск интеллектуального помощника голосовыми командами.

Постоянно работающая аудиогарнитура

Беспроводные наушники-вкладыши, такие как Here One, создают новый способ слушать и взаимодействовать с вашим окружением. Как говорит Ноа Крафт, аудиогарнитура позволяет настраивать вашу среду с помощью голосовых команд. Голос – это самый распространенный инструмент для общения, и мы давно привыкли к наушникам и беспроводным Bluetooth-гарнитурам; это все может помочь быстрее интегрировать эти устройства в нашу жизнь. Ноэль Ли, основатель и главный исполнительный директор компании-производителя наушников Monster, говорит, что наушники – это «первое общедоступное носимое устройство»[85]. Современная тенденция в развитии носимых устройств заключается в том, чтобы сделать их незаметными, и ухо обеспечивает хороший потенциал для этого.

Основной целью создания портативных наушников от Motorola – Moto Hint, впервые представленных в 2014 году, было сделать их незаметными для пользователя, мультидоступными и способными воспринимать голос. Hint – это наушник, который помещается внутри уха и совместим с любым смартфоном или планшетом, поддерживающим функцию Bluetooth. Он оснащен динамиком, сенсорной панелью, двумя микрофонами для подавления шума, аккумулятором и ИК-датчиком приближения, который позволяет устройству автоматически включаться, когда вы вставляете его в ухо.

Вы можете пользоваться Hint, чтобы звонить и отвечать на телефонные звонки, или слушать подкасты или музыку с радиусом дальности около 45 метров. Но самая интересная функция беспроводного наушника заключается в том, что вы можете с помощью вашего голоса управлять интеллектуальными персональными помощниками, такими как Moto Voice, Google Now или Siri (будущее дополненных персональных помощников описывается в главе 7). Вы можете задать вопрос и получить ответ на такие вопросы, как «Нужно ли мне брать сегодня зонтик?», «Какая у меня следующая встреча?» или «Как далеко я от дома?», не беря в руки телефон. Когда Hint сопряжен со смартфоном Motorola, таким как Moto X, наушник переходит в режим, в котором постоянно включен микрофон, и вы можете взаимодействовать с аудиогарнитурой, произнося одну из настроенных вами голосовых команд телефона. Однако при использовании Hint на iPhone или устройстве на базе Android вы не можете активировать его голосом: вам нужно будет каждый раз нажимать на иконку приложения, чтобы активировать Google Now или Siri. Хотя Hint не идеален, он способствует развитию технологии hands-free (оставляющей руки свободными) и сокращению необходимости отвлекаться, чтобы посмотреть на экран смартфона.

В 2016 году Apple представила беспроводные наушники AirPods[86]. Пользователи получили доступ к Siri, дважды нажав на AirPod, без необходимости доставать iPhone из своего кармана. AirPods автоматически подключаются к вашим устройствам Apple, таким как iPhone и Apple Watch, с мгновенным переключением звука между устройствами. В проморолике AirPods Джонни Айв, главный директор по дизайну Apple, говорит: «Мы на заре беспроводного будущего, к которому шли много лет, где технология идеально объединяет вас и ваши устройства».

В будущем аудиогарнитура будет иметь широкие возможности для создания персонализированного опыта, в котором отслеживается не только ваш голос, но и ваше тело. Устройства, которые носятся в ухе, могут использоваться для сбора биометрической информации, включая кровяное давление, сердечный ритм, ЭКГ и температуру тела. Компания Valencell[87]разрабатывает технологию биометрических датчиков для носимых устройств, в частности модуль датчика-вкладыша в ушную раковину PerformTek для сбора физиологических данных из уха.

В технологии используется фотоплетизмография, неинвазивная оптическая техника для измерения кровотока и пульса. Используя метод фотоплетизмографии, на поверхность кожи направляется свет, и оптический детектор измеряет изменения рассеянного света от кожи и кровеносных сосудов (это часто делается в больницах с помощью устройства, которое размещается у вас на пальце).

Valencell лицензирует свою сенсорную технологию PerformTek для производителей бытовой электроники, мобильных устройств и аксессуаров, спортивных и фитнес-брендов, а также компаний – производителей игр, для интеграции в их продукты.

К таким устройствам относятся наушники с функцией контроля сердечного ритма от LG[88] и фитнес-гарнитура iRiver ON компании iRiver, Bluetooth-гарнитура с функцией наблюдения за частотой сердечных сокращений. Во время прослушивания музыки iRiver ON способствует более эффективной тренировке, отслеживая ваши биометрические показатели, включая частоту сердечных сокращений, сжигаемые калории, а также скорость и пройденное расстояние. Например перед тем, как начать пробежку, вы помещаете это устройство в ухо и подключаете его к своему смартфону. Во время работы устройство считывает ваши биометрические данные через наушники. Система голосовой обратной связи в устройстве позволяет уведомить вас о том, что цели по сердечному ритму и сожженным калориям достигнуты. Все данные отправляются в приложение на смартфоне в режиме реального времени и могут быть просмотрены позже.

Возможности аудиогарнитуры не ограничиваются здравоохранением и фитнесом. В игровой индустрии, где широко распространено использование гарнитур, наушники с биометрическими сенсорными датчиками могут кардинальным образом изменить привычные игры. Стивен ЛеБеф, генеральный директор и соучредитель Valencell, считает, что биометрия может обеспечить более яркие ощущения от игры. Новые технологии могут быть применены в фитнес-играх, в которых ваш сердечный ритм используется в качестве основного показателя, экшн-играх, требующих от вас физически задерживать дыхание, пока ваш персонаж плавает, а также для переключения между различными игровыми режимами в зависимости от вашего настроения или напряжения. «Приглашая игрока в биометрическое путешествие по его эмоциональным состояниям, используя монитор сердечного ритма, игра может научить вас управлять стрессом без необходимости думать об этом, – говорит ЛеБеф[89]. – Например, игроки могут использовать связь между разумом и телом, чтобы превратиться из Брюса Бэннера в Невероятного Халка, просто изменив свое эмоциональное состояние».

Как видно из всех примеров, приведенных в этой главе, расширенный звук – это не просто звук, но создание невидимых эффектов, которые нами движут: подсказывают путь, сопровождают в игре или занятиях спортом, а также влияют на наши эмоции, порождая чувство сопереживания и усиливая эффект от повествования или игры. В каждом из этих примеров пользователь, независимо от того, слушает он или говорит, в результате испытывает более глубокое чувство общности с местом, событием или человеком посредством контекстного понимания и персонализации. Дополненный звук привлекает наше внимание к окружающему миру, звуки которого мы можем усилить или ослабить. Звук в AR будет не только использоваться для дополнения визуальных эффектов, повышая их реалистичность, но и исследоваться самостоятельно, как способ взаимодействия, имеющий свои уникальные характеристики, отличные от других дополненных чувств.

Глава 5. Цифровой запах и вкус

1 апреля 2013 года Google анонсировала производство «Google Носа», аппарата, способного распознавать и искать различные запахи. В видеоролике[90] менеджер по продуктам компании Джон Вули отметил, что Google уже давно интересуется разработками в сфере распознавания запахов. Google Нос должен позволить найти ответы на вопросы не только с помощью печати, речи и прикосновений. Используя базу данных ароматов Google, состоящую из 15 миллионов образцов запахов со всего мира, Google Нос должен определять запах окружающего воздуха или сгенерировать аромат, найденный в поиске по ключевым словам.

Google Нос был первоапрельской шуткой, а не настоящим продуктом. Но цифровые запахи, которые можно найти в Интернете, не такая уж фантастика. Фактически уже сегодня они используются, чтобы при помощи аппаратных средств и носимых устройств, источающих запахи, улучшить жизнь людей, страдающих деменцией и болезнью Альцгеймера. Их даже используют в качестве средств первичной диагностики.

Спектр человеческих чувств не ограничивается зрением, осязанием и слухом. Занимаясь исследованиями в области дополненной реальности, нельзя оставить без внимания запах и вкус. Это единственные два чувства, которые непосредственно связаны с лимбической системой мозга, ответственной за эмоции и память. Запах и вкус могут быть источниками очень личных переживаний, воспоминаний и эмоций. Эти два чувства могут переносить вас в прошлое или усиливать восприятие настоящего.

Цифровой запах и вкус являются растущей сферой исследований, прототипы продуктов в данной области направлены на расширение нашего восприятия и взаимодействия с нашим окружением. В этой главе мы рассмотрим, как новые носимые технологии и интерфейсы в области виртуального запаха и вкуса могут усовершенствовать процесс обмена и получения информации, сделать впечатления более яркими, усилить ощущения от места и в целом улучшить наш уровень восприятия.

Возвращение Smell-O-Vision

Идея усилить восприятие с помощью запаха берет свое начало с реализованного Хансом Лаубе проекта Smell-O-Vision, который был впервые показан на Всемирной выставке в Нью-Йорке в 1939 году. В 1960 году технология была реализована в кинотеатрах на примере первого фильма, снятого с применением технологии Smell-O-Vision, «Запах тайны». Автоматизированная система подачи запахов размещалась непосредственно в сиденьях, и запахи подавались через пластиковые трубки в соответствии с происходящим на экране. В фильме использовались тридцать разных запахов, включая аромат парфюма девушки-загадки, табака, апельсина, крема для обуви, вина (когда персонажа насмерть завалило упавшими бочками), свежеиспеченного хлеба, кофе и мяты. Реклама[91] фильма звучала следующим образом: «Сначала они начали двигаться (1895)! Затем они заговорили (1927)! Теперь они пахнут (1960)!» Технология AR прошла такой же путь технологического развития, как и кино: от экспериментов с визуальными образами к звуку, а затем эксперименты с воссозданием других чувств, таких как запах.

В связи с тем, что подача запахов не всегда была синхронна с картинкой на экране, испускание запахов сопровождалось громким отвлекающим шипением, а некоторые запахи вызывали у зрителей тошноту, «Запах тайны» провалился в прокате. Планы по внедрению Smell-O-Vision в другие кинотеатры также не увенчались успехом, в результате чего была выпущена версия фильма без запахов под названием «Праздник в Испании».

Спустя более 50 лет после своего первого показа «Запах тайны» снова был показан[92] в октябре 2015 года в Брэдфорде (Великобритания) и Копенгагене (Дания) так, как он был изначально задуман, с запахами. «Я хочу, чтобы это привлекло внимание людей к потенциалу применения запахов», – сказала Тамара Бернсток, продюсер ремейка, – «Это, возможно, возродит интерес к кино с запахами».

Это также была и возможность узнать, что сегодня можно сделать по-другому и какие уроки можно извлечь, чтобы мы могли применять дополненный запах в будущем. В ремейке были заново воссозданы оригинальные запахи, используемые в фильме, и вовлечение аудитории в процесс достигалось при помощи аналоговых методов. В каждом сиденье были размещены вентиляторы, выпускавшие в нужные моменты «запах тайны», также ароматическая жидкость распылялась из соответствующих резервуаров, и специально надушенные актеры проходили по залу.

В дополнение к новым методам распространения запаха в ремейке был сделан эксперимент с последовательностями ароматов и стилистическим языком запахов, на основании которого можно было бы написать учебник по методологии дополненного запаха.

Например, оказалось, что порядок, в котором были выпущены запахи, имеет решающее значение; так, запах розы должен выпускаться перед запахом чеснока. Что касается метода подачи, некоторые запахи, например запах апельсиновой рощи, имели прямую корреляцию с тем, что появлялось на экране, тогда как в других сценах запахи применялись в качестве базовых нот для создания атмосферы, подобно тому, как работает фоновая музыка.

Биофизик Лука Турин, автор книги «Секрет запаха: приключения в ароматах и наука о запахе» (изданной в 2006 году), считает одной из причин, по которой Smell-O-Vision не получила достаточной популярности, то, что большой палитры ароматов из базовых компонентов не составить. Саскиа Уилсон-Браун, основатель некоммерческого Института искусств и обоняния в Калифорнии, занималась вопросом создания составов и производством ароматов для фильма в 2015 году и подтвердила наличие проблем при работе с запахом. Несмотря на то, что сегодня существует больше технологий и лучшее понимание того, как можно использовать запахи, она сказала, что это направление все еще остается полностью экспериментальным.

В 1960-х годах критики называли Smell-O-Vision диковинкой. AR также рискует стать не более чем диковинкой, если основной упор будет делаться на технологии, а не на усилении эффекта.

«Как сделать запах частью повествования, чтобы это не воспринималось как диковинка? – спрашивает Уилсон-Браун, – «это крайне сложно, создать единую систему ароматов, так как запах – это всегда что-то очень личное».

Возможно, создать общий язык запахов не так и сложно и ключ к решению заключается в персонализации. Как первоначальное издание, так и ремейк «Запаха тайны», снятого с применением Smell-O-Vision, были ориентированы на широкую аудиторию и показ в общественных кинозалах, усложняя тем самым задачу за счет большого масштаба. Индивидуальный или групповой подход в работе разрабатываемых сегодня новых устройств открывают большие перспективы развития дополненного запаха.

Smell-O-Vision была одним из таких предшественников современных устройств, как маска виртуальной реальности Feelreal и шлем Nirvana VR[93]. Эти прототипы создают ощущения посредством запаха, ветра, температуры, разбрызгивания воды и вибрации и используются в трехмерных играх и фильмах. Маска закрепляется на нижней части вашего лица и прикрепляется к гарнитуре Oculus Rift VR, а шлем надевается на голову и подключается к смартфону. Обе модели подключаются по беспроводной сети через Bluetooth к цифровому устройству. Генератор запаха с семью съемными картриджами выпускает ароматы в области вашего носа. Основной набор запахов включает ароматы горелой резины, пороха, огня, цветов, джунглей, океана и афродизиаков.

Разработчики игр могут использовать Feelreal SDK, чтобы добавить различные запахи и эффекты для усиления впечатления от VR игр. Запахи и эффекты также можно добавить в фильмы, не имея при этом каких-либо специальных навыков программирования – всего лишь используя Feelreal Player. Хотя продукты Feelreal в настоящее время ориентированы на рынки VR, технология AR позволяет спроектировать продукт так, чтобы имитировать запах в играх и развлекательных приложениях.

Персонализированное общение и переписка при помощи ароматов

Персонализация не означает, что добавленный запах должен быть изолированным или рассчитанным только на одного пользователя. Цифровые обонятельные устройства, такие как oNotes[94] и Scentee[95], позволяют отправлять и получать сообщения с запахами с помощью вашего смартфона. oNotes, разработанный Vapor Communications (стартап, основанный профессором Гарварда Дэвидом Эдвардсом со своим бывшим учеником Рейчел Филд в 2013 году), работает следующим образом: делается фотография, затем к ней присоединяются ароматы в мобильном приложении (по аналогии с хэштегами к фотографиям в социальных сетях), после чего ими можно делиться с друзьями.

Добавляя к изображению информацию о других чувствах, мы начинаем приближаться к возможности воспроизведения всей совокупности испытанных ощущений. Фотографии еды выйдут на совершенно иной уровень: будет ли это блюдо из нового ресторана или вы хотите поделиться рецептом своей бабушки, ваши фотографии станут еще более аппетитными, если они будут также издавать запах. Сообщения с запахом также могут использоваться как способ общения, когда слов недостаточно, чтобы передать свои чувства.

В приложении oNotes доступно 32 запаха, которые можно комбинировать для создания более 300 000 сообщений с запахами. Фотография, на которой присутствуют заметки, сканируется через специальное устройство, называемое oPhone. В oPhone есть два цилиндрических элемента, состоящих из картриджей oChips для создания и выпуска ароматов.

Эдвардс надеется, что технология oNotes сделает возможной новую эру чувственного восприятия, в которой запах станет такой же неотъемлемой частью как видео– и аудиопродукты сегодня. Он работает над созданием ароматов и сотрудничает с такими компаниями, как Melchar Media, производящей электронные книги, в которых используется oPhone для того, чтобы дополнить ощущения от повествования.

Первая из таких «oBooks», «Златовласка и три медведя: версия с запахом» была представлена в 2015 году в Музее движущегося изображения в Нью-Йорке и в Phi Center в Монреале. OBook сочетает иллюстрированную детскую книгу на iPad с системой выпуска запаха oPhone. На экране выбранных страниц в электронной книге появляется эмблема с мультяшным носом, на который необходимо нажать. Нос затем исчезает и заменяется сообщением «Подготовка oPhone». OPhone, который подключается к iPad через Bluetooth, излучает легкий воздушный поток из одного из его цилиндров с запахом, соответствующим разделу сказки. Аромат ощущается на протяжении 10 секунд.

Эдвардс также работает над тем, чтобы дополнить ароматами музыку с помощью oMusic. Над сочетанием звука и аромата в этом проекте работают композитор Даниэль Питер Биро и мастер-парфюмер Кристоф Лодамьель. Заменяя слова, изображения или даже музыкальные заметки запахом, можно создать новые способы более эффективного повествования с возможностью создания мощного воздействия на эмоции, помимо простого видео и звука.

OPhone (последнего поколения) был не очень мобильным. Цифровые обонятельные устройства будут иметь реальный шанс стать массовым продуктом, если эта технология станет достаточно миниатюрной, чтобы они могли поместиться в карман или встраиваться непосредственно в смартфон или другие носимые устройства, такие как AR-очки.

Запах можно использовать в качестве невербального метода коммуникации, присваивая определенное значение различным ароматам (по аналогии с тем, как настраивалась библиотека секретных сообщений в таких продуктах, как, например, Smartstones, который рассматривался в главе 3). Scentee, разработанное в 2013 году, представляет собой переносное устройство, напоминающее маленький пузырек (размером с помидор черри) с подсветкой, которое вы подключаете к гнезду для наушников вашего смартфона. Он работает совместно с приложением, распыляя тот или иной аромат, когда вы общаетесь с друзьями или семьей. Вы можете использовать Scentee и в других областях своей жизни, например чтобы получать ароматные уведомления о новых письмах или сообщениях, и даже пахнущие напоминания о времени, получающие данные из вашего будильника. Scentee также предлагает комплект разработки программного обеспечения для программистов для создания приложений.

Olly The Smelly Robot[96], созданный компанией Mint Foundry, базирующейся в Лондоне и Нью-Йорке, является запатентованным USB-устройством с запахом. Это устройство источает запах, когда вы получаете уведомление о новых сообщениях в социальных сетях или любое другое уведомление. Каждому такому уведомлению присваивается определенный запах. Вы можете самостоятельно собрать[97] Olly, используя 3D-принтер и готовые детали из магазина.

Уведомления с использованием дополненного запаха с такими устройствами, как Scentee и Olly, в будущем могут лечь в основу создания нового пользовательского интерфейса. Вместо текстовых уведомлений, появляющихся в AR-очках, запах может быть сигналом предупреждения. Вероятно, запахи для того или иного уведомления придется выбирать аккуратно, ведь эта ассоциация может отпечататься в вашей памяти навсегда. Хотя при помощи плохого запаха (что субъективно для каждого пользователя) можно и обозначать срочные уведомления, которые нельзя игнорировать.

Я предполагаю, что для таких интерфейсов требуется режим очистки кэша запахов. Одним из уроков, извлеченных из современной версии «Запаха тайны», было то, что запах розы не должен выпускаться после запаха чеснока. Аналогично тому, как вы нюхаете кофейные зерна, выбирая из нескольких ароматов духов, чтобы очистить обоняние, или подобно тому, как сорбет подается между приемами пищи как нейтрализатор вкуса; такие методы нейтрализации чувств могут быть применены и в отношении дополненного запаха.

Цифровые базы данных запахов

Дополненный запах можно использовать, чтобы изобразить с его помощью пейзаж. Археолог и дизайнер Стюарт Ив из Университетского колледжа в Лондоне разработал прототип аппарата для связи запаха и истории. «Dead Man’s Nose»[98] – это AR-система подачи запаха для переноса пользователей назад во времени, в период бронзового века. Эта система создает запахи, основанные на вашем местоположении, основываясь на данных геолокации. Запах в сочетании с воздействием на другие органы чувств применяется для усиления эффекта AR-технологий.

Хотя до этого были примеры применения визуальных эффектов AR для описания исторических событий, Стюарт Ив стал первым, кто начал внедрять запах в такой области. AR-проект Ива переносит нас в доисторические поселения на месте современного Корнуолла. Он объясняет: «Я не только могу прогуляться по местности в Бронзовом веке, увидеть дополненные образы круглых домов того периода и услышать на расстоянии блеяние овец, но и почувствовать запах горящего огня и готовящегося ужина по мере приближения к деревне».

Dead Man’s Nose состоит из платы Arduino, подключенной к четырем маленьким компьютерным вентиляторам. Эти вентиляторы установлены в специальные деревянные короба, в каждом из которых есть небольшой отдел с кусочком ваты, пропитанным ароматической жидкостью. Плата Arduino связывается с компьютером по Bluetooth, принимая закодированный сигнал через последовательный порт. В зависимости от принятого сигнала, Arduino либо включит, либо выключит один из вентиляторов (отправив на него питание).

Ив также разработал простое приложение для iOS. Приложение представляет пользователю четыре переключателя (по одному для каждого вентилятора) и кнопку присоединения, при нажатии которой приложение подключается через Bluetooth к аппарату «Dead Man’s Nose», управляющему переключателями. В этот момент пользователь может включить любой из вентиляторов или все одновременно, просто изменив положение переключателей. При включении одного из переключателей соответствующий сигнал отправляется через последовательное соединение Bluetooth, которое запускает нужный вентилятор.

Чтобы создать геолокационную привязку Dead Man’s Nose, приложение считывает местоположение пользователя с GPS-датчика смартфона. Используя встроенные возможности iOS CircularRegion CoreLocation, создается ряд «геозон» (или зон запахов) с заданным радиусом вокруг предполагаемого списка координат. Каждая из этих зон запахов запускает включение одного или нескольких вентиляторов, в зависимости от запахов, которые пользователь должен почувствовать. Когда пользователь физически заходит в одну из этих зон, определяется пересечение геозоны, последовательный сигнал передается, и соответствующие вентиляторы начинают вращаться. Хотя данная технология еще не работает там, где нет покрытия GPS (например, внутри галереи), iBeacons (как написано в главе 4 о Detour и «Открытых городах») также могут использоваться для включения подачи запахов.

Все запахи, используемые в «Dead Man’s Nose», производит поставщик Dale Air[99]. В Dale Air создали более 300 различных видов запахов, от курицы до грязного белья и запаха под названием «дыхание дракона». Ив отмечает сложность выбора подходящего аромата для каждой зоны запаха:

По моим данным, никто еще не создал «запах свежей могилы после ритуала погребения». Однако важно помнить, что, воссоздавая запахи прошлого, мы возможно чувствуем и воспринимаем их не так, как люди прошлого. Эти ароматы выступают в качестве помощи для усиления чувства присутствия на месте и на местности.

Кейт Маклин – еще один исследователь, который работает над использованием запаха для того, чтобы изменить наши ощущения от разных мест, в частности, городских ландшафтов. Она говорит[100]: «Предметом моего интереса является восприятие человеком запахов города. В то время как визуальная составляющая доминирует в системе передачи данных, я считаю, что мы можем переключаться и в другие режимы чувств для определения местонахождения». Работа Маклин по исследованию обоняния посвящена не только тому, что она считает это чувство малоизученным, но и не затрагивавшимся ранее аспектам урбанистического дизайна.

В течение многих лет Маклин водила экскурсионные группы на «прогулки с запахами» в таких городах, как Амстердам, Париж и Нью-Йорк, где она общалась с местными жителями, спрашивая их впечатления о запахах, которые они чувствуют. Затем она использовала полученные данные для превращения этих ароматов в карту запахов городов. Она работает над приложением Smellscaper, поддерживающим «прогулки с запахами» дополнительной информацией, в том числе привязанными географически пометками и возможностью для пользователей пройти по определенному ароматному маршруту (Маклин не работает над приложениями, создающими ароматы).

Приложение Маклин Smellscaper можно рассматривать как геоориентированный аудиотур, схожий с Detour, рассмотренный в главе 4. Вместо аудио здесь ваш путь прокладывается носом, переориентируя ваши чувства на окружающие запахи и заставляя вас переосмыслить свое восприятие города. Первоапрельский розыгрыш «Google нос» действительно мог бы использоваться для предварительного знакомства с местностью, дополняя запахами карты Google или Google Street View.

Здравоохранение и дополненный запах

В то время как городские ландшафты могут естественным образом источать свои собственные ароматы, такие продукты, как Ode[101], распространяют пищевые ароматы с целью помочь людям, живущим с деменцией и болезнью Альцгеймера. Используя разные запахи во время завтрака, обеда и ужина, Ode создает чувственную связь между приемами пищи, стимулирует аппетит и помогает контролировать потерю веса. Ode – это аппаратное устройство, разработанное лондонской конструкторской организацией Rodd в партнерстве с экспертом по запахам Лиззи Остром[102] из The Olfactory Experience. Оно использует картриджи, источающие запах во время каждого приема пищи в течение примерно двух часов.

Потеря веса распространена среди людей с поздней стадией деменции и может использоваться на раннем этапе диагностирования состояния болезни. Ode может на подсознательном уровне провоцировать чувство голода за счет связи воспоминаний с ароматами еды, такими как овощной суп, тушеное мясо или десерт с корицей. Также эта технология может помочь улучшить настроение. В компании подчеркивают конкретные поведенческие изменения у многих клиентов, которые делятся своими впечатлениями на сайте, в результате которых около 50 процентов участников набрали в среднем 2 кг через 11 недель после установки Ode. Это устройство является примером дополнения окружающей среды запахом для коррекции привычек и повышения качества жизни.

В то время как Ode наполняет запахами еды сразу всю комнату, разрабатываемый Дженни Тиллотсон проект eScent® – это носимое устройство, доставляющее запах непосредственно к носу пользователя. eScent образует неинвазивный «ароматический пузырь» вокруг лица пользователя, создавая область постоянно присутствующего запаха, на основе использования показателей биометрии, звуков, таймера и других датчиков, работающих с приложением на смартфоне. Данная технология предусматривает выпуск микроскопических порций ароматов, улучшающих настроение, в нужное время, в нужном месте, в зависимости от внешних условий. Запахи, вызывающие положительные эмоции, могут источаться при обнаружении повышенного уровня стресса или нарушениях сна. Запах перечной мяты может выпускаться в нужное время для повышения эффективности работы мозга или увеличения скорости бега, а репелленты – для того, чтобы отогнать насекомых при появлении жужжания по соседству.

Тиллотсон полагает, что eScent представляет реальную ценность как инструмент диагностики. Она объясняет, как eScent может использоваться врачами при выявлении признаков угасания мозга для программирования персонализированной программы запахов для пациентов в простой программе на смартфоне. «В настоящий момент врачи диагностируют эти заболевания, наблюдая за обонянием (или его потерей) вручную, и эта программа поможет более точно отслеживать уровень обоняния пациента», – говорит Тиллотсон.

Тиллотсон обсуждала возможности этого приложения с нейробиологами и специалистами по лечению болезни Альцгеймера. Она отмечает, что одной из сложностей раннего диагностирования болезни Альцгеймера или Паркинсона является частое выявление ложных симптомов у пациентов с аносмией (потерей обоняния), возникшей по другим причинам. Тиллотсон также работает над решением этой проблемы. На примере eScent можно сделать вывод, что технология дополненного запаха не ограничивается только сферами развлечений и коммуникаций, но может также оказывать реальный эффект на отрасль здравоохранения.

Цифровой вкус

Способность чувствовать цифровой вкус также может принести пользу в здравоохранении. Project Nourished[103] – это VR-симулятор, призванный помочь людям с аллергией на определенные продукты питания избежать связанных с этим последствий. Джинсу Ан, основатель Project Nourished, говорит, что он не ставит целью изменить наши пристрастия в еде, так как симуляция пищи не заменяет реальные продукты скорее это новая возможность иногда есть продукты, которые исключены при некоторых диетах, либо просто вредны для здоровья. На создание этого проекта Ана вдохновил его отчим, страдающий диабетом и вынужденный отказаться от некоторых из своих любимых блюд. Ан хотел создать симуляцию вкуса, не приводящую к повышению сахара в крови.

Система состоит из гарнитуры VR, надеваемой на голову для создания визуальных эффектов, диффузера и преобразователя костной проводимости для создания жевательных звуков с помощью вибрации. Гироскопические элементы используются для манипуляций с виртуальной и реальной пищей, а напечатанный на 3D-принтере куб, состоящий из водорослей и гидроколлоидных полимеров, придает пище вкус и текстуру. В виртуальном окружении такие кубы могут иметь запах, вкус и форму пищи, которую они имитируют. Например, дрожжи и мука из грибов шиитаке используются для создания вкуса стейка сухого вызревания. Поскольку основной пищевой компонент Project Nourished – это водоросли, Ан видит еще одно его преимущество: с его применением мы будем меньше зависеть от ресурсов и сократим выбросы парниковых газов в атмосферу.

Project Nourished – это VR-технология; однако более ранний проект Токийского университета под названием Meta Cookie (2010)[104] использует AR технологию, чтобы изменить ваше восприятие получаемой пищи. Meta Cookie работает по принципу наложения дополненных AR-образов в сочетании с воздействием на органы обоняния во время еды. При этом используется постное печенье с нанесенными координатными метками. Прозрачный дисплей, размещаемый на голове, предоставляет пользователю на выбор различные сорта печенья в AR (разного цвета и консистенции, визуально наложенные на настоящее печенье). После выбора вкуса печенья, которое вы хотите съесть, из воздушного компресса вам начинает подаваться запах выбранного печенья. Это создает эффект, как будто вы едите выбранное печенье, хотя на самом деле печенье пресное. Если вам не нравится выбранный вкус, вы можете поменять его и попробовать другой. Фактически, вы получаете печенье, которое с каждым укусом изменяет свой вкус, и у вас есть возможность настраивать свои чувства. Однако стоит отметить, что эффект прекратится, как только вы съедите AR-координационные метки, нанесенные на печенье.

Через пару лет, в 2012 году, та же исследовательская группа, которая работала над Meta Cookie, разработала проект Augmented Satiety[105], еще сильнее вводящий в заблуждение ваши глаза и вкусовые рецепторы, делая так, чтобы вы ели меньше. Используя возможности AR для изменения визуального восприятия размера порций, Augmented Satiety предлагает один из методов борьбы с ожирением. Разработчики указывают на психологические исследования[106], свидетельствующие о том, что на количество потребляемой пищи влияет как ее фактический объем, так и внешние факторы во время еды. Основываясь на этих знаниях, исследователи стремились контролировать восприятие сытости (состояние полного желудка), получаемое из одинакового количества пищи, изменяя ее внешний вид. Исследования ученых показали, что благодаря дополненной реальности можно контролировать ощущение сытости во время приема пищи. Несмотря на то, что клиническим испытаниям технологии Augmented Satiety препятствует отсутствие широкого распространения AR-очков с функцией подачи запаха, такие формы приема пищи могут стать частью повседневной жизни.

Искаженное восприятие пищи – это реальность для людей, перенесших травму головного мозга. Сотрясение мозга может привести к изменению ощущения консистенции и вкуса во время приема пищи, а также к неверному восприятию объема порции. В марте 2014 года в Лондоне прошло мероприятие под названием Brain Banquet[107]. Там были подготовлены и поданы блюда, совершенно неузнаваемые для посетителей. Это продемонстрировало, что люди, перенесшие травму головного мозга, воспринимают обычную еду не так, как другие. Несмотря на то, что Augmented Satiety и Project Nourished являются отдельными исследованиями и не связаны с Brain Banquet, эти технологии могут быть дополнительно изучены в качестве альтернативной помощи людям, страдающим от травм головного мозга, и даже как механизм повышения взаимопонимания – чтобы показать другим, как травмы меняют восприятие мира.

Будущее цифрового вкуса и запаха

Исследователь AR Эдриан Дэвид Чок считает, что будущее цифрового вкуса тесно связано с мозгом человека. Предыдущие исследования Чока привели к созданию таких аппаратов, как Scentee; однако вместо того, чтобы направлять искусственные запахи в нос пользователя, в настоящее время он занимается исследованиями возможности стимулирования мозга для воссоздания определенных запахов и вкусов.

Чок и его команда в Imagineering Institute, исследовательской лаборатории в Малайзии, разрабатывают устройство под названием Digital Taste Interface, представляющее собой коробочку из плексигласа, лизнув которую, можно ощутить различные вкусы, загружаемые из Интернета. Используя электрическую и термическую стимуляцию, данный аппарат на короткий период воздействует на ваши вкусовые рецепторы и имитирует кислый, сладкий, горький и соленый вкусы, в зависимости от частоты прохождения тока через электроды. Чок также разрабатывает систему, аналогичную тому, как работает Digital Taste Interface, но для имитации запахов. Это устройство имеет крошечный электрод, который вставляется в полость носа, где есть обонятельные нейроны. Данная технология все еще находится в стадии разработки. «Как только мы научимся напрямую стимулировать нейроны мозга, мы сможем обмануть органы чувств, – сказал Чок. – Больше не потребуется напрямую воздействовать на органы чувств. Мы уже научились стимулировать нейроны простыми способами, поэтому я надеюсь, что в будущем мы сможем достичь более сложных способов воздействия». Чок считает, что мы застанем то время, когда появятся первые мозговые интерфейсы.

В главе 2 ученый нейробиолог Амир Амеди рассматривал возможность доставки визуальной информации прямо к мозгу людей с ослабленным зрением, решая таким образом их проблему. В главе 3 нейробиолог Дэвид Иглман описывал будущее, в котором спектр человеческих чувств расширяется за счет передачи данных в реальном времени из Интернета напрямую к нашему мозгу для того, чтобы интуитивно их воспринимать, без необходимости анализировать. Что же будет, когда мы сможем, минуя нос и язык, непосредственно стимулировать мозг, чтобы воссоздавать запахи и вкусы?

«Люди стремятся воссоздать реальный мир во всех его проявлениях», – говорит Чок[108]. Он рассказывает, как, когда только появилось кино, люди начали снимать улицы города. «Возможность запечатлеть на пленке виды улиц казалась удивительной, – продолжает Чок. – Но по мере развития технологий это стало частью повседневной жизни». Он считает, что так же будет и со вкусом и запахом. С появлением цифрового запаха, говорит Чок, первое, что начали делать люди, это воссоздали запахи и стали отправлять ароматные виртуальные розы через смартфон, но он считает, что следующим этапом будет создание чего-то совершенно нового.

Мы станем свидетелями новых исследований в области запаха и вкуса, которые выходят за рамки буквального представления и порождают новые ароматы, не существующие в реальности. С помощью аппарата Synesthesia Mask[109], спроектированного Закари Ховардом, вы сможете почувствовать запах цветов – в этой технологии ароматы соответствуют цветам, а не объектам. Хотя в основе работы Synesthesia Mask лежит направление ароматов в нос пользователя (вместо непосредственного стимулирования мозга), в настоящее время уже ведутся эксперименты с альтернативными способами создания новой реальности, которые не имеют явной корреляции с привычным нам миром. Когда мы уйдем от простого копирования реальности, AR в целом не будет ограничиваться существующими рамками, в результате чего откроются большие возможности для новых способов выражения и изобретений.

Глава 6. Повествование и воображение

Во время своего выступления на ежегодной Всемирной выставке по разработкам в области дополненной реальности, проходившей в 2013 году в Кремниевой долине, я сделала презентацию, в которой использовала только метафоры для описания дополненной реальности, не приводя конкретных примеров. Я использовала примеры из других областей, чтобы изменить взгляд общества на текущее положение AR и возможные перспективы ее развития. На одном из моих слайдов был изображен прозрачный каяк. Обычная лодка создает визуальный барьер, не позволяющий ощутить всю гамму впечатлений – человек же, находящийся в прозрачном каяке, может получить доступ к ощущениям, не доступным раньше.

Прозрачный каяк можно сравнить с большим открытым окном, в котором контент и пользователь находятся в единой среде. Каяк практически невидим – в результате находящийся в нем человек чувствует себя в окружении стихии. Это прозрачное судно – важный пример, знаменующий появление нового вида AR, погружающей пользователя еще глубже в дополненную реальность и делающей его частью этой среды. AR зародилась на экране компьютера и изначально была привязана к рабочему столу. Затем технология перешла на смартфоны и планшеты, а сегодня она уже реализована в специальных очках и других устройствах. При дальнейшем развитии AR экраны в конечном счете исчезнут, и мы окажемся в этой гибридной реальности. Чувство погружения станет еще сильнее за счет персонализированных данных и контента, ориентированного на пользователя.

Мы узнаем о мире через рассказы. Лучшие истории и рассказчики помогают нам погрузиться в повествование, как если бы мы сами были его частью. Благодаря историям можно увидеть то, что видят их персонажи. Самые лучшие истории пробуждают в слушателе неподдельный интерес. Они возбуждают в нас ответную реакцию и меняют нас. Рассказы переносят нас в иное место и время, делают нас причастными к тем или иным событиям.

Я рассматриваю AR как форму развития воображения, с помощью которой можно создать виртуальную историю, состоящую из визуального, звукового, осязаемого, обоняемого и даже вкусового содержания. Способность человека фантазировать – необычайная сила. Человеческий разум может придавать визуальную форму и наделять голосом то, что не существует в реальности, трансформируя человека, объект или место и переносясь в другое время и пространство. Когда мы придумываем что-то, мы создаем истории в нашем воображении. Фантазия – важная часть обучения, игр, творчества, изобретений. Она делает возможным невозможное и порождает новые идеи. Воображение важно не только для детей – это эффективный инструмент в решении задач, требующих нестандартного подхода.

AR – это новая коммуникационная среда, имеющая большой потенциал для расширения возможностей человека, переосмысления и переживания рассказов. В этой главе рассматривается, как дополненная реальность развивается, создавая новые уникальные возможности для повествования, сохраняя при этом свою актуальность. Мы рассмотрим как уже устоявшиеся AR-практики, так и совершенно новые стили и механизмы AR-повествования.

Воображение и креативность

После моей первой презентации о технологии дополненной реальности и ее возможностях в повествовании один вопрос остался для меня без ответа: «А что, если я хочу представить это сама, не применяя AR?» Один из слушателей в аудитории задал этот вопрос, когда я рассказывала о проекте под названием LIFEPLUS[110], примере реставрации исторических событий в Помпеях с помощью AR. LIFEPLUS воссоздавал визуальный облик руин Помпей и моделировал античный образ жизни, повторяя драматические события того времени. Посетители исторической реставрации надевали специальный шлем и рюкзак, оснащенный компьютерными компонентами и аккумулятором питания, которые позволяли им видеть дополненную реальность и наблюдать за виртуальными историческими персонажами.

Если вы хотите увидеть, как что-то выглядит или выглядело когда-то, при помощи только своего воображения, без использования готовых визуальных образов, созданных при помощи технологий, у вас должна быть возможность такого выбора, так же, как вы выбираете между чтением книги и просмотром фильма. Когда вы смотрите фильм или пользуетесь чем-то технологически продвинутым, это не означает, что вы перестаете использовать свое воображение; вы продолжаете им пользоваться, расширяя спектр получаемых впечатлений. Я верю в то, что дополненная реальность способна стать таким инструментом. AR не вытеснит и не заменит человеческое воображение. Более вероятно, что эта технология его расширит, повысит эффективность обучения, раскроет возможности для нового дизайна, повысит уровень взаимопонимания, поможет в раскрытии творческого потенциала. Наши технологии хороши ровно настолько, насколько хорошо работает наше воображение, и только при помощи движущей силы, превращающей мечты и фантазии в реальность, AR позволит нам испытать нечто совершенно новое.

На самом деле я считаю, что новые ценности будут основываться на воображении и креативных идеях, реализованных с помощью AR. По большей части у нас уже есть необходимая технология, осталось только разобраться, что с ней делать дальше. Параллельно с разработкой самой технологии мы должны представлять и новые творческие горизонты, которые она нам открывает. Самые яркие возможности AR появятся благодаря наиболее креативным идеям. Важно отметить, что мы не стремимся мимикрировать под реальность и мало привязаны к ее физическим законам. Эта зарождающаяся среда – идеальная почва для появления всевозможных новых способов выражения. Даже когда дополненная реальность прочно войдет в нашу повседневную жизнь, ее уникальные креативные возможности будут продолжать вызывать удивление и трепет.

Мы находимся в самом начале творческой эволюции AR. Мы уже можем видеть первые признаки формирующегося стилистического языка, но эта среда пока по-прежнему легко изменяема. Назовем это время периодом «мокрой глины»: пришла пора экспериментов с огромным многообразием всевозможных форм, где пока нет четкого свода правил. Со временем жанры и стилистические приемы разовьются, хотя полностью изолироваться от сложившейся системы ограничений, конечно, будет довольно сложно. Не так часто появляются совершенно новые технологии. Этап открытий, который сейчас переживает AR, способствует развитию не только этой, но и вообще всех будущих технологий.

Присутствие

Присутствие – это термин, используемый в виртуальной реальности для описания восприятия и ощущения, будто вы «находитесь» непосредственно в созданной с помощью компьютерных технологий виртуальной среде. Присутствие – это показатель того, насколько хорошо виртуальная среда погружает пользователя в имитируемую атмосферу. Медиа-теоретики Мэтью Ломбард и Тереза Диттон определяют присутствие как «иллюзию отсутствия виртуального», когда «дополненная среда кажется невидимой или прозрачной и функционирует так же, как большое открытое окно, в котором пользователь и контент представляют собой единую физическую среду»[111]. Факторы, которые могут способствовать усилению чувства присутствия, включают точность визуального выравнивания, синхронизацию с окружающей средой и скорость реакции среды на действия пользователя.

Если присутствие в VR – это ощущение, что вы «действительно находитесь там», присутствие в AR – это восприятие виртуального контента, сочетающегося с физической средой, как будто контент «действительно здесь», в вашем физическом пространстве, и сливается с вашим окружением. Еще один способ рассуждать об этом – в терминах «реального времени». Медиа-теоретики Джей Дэвид Болтер и Ричард Грайзин пишут: «Логика сиюминутности диктует, что сама среда должна исчезнуть и представить нам дополненное содержание: окажетесь ли вы за рулем гоночного автомобиля или на вершине горы»[112]. Болтер и Грайзин далее описывают это как «пользователь больше не будет задумываться о существовании дополненной среды» – вместо этого он будет чувствовать «непосредственную связь с содержанием этой среды».

Оставаясь на месте, вы можете виртуально прыгнуть или даже побежать, вы начинаете верить, что контент из дополненной реальности действительно здесь, что он гонится за вами, как, например, автобусной остановке с AR, созданной для рекламы Pepsi[113] в Лондоне в 2014 году. Там на ничего не подозревающих пассажиров набрасывались виртуальные тигры, роботы и НЛО.

Чувство присутствия, вызывающее как эмоциональные, так и физические реакции в восприятии человека, не является чем-то присущим только новой технологии; такое уже случалось раньше – во времена зарождения кино. Известно, что в 1895 году во время 50-секундного фильма братьев Люмьер «Прибытие поезда на вокзал Ла-Сьота» люди вскакивали со своих мест и убегали из зала, опасаясь, что в них врежется поезд, который появлялся на экране в таком ракурсе, как будто он едет прямо на зрителя. Один из основоположников кинематографа Жорж Мельес вспоминал: «Поезд мчался навстречу нам, как будто он собирался сойти с экрана и въехать прямо в зал»[114], а французская газета Le courrier du centre (в своем выпуске от 14 июля 1896 года) сообщала, что «зрители инстинктивно вскакивали со своих мест в страхе, что их переедет стальной монстр». Кино в то время было совершенно новым явлением, как технология дополненной реальности сегодня. Мы верим, что с помощью AR, как это однажды случилось с поездом братьев Люмьер, наступит тот день, когда какой-нибудь виртуальный зомби или динозавр побежит прямо на нас, с той лишь разницей, что нам не обязательно будет идти для этого в кинотеатр – это будет происходить у нас дома, на работе или на улице.

Потеря уникальности

Том Ганнинг, изучающий кинематограф, описывает кино раннего периода как «аттракцион», в котором «машина, сменяющая фотографии, поражала людей самим этим процессом, а не темами и рассказами»[115]. В следующем поколении AR основное внимание привлекает уже не сама технология, а ее содержание и создаваемый с ее помощью продукт. Когда я впервые познакомилась с AR в 2005 году, меня очень сильно поразил тот факт, что рядом со мной появляется виртуальная составляющая. Для меня это была чистая магия – ни с чем подобным я раньше не сталкивалась. Сама по себе проекция не была очень впечатляющей: это был просто статичный синий трехмерный куб, – но меня поразили те возможности, которые нес в себе этот виртуальный объект, и достигнутый уровень технологий. Логически я понимала, что куб на самом деле не существует, но тем не менее я его видела. Я задавалась вопросом, что еще можно сделать с этим кубом, кроме как просто показывать его, и как можно использовать эту технологию в повествовательных целях.

Чувство присутствия сильнее всего в первый раз, когда вы только столкнулись с AR или VR, но спустя время создаваемая иллюзия становится чем-то привычным и ощущение присутствия уменьшается. В книге «Виртуальное искусство: иллюзия погружения» (издана в 2004 году) теоретик и искусствовед Оливер Грау рассуждает на тему того, что на зрителей сначала низвергается поток новых, не изведанных ранее эмоций, но позже, после того, как «привыкание делает воздействие иллюзии слабее», новая среда уже не может «захватывать дух»[116]. Грау пишет, что на этом этапе среда становится «устаревшей и публика уже не испытывает эффекта иллюзии», однако он отмечает, что именно на этом этапе «наблюдатели становятся восприимчивы к содержанию». Как это уже было с кино, дополненной реальности необходимо будет пройти путь от технологических открытий, завораживающих аудиторию, к созданию захватывающих историй, вызывающих интерес у пользователей. Изменения, происходящие в этот период, будут иметь очень большое значение в развитии AR, пишет Грау, т.к. при отсутствии эволюции есть риск утраты интереса к технологии.

Аура и контекстуализированное присутствие

Один из способов развития технологии и создания на ее базе действительно важных проектов – это обращение к контексту, в котором находится пользователь. «Аура» – это еще один термин, который связан с присутствием. Исследователи Блэр Макинтайр, Марибет Ганди и Джей Дэвид Болтер определяют ауру как сочетание «культурной и личной значимости объекта или места для пользователя или группы пользователей»[117]. Они отмечают, что аура всегда личная, поскольку она является психологической рефлексией человека на объект или место, и это крайне важно понимать, потому что «для существования ауры необходимо, чтобы человек мог связать объект или место со своим собственным пониманием мира». Важность контекста в технологиях этапа «Проникновения» связана с необходимостью сочетать реальный мир (например, объект или место) и ваш личный контекст: воспоминания, истории, впечатления.

Как мне кажется, во второй волне развития AR, аура будет влиять на показатели присутствия, т.к. она будет больше адаптирована к индивидуальным особенностям пользователя, его предпочтениям и его личному контексту. Макинтайр с коллегами представили результат исследовательской работы в проекте BENOGO[118], целью которого было изучить уникальные особенности реальных мест и создать еще более впечатляющие виртуальные образы. Что касается VR, то, по их мнению, исследованиям в этой области препятствует влияние внешних факторов реального мира, и лучший способ обеспечить ощущение присутствия в виртуальной реальности – это поместить пользователя в значимый контекст; свой способ они называют «контекстуализированное присутствие».

В своем выступлении в Стэнфордском Центре разработки систем изображений в мае 2017 года один из первых разработчиков в сфере дополненной реальности Рональд Азума поделился своими мыслями о повествовании с помощью AR и ожиданиями (с которыми я полностью согласна). Азума сказал, что новые AR-решения будут появляться в тех областях, где возможно полезное сочетание реального и виртуального. «Потому что, если основное содержание находится в физической среде, то зачем вообще нужна дополненная среда? И, по аналогии, если виртуальная составляющая превалирует, то для чего создавать AR-измерение? Почему нельзя ограничиться только технологией виртуальной реальности?»

Азума приводит в качестве примера AR-игру «Reality Fighters»[119] (2012) производства Sony Computer Entertainment для PlayStation Vita. Он поясняет, что игра использует физическую среду в качестве фона, не имея с ней реальной связи. Чтобы связать реальный и игровой мир и создать увлекательное приложение, он предложил дать игровому персонажу возможность использовать настоящий стул из окружающей среды, чтобы атаковать другого персонажа, или интегрировать кирпичную стену из реального мира, чтобы игрок мог скрываться за ней от атак.

В своей речи Азума рассказывает о стратегиях развития AR, две из которых, «Усиление» и «Воспоминание», особенно актуальны для ауры и контекстуализированного присутствия.

В стратегии «Усиление» используется реальное местоположение, которое само по себе оказывает воздействие, независимо от того, накладывается ли на него дополненная среда или нет. Вы можете дополнить его, придав тому или иному месту большую значимость и усилив тем самым впечатление от увиденного. Азума привел в качестве примера битву при Геттисберге[120], подчеркнув, что, если вы окажетесь на месте, где происходили известные события, и будете знать, почему это место имеет такое значение для американской истории, его посещение окажет на вас большое эмоциональное воздействие.

Он также приводит в качестве примера использования AR-технологии проект Брайана Августа «110 историй»[121], размещенный на сайте Всемирного торгового центра в Нью-Йорке. «110 историй» – это AR-приложение для смартфонов, которое позволяет вам увидеть башни-близнецы в том месте, где они когда-то стояли. Азума выделил две особенности, которые, по его мнению, вызывают интерес к этой программе. Во-первых, в приложении Всемирный торговый центр передается не фотореалистично, а будто контур башен начерчен на небе, как если бы они были нарисованы восковым карандашом. «Это не только технически проще, но и производит больший эффект на меня, ведь такое изображение башен соответствует истории, а именно показывает башни там, где они должны быть, но где их больше нет», – говорит Азума. Второе достоинство приложения заключается в том, что с его помощью вы можете сделать скриншот с дополненной картинкой и написать несколько строк о том, почему вы сделали эту фотографию и что она значит для вас, после чего ваше послание размещается на сайте проекта. Азума прокомментировал, что эти рассказы невероятно эмоциональные и захватывающие.

Я рассматриваю стратегию «Усиления» как способ подчеркнуть значимость, или «ауру» (если пользоваться термином Макинтайр, Ганди и Болтера), определенного места с учетом контекста, а также, как это реализовано в «110 историях», как возможность поделиться личной историей и усилить эффект присутствия. На этой идее основывается вторая стратегия, которую представил Азума, – «Воспоминание».

Азума поясняет, что «Воспоминание» схоже с «Усилением», но опирается на гораздо более личные переживания. «Геттисберг имеет важнейшее значение. Всем известна его роль и место в истории. Но мое восприятие Стэнфорда будет отличаться от вашего, и мои воспоминания о конкретном месте будут отличаться от ваших», – сказал он. Стратегия «Воспоминания» сочетает воспоминания и истории с реальным местом, где они происходили.

Азума привел пример своей свадьбы, фотографии и видеозапись которой у него сохранились. Но что если он сможет просмотреть их снова и в реальном размере, используя AR-технологию на том месте, где все происходило? «Это было бы очень волнительно!» – воскликнул он. Эффект был бы мощным, потому что это личное трогающее событие, имеющее большое значение, сочеталось бы с тем местом, где оно произошло, создавая яркое чувство контекстуального присутствия.

Азума подчеркнул: «Не все истории должны обязательно быть написаны профессиональными рассказчиками и ориентированы на массовую аудиторию. Иногда самые важные истории для нас – личные, которые мы хотим разделить только с семьей или близким кругом друзей». Я считаю, что для нас очень важно понимать это, поскольку мы строим будущее AR, в котором реальность будет тесно переплетена с личными переживаниями.

Улучшение среды и возвышение над старым

Каждая новая среда основана на достижениях, использованных для создания среды предыдущего поколения. Болтер и Грайзин называют это «переработкой среды». Технология AR основывается на переработанных принципах создания кино и специальных эффектов, а среда, которая придет на смену AR, будет, в свою очередь, базироваться на принципах дополненной реальности. (Мы еще не знаем, что это будет за новая среда, и давайте не будем пока волноваться об этом, но если вам интересно мое мнение, я думаю, что эта новая среда будет еще на шаг ближе к объединению человеческого мозга и компьютера, целью которого станет усиление восприятия мира всеми нашими чувствами.) Вызов, который стоит перед новой средой, заключается в том, что она неизбежно повторяет характеристики предыдущей. Существует риск того, что при создании такой среды мы неизбежно будем в большей степени фокусироваться на параметрах среды предыдущего поколения, а не строить что-то по-настоящему новое.

Итак, каким образом можно развивать среду, не повторяя при этом того, что было раньше? Это период, когда параметры новой среды податливы к изменениям, как «мокрая глина». Это не только отличная возможность для творческих людей принять участие в чем-то грандиозном, это переломное время, и мы должны действовать прямо сейчас. Язык новой среды не формируется за одну ночь, прекрасным примером этого является долгая история стилистического развития кино. «Когда Эдисон снимал свои первые фильмы в 1890-х годах, у него уже в значительной степени были технологии, необходимые для создания художественных фильмов уровня голливудского кино, – говорит Кен Перлин из Лаборатории исследований средств информации Нью-Йоркского Университета[122]. – Но потребовались десятилетия, чтобы выработать ракурс съемки крупного плана, среднего плана и техники монтажа. И дело не в том, что раньше не было соответствующих технологий».

Вот вопрос об AR, которым я часто задаюсь: «Двигает ли технология вперед возможности повествования, или, наоборот, повествование стимулирует развитие технологии?» Я считаю, что в случае с дополненной реальностью верны оба утверждения. Во время первой волны AR технология была главным триггером развития, но теперь, во время второй волны, мы наблюдаем смещение в сторону важности создаваемого контента. Это требует создания уникальных характеристик AR как среды, где технология может влиять на повествование. В этот период формирования мы также можем влиять на то, как развивается технология, определяя, как и что мы можем сделать, используя ее возможности.

Теоретик медиа Стивен Хольцман утверждает, что подходы к перепрофилированию «не опираются на уникальные свойства» среды и что «именно эти уникальные качества, в конечном итоге, будут определять совершенно новые языки выражения»[123]. Он описывает перепрофилирование как «переходный шаг», который обеспечит «устойчивое положение на незнакомой территории». Однако Хольцман подчеркивает, что мы должны «превзойти старое», чтобы открыть нечто новое, ибо «подобно дорожному знаку, переработка – это маркер, указывающий на то, что грядут большие перемены». И эти значительные изменения, на самом деле, будут поворотными для AR, особенно сейчас, во время второго этапа. Мы можем охарактеризовать первую волну AR как «переходный период», в котором присутствуют такие проекты, как 2D-видео, наложенное, например, поверх дополненных книг и газет. Во второй волне AR начинают в полной мере использоваться специфические свойства среды AR, а именно – ее контекст. Я считаю, что первая волна AR была необходима как первый шаг для перехода ко второй волне и построения новых выразительных средств.

Особенность медиа

В статье «Кино как образец генеалогии медиа» теоретики медиа Андре Годро и Филипп Марион комментируют присущие кино «существенные» качества: «Технология записи и показа лежит в основе кино. Наиболее важное свойство повествования заключается в том, как много можно создать с помощью движущихся на экране изображений»[124]. В начале моей работы в сфере AR я считала, что, как и кино, дополненная реальность изначально обладает потенциалом к повествованию, представляя время иначе и накладывая или проецируя двигающиеся или неподвижные изображения на реальную физическую среду. Первые созданные мной прототипы и художественные работы в AR были сосредоточены на кинематографических опытах с использованием видео, что было уникально для того времени, поскольку другие разработчики концентрировались на создании трехмерных моделей.

Я все еще считаю, что дополненная реальность обладает изначальным повествовательным потенциалом; я уверена, что эта технология пойдет дальше наложения, свойственного первой волне. Возможности дополненной реальности шире простой проекции изображений; акцент здесь сдвигается в сторону информирования пользователей в режиме реального времени, моментального перевода на другой язык, погружения, сенсорной интеграции и, в целом, нового понимания нашего мира. Как уже говорилось в предыдущих главах, основным направлением развития второй волны AR является восприятие и погружение с использованием большого количества датчиков и возможностей для распознавания. Окружающая пользователя среда будет постоянно анализироваться для создания наилучшего контекстного контента (в отличие от стандартного контента, изначально одинакового для каждого человека).

В статье «Видео: от технологии к среде» Ивонн Спилманн рассуждает о том, как среда развивается «с появлением новой технологии и посредством формулирования определенного медиаязыка» и «эстетической лексики», характерной для медиа[125]. Рассуждая о видео, она отмечает: «После того, как такой набор мультимедийных средств выражения получен, видео становится средой, которую можно отличить от других уже существующих медиа». Спил– манн объясняет, какие технические характеристики видео имеются у других форм медиа, например у телевидения, и как оно основывается на этих качествах, а также чем видеоизображения отличаются от других форм медиа. Это важные вопросы, которыми необходимо задаваться в процессе перестроения AR: как дополненную реальность можно отличить от других форм медиа благодаря ее специфике и новым возможностям выражения?

Давайте рассмотрим, чем AR похожа на фильм как среду. Из общих черт первой волны AR и фильмов можно выделить применение мультимедийных компонентов, таких как анимационный дизайн, звук и запись, как форму презентации, использующую монтаж и художественные решения для рассказа вымышленных или реальных, фантастических или документальных историй. Дополненная реальность похожа на фильмы тем, что может динамически и в реальном времени использовать любые поверхности или элементы окружения (если позволяет технология) в качестве экрана. Использование AR не просто отличается, но сознательно формируется не по тем же принципам, что создание фильмов, позволяя рассказывать истории в новом пространственно-временном формате: интеграция в реальном времени in situ (досл. «локально на месте») и контекстуальная значимость являются основными приоритетами этой технологии.

Это не означает, что дополненная реальность должна существовать или будет существовать отдельно от других сред: она может пересекаться с другими средами, и они заинтересованы в этом. Возьмем, например, объявление о партнерстве в июне 2016 года между компаниями Lucasfilm Industrial Light&Magic Experience Lab (ILMxLAB) и Magic Leap. ILMxLAB была основана в 2015 году с целью создания продуктов на платформах VR и AR. Совместно они разрабатывают контент в серии «Звездные войны», используя новую технологию Magic Leap. Рони Эйбовиц, президент Magic Leap, говорит[126]: «Мы провели эксперименты, в ходе которых пытались сделать смешанную реальность не чем-то новым и непонятным, а инструментом, с помощью которого режиссеры и другие творческие люди могут создавать новые интересные проекты, выводящие на новый уровень и дополняющие такие вселенные, как «Звездные войн ы». Джон Гаэта, исполнительный креативный директор ILMxLAB, комментирует:

Суть в возможностях повествования и в том, куда это все приведет. Мы понимаем, что новые платформы позволят создать интересные проекты. Речь идет о том, чтобы поместить вас в центр создаваемой вселенной, и формировать повествование вокруг вас и для вас. Это новый формат, который мы собираемся исследовать в нашей лаборатории.

Еще один взгляд на AR – это рассматривать данную технологию как сочетание предшествующих медиаформатов. Интернет – это среда связи, представляющая собой набор других медиа (аудио, видео, обмен текстовыми сообщениями), но у него также есть свои собственные стилистические особенности и качества. Например, тексты, ориентированные на веб, обычно короче, хотя и статьи из обычных газет могут быть адаптированы под онлайн-формат. Дополненная реальность похожа на интернет в том смысле, что тоже объединяет различные медиа-форматы и сводит их вместе по-новому. В видеоролике HoloLens и проморолике от Magic Leap использовались плоские AR-поверхности для создания экранов, на которых отображался интерфейс электронной почт ы и даже показывались фильмы. Это пример заимствования AR из предыдущих сред.

Так используются привычные и известные возможности медиа более раннего поколения, но, скорее всего, их необходимо будет переосмыслить с учетом новых возможностей. Старые правила не только больше не применяются в новом формате, они действительно не работают. И поскольку все это совершенно новое, мы сами должны сформулировать эти новые правила.

Принципы повествования: начало

Итак, какие принципы и стили начинают формироваться в AR-повествовании и в каком направлении движется эта технология? За последние 12 лет я наблюдала разные подходы, о которых пойдет речь дальше. Стоит, прежде всего, отметить, что новый визуальный язык, или «то, как это выглядит», – это только одна часть дополненной реальности. Как было сказано в предыдущих главах, AR не ограничивается только визуальными эффектами, и мы также увидим, как развиваются стили и сенсорные технологии применительно к запаху, вкусу, прикосновениям, звуку и к сочетанию разных типов этих чувств. В данной главе мы сосредоточимся на визуальной составляющей, поскольку большинство примеров использования AR на сегодняшний день именно такие.

1. Виртуальная примерочная

Виртуальная примерочная делает вас частью повествования. Независимо от того, надеваете ли вы виртуальную маску, наносите краску на лицо или примеряете предмет одежды, использование приложений такого типа создает иллюзию того, что вы превращаетесь в кого-то другого. В 2013 году компания Дисней в сотрудничестве с Apache разработали AR проект, в котором вы становитесь Железным Человеком, виртуально примеряя на себя костюм Тони Старка из фильма «Железный Человек-3»[127]. Kinect использовался для измерения пропорций вашего тела и создания идеально подходящего костюма Mk XLII. Затем на экране вы превращались в Железного Человека и могли испытать различные возможности вашего виртуального костюма.

Виртуальная примерочная не ограничивается костюмами персонажей: она используется в розничной торговле, чтобы примерить одежду, очки, украшения или нанести макияж[128]. Это говорит об использовании механизма контекстного повествования, фокусирующегося именно на вас: вы становитесь сюжетом и звездой рассказа. При взаимодействии с виртуальной примерочной, как правило, возникает сильное чувство присутствия, потому что ваше тело становится частью дополненного контента, сопоставленного и движущегося с вами.

Snapchat – это забавное приложение, в котором есть функция «линзы», использующей фронтальную камеру смартфона в сочетании с анимацией для создания эффектов на вашем фото в реальном времени. С помощью линз-фильтров, которые постоянно обновляются, вы можете превратиться в мышь, грызущую кусок сыра, вокруг вашей головы могут летать бабочки, и вы даже можете поменяться лицами с другом. Но потенциал технологии AR для виртуальной примерочной гораздо шире – ее можно применять как еще один способ самовыражения, например в мире моды. Ее возможности позволяют проявить наше творческое начало и креативность в выборе стиля и самовыражении, размывая границы между нашими виртуальными аватарами и физической реальностью. В 2017 году Facebook анонсировала свою AR-платформу AR Studio, которая позволит художникам и разработчикам создавать AR-маски – это тоже может стать следующим шагом в поиске новых форм самовыражения.

2. Портал в стене, полу или столе

Эта разновидность AR-проектов позволяет дополнить ваше физическое пространство виртуальным содержанием с помощью визуальной иллюзии. Общепринятая в AR-играх, это визуальная техника, объединяющая элементы виртуальной реальности с вашим физическим окружением, чтобы усилить чувство присутствия и глубже погрузить вас в историю, которая разворачивается вокруг. Эта техника отсылает нас к эффекту «обмана зрения», встречающемуся, например, на картине «Бегство от критики» Пере Борреля дель Казо[129] (1874), на которой мальчик, кажется, выходит из рамки картины, нарушая воспринимаемые границы реальности и переходя в ваше измерение.

Такой визуальный эффект оптического обмана в AR используется в частности, в игре Kweekies[130]компании Int13 и RoboRaid[131], созданной HoloLens. Kweekies – это мобильное AR-приложение, в котором стол выступает в качестве стартовой площадки, при наведении смартфона на которую появляются виртуальные персонажи. AR-игра RoboRaid – это шутер для HoloLens, в котором вы надеваете AR-очки и защищаете свой дом от вторжения роботов, пробивающихся сквозь стены, и все это сопровождается треском и звуками разрушения, благодаря чему усиливается эффект от игры и возникает иллюзия погружения.

Мы можем рассматривать большинство, если не все разновидности AR как своего рода «спецэффекты», и этот проект – не исключение. «Портал в стене» позволяет достичь большей реалистичности и обостряет чувство присутствия, но в то же время есть риск, что этот прием устареет, как и все прочие диковинки, со временем перестающие удивлять аудиторию. У него есть потенциал перерасти в нечто большее и перейти на новый виток развития – как у проекта inFORM[132], например. Этот проект, созданный разработчиками MIT Media Lab Дэниелом Лейтингером, Шоном Фоллмером, Алексом Олуолом, Акимитсу Хогге и Хироси Исии, представляет собой дисплей, динамически изменяющий форму.

inFORM физически генерирует 3D-контент, чтобы пользователи могли взаимодействовать с цифровой информацией осязаемым образом. В одном из примеров на экране появляется живой человек, и его руки выходят за область экрана (происходит это в реальном времени, благодаря перемещению физических блоков) и перемещают реальный шар по поверхности стола. Разработчики заявляют, что «участники видеоконференции могут принимать участие в ней физически, что усиливает чувство присутствия и дает возможность взаимодействовать в реальности, находясь на расстоянии друг от друга». Таким образом, виртуальные персонажи могут не только пробиваться сквозь физические границы, чтобы появляться в вашем пространстве. Из этого примера видно, как они также могут начать взаимодействовать и даже изменять ваше физическое пространство в реальном времени, выходя за пределы визуальной иллюзии.

3. Призраки

Невидимые человеческому глазу, исчезающие и вновь появляющиеся, игнорирующие правила физики (перемещающиеся и проходящие через объекты), «Призраки» – это отдельный элемент повествования в дополненной реальности. Во времена зарождения технологии, они (как в игре «Охотники за привидениями»[133] от XMG Studio) казались особенно правдоподобными, потому что трекинг и компьютерное зрение не обязательно должны были быть идеально точными, ведь мы знаем, что призраки могут вести себя непредсказуемо и на них не действуют привычные законы физики. Визуальный аспект использования технологии AR, позволяющий увидеть призраков, работает хорошо, благодаря чему дополненная реальность может открыть окно в другое измерение, в мир, недоступный для человеческого глаза.

«Призраки» являются примером фантастического и сюрреалистического в AR. Мы не ограничиваемся воссозданием реальности, так почему бы не использовать AR для представления того, что физически невозможно испытать?

4. Оживающие картинки

«Оживающие картинки» создают волшебную реальность с помощью AR, по аналогии с тем, как в «Гарри Поттере» оживали портреты, на которых изображенные люди перемещались и взаимодействовали внутри картин и с внешним миром. С помощью «Оживающих картинок» в повествовании статичное становится анимированным, наполняется жизнью. Это оживляет то, что должно быть статичным или замороженным во времени, и создает окно в другой мир.

Мы можем увидеть это на примере журналов с дополненной реальностью. Например, неподвижная фотография на обложке журнала превращается с помощью AR в видеоролик фотосессии или интервью с человеком на фотографии. Одним из первых журналов, опробовавших такие возможности, был Esquire[134] в 2009 году с участием актера Роберта Дауни-младшего на обложке. Необходимо было установить специальное AR-приложение на компьютер и направить веб-камеру на изображение в журнале для просмотра AR-содержимого. В этом режиме Роберт Дауни-младший и рекламные объявления по всему журналу оживали благодаря видео и анимации.

В последние несколько лет появилась тенденция оживлять неподвижные фотографии не только с помощью AR. Этот сдвиг в цифровой обработке фотографий размывает границы между анимацией, видео и фотографией. Примером являются синемаграфы (анимированные фотографии, на которых движется только часть изображения), созданные с помощью программного обеспечения, такого как Flixel[135]. Оно оживляет отдельные элементы неподвижной фотографии, такие как волосы модели, развевающиеся на ветру. Также следует упомянуть Apple Live Photos[136], представленные на iPhone 6S в 2015 году, на которых записаны несколько секунд до и после фотоснимка, что обеспечивает возможность воспроизводить короткое видео.

В каждом из этих примеров время словно растягивается, для того, чтобы рассказать историю. Они становятся короткими медиа-файлами, чем-то средним между видеоклипом и мультфильмом, нарисованным в блокноте. Оживающие картинки предоставляют возможность поделиться более развернутой информацией, если пользователь хочет увидеть больше, будь то реклама, искусство или образование.

5. Рентгеновское зрение

Способность супергероя или просто прикол – этот пример использования отсылает нас к очкам с рентгеновским зрением[137], реклама которых размещалась на последней странице комиксов в 1960-е и 1970-е годы; слоган обещал: «Вы можете увидеть кости в руке прямо сквозь одежду!» Идея рентгеновского зрения использовалась в различных AR-приложениях, начиная от Moosejaw X-Ray (2012), позволявшего читателям каталогов увидеть моделей одежды в нижнем белье, и заканчивая приложениями, помогающими изучать анатомию человека, такими как Anatomy 4D[138] компании DAQRI (2009) и созданная HoloLens в сотрудничестве с Case Western Reserve University[139] (2016) программа, помогающая в учебе будущим докторам.

Такое использование дополненной реальности может применяться в музеях и при работе с хрупкими артефактами. В экспозиции «Древние жизни, новые открытия»[140] в Британском музее в Лондоне были представлены интерактивные видеомониторы (без технологии AR), на которых было показано, как выглядят различные слои мумии. При помощи компьютерного томографа в музее были созданы 3D-изображения,показывающих, что скрыто внутри роскошных саркофагов. Этот пример можно было бы улучшить, используя технологию AR, чтобы, взглянув на саркофаг сквозь AR-очки, экран смартфона или планшета (а не на экран над артефактом) вы могли увидеть различные слои мумии и изучить их трехмерные модели.

Независимо от того, позволяет оно рассмотреть слои хрупкого артефакта или видеть сквозь кожу и одежду, «Рентгеновское зрение» в AR символизирует желание превзойти наши природные человеческие способности. Это пример того, как дополненная реальность расширяет воображение и позволяет увидеть невидимое. Эта разновидность AR эффективна не только в рекламе – это также мощный инструмент повествования, помогающий в образовании, позволяющий пользователю безопасно изучать различные объекты, заглядывая внутрь них.

6. 3D-моделирование

Этот стиль повествования касается игр и создания вашей собственной реальности знакомым способом: рисование и раскрашивание своими руками. Scrawl[141] – экспериментальное AR-приложение для рисования на iPhone, созданное компанией String в 2010 году. Приложение позволяет любому, у кого есть iPhone, быстро создать рисунки в AR, не имея при этом каких-то специальных навыков в области программирования, – вы просто рисуете пальцем. Выбирая между различными цветами на палитре и кистями в приложении, вы используете свой палец для рисования трехмерного изображения на экране iPhone. Затем вы можете перемещаться по своему 3D-рисунку, чтобы просмотреть его под разными углами. Scrawl позволяет с легкостью реализовывать наши творческие способности в дополненной реальности, используя одни из лучших инструментов, которые у нас есть – наши пальцы. (В главе 4 мы рассмотрели Konstrukt, приложение дополненного звука для iPhone, разработанное Джеймсом Аллибаном и основанное на технологии AR от String. Вместо того, чтобы рисовать пальцем, в этом приложении, вы можете создать виртуальную скульптуру, произнося слова, насвистывая или просто подув в микрофон устройства.)

Quiver[142] (ранее называвшийся Colar) – это трехмерное AR-приложение для раскрашивания, разработанное в Лаборатории Технологии человеческих интерфейсов в Новой Зеландии (HIT Lab NZ) и коммерциализованное компанией Puteko Limited в 2011 году. Quiver работает следующим образом: сначала вы распечатываете страницу раскраски из приложения или с сайта, затем вы используете любой физический инструмент по вашему выбору: маркеры, краски или карандаши. Когда ваша раскраска будет завершена, вы используете свой телефон или планшет для просмотра двумерной страницы в 3D-режиме с использованием дополненной реальности. Персонаж или объект анимируется именно так, как вы его раскрасили, и может быть рассмотрен на странице под разными углами.

Scrawl и Quiver создают возможности для самовыражения с помощью AR. Это область, которая будет продолжать развиваться, позволяет разработчикам всех типов, не только программистам, творить с помощью AR. Оба приложения используют знакомые способы взаимодействия с миром: рисование и раскрашивание руками, при этом AR раскрывает новые интересные возможности для развития нашего творческого начала и воображения.

Новые направления в повествовании

Теперь давайте взглянем на несколько других подходов к повествованию, которые также формируются на базе AR.

1. Абстрактные и художественные AR-фильтры

Различные фильтры, широко применяющиеся в таких приложениях с возможностью редактирования фотографий, как Instagram, которые художественно изменяют нашу реальность, стали сегодня обычным явлением. Нечто похожее происходит и в дополненной реальности. Истории в AR не ограничиваются точным воспроизведением реальности: абстрактные и художественные фильтры в дополненной реальности дают возможность творчески выразить то, как мы видим мир, в режиме реального времени.

Впервые я столкнулась с использованием абстрактных AR-фильтров в 2005 году на SIGGRAPH, ежегодной конференции по компьютерной графике в Бостоне, на которой присутствовали ученые, инженеры и художники и где демонстрировалось приложение HIT Lab NZ. Демонстрация включала множество художественных фильтров, накладываемых на реальную картинку, от эффекта мозаики до цветовой температуры и гауссовского размытия, применяемого ко всей сцене, состоящей из виртуальных объектов и физической среды. С использованием фильтров было сложно отличать виртуальные элементы от физических, все объединялось в единую картину.

Целью демонстрации было усиление погружения и появление новых режимов выразительности в AR.

Важно отметить, что в демонстрации 2005 года использовались координатные метки (черно-белые изображения, напечатанные на бумаге) для отображения объектов AR. При таком подходе во время использования приложения дополненной реальности видны белые края координатных меток, даже несмотря на виртуальные объекты, показывающиеся поверх них. Применяя эти фильтры в реальном времени ко всему, что попадает в кадр, во время этой демонстрации удалось завуалировать координатные метки и создать общее пространство виртуального и реального, что способствует более глубокому погружению пользователя. Сегодня координатные метки больше не нужны (вместо них можно использовать обычные физические объекты, изображения и местоположение), благодаря чему применение абстрактных и художественных AR-фильтров можно посвятить лишь творческому самовыражению.

Spectacle[143] – довольно свежее приложение, созданное Cubicle Ninjas, которое предлагает 50 различных фильтров для дополнения физического окружения пользователя с помощью сквозной камеры гарнитуры Samsung Gear VR. Оно также позволяет делать фотографии. В отличие от HIT Lab NZ, здесь не добавляется виртуальный контент к отображаемой картинке, а только лишь накладывается определенный фильтр, но это все же намек на то, как будут выглядеть AR-приложения в будущем.

Еще два приложения, не использующие AR, которые применяют абстрактные фильтры, или «изменяют стиль», – это Prisma AI[144] и Artisto[145]. Prisma – это приложение для редактирования фотографий, с помощью которого вы можете сделать фото на камеру или выбрать изображение из вашей библиотеки, а затем применить один из 33 различных фильтров, вдохновленных работами известных художников, таких как Пикассо, Моне, Ван Гог и Кандинский. По словам соучредителя Prisma Алексея Моисеенкова, приложение использует три нейронные сети, каждая из которых выполняет различные задачи: сначала анализируется ваше изображение, потом извлекается художественный стиль, который затем применяется к изображению. Моисеенков утверждает[146]: «Мы не просто накладываем фильтр, как это делает Instagram. Мы создаем фотографию с нуля. Итак, сначала фотографии нет: мы взяли вашу фотографию, а затем выполнили некоторые операции и создали новую фотографию». Artisto – это аналогичное приложение с художественными фильтрами, используемыми для коротких видеоклипов, а не фотографий. Мы также видим применение переноса стиля в приложении Apple Clips и в приложении для камеры Facebook.

Этот тип машинного обучения можно объединить с AR, чтобы превратить реальный мир в произведение искусства, раскрасить нашу реальность, чтобы показать нам этот мир по-новому в реальном времени. В музыкальном фильме 1971 года «Вилли Вонка и шоколадная фабрика», когда семьи впервые вошли в фантастическую реальность шоколадной фабрики, они не могли поверить своим глазам. «Пойдем со мной, и ты окажешься в мире чистого воображения», – пел Вилли Вонка. Абстрактные и художественные AR-фильтры раскрывают дверь в мир фантастической мечты, где нет ограничений действительности.

2. Общее виртуальное пространство

Первая волна AR сосредоточена только на впечатлениях одного пользователя. В текущей второй волне мы начинаем видеть возможность появления нового типа виртуального пространства, когда станет возможным многопользовательский режим. Это расширит AR-возможности в играх, образовании и даже в том, как мы переживаем и рассказываем наши личные истории и воспоминания.

Приложение Inception[147] (2010) от RjDj, разработанное совместно с режиссером Кристофером Ноланом, использовало микрофон и датчики в вашем iPhone для создания различных звуковых AR-ландшафтов, уникальных для вашего контекста, принимающих во внимание ваше местоположение, активность и даже время суток. Имея хотя бы одного друга, запустившего это же приложение на своем устройстве одновременно с вами, достигался новый «сон», или уровень, который вы иначе не могли бы увидеть в одиночку. Если семь человек играли вместе в одном и том же физическом месте, разблокировалось особое достижение и новый уровень. Мне нравится идея собирать людей вместе в одном физическом пространстве, чтобы продолжить рассказ в AR, и я верю, что мы увидим больше примеров этого. Помимо игр, это может использоваться в интерактивном театре или в других мероприятиях в области искусства, где размер аудитории может изменять историю, делая ее каждый раз новой.

Не всегда возможно разделять физическое пространство с другими. Skype[148] для HoloLens и Holoportation от Microsoft Research[149] объединяет людей, находящихся далеко друг от друга, чтобы вместе играть и работать в общем AR-пространстве. Skype для HoloLens дает возможность вашим контактам видеть то, что видите вы, позволяя им рисовать поверх физических объектов вашей реальности. Это создает общую среду, пространство для совместной работы, где вы можете показывать, а не просто рассказывать.

Одна из демонстраций Skype для HoloLens включает в себя инструкции по ремонту выключателя света. Используя HoloLens, вы в реальном времени общаетесь с кем-то в видеочате, и этот человек, используя планшет и видя то же самое, что и вы, дает вам инструкции. Этот человек может рисовать поверх того, что вы видите в своем физическом окружении, используя, например, стрелки и диаграммы, чтобы понятнее разъяснить, как обращаться с электроникой. Видя то же, что и вы, другой человек может направлять вас при выполнении задачи. В дополнение к ремонту, Skype для HoloLens обладает большим потенциалом в сфере образования, т.к. способен помочь в обучении и создании совместной рабочей среды, в которой можно делать зарисовки в реальном времени. Это создает новые возможности для общения и взаимодействия с окружающим миром, при котором какой-то другой человек визуально может взаимодействовать с пространством, в котором вы находитесь. Также это позволяет создать и новую форму творческого игрового пространства, где можно рисовать поверх чужого физического пространства и делиться этим в реальном времени.

Holoportation – это новый тип технологии трехмерного сканирования, который позволяет получать высококачественные трехмерные модели людей в любой точке мира в реальном времени. В сочетании с дисплеями AR, такими как HoloLens, технология Holoportation позволяет вам видеть, слышать и взаимодействовать с удаленными участниками в трехмерном пространстве, как если бы вы находились в одном месте. Шахрам Изади, менеджер по исследованиям в Holoportation, говорит: «Представьте, что вы можете телепортироваться в любое место с кем угодно в любое время». В видеоролике, посвященном этой технологии, Изади показывает, как он виртуально присутствует рядом с коллегой, также носящим устройство HoloLens. Его коллега находится там же, где Изади, и они даже могут «дать пять» друг другу. Изади также показывает, как семьи могут использовать эту технологию, находясь в разных местах, на примере того, как он играет со своей маленькой дочерью, как если бы они находились в одной комнате.

В дополнение к живому трехмерному сканированию, технология имеет возможность записывать и воспроизводить общий виртуальный опыт. «Теперь это почти как перемещение во времени, – говорит Изади, – и если я ношу свое устройство HoloLens, это почти как если бы я оживлял воспоминание в своей памяти, которое я вижу через пару чужих глаз, с разных точек зрения». Он указывает, что, поскольку содержание передается в 3D, его можно уменьшить и поместить на кофейный столик, чтобы было удобнее его просматривать. Изади говорит: «Это волшебный способ оживить запечатленные воспоминания».

Holoportation дополняет человеческую память, расширяя возможности того, как мы вспоминаем и рассказываем истории, в том числе и наши личные. Теперь можно переживать события в виртуальном трехмерном пространстве, выходя за рамки ограничений человеческой памяти, и просматривать их снова под разными углами, что раньше было невозможно. Независимо от того, идет ли речь о семейном празднике, театральном представлении или совместной работе над дизайном, разделяемое AR-пространство формирует основу для нового пространственно-временного измерения.

3. Объекты, рассказывающие истории

Что если объект сможет рассказать вам свою историю? Браузер визуального обнаружения[150] Blippar – это AR-приложение, сочетающее компьютерное зрение, машинное обучение и искусственный интеллект, целью которого является помочь вам узнать больше о мире вокруг вас. Направляя камеру смартфона на предметы из вашей повседневной жизни, такие как пища, цветы и даже домашние животные, приложение идентифицирует то, на что вы смотрите, и предлагает способы дальнейшего взаимодействия с объектом. Это, например, связанные с предметом статьи, видеоролики и близлежащие интересные места, появляющиеся на экране вашего смартфона. Например, если вы направите свой телефон на овощ, который, возможно, не видели раньше, приложение идентифицирует его, скажет вам его название, предложит рецепты его приготовления и даже перечислит места поблизости, где его можно купить. Blippar представляет новый способ поиска информации о нашей физической реальности, используя изображения и объекты вместо слов.

Амбариш Митра, соучредитель и главный исполнительный директор Blippar, ссылается на Blippar как «следующую ступень развития поиска, выходящую за его пределы». Далее он говорит[151]:

Blippar – это занимательное приложение, с помощью которого можно изучать ваше окружение и узнавать малоизвестные факты и истории об обычных вещах.

Визуальный браузер Blippar позволяет узнать больше о том, на что вы смотрите, без необходимости открывать веб-браузер и вводить в поиск название искомого предмета.

Поскольку эта технология улучшается и становится доступной в очках AR, ее применение станет еще более захватывающим и быстрым: нам даже не нужно будет направлять телефон на объект, достаточно будет просто посмотреть и спросить: «Что это?» Объекты смогут даже рассказать свои истории, основываясь на ваших предпочтениях и контексте, и спросят вас: «Хотите ли вы узнать больше?»

Помимо розничной торговли и продуктов, браузер визуального обнаружения Blippar имеет большой потенциал в использовании в процессе обучения, поиска и извлечения информации. В блоге Blippar говорится[152]: «Это как будто положить самый умный глаз в мире в карман вашего ребенка и дать ему возможность обучаться у самого знающего частного репетитора». Колум Эллиотт-Келли, руководитель Blippar Education, объясняет, что Blippar, как «репетитор», обладает знаниями «в масштабах интернета» и может рассказать об окружающем нас мире абсолютно все. При этом Эллиотт-Келли отмечает, что центральное место в успешном образовании, конечно, по-прежнему занимает учитель. «Мы верим в то, что, дополняя человека технологией, мы позволяем преподавателям делать их работу лучше, благодаря чему и ученики смогут учиться лучше. Учитель в сочетании с Blippar может сосредоточиться на обучении в тех областях, где научить может только человек», – говорит он.

Эллиотт-Келли описывает три категории использования браузера визуального обнаружения Blippar в процессе обучения: первое знакомство с темой в классе или во время школьных мероприятий вне класса; превращение реального мира в учебный портал; борьба с неграмотностью и отсутствием доступа к учебным заведениям.

Первая категория – этап знакомства с темой – включает в себя примеры использования, в которых учащиеся направляют устройство с включенным приложением Blippar на предметы в классе или за его пределами. «Способность распознавать любой объект, объединенный с обучающими системами и платформами, контролирующими образовательный процесс, влечет за собой полное перестроение этого процесса, – говорит Эллиотт-Келли. – Учащиеся, например, направляют устройство на розетку, чтобы узнать об электрике, или на местный мост для визуализации инженерных наук, причем контент выбирается, а и иногда даже создается педагогами, при этом весь процесс обучения контролируется».

Во второй категории, для которой реальный мир является обучающим порталом, учащиеся, не находящиеся под формальным руководством педагога, имеют возможность распознавать с помощью Blippar любой предмет, вызывающий их интерес. «Музеи и произведения искусства прекрасно для этого подходят, но, помимо них, в мире есть еще очень много других объектов для неформального изучения. Мы также думаем о возможности анимирования различных предметов, еды, предметов искусства, рабочих инструментов и достопримечательностей», – говорит Эллиотт-Келли. Он также отмечает интерес у Blippar не только к потребителям информации, но и к тем, кто готов ей делиться:

Теоретически, ваша точка зрения на произведение искусства так же интересна и ценна для меня, как и тексты или другие традиционные источники. Итак, когда вы распознали с помощью Blippar произведение искусства и сами узнаете что-то о нем, мы хотели бы, чтобы вы могли также добавлять контент от себя, доступ к которому я получу, когда распознаю тот же предмет позже.

Третья категория направлена на борьбу с неграмотностью и отсутствием доступа, когда у учащихся нет возможности заниматься с преподавателями в школе или дома, либо они не умеют читать. Эллиот-Келли говорит:

Получение достоверной информации по биологии, например, требует умения читать и наличия опытного педагога. Мы хотим разработать такой цифровой контент, который не потребует ни первого, ни второго. В основе лежит та же идея, что и при визуальном распознавании контента с помощью интеллектуальных алгоритмов, управляемых AI, но применяются они для преодоления препятствий, с которыми сталкиваются ученики, не имеющие базовых навыков и доступа.

Идея дополнять контент, а не только знакомиться с ним, является важным фактором в развитии инструментов повествования и обучения в дополненной реальности. Это поддерживает культуру «чтения и записи», в которой мы активно участвуем, делясь историями о мире и с миром. Это способствует получению знаний и обучению людей. Блог TechCrunch охарактеризовал[153] работу Blippar, как «создание Википедии физического мира» со своим собственным визуальным браузером, и если эта модель «вносить и потреблять» заработает, она действительно может стать дополненной Википедией для всего человечества.

4. Галереи действий и 3D AR-стикеры

Actiongram для HoloLens дает вам возможность выбрать из галереи трехмерный анимированный AR-контент, манипулировать им и играть с виртуальными элементами в вашем окружении, а также записывать видео и делиться им. В элементы галереи входят люди (например, актер Джордж Такеи[154]), животные (такие как единорог), другие объекты (например, НЛО) и редактируемый текст. «Мы предоставляем вам огромную коллекцию голографических персонажей и инструментов, и вы можете использовать их, чтобы поместить голограммы в историю, которую хотите рассказать», – говорит[155] Дэйна Циммерман, исполнительный продюсер Microsoft Studios.

Вы становитесь режиссером Actiongram, придумывая историю и используя в ней персонажи и объекты, выбранные вами. Каждая история отличается, и это очень интересный опыт. Ваше воображение – это то, что объединяет виртуальные и физические элементы в историю, которую вы можно записать и затем поделиться.

История, создаваемая вами с помощью Actiongram, сводится не столько к символам или объектам, сколько к контексту, в который вы их помещаете. Подобно игре с куклами или фигурками, вы создаете истории вокруг персонажей в игре. Несмотря на то, что в галерее есть готовая библиотека символов и действий, смысл сводится к тому, что вы смешиваете виртуальные элементы с вашей реальностью.

Одна из любопытных особенностей Actiongram заключается в том, что вам не нужно быть программистом или аниматором для создания и публикации AR-истории. «Actiongram позволяет людям без навыков работы с 3D и визуальными эффектами стать авторами голографических историй», – говорит[156] Кудо Цунода, вице-президент Next Gen Experiences, Windows and Devices Group, принадлежащей компании Microsoft. Actiongram также позволяет размещать AR-контент в реальном мире и записывать сцены, которые в обычной жизни снять невозможно. Цунода объясняет: «Actiongram позволяет людям создавать видеоролики с голограммами и визуальными эффектами, обычно требующими дорогостоящего программного обеспечения и многолетнего опыта работы». Американская группа Miniature Tigers использовала Actiongram для создания музыкального клипа на песню Crying in the Sunshine. «С помощью этой технологии мы сняли клип о герое песни, космонавте. Это было весело и умопомрачительно, иметь возможность «помещать» этого космонавта в космос вместе с нами и снимать его, точно так же, как если бы мы использовали настоящего актера, – говорит[157] Меган Доэрти, одна из создателей видео. – Использовать этот новый инструмент, чтобы донести до слушателей нашу историю, было очень интересно».

Я верю, что Actiongram будет вдохновлять разработчиков AR на создание большего количества AR-библиотек, подобных цифровым стикерам, которые мы используем сегодня в приложениях для обмена сообщениями. Цифровые стикеры (я предполагаю появление трехмерных AR-стикеров в скором времени) – это следующий шаг после эмодзи и способ рассказать короткие выразительные истории с картинками, выходящими за рамки традиционного языка. Я вижу галереи анимированных объектов, которые используются для дополнения общения и расширения возможностей стикеров, популярных сегодня в Facebook или на iPhone. iOS 10 позволяет размещать стикеры прямо в сообщениях, а не посылать его отдельно. Почему бы не разместить трехмерный AR-стикер в реальном мире, чтобы сообщить кому-то, что вы о нем думаете? Отвечайте в своих очках AR на сообщение друга с кивающим трехмерным единорогом на виртуальном стикере или создайте общую дополненную историю вместе с друзьями. Actiongram и трехмерные AR-стикеры становятся современными виртуальными телеграммами.

5. Вы – звезда: D-фотореалистичные персонализированные AR-аватары

Инструменты, такие как Actiongram и 3D AR-стикеры, могут стать еще более привлекательными благодаря персонализированным AR аватарам. Рассмотрим популярность Bitmoji[158], приложения для смартфонов компании Bitstrips (приобретенной Snapchat в 2016 году более чем за 100 миллионов долларов), позволяющего персонализировать ваш двумерный мультяшный аватар и использовать его затем в приложениях-мессенджерах. Создать ваш виртуальный образ в Bitmoji несложно. Выберите один из нескольких вариантов параметров внешнего вида, таких как форма лица, цвет волос, цвет глаз и даже черты лица. После того как вы закончите, ваш аватар появится в различных сценах в наборе цифровых стикеров. Вы можете использовать свой Bitmoji в таких приложениях, как iMessage, Gmail или Snapchat. «Так много информации передается выражением вашего лица, а не только вашими словами», – отмечает[159] соучредитель Bitmoji Ба Блэксток. – С Bitmoji «вы не просто видите текст, вы видите своего друга – это делает ваше сообщение более человечным».

В скором времени на смену двумерным карикатурным аватарам в приложения для обмена сообщениями могут прийти фотореалистичные трехмерные AR-аватары. Лойк Леду, соучредитель и генеральный директор Uraniom[160], хочет помочь вам стать звездой вашей дополненной истории. Uraniom – это веб-платформа с мобильным приложением, помогающим вам создать реалистичный трехмерный аватар, который вы можете использовать в любом приложении AR или VR или в видеоигре. Данный проект появился с целью исправить ситуацию, вызывавшую большое разочарование у геймеров: аватары выглядели ужасно – и Леду понимал, что данная потребность есть не только в игровой индустрии. «Связь с нашими аватарами с помощью устройства, такого как HoloLens, позволяет воссоздать человеческие взаимодействия практически досконально, – говорит Леду. – Используя AR и VR, мы сможем вместе с коллегами, членами семьи или друзьями разделять общие впечатления. Я глубоко убежден, что для того, чтобы воссоздать аутентичные социальные взаимодействия, крайне важно использовать реалистичные, похожие на пользователей аватары».

Создание вашего фотореалистичного трехмерного аватара с Uraniom в настоящее время работает в три этапа[161]. Сначала используется трехмерное сканирующее устройство, такое как Structure Sensor[162], или планшет, оснащенный Intel RealSense. Затем создается учетная запись на платформе Uraniom, куда загружается отсканированный файл. Наконец, вы выбираете игру или приложение, для которого вы хотите создать аватар, и настраиваете его (регулируете размер головы, тон кожи и т.д.). «Мы хотим пересмотреть то, какова ваша виртуальная идентичность, – говорит Леду. Он продолжает: Разумеется, у вас будет аватар, совпадающий с вами внешне, что бывает полезно в определенных ситуациях (например, в деловом сотрудничестве). Но что если вы захотите иметь другой аватар для встречи с вашей семьей или специальный вариант для общения с незнакомцами? Мы хотим, чтобы у вас был полный контроль над вашим цифровым «я», во всех цифровых средах, независимо от устройства или платформы».

Uraniom отличается от Holoportation тем, что голопортация – это живой захват и передача в реальном времени, тогда как с Uraniom ваш индивидуальный трехмерный аватар заранее создан и готов к внедрению в AR-события. Леду считает, что Holoportation – отличный проект, но он видит причины, по которым его трудно будет использовать. «Вам требуется полный захват в режиме реального времени. Для этого требуется соответствующая аппаратура, которая, помимо ее высокой стоимости, может оказаться слишком громоздкой», – говорит Леду, – «Объем трехмерных данных, которые нужно будет передавать в реальном времени, будет очень большим, даже при использовании сжатия. Используя аватар, вам просто нужно переместить точки анимации. Голопортация интересна для взаимодействия в реальном времени, но может быть не лучшим решением для некоторых ситуаций».

Леду рассматривает Uraniom как способ обогатить и усовершенствовать AR-игры. Он поясняет:

Вместо того чтобы взаимодействовать с компьютерным персонажем, что, если тот, с кем вы играете, будет выглядеть как ваш близкий друг? Или если главный злодей в игре будет похож на вашего родственника? Будете ли вы вести себя так же, как со случайными персонажами, генерируемыми компьютером, с персонажами, выглядящими как ваши близкие, как люди, которых вы знаете в реальной жизни? Наверное, нет!

Слова Леду перекликаются с точкой зрения Блэкстока на то, как Bitmoji делает ваш текст более человечным, позволяя видеть лицо вашего знакомого. Аналогичным образом, использование фотореалистичных аватаров – это способ очеловечивания AR.

Я могу представить, как Uraniom можно использовать для создания юмористических фотографий, похожих на популярный веб-сайт Elf Yourself[163], созданный в 2006 году режиссером Джейсоном Зада. Загрузив фотографию себя или друга на этот сайт, вы получаете видео, в котором танцуете в образе рождественского эльфа. Веб-сайт JibJab[164] предлагает аналогичный способ работы с персонализированными электронными открытками, в которых вы или ваш друг становитесь звездой короткого видео. Теперь представьте, что вместо двумерного танцующего эльфа или другого персонажа с вашим лицом, появляется ваш или чей-то еще трехмерный аватар. Такие инструменты, как Uraniom, могли бы сделать это возможным.

Когда мы станем дополненными людьми, будут ли наши аватары соответствовать нашему внешнему виду? Или мы будем выше, красивее, иметь другой цвет глаз, дополняя наш внешний вид, подобно тому, как сегодня мы изменяем себя, становясь на высокие каблуки, делая макияж, надевая цветные контактные линзы или делая пластические операции? Будут ли наши аватары олицетворять наше истинное «я» или мы захотим стать кем-то или даже чем-то еще? Я считаю, что у нас будет библиотека персональных AR-аватаров с несколькими версиями самих себя, возможно, даже одновременно в виртуальном и реальном мирах. В конце концов, контекстуально изменяемый и адаптируемый AR-аватар является следующим шагом в текущей второй волне дополненной реальности.

Глава 7. Аватары и объекты как живые переменные

Вторая волна дополненной реальности основана на контекстуальном понимании и взаимодействует с вашим окружением. Ваша окружающая среда становится отражением ваших желаний, адаптируясь к вашим потребностям. Ваше окружение становится настроенным и отзывчивым, обеспечивая персонализированный, актуальный и значимый опыт. AR – уже не просто технология наложения на реальность, она теперь превращается в реальность. В этой главе рассматривается, как аватары, интеллектуальные агенты, объекты и материалы становятся живыми агентами контекстного изменения: обучение, рост, прогнозирование и изменение формы, направленные на повышение ценности повседневной жизни и расширение нашей человечности новыми способами.

Идеальное селфи

Благодаря достижениям в области AR и искусственного интеллекта (AI – от англ. Artificial Intelligence) мы могли быть ближе, чем когда-либо, к виртуальным аватарам людей, которые не только физически напоминают нас, но и ведут себя подобно нам и действуют от нашего имени. «Идеальное селфи» – это концепция 2014 года художника и исследователя виртуальной реальности Жаклин Форд Мори[165]. Идеальное селфи – это современный агент искусственного интеллекта, который учится тому, как мы себя ведем во время его использования, и даже может стать нашим наследием после смерти. «Если и когда мы выйдем на сцену, где у нас есть аватары, которые учатся у нас, пока мы их используем, и могут заменить нас, когда нас там нет, то почему они не могут продолжать существовать после того, как мы умрем? – задается вопросом Мори. – Представьте, что наши потомки будут иметь возможность беседовать со своими предками, спросить совета или узнать о семейной истории и т.д. Это и есть идеальное селфи».

Мори выделяет пять важных трендов, которые подпитывают концепцию идеального селфи. Первой тенденцией является повышенная точность захвата рабочих данных нашего тела. Она приводит в пример движение Quantified Self[166], которое стало популярным явлением и основано на технологии носимых устройств и датчиках для сбора данных о повседневной жизни. «Этот тренд охватывает все: от значков и браслетов до устройств, которые становятся частью нашей повседневной одежды. В конце концов, мы могли бы увидеть, что они имплантированы в наши тела в лучших традициях трансгуманизма», – говорит Мори.

Вторая тенденция – захват формы нашего тела. «В настоящее время уже существуют продвинутые способы оцифровки не только нашей формы в трех измерениях в мельчайших подробностях, но и сложных компонентов внешности, – говорит Мори. – По меньшей мере, дюжина компаний сейчас занимается созданием аватаров, и найти место, где можно отсканировать все ваше тело, можно сегодня без проблем». Она считает, что мы застанем то время, когда у каждого человека будет трехмерный скан, заменяющий фотоснимки, как основной способ хранить воспоминания. Спрос на более реалистичные изображения аватара будет только расти, и наличие 3D-аватара будет иметь решающее значение.

Реализм «Идеальному селфи» придает возможность использования в виртуальной среде аватаром ваших выражений лица[167] и телодвижений. Такие компании, как High Fidelity[168], создающая платформу VR, позволяющую пользователям создавать виртуальные миры (компания была создана в апреле 2013 года основателем и бывшим генеральным директором Second Life Филиппом Роуздейлом), достигли в этой сфере больших успехов. Quantum Capture[169] и Soul Machines[170] – еще две компании, работающие в этой области и занимающиеся «очеловечиванием» аватаров. Это плавно подводит нас к третьей тенденции, которая заключается в том, что сенсорные устройства позволяют фиксировать наши движения. Она включает в себя технологии захвата движения, начиная от камер определения глубины восприятия, таких как Kinect, используемых с домашними компьютерными играми, до более сложных систем, использующих костюмы для всего тела, как, например, в голливудских фильмах, где актеры играют персонажей, генерируемых компьютером, как в фильме «Аватар».

Четвертая тенденция заключается в том, как отображать сложные данные, собранные в первых трех тенденциях. Концепция Мори для идеального селфи является прообразом современных AR-дисплеев, таких как HoloLens, которые можно использовать для взаимодействия с идеальным селфи. Хотя HoloLens еще не интегрирует данные из наших тел (первая тенденция, которую выделяет Мори), это может однажды произойти. Компания Microsoft получила патент[171] на интегрирование системы датчиков биометрических данных в HoloLens для мониторинга и реагирования на уровень стресса человека на основе определения сердечного ритма, выделения пота, активности мозговых волн и других сигналов тела. Это может помочь настроить ваше идеальное селфи реагировать на то, как ваше тело и мозг реагируют на конкретные ситуации, когда вы носите HoloLens.

Пятая тенденция, которую выделяет Мори, – это возможность проведения телеконференций. Она описывает, что мы уже привыкли к использованию данной технологии при проведении видеоконференции во время переговоров, в работе роботов BEAM[172], Skype и FaceTime на наших компьютерах и смартфонах, благодаря которым мы общаемся, находясь в разных точках мира. В настоящее время технология AR-телеконференции работает с такими системами, как Holoportation и HoloLens Skype (как говорилось в предыдущей главе) и может интегрироваться с «Идеальным селфи».

Мори полагает, что эти пять тенденций позволяют захватывать и проецировать образ человеческого тела в исчерпывающем виде, персонализируя ряд процессов, продиктованных такими потребностями, как, например, быть в двух местах одновременно. Эта цель имеет практическое значение, и Мори приводит пример космонавтов, использующих технологию идеального селфи. «Когда в будущем космонавтам придется находиться в космосе в течение длительного времени, что, как ожидается, может стать реальностью уже в предстоящем десятилетии, у них не будет возможности проводить видеоконференции со своими друзьями и семьей в режиме реального времени, как это происходит сейчас, когда они находятся на Международной космической станции. NASA исследует возможность использования виртуальных миров, чтобы помочь справиться с социальной и психологической изоляцией, с которыми могут столкнуться космонавты, когда они находятся далеко от Земли в трехлетнем полете и сообщения отправляются с 40-минутной задержкой».

Технология идеального селфи также может быть полезна для тех, чья мобильность ограничена, или тех, кто находится в изолированных сообществах. Мори говорит:

Возможность войти в виртуальную среду с помощью своего аватара и встретиться с родственниками или друзьями, находящимися в других частях Земного шара, может способствовать поддержанию отношений между людьми. Ваше цифровое селфи может быть отличной альтернативой, т.к. полностью копирует вас.

Она указывает, что это возможно уже сейчас с использованием стандартного или настроенного аватара, который в реальном времени используется на социальной платформе VR. «В будущем такие трехмерные цифровые селфи научатся вести себя так же, как вы, и будут способны к более сложным взаимодействиям», – добавляет она.

Пройдет время, прежде чем мы достигнем того уровня развития, когда аватар сможет стать нашей подлинной заменой. Чтобы достичь этого, аватар должен будет учиться у нас, чтобы он мог повторять наше поведение, даже когда мы его не используем. По сути, мы будем программировать свою цифровую копию, оснащенную искусственным интеллектом. Один из подходов состоит в записи всех наших действий, чтобы аватар мог записать сценарий и воспроизвести его, когда мы не руководим аватаром. Наши аватары могут также учиться у нас в социальных сетях, в которых мы описываем наши жизненные события. Например, исходя из вашей ленты Facebook, технология сможет распознавать, что вы сделали и что для вас важно. Мори спрашивает: «Что если в конце концов, ваша хроника будет заменена на обучающегося аватара – идеальное селфи? Я думаю, это может произойти в случае, если исследования будут направлены в нужном направлении».

Чтобы идеальное селфи стало реальностью, как того хочет Мори, она говорит, что необходим гораздо более высокий уровень искусственного интеллекта, лежащий в основе этих аватаров, чтобы они действительно анализировали и сохраняли информацию и действия, которые происходят во время их использования. Она считает, что это самая большая сложность. «Мы стремимся создать не просто агент искусственного интеллекта, но технологию, способную расти и развиваться в зависимости от поведения конкретного человека, который использует этот аватар», – говорит Мори.

Искусственный интеллект скоро вернется

Eterni.me – стартап из Массачусетского технологического института, целью которого является попытка сделать вас практически бессмертными. Вебсайт Eterni.me гласит: «Мы создаем ваш виртуальный образ, аватар, который моделирует вашу личность и может взаимодействовать с вами, а также будет делиться информацией и давать советы вашей семье и друзьям, когда вас не станет. Это как Skype-чат из прошлого».

Eterni.me очень сильно напоминает телевизионный сериал «Черное зеркало», в частности, первый эпизод второго сезона «Скоро вернусь», в котором овдовевшая Марта обращается к новейшим технологиям для общения с ее недавно скончавшимся мужем Эшем. Однако она общается не с Эшем, а с его симуляцией, основанной на программе искусственного интеллекта, которая собирает информацию об Эше через профили социальных сетей и архив его переписок в интернете. Марта начинает с текстовой беседы с виртуальным Эшем; затем переходя к разговорам с ним по телефону, после загрузки видеофайлов, из которых искусственный интеллект выделяет и распознает его голос. Eterni.me надеется увековечить вас подобным образом, собирая «почти все, что вы создаете в течение своей жизни, и обрабатывая этот огромный объем информации, используя сложные алгоритмы искусственного интеллекта».

В статье журнала Fast Company об Eterni.me Адель Питерс пишет[173]: «Данный сервис обещает сохранить все, что вы делаете в Интернете, и никогда не забыть этого, но непонятно, захочет ли большинство людей, чтобы вся эта информация хранилась вечно». Отмечая, как наше нынешнее поколение документирует «каждый прием пищи в Instagram и каждую мысль в Twitter», Питерс задается вопросом: «Что мы хотим, чтобы с этой информацией случилось, когда мы умрем?»

Возможно, в будущем будет существовать работа куратора вечных аватаров. В фильме 2004 года «Окончательный монтаж», режиссера Омара Найма с Робином Уильямсом в главной роли, Уильямс играет «монтажера», у которого есть право окончательного редактирования записанных историй людей. Чип, встроенный в ваше тело, записывает все ваши переживания в течение жизни, а работа героя Уильямса состоит в том, чтобы отредактировать все сохраненные воспоминания и произвести одноминутное видео с основными моментами.

Будет ли алгоритм искусственного интеллекта Eterni.me достаточно эффективным для того, чтобы произвести окончательное редактирование, выделяя важнейшие события вашей жизни в том виде, в каком вы хотели бы предстать перед будущими поколениями? В упомянутой выше серии «Черного зеркала» Марта в итоге говорит симуляции Эша: «Ты всего лишь тень. У тебя нет истории. Ты просто бессмысленная имитация того, что он делал, и этого недостаточно».

Мариус Урсаче, основатель Eterni.me, считает, что сбора информации недостаточно. Вам нужно будет взаимодействовать с вашим аватаром, чтобы помочь ему разобраться в информации, тонко настроить его. «Люди будут тренировать свои аватары, пока они еще живы, – говорит Урсаче, – это потому, что у нас нет алгоритмов и искусственного интеллекта, чтобы воссоздать человека или его сознание только из нескольких разбросанных писем или сообщений Facebook. Чтобы аватар был правдоподобным и естественным, потребуются годы сбора данных и тренировки».

Урсаче описывает аватар Eterni.me как вашего персонального биографа:

Он захочет узнать как можно больше о вас, собирая информацию из социальных сетей, электронной почты или смартфона. Он попытается найти смысл и контекст во всем, что вы делаете, и он будет пытаться общаться с вами каждый день, чтобы получить больше информации о вас. Если вы хотите загрузить свои мысли, свою личность и (возможно, в будущем) свое сознание, то сейчас вам это не удастся, так как нет такого кабеля. Вам придется делать это понемногу каждый день, всю оставшуюся жизнь. Десять минут каждый день в совокупности составят до тысячи часов вашей истории. Факт за фактом.

Урсаче сравнивает Eterni.me с тамагочи. Он объясняет[174]: «Вначале у него есть только небольшие всплески интеллекта, но чем больше вы с ним общаетесь, тем больше информации вы ему даете, и тем умнее он становится. Рассматривайте его как своего ребенка, которому предстоит многому научиться, пока он или она не превратятся в прекрасного человека». Это представление об искусственном интеллекте как об эволюционном процессе, в ходе которого вас узнают, и это представление растет, когда вы его используете, находит отражение в частности в фильме режиссера Спайка Джонза «Она» (2013). В фильме перед нами предстает Саманта, первая в мире интеллектуальная операционная система. Там показано, как вскоре будет выглядеть жизнь, в которой устройства будут обучаться и расти вместе с нами.

В дополнение к тому, что умеют делать аватары, интеллектуальные агенты, такие как Саманта, смогут действовать от нашего имени. Эти интеллектуальные агенты будут знать нас очень хорошо, в том числе наш характер, что мы любим, что мы не любим, нашу семью, наших друзей и даже наши жизненные показатели. Футурист Брайан Дэвид Джонсон описывает, как десятилетиями наше взаимодействие с технологией основывалось на модели ввода-вывода, когда человеком подавалась команда и машина ее выполняла: если команда задавалась некорректно, то работа системы нарушалась. Джонсон полагает, что сегодня мы вступает в эру более глубокого взаимодействия с технологией. Компьютер знает вас и все, что вы делаете в конкретный день, и может обработать ваш личный опыт, помогая вам повысить свою продуктивность.

Он говорит, что это «помогает нам быть более человечными», комментируя, как в фильме «Она» Саманта занимается с Теодором, чтобы их отношения больше походили на человеческие. Джонсон утверждает, что технология – это всего лишь инструмент: мы разрабатываем свой инструментарий и дополняем его нашими человечностью и ценностями. У нас есть возможность разрабатывать такие машины, которые будут заботиться о тех, кого мы любим, и позволят проявлять нашу человечность чаще. Он называет это созданием «наших лучших ангелов». Джонсон говорит, что вопрос, на который нам нужно дать ответ: «Для чего мы проводим оптимизацию?» Ответ, как он считает, – это сделать жизнь людей лучше, и я с этим полностью согласна.

Женевьев Белл, директор по взаимодействию и исследованиям компании Intel, описывает компьютеризированный мир, в котором у нас появляются взаимоотношения с технологиями, начинающими о нас заботиться, удовлетворять наши потребности и даже действовать от нашего имени. Прогноз Белл подтверждает Каролина Миланези, вице-президент компании Gartner. «Если с утра на дорогах большие пробки, такая технология разбудит вас раньше, чтобы вы не опоздали на встречу с начальником, или просто направит извинение, если речь идет о встрече с вашим коллегой. Смартфон будет использовать контекстную информацию из вашего календаря, с датчиков, геолокацию и другие персональные данные», – говорит Миланези[175].

В компании Gartner считают, что система будет выполнять основные функции «автоматически», помогая решать типовые задачи, требующие значительных затрат времени, такие как привязка событий ко времени, отмечание в календаре важных дат или ответ на электронные сообщения. Постепенно мы будем привыкать к тому, что ряд задач будет выполнять смартфон, и ожидается, что потребители привыкн ут к приложениям и услугам смартфонов, которые будут контролировать разные аспекты их жизни. Миланези говорит: «Телефоны станут нашими секретными цифровыми агентами, но только если мы будем готовы предоставить им требуемую информацию». Бэлл считает, что мы выйдем за рамки «взаимодействия» с технологией, чтобы войти в доверительные «отношения» с нашими устройствами. Она также полагает, что через десять лет наши устройства будут воспринимать нас совсем по-другому, интуитивно понимая, кто мы.

В Gartner это называют эпохой сознательных вычислений и выделяют четыре этапа: «синхронизируй меня», «увидь меня», «узнай меня» и «будь мной». В то время как «синхронизируй меня» и «увидь меня» уже существуют в настоящее время, этапы «узнай меня» и «будь мной» ожидают нас впереди, как в случае с Самантой в фильме «Она». «Синхронизируй меня» предполагает хранение копий ваших цифровых данных, которые собираются из всех возможных источников. «Увидь меня» означает, что, где бы вы сейчас ни находились и где бы вы ни были ранее, будь то реальный мир или Интернет, система всегда знает, где вы, и распознает ваше настроение и контекст ситуации, чтобы наилучшим образом предоставлять вам необходимые услуги. «Узнай меня» понимает ваши потребности и желания и представляет вам варианты, а «будь мной» – это последняя ступень развития, на которой интеллектуальное устройство действует от вашего имени на основе обучения. Имея доступ ко всем электронным письмам, файлам и другой личной информации Теодора, задачи Саманты эволюционируют, изменяясь от редактирования календаря Теодора до отправки черновиков его работы издателю от имени Теодора. «Будь мной» также является точкой, в которой интеллектуальный агент может трансформироваться в ваш вечный аватар или «идеальное селфи» после вашей смерти, изучая вас на протяжении всей вашей жизни, продолжая с того момента, в котором вы остановились.

Активация компьютерной технологии

От умных персонажей и аватаров мы переходим к интеллектуальным пространствам и объектам. «Активация компьютеров» – это концепция, представленная в 2011 году исследователями лаборатории Исикавы Оку в Токийском университете, разработанная для системы AR и использующая пространственное аудио и видео для преобразования повседневных объектов в коммуникационные устройства. Сделав жест, чтобы запустить определенный сценарий устройства, который вы хотите использовать, обычные объекты активируются в соответствии с вашими потребностями. Опытный образец[176] был создан на примере банана, который используется как телефон, и коробки для пиццы, работающей как переносной компьютер.

Чтобы превратить банан в телефон, вам необходимо поднести банан к уху. Система AR распознает ваш жест и объект и с помощью скрытых направленных микрофонов и динамиков сделает так, что банан будет функционировать как настоящий телефон. Чтобы активизировать ноутбук, вам необходимо будет открыть коробку от пиццы и начать печатать на картоне. Проецируемые видео– и аудиоэффекты сделают так, что коробка превратится в ноутбук. Исследовательская группа планирует расширить круг таких жестов и предметов в будущем, с целью создания всеобъемлющей системы AR, которая понимает ваши желания и потребности.

Но вы можете спросить: почему я хотел бы использовать банан в качестве телефона или коробку от пиццы в качестве ноутбука? Активация компьютерной технологии представляет собой сценарий, в котором коммуникационные технологии становятся повсеместными и больше не зависят от конкретных объектов. Вспомните ситуацию, когда вы в последний раз случайно оставили свой смартфон дома. Как вы себя чувствовали? При развитой зависимости от вашего смартфона в повседневной жизни вы, наверное, чувствовали себя изолированными, неспособными выполнять задачи и, возможно, даже голыми. Активируемая компьютерная технология предоставляет новую возможность, когда вам больше не нужно носить с собой коммуникационные устройства; их функции могут быть перенесены по мере необходимости в любой предмет, находящийся у вас под рукой.

С помощью активируемой компьютерной технологии новыми функциями теперь наделяются обычные объекты, которые сами по себе не обладают этими свойствами. Банан можно активировать как рабочий телефон на определенное время, после чего он возвращается в свое обычно состояние. Это начало новой эры объектов и сред, которые способны подстраиваться под наши нужды и зависят от контекста и потребностей. Активируемая компьютерная технология может сочетаться с искусственным интеллектом, чтобы создать интеллектуальную среду, основанную на ваших контекстуальных потребностях.

Активируемая компьютерная технология представляет собой мир, в котором физические объекты все еще занимают главное место, но эти объекты теперь динамичны и их состояние может изменяться. Акцент делается на возможностях, а не на физических свойствах самого объекта, который обычно предназначен для конкретной, часто единственной цели. Активируемая компьютерная технология может стимулировать изменение промышленного дизайна, когда произвольный объект может выполнять любую желаемую задачу. Вместо того чтобы производить различные электронные приборы или инструменты, представьте использование нескольких объектов, которые могут трансформироваться во что угодно. Футуролог Брюс Стерлинг говорит, что активируемая компьютерная технология предоставляет возможности для устойчивого существования в отсутствие богатой материальной базы, потому что вы можете активировать и получать доступ ко всему, что нужно.

4D-печать

В то время как активируемая компьютерная технология использует аудио– и видеопроекционную систему, 4D-печать – это концепция инженера Скайлера Тиббитса, которая предусматривает встраивание дополненной реальности в физические материалы, что позволяет объектам расти и адаптироваться. Как и в случае с бананом-телефоном, 4D-печать не является технологией дополненной реальности в привычном понимании, а основывается на расширенной идее контекстно-зависимых и изменяющихся объектов, обеспечивающих новый уровень взаимодействия, погружения и интеграции с нашей средой.

Тиббитс, директор Лаборатории самосборки Массачусетского технологического института, где его команда работает над 4D-печатью, чтобы создать «умные объекты», которые могут самостоятельно собираться или трансформироваться при изменении условий окружающей среды, заявляет[177]: «Новая технология 4D-печати, где 3D печатные материалы могут изменять свою форму со временем, создает основу для того, чтобы создавать вещи, которые могут адаптироваться под наши нужды или окружающую среду». Тиббитс описывает четвертое измерение как идею реагирования во времени и создание чего-то, что не является статичным, но может развиваться и обладает встроенной эластичностью. «Это совершенно новая парадигма того, как мы производим вещи. И того, как после производства эти вещи становятся эластичными и начинают самостоятельно адаптироваться», – говорит он.

4D-печать может применяться даже для спасения жизней – в аварийных зонах для оказания помощи во время чрезвычайных ситуаций. 4D-печать может использоваться для строительства труб, которые усаживаются или расширяются в зависимости от их контакта с водой; будучи примененными для конструкции аварийных стоков, они могут расти в размерах и затем сжиматься, когда чрезвычайная ситуация изменяется. 4D-печать также может быть применена в местах укрытия от чрезвычайных ситуаций и лагерях беженцев, где строения смогут собираться даже неквалифицированными рабочими.

Чтобы воплотить некоторые из этих концепций в реальность, лаборатория Тиббитса сотрудничает с производителем 3D-печати Stratasys. Эта компания разработала печатный материал, который при помещении в воду расширяется на 150%. Тиббитс и его команда применяют геометрию, чтобы обеспечить точность того, как объект может разворачиваться и изменяться под определенным углом, а не просто увеличиваться в размерах. Это отличается от того, как 3D-принтер традиционно работает с чертежом; чтобы сделать что-то в 4D, принтер получает геометрический код с измерениями, которые определяют, как напечатанная продукция сможет изменяться под внешним воздействием, таким как попадание воды, движение или изменение температуры. Геометрический код определяет направление, углы и степень, в которой материал может деформироваться и изгибаться.

Тиббитс продемонстрировал[178] концепцию 4D-печати в своей видеолекции TED в 2013 году, когда единая нить печатного материала сама складывалась в слово «MIT». Он отмечает, как ученые смогли программировать физические и биологические материалы с использованием нанотехнологий, чтобы изменять их форму и свойства. Тиббитс признает, что сделать эту технологию применимой в использовании человеком гораздо сложнее, но это не остановило его лабораторию в изучении новых возможностей. Он предполагает, что строительство может стать областью применения подобных материалов. Тиббитс говорит, что его лаборатория тесно сотрудничает с отраслевыми партнерами для внедрения этой концепции в бизнес.

Тиббитс также видит перспективы применения 4D-печати в производстве спортивной одежды. Он приводит в качестве примера пару кроссовок, которые могут изменять свои свойства и форму в зависимости от условий:

Если я побегу, кроссовки должны перейти в режим бега. Когда я играю в баскетбол, они адаптируются и начинают сильнее поддерживать мои лодыжки. Если я пойду по траве, их подошва должна стать более рельефной, и они должны становиться водонепроницаемыми, когда идет дождь. Обувь, разумеется, не поймет, что вы играете в баскетбол, но об этом может сигнализировать то, какую энергию затрачивают ваши ноги или какой тип силы они прикладывают. Обувь может трансформироваться в зависимости от давления. Также в качестве сигнала можно использовать изменение влажности или температуры.

Эта концепция также может применяться на более масштабном уровне, например в архитектуре, где форма и структура здания может корректироваться в зависимости от погоды, времени суток, возможностей людей и особых социальных требований. Такая система 4D-печати могла бы изменить методы работы архитекторов и инженеров в ходе проектирования и строительства зданий.

Тиббитс задается вопросом: «Что если бы мир состоял из людей, машин и материалов, которые находятся в постоянном сотрудничестве? Если бы они обладали дополнительными свойствами, между ними происходило бы более эффективное взаимодействие». По мере развития AR-технология будет стремиться к двустороннему диалогу в реальном времени с изменяющимися потребностями пользователя и окружающей среды. AR в перспективе перестанет быть сложным наложением и станет динамичным, полезным в применении и подстраивающимся под нужды пользователя инструментом. Концепция Тиббитса может быть интегрирована в AR, наделяя объекты встроенным адаптивным поведением, позволяя им расти и адаптироваться подобно живым объектам, реагирующим на изменения внешней среды.

Редактор реальности

Валентин Хеун, исследователь группы жидкостных интерфейсов MIT Media Lab, также рассматривает AR как двухсторонний разговор между пользователем и средой. В своем выступлении в 2016 году на выставке Augmented World Expo в Кремниевой долине Хеун заявил:

Конечно, интересно наблюдать со стороны за тем, как AR изменяет среду при работе с данными, видео и т.д. Но когда у вас появляется возможность двустороннего взаимодействия, у вас появляется мощный инструмент, который по своим свойствам сравним с цифровой версией швейцарского армейского ножа, который позволяет изменять характеристики окружающего мира.

Хеун разработал приложение iOS под названием Reality Editor[179] с целью перепрограммировать физический мир с помощью AR. Приложение позволяет вам связывать «умные» объекты вокруг вас, виртуально соединяя их пальцем на экране вашего смартфона или планшета. «В действительности это только начало; это небольшой первый шаг, который позволит выяснить, как мы можем связать вещи вокруг нас друг с другом, сделать их нестатичными и как мы будем с ними взаимодействовать? Пока что мы еще не можем этого делать», – говорит Хеун[180]. Он считает, что Reality Editor будет тем самым цифровым инструментом, который позволит вам подключаться к физическим предметам и манипулировать ими.

Это приложение не работает с готовыми потребительскими продуктами; оно работает на открытой платформе под названием Open Hybrid, где вы можете назначить с помощью AR дополнительные виртуальные функции физическому объекту. В настоящее время это делается при помощи стикера (похожего на QR-код), применяемого к физическим объектам, к которым вы хотите подключить дополнительные функции. По мнению Хеуна, в будущем, когда будет внедрено встроенное в приложение распознавание образов, это уже не понадобится. Хеун использовал сеть Open Hybrid, чтобы продемонстрировать пример, в котором он соединил лампу, стул и свою машину, чтобы упростить процесс ухода с работы. Он говорит: «Представьте, что стул, на котором вы сидите, реагирует на окружающую вас обстановку, поэтому, когда вы уходите, окружающая среда реагирует на вас». Когда вы встаете со своего кресла на работе и выходите из кабинета, лампа сама выключается, а автомобиль активируется, заводится и в нем включается кондиционер, настроенный на определенную температуру.

Используя Open Hybrid, вы также можете объединять функции одного объекта с другим, создавая в приложении последовательность от одного компонента к другому. Например, если вы хотите, чтобы ваш кухонный комбайн был оснащен таймером, наведите камеру вашего смартфона или планшета на соответствующее устройство и используйте приложение Reality Editor, чтобы провести линию от другого объекта, оснащенного таймером, например, от тостера, к кухонному комбайну. Эти два объекта будут автоматически подключены к серверу Open Hybrid. Подобно активации компьютеров и 4D-печати, редактор реальности может расширить как наши возможности, так и возможности различных объектов.

Хеун говорит о различии между физическими и виртуальными объектами: физические объекты обычно имеют неизменяемые свойства, тогда как виртуальные объекты подвижны, могут быть изменены в любой момент и обладают разными свойствами. «Итак, что действительно интересно: когда у вас есть физический объект, который не полностью статичен, как на практике можно использовать его свойства? – говорит Хеун. – Это сейчас и есть основной вопрос: понять, с точки зрения разработки, какие перспективы у этой технологии и в каком направлении она будет развиваться».

AR несет в себе возможности для изменения мира и даже нас самих. По моему мнению, сейчас перед нами стоят два важных вопроса, которыми мы задаемся при изучении новых виртуальных возможностей, выходящих за рамки простых физических форм предметов. Теперь, когда мы можем создавать все что угодно, что же мы будем производить? Как мы можем наилучшим образом использовать эти новые возможности для обогащения, эволюции и развития человечества?

Глава 8. Тело как интерфейс

В XXI веке технологическая революция коснется повседневного, миниатюрного и невидимого. Влияние технологии увеличится в десять раз, поскольку она будет вплетена в ткань обычной жизни. По мере того, как технология становится более распространенной и невидимой, она будет делать наше существование комфортнее, устраняя раздражители и сохраняя при этом связь с тем, что действительно важно.

Марк Д. Вайзер, 1999 год.

Покойный Марк Д. Вайзер был ведущим исследователем в Xerox PARC (Исследовательский центр в Пало-Альто, теперь называющийся просто PARC), одном из самых уважаемых институтов Кремниевой долины и месте, где родились несколько важных компьютерных изобретений и технологических открытий, таких как Ethernet, графический интерфейс пользователя (GUI) и персональный компьютер. Вайзер предвидел будущее, в котором компьютеры встраиваются в повседневные объекты, а их технологическая составляющая отступает на задний план и скорее успокаивает пользователя, чем отвлекает его.

В 1996 году он вместе с Джоном Сили Брауном (главным технологом Xerox PARC) написал критическую статью «Наступающий век спокойной технологии». «Спокойную» технологию можно охарактеризовать как невидимую и интуитивно понятную в использовании; она работает непрерывно и подстраивается под ваш образ жизни. Это происходит в фоновом режиме, и она появляется только когда вам это нужно. Вот как лично я вижу вторую волну эволюции AR: дополненная реальность должна не раствориться в наших устройствах, а скорее отступить на задний план, чтобы мы могли сосредоточиться на том, что интересно в окружающем нас реальном мире.

В своем интервью[181] в 2014 году Браун говорил о силе «спокойной» технологии и ее возможности оставаться скрытой и активизироваться только тогда, когда нужно, анализируя при этом ваше окружение. Об этой особенности «спокойной» технологии вы можете прочитать в главе 7. Там мы рассматривали идею адаптивных агентов, аватаров и объектов, находящихся в режиме ожидания и действующих от вашего имени, используя информацию из вашего контекста. В этой главе мы продолжим рассматривать идею «спокойной» технологии, а именно возможность дополнения наших тел с целью создания (практически) невидимого интерфейса. Начиная носимыми на теле электронными тканями и заканчивая внедрением технологий в организм и контролируемыми мозгом интерфейсами. Мы рассмотрим перспективу, в которой технология не только отступит на задний план спокойно и незаметно, но и станет сугубо персональной.

Электронная кожа и тело как сенсорный экран

На своем сайте под названием Ubiquitous Computing[182] Вайзер написал в 1996 году: «Повсеместная компьютеризация в определенной степени противоположна виртуальной реальности. Если виртуальная реальность помещает людей в виртуальное пространство, повсеместная компьютеризация делает так, что компьютер «живет» вместе с людьми, в их мире». Как и повсеместная компьютеризация, дополненная реальность имеет те же различия с виртуальной реальностью. AR – это компьютерная технология, работающая в реальном мире, где невидимой становится сама технология, а не реальность или люди. Благодаря возможностям «спокойной» технологии и повсеместной компьютеризации у AR возникают огромные возможности для развития и изменения того, как мы живем и взаимодействуем со своим окружением и друг с другом. При этом создаются условия, в которых становится меньше раздражителей, а связи укрепляются.

Для Вайзера «наивысшая ступень развития» повсеместной компьютеризации – «сделать компьютер настолько интегрированным, совместимым и естественным, чтобы при его использовании мы даже не думали об этом». Тело – это, пожалуй, самый «естественный» интерфейс, который у нас есть. Эксперт по юзабилити Якоб Нильсен пишет[183]: «Когда вы касаетесь своего тела, вы сразу получаете отклик – и эта реакция лучше, чем реакция любого внешнего устройства. И вы никогда не забудете взять собственное тело с собой».

Во время своего посещения конференции по человеческим факторам в вычислительных системах (CHI ‘13) в Париже, главной научной конференции по человеко-компьютерному взаимодействию, Нильсен был особенно сильно впечатлен двумя проектами, в которых человеческий организм сам использовался как интегрированный компонент пользовательского интерфейса; Imaginary Interfaces[184] и EarPut[185] делают шаг в направлении непосредственного использования тела без помощи экранов.

Imaginary Phone[186] (часть проекта Imaginary Interfaces), разработанный Шоном Густафсоном, Бернхардом Рабе и Патриком Бодишем из Института Хассо-Платтнера в Германии, представляет собой пользовательский интерфейс на ладони. Этот пользовательский интерфейс «воображаемый», поскольку на руке во время его использования ничего нет; нет также и проекционного или графического наслоения. Патрик Бодиш, один из разработчиков Imaginary Phone, напоминает нам, как раньше мы использовали стилус для работы с персональными цифровыми помощниками (PDA) и как в iPhone и сенсорных экранах других устройств позже необходимость в стилусе была устранена. Бодиш говорит, что хочет, чтобы технология развилась еще дальше и уже сами экраны ушли в прошлое.

В этой технологии используются маленькие, расположенные над пользователем камеры (которые также можно носить на своем теле) для измерения глубины, позволяющие определить положение пальцев пользователя и то, какой части руки он касается. Интерфейс может использоваться для взаимодействия с вашим мобильным телефоном, даже если он находится не перед вами, а, например, лежит в кармане. Бодиш отмечает, что Imaginary Phone[187] может быть полезен для многих действий, выполняющихся нами каждый день, например отключения будильника, установки таймера, исходящих звонков или отправления голосового сообщения. Все это можно будет осуществить, не касаясь телефона. Конкретные настраиваемые функции можно будет подключить к телефону и активировать, прикасаясь к разным точкам на руке.

Исследователи провели эксперименты[188], в которых определенные действия одинаково быстро осуществлялись как с помощью обычного телефона с сенсорным экраном, так и с воображаемой системой на ладони. Интересно отметить, однако, что пользователи, у которых были завязаны глаза, в два раза быстрее справлялись с поставленными задачами, когда использовали в качестве интерфейса свою ладонь. Информация, собранная по итогам данного исследования, представляет интерес с точки зрения предоставления людям с нарушением зрения большего доступа к ряду функций, а также использования телефона в ситуации, когда пользователи не хотят отвлекаться от своих занятий (чтобы технология прерывала взаимодействие людей).

Исследователи Роман Лиссерман, Йохен Хубер, Аристотелис Хаджакос и Макс Мюльхойзер из Технического университета в Дармштадте создали прототип под названием EarPut, в котором предлагается замена сенсорного экрана человеческим ухом как аналогом интерактивной поверхности. «Одной из основных задач в разработке мобильных устройств сегодня является сокращение визуальной составляющей в пользу интерфейсов, не требующих чтобы пользователи на них смотрели», – считают исследователи. EarPut можно управлять с помощью одной руки. С этой технологией можно использовать другие неинтерактивные устройства, такие как обычные очки или наушники, а также дополнять существующие возможности носимой гарнитуры. Когда EarPut появился, он предназначался в качестве сенсорного расширения для очков Google Glass.

Разработчики выделяют различные варианты взаимодействия с EarPut, включая касание части поверхности уха, дергание мочки уха (подходит для команд включения-выключения), сдвигание пальца вверх-вниз по уху (подходит для регулировки громкости) и прикладывание руки к уху (жест отключения звука). Приложения для EarPut[189], предлагаемые разработчиками, включают в себя дистанционное управление мобильными устройствами (в частности, при воспроизведении музыки) и домашней техникой (например, телевизором или источниками света), а также мобильные игры.

В дополнение к использованию наших ушей и ладоней исследователи из Массачусетского технологического института разработали так называемый проводящий макияж, применяющийся к лицу и телу с помощью приложения Beauty Technology[190] от Кати Вега, а также использование ногтя большого пальца в качестве сенсорной панели в приложении NailO[191] от Синди (Синь-Лю) Као. Kao также разработала интерфейс DuoSkin[192] для нанесения на кожу временных татуировок. Этот проект она сделала совместно с другими разработчиками: Астой Роузвей, Кристианом Хольцем, Полом Джонсом, Андресом Кальво и Крисом Шмандтом в сотрудничестве с Microsoft Research. Все эти проекты, включая EarPut и Imaginary Interfaces, все еще находятся на стадии разработки и создания прототипов; этих продуктов нет в продаже. По всей видимости, в первую очередь «спокойная» технология будет применяться в одежде, а уже затем появятся разработки, в которых человеческое тело и кожа будут использоваться как сенсорный экран.

Реагирующая одежда

Реагирующая одежда – это одежда, в которую встроены датчики, реагирующие на вашу окружающую среду, тело и движения. Созданная на основе принципов спокойной технологии, реагирующая одежда дает пользователям новые возможности и по своему действию она относится к AR-устройствам. Реагирующая одежда может помочь вам найти нужную геолокацию, стать личным фитнес-тренером и даже выражать ваши эмоции (или их отсутствие) на основе биометрических показателей. Реагирующая одежда, такая как куртка Navigate Jacket[193] и обувь No Place Like Home[194], [195], являются примерами перехода к технологии, более ориентированной на человека и находящейся в непрерывном взаимодействии с нами и нашей жизнью.

Прототип GPS-обуви от Доминика Уилкокса No Place Like Home направляет вас к выбранному месту назначения. Разработчик вдохновлялся фильмом «Волшебник из страны Оз» (1939), в котором Дороти щелкала каблуками, чтобы вернуться домой. Он создал обувь с интегрированным навигационным ПО и встроенным в подошву GPS-датчиком, для включения которого достаточно щелкнуть каблуками.

Первый шаг в подготовке обуви для вашего путешествия – это внесение в приложении Wilcox на компьютере пункта назначения. После того как вы обозначили пункт назначения на компьютере, выберите «Загрузить в обувь»; после чего координаты заданного местоположения передаются по USB-кабелю, подключенному непосредственно к обуви со стороны пятки. Отключите кабель, наденьте обувь, надавите на каблуки, чтобы активировать GPS, и начинайте идти. Подсветка мини-светодиодов покажет вам направление движения, а световой индикатор на правом ботинке подскажет, насколько вы близки к пункту назначения.

Navigate Jacket, разработанный австралийской компанией Wearable Experiments, также использует встроенную систему GPS и светодиодные индикаторы со встроенной тактильной обратной связью, направляя пользователя к месту назначения при помощи вибрации. Соучредитель этой компании Билли Уайтхаус говорит: «Мы преобразуем искусство путешествия в приложение, оставляющее руки свободными». Такая куртка позволяет пользователям находить пункт назначения без необходимости держать смартфон в руках или смотреть на карту на своем смарт-устройстве, или еще как-либо. Вместо этого направление движения отображается на рукавах. Светодиодные индикаторы указывают, через сколько метров следующий поворот, а также сколько осталось до конца маршрута. Куртка подсказывает пользователю, в какую сторону необходимо повернуться, с помощью вибрации на соответствующем повороту плече.

Легинсы для фитнеса Nadi X[196] – это последний проект от Wearable Experiments, позволяющий скорректировать фигуру с помощью йоги. Миниатюрная электроника вплетена в нейлоновый материал (никаких гаджетов или проводов при этом не видно) на уровне бедер, коленей и лодыжек пользователя. Используя сопутствующее приложение на вашем смартфоне, электронные датчики взаимодействуют друг с другом, чтобы определить положение тела, контролировать и корректировать его положение. «Это беспроводная сеть для вашего тела, – говорит[197] соучредитель компании-разработчика Бен Мойр. – В каждой части легинсов встроен специальный датчик движения, что позволяет получать информацию обо всех частях вашего тела».

По аналогии с Navigate Jacket, Nadi X использует тонкие тактильные вибрации, чтобы направлять пользователя. В приложении вы можете выбрать позы йоги, которые будете использовать, и это будет способствовать коррекции вашей формы. Когда вы начнете заниматься йогой и сядете в одну из поз, датчики начнут сканирование тела и будут передавать вам необходимую информацию о возможных ошибках. Например, если в позе воина ваше бедро развернуто слишком далеко внутрь, вибрация будет передаваться на ваше бедро с внешней стороны, как направляющие руки инструктора по йоге. Когда вы примете правильное положение, из лосин Nadi X раздастся протяжный звук «омм». «Плюс такого применения тактильной технологии – это то, что вы обрабатываете получаемую от них информацию подсознательно, – говорит Мойр. – Итак, когда вы занимаетесь йогой, вам не нужно смотреть на смартфон и отвлекать свое внимание на экран или голосовые инструкции».

Мойр и Уайтхаус видят возможность использовать эту технологию не только в йоге и планируют создать одежду для коррекции фигуры во всех видах спорта, таких как велоспорт, бокс и тяжелая атлетика. Они также предвидят день, когда ваши брюки смогут подсказать вам, когда придет время выйти из-за стола и прогуляться, или ваша рубашка может напомнить вам выпрямиться. Уайтхаус говорит: «Йога – это только наша отправная точка. Эта технология применима в различных направлениях».

Американская компания по производству одежды Levi Strauss & Co. в сотрудничестве с Группой продвинутых технологий и продуктов Google (ATAP) использовали технологию Project Jacquard[198] (проводящую пряжу, которая обеспечивает сенсорную интерактивность) для создания интерактивной одежды. С технологией Jacquard, незаметно вплетенной в ткань, куртка Levi’s Commuter x Jacquard by Google Trucker Jacket[199] (доступная в продаже с весны 2017 года в различных городах США, и в Европе и Азии с конца 2017 года.) предназначена специально для велосипедистов для перемещения по городу и возможности оставаться на связи, не доставая смартфон. Нажимая, смахивая или удерживая левую манжету рукава куртки, пользователи могут беспроводным образом получать доступ к своим смартфонам и любимым приложениям для регулировки громкости музыки, переключения треков, отключения телефонного звонка или получения голосовой информации о времени прибытия в назначенное место[200]. «Любой, кто катается на велосипеде, знает, что пользоваться смартфоном при перемещении по оживленным городским улицам непросто и это, в целом, не лучшая идея, – говорит Пол Диллинджер, глава направления глобальных инноваций в Levi Strauss & Co. – Эта куртка помогает решить эту реально существующую проблему, став вторым пилотом вашей жизни, на велосипеде и без него».

Каждый пользователь может настроить индивидуальный текстильный интерфейс с помощью прилагаемого приложения на платформе Jacquard, привязав жесты для активации выбранных функций и заблаговременно настроив главную и второстепенную функции из представленного набора. Иван Пупырев, технический руководитель группы ATAP компании Google, говорит[201]: «Мы не хотим определять, какие из функций являются самыми важными, поэтому мы предоставили категории на выбор пользователей. Носимые устройства до сегодняшнего дня умели делать только что-то одно. В нашем случае одежда делает то, что хотите вы».

Еще одним инновационным аспектом этой куртки является то, что ее шьют на существующих фабриках Levi’s, а интерактивный текстиль производится на тех же самых станках Levi’s, что и обычные ткани. Возможность интеграции технологии в сформированные цепи поставок делает возможным производство данных курток в больших объемах, а не только ограниченными сериями. Пупырев утверждает:

Компаниям, производящим технические устройства, не очень нравится, когда такого рода продукцию выпускают производители одежды, а не производители бытовой электроники. Поэтому, если мы действительно хотим сделать технологию частью каждого предмета гардероба в мире, нам следует сотрудничать с такими производителями одежды, как Levi’s, или любым другим брендом, чтобы иметь возможность производить «умную» одежду. То есть работать с готовой цепочкой поставок.

Google продолжает рассматривать возможности сотрудничества с новыми партнерами и анализирует, в частности, направление легкой атлетики, корпоративную одежду и рынок сегмента класса «люкс». Пупырев предвидит потенциал развития данной отрасли, и, по его мнению, у потребителей будет расти спрос на данную продукцию. «Если вы посмотрите на историю развития одежды, вы увидите, как в производство внедряются новые технологии и добавляют новые функции, например, однажды появились нейлон и застежки-молнии, – говорит он. – На данный момент очень вероятно, что новые технологии станут еще одним компонентом в производстве одежды и моде будущего. С ростом спроса на изделия из «умных» тканей их распространение становится практически неизбежным. Люди будут стремиться носить такую одежду в любом месте и в любое время».

Какие новые протоколы или ритуалы у нас будут, когда носимые устройства станут частью нашей повседневной жизни? Даан Рузегаарде – разработчик, изучающий этот вопрос. Рузегаарде рассматривает носимые компьютеры как продолжение человеческой механики тела, как, например, потоотделение или покраснение. Созданный им концепт платья Intimacy[202] сделан из непрозрачной «умной» электронной фольги, которая становится более прозрачной, когда люди становятся достаточно близки друг другу. Степень социального взаимодействия, влияющая на уровень прозрачности, определяется частотой сердцебиения пользователя. Например, когда вы возбуждены и ваше сердце начинает биться быстрее, одежда становится прозрачнее.

Рузегаарде говорит, как он хотел бы, чтобы одежда реагировала по-разному на то, находится рядом один человек или несколько. Он описывает это так: «Аналогично тому, как разговор с вашим парнем будет отличаться от вашего разговора со мной. Хотя оба разговора на одном языке, и мы оба мужчины, но содержание разговоров будет разным».

Он также задается вопросом, что будет, если ваша одежда начнет давать вам советы. Он приводит в качестве примера онлайн-магазин Amazon, где, когда вы покупаете книгу, вам предлагаются другие книги, которые вы, возможно, захотите приобрести, основываясь на ваших симпатиях и предпочтениях ваших друзей. Идеи Рузегаарде намекают на возможности компьютерных AR-технологий, описанных в главе 7, но в качестве вашего личного помощника может выступать не только ваш смартфон, но также повсеместно используемые технологии, встроенные в вашу одежду.

Встраивание технологии в тело

Возможно, в ближайшем будущем, когда будут существовать крошечные вычислительные устройства, встраиваемые в человеческое тело, мы будем свидетелями того, как технология станет «естественной» после того, как она станет частью нашей физиологии и будет интегрирована в наш организм. Технология станет частью нас, и мы с ней будем неразделимы и станем новым видом, который получит название «человек дополненный».

«Умную» одежду отделяет всего один шаг от встроенных под кожу наших тел технологических имплантантов. Уши служат естественным местом для применения имплантов, и это только первый шаг, не требующий нарушения целостности организма, т.к. мы уже привыкли вкладывать в наши уши такие устройства, как наушники, беспроводную Bluetooth-гарнитуру и слуховые аппараты.

Как описано в главе 4, наушники iRiver ON, оснащенные Bluetooth и биометрической сенсорной технологией PerformTek, производства компании Valencell[203], а также датчиком размером с упаковку Tic-Tac, который способен отслеживать частоту сердечных сокращений, сжигаемые калории, а также скорость и пройденное расстояние, направляя свет в ухо. Сопряженное с приложением на вашем смартфоне, данное устройство фиксирует вашу биометрию во время тренировки, передавая вам в ухо информацию о зоне сердечного ритма, в которой вы находитесь, а также была ли достигнута цель по сжиганию калорий. Данные в режиме реального времени отправляются в приложение для смартфона, что позволяет вам просматривать ваши биометрические показатели после тренировки.

Преимущество таких гаджетов для ушей в том, что они могут быть почти невидимыми, что может понравиться людям, которые не хотят, чтобы используемые ими устройства привлекали внимание. Джон Эдсон, президент консалтинговой компании Lunar, отмечает: «Нынешняя тенденция – скрыть технологию. Ухо – прекрасное место, чтобы скрыть электронику». Основатель компании-производителя носимой камеры Looxcie Ромулус Перейра утверждает: «В жизни часто требуется использование обеих рук. Очки и гаджеты, надеваемые на запястье, стали первыми примерами применения носимых технологий. Помимо них, есть потенциал к созданию большого количества других вещей». И эти другие «вещи» появятся, когда датчики и компьютеры станут еще меньше и быстрее, и станут ближе и ближе к телу, и даже будут помещены под нашу кожу.

Термином «гриндеры» называют сообщество «биохакеров», людей, которые исследуют возможности сенсорного усовершенствования и дополнения с помощью хирургических имплантатов. Ричард Ли, известный представитель гриндеров, объясняет, как этот термин был взят из видеоигр. «В играх grinding – это процесс методичного улучшения своего персонажа. После многих часов монотонной игры вы овладеете желанными навыками или предметами, – говорит он. – Мы используем этот термин, потому что он напоминает подход, которому мы следуем: постоянный, методичный труд для создания имплантантов и их совершенствования».

Ли проводит эксперименты с хирургическим имплантированием наушников, использующих магнитные колонки в ушах. Помимо прослушивания музыки, Ли говорит[204]: «Я могу представить, как я буду использовать эти наушники с GPS на своем смартфоне, чтобы ориентироваться в городе во время прогулки». Крошечный шрам на теле Ли и цепочка с катушкой, скрытая под рубашкой, почти незаметны невооруженным глазом. Ли построил катушку, чтобы надеть ее на шею, с тем, чтобы создать магнитное поле, которое заставляет имплантат вибрировать и издавать звуки.

Ли теряет зрение на правом глазу. Он планирует подключить свою новую систему к ультразвуковому дальномеру, чтобы иметь возможность слышать «звуковой сигнал, когда объекты становятся ближе или дальше», в надежде «приблизить силу своего слуха к слуху летучей мыши». «Имплантат позволит создать много новых ощущений», – говорит Ли.

Он указывает, как большинство людей обществе гриндеров начинают с магнитного имплантата в палец как своего рода обряд посвящения. «Вы вставляете специальный биологически безопасный магнит в кончик пальца, и нервы обрастают вокруг магнита. После этого каждый раз, когда ваша рука будет находиться в зоне действия магнитного поля, магнит будет вибрировать, что позволит вам чувствовать магнитные поля, – объясняет он. – Как только вы вживите имплантат с магнитом в палец, вы сможете почувствовать магнитные поля и внезапно осознаете, что существует невидимый мир, который вы можете постичь и почувствовать на самом деле». Он говорит о том, как это способствует тому, что вы начнете думать о других областях, которые нельзя почувствовать или увидеть при обычных обстоятельствах:

Как далеко ушло бы человечество, если бы мы могли видеть эти вещи, а не догадываться об их существовании? Когда вы можете что-то увидеть, у вас складываются интуитивные знания об этих областях. Таким образом, сенсорное усиление и расширение всегда были одной из тех областей, которые являются для меня очевидными, потому что, если вы увеличите множество того, что вы можете увидеть и почувствовать, это увеличит ваше представление о том, что такое реальность, и на что похож мир вокруг вас. Наверное, это было нашей целью.

Дэниел Крафт, исполнительный директор FutureMed и один из ведущих специалистов Университета сингулярности в Кремниевой долине (США), заявляет[205]: «Я предпочитаю такой угол зрения: «хакинг» становится одним из способов сделать так, чтобы инвалиды чувствовали себя людьми «с неограниченными возможностями».

Тревор Придо[206], британец, родившийся без левого предплечья, подключил специальное программное обеспечение на смартфоне к своему протезу руки: теперь он может приложить руку к уху, чтобы позвонить или ответить на звонок. В современном «медицинском дополнении» наблюдается тенденция к росту популярности, что, как считает Крафт, «сопровождается процессом уменьшения размера устройств, связанными вычислениями и большими данными». Дополняя наши тела в этих новых направлениях, становимся ли мы сверхспособными сверхлюдьми?

Кэсси Голдринг, студентка факультета журналистики и массовых коммуникаций Университета Дьюка (США), комментирует[207] технологическое развитие людей и дает следующее определение, с которым я согласна; она пишет:

Мы можем рассматривать эти технологические достижения как возможную угрозу для нашей человечности, или мы можем рассматривать их как устройства, которые помогают нам стать более человечными. До тех пор, пока мы придерживаемся приоритета гуманистического начала в эпоху технологического прогресса и признаем, что эти технологии являются продолжением нас, а не наоборот, наше человеческое начало всегда будет преобладать.

Ориентированность на человека лежит в основе этой второй волны AR, которая будет включать в себя интеграцию устройств, расширяющих наши природные способности. Голдринг лаконично излагает актуальные вопросы и перспективы этого явления: «Мы должны рассматривать такие устройства, как Google Glass, не как отчаянную попытку стать сверхчеловеком, но как стремление наилучшим образом развить наш потенциал как людей и в конечном итоге научиться лучше понимать друг друга».

Создайте свою реальность

Нейро-компьютерный интерфейс (НКИ) – это аппаратная и программная система, которая позволяет вам управлять компьютером, используя ваш мозг, и предоставляет новый способ подключения и взаимодействия с окружающим миром. В своей лекции[208] на портале TED в 2010 году Тан Лэ, основатель и генеральный директор Emotiv[209], компании-производителя электроники, которая разрабатывает носимые устройства НКИ, говорит:

Мы стремимся внедрить эту совершенно новую сферу взаимодействий «человек-компьютер», чтобы компьютеры не только могли понимать, что вы намереваетесь сделать, но также могли бы реагировать на ваше выражения лица и эмоциональные переживания. И лучший способ сделать это – научиться интерпретировать сигналы, естественным образом создаваемые нашим мозгом, нашим центром управления и познания.

Во время своего чтения лекции на TED Лэ продемонстрировал примеры разработок Emotiv, изменяющих нашу жизнь, таких как, например, электрическое кресло-коляска, управляемое с помощью мыслей.

НКИ может исполнять роль мыши и клавиатуры, позволяя вам нажимать значки, прокручивать меню и даже вводить текст, используя только ваш мозг. НКИ уже широко используются в медицинских устройствах, но с популяризацией носимых технологий массовое использование НКИ может быть не такой далекой перспективой, как кажется. Компании, являющиеся пионерами в разработках такого рода, такие как Emotiv и Interaxon, выпустили на рынок недорогие гарнитуры на базе НКИ, которые используют электроэнцефалографические (ЭЭГ) датчики для улучшения внимательности, чтобы развить ваши навыки медитации или повысить концентрацию во время работы.

Ариэль Гартен, соучредитель Interaxon, отмечает[210]: «Наша первоначальная идея заключалась в следующем: как контролировать мир с помощью своего разума? – говорит он, – Теперь для нас наиболее важно, чтобы мир понимал нас и адаптировался к нашим потребностям. Речь идет о том, чтобы помочь людям лучше делать то, что они хотят делать».

Майкл Томпсон, вице-президент по развитию бизнеса в Neurable, полагает, что НКИ радикально изменит наши отношения с персональными технологиями, создав компьютеры, которыми можно управлять напрямую с помощью мозга:

Мы стремимся создать мир, в котором не будет ограничений. Для инвалидов, которые являются традиционными пользователями технологии НКИ, это, в буквальном смысле, означает доступ к технологиям и бесценным преимуществам человечества наравне со всеми остальными. Для человечества в целом нас волнует революция в воображении и творчестве, которые даст нам эта технология.

Neurable[211] – это управляемое мозгом программное обеспечение для AR и VR. «НКИ стала следующей эволюционной вехой в развитии технологий, используемых в AR и VR гарнитуре, – говорит Томпсон. – Дополненная реальность требует взаимодействия с мозгом и компьютером для наивысшего раскрытия потенциала. Neurable решает «проблему взаимодействия», предоставляя интерфейс, который интуитивно понятен в использовании».

Использование HoloLens с поддержкой Neurable позволило бы «мысленно щелкнуть» значок YouTube на главном экране. После того, как YouTube откроется, вы можете ввести описание видео, которое вы ищете. Из результатов поиска вы можете выбрать нужное видео, щелкнуть в нужном месте и затем оставить комментарий. Все это можно сделать без использования физической клавиатуры или движения рук, а только с помощью вашего мозга.

Для этого необходимо надеть специальный головной убор с ЭЭГ-датчиками, а также использовать AR-гарнитуру (например, HoloLens). В Neurable считают, что производители AR-гарнитур начнут в ближайшем будущем внедрять ЭЭГ-датчики в свою продукцию и, таким образом, оборудование будет полностью интегрировано и специальный головной убор не потребуется.

Томпсон полагает, что существуют определенные среды, в которых существующих методов управления, таких как голос и жесты, недостаточно, в связи с чем использование AR-технологии может быть ограничено. «Это особенно актуально для использования AR-технологии в промышленных объемах», – говорит он. Например, Neurable может использоваться с HoloLens для визуализации чертежей строящегося здания, когда голосом или жестами нельзя идеально задать параметры. Чтобы включить фильтр электропроводки на чертеже в AR-приложении, работнику может быть сложно использовать голосовые команды из-за шума стройки или использовать средства управления жестами при управлении машинами или использовании физических инструментов. Neurable помогает решить эту проблему, предлагая альтернативный способ взаимодействия с AR.

Принцип действия технологии, разрабатываемой в Neurable, это не просто «чтение мыслей». «Никто еще не понял этого», – говорит Томпсон. Разработки Neurable предоставляют вам выбор вариантов, из которых вы затем выбираете желаемый. Ваш выбор ограничен тем, что в этот момент отображается на экране. Томпсон объясняет:

Определенные мозговые волны, с которыми мы работаем, связаны со зрительными вызванными потенциалами (ЗВП). ЗВП представляют собой предоставленный пользователю экран со значками, из которых можно выбирать, – это напоминает главный экран вашего смартфона, на котором расположены иконки различных приложений. В НКИ на базе ЗВП используется визуальное стимулирование для вызова отклика от мозга. Когда иконка, которую вы хотите выбрать, стимулируется, ваш мозг производит ЗВП и направляет мозговые волны. Наша система определяет этот ответ и сопоставляет его с тем элементом, который вы хотите выбрать.

Томпсон указывает на то, что в Neurable большое внимание уделяется акценту на потребителя и аналитике прогнозов. «Это применимо к спокойным технологиям постольку, поскольку мы можем предложить варианты и информацию людям только тогда, когда, по нашему мнению, это актуально», – говорит он. Томпсон отмечает, как человек может использовать ЗВП для снижения нагрузки на мозг с помощью программного обеспечения, которое реагирует на биометрические данные и отображает только самую необходимую информацию. Исследователи из Финляндии работают над анализом мозговых волн как метода выбора ключевых компонентов из информационного массива.

Исследователи из Хельсинкского института информационных технологий (ХИИТ) продемонстрировали способность рекомендовать новую информацию, основываясь на данных мозговых сигналов. Исследователи завершили проект с использованием датчиков ЭЭГ для мониторинга сигналов мозга людей, читающих текст в статьях Википедии, в сочетании с моделями машинного обучения, способными интерпретировать данные ЭЭГ, и определять, что читатели считают интересным. Используя этот метод, команда ученых смогла создать список ключевых слов, которые были помечены как информационные маркеры. Затем информация может использоваться для предсказания других интересных статей Википедии этому человеку.

В будущем такой метод анализа ЭЭГ может быть применен для создания фильтров в социальных сетях, например для определения содержания, представляющего интерес для кого-то, использующего AR.

«Существует целая группа исследований взаимодействий по типу мозг-компьютер, но, как правило, основная область, в которой ведется работа, – это однозначные команды для компьютеров, – говорит[212] исследователь Туукка Руотсало. – Таким образом, это означает, что, например, если вы хотите управлять светом в комнате и создаете однозначный алгоритм для этого, вы мысленно представляете, как вы что-то делаете, а затем компьютер пытается прочитать вашу мысль».

«В данном случае технология развивалась естественным образом – вы просто читаете, и мы не заставляем вас думать о том, чтобы использовать свою левую или правую руку, когда вы доходите до слова, которое вас интересует», – говорит Руотсало, – Таким образом, это чисто пассивное взаимодействие, в некотором смысле. Вы просто читаете, а компьютер может выявлять слова, которые вам интересны или актуальны в контексте того, что вы делаете».

Применение данной технологии к Neurable могло бы обеспечить возможности развития спокойной технологии в AR: когда вы будете заниматься вашими обычными делами, в фоновом режиме будет запускаться соответствующий релевантный контент. Эта технология может помочь минимизировать умственную нагрузку, особенно в решении рабочих задач, когда необходимо проанализировать большой объем информации и держать в голове одновременно несколько вещей. Такая система смогла бы помочь определить приоритетность в массиве информационно-насыщенных задач и позже напомнить вернуться к интересовавшим вас вопросам.

«Сейчас мы уже оставляем всевозможные следы в цифровом мире. Мы изучаем документы, которые видели в прошлом, и мы, возможно, оставляем какой-то цифровой контент, к которому захотим вернуться позже, – и все это мы можем записывать автоматически, – говорит Руотсало. – И при этом выражение предпочтений в различных сервисах происходит независимо от того, нажимаете ли вы «Мне нравится» или нет. Кажется, все это теперь возможно при помощи чтения ваших мыслей».

Руотсало предвидит последствия восприятия сигналов интересов человека как антиутопию, в которой маркетинговые сообщения могут быть адаптированы к вашим интересам, когда вы работаете с информацией. «Другими словами, таргетированная реклама буквально читает ваши мысли, а не просто анализирует ваши клики», – считает исследователь.

Руотсало верит в иное будущее технологий, в котором они будут оказывать положительное влияние. «Информационный поиск или рекомендации – это своего рода проблема фильтрации, не так ли? Так, мы пытаемся отфильтровать информацию, которая, в конечном счете, интересна и полезна для нас», – говорит он. – Я думаю, что это одна из самых больших проблем сейчас: использование многочисленных новых технологий не всегда приводит к ожидаемым результатам».

Мы начали эту главу, цитируя основоположника спокойных технологий Марка Вайзера; давайте закончим другой его цитатой: «Ограниченным ресурсом XXI века будет не технология, а внимание». По мере того, как мы продолжаем расширять нашу среду, тела и разум новыми технологиями, внимание к тому, что действительно важно для нас, будет ключевым, и я надеюсь, что технологии помогут постепенно достичь этого, а не отвлекать или подавлять нас. Мы разрабатываем наши технологии, и, в свою очередь, наши технологии изменяют нас. Это наша реальность для проектирования, согласования с нашими человеческими ценностями. Теперь, как никогда ранее, становится актуальным вопрос, как мы видим свое будущее в этом новом дополненном мире?

Глава 9. Расширение возможностей

Для первой волны дополненной реальности (AR) был актуален вопрос «Можем ли мы это сделать?». Основное внимание уделялось технологии, а не содержанию или процессу разработки.

Вторая волна AR характеризуется поиском ответа на следующий вопрос: «Теперь, когда мы знаем, что можем это сделать, что мы будем делать с этой технологией?» Акцент сместился на применение технологии для создания полезного для пользователя контента.

По мере того, как дополненная реальность эволюционировала, возникло применение технологии, демонстрирующее потенциал AR. Некоторые из примеров в этой главе будут новыми, другие мы уже рассмотрели в предыдущих главах. В этой главе я описываю классификацию AR-технологий на несколько типов, которые я определила с точки зрения их использования на сегодняшний день, а также рассматриваю вопрос того, как художники и стремление к открытиям могут помочь направить развитие возможностей AR как новой завораживающей среды.

1. AR как визуализация

AR применяется для визуализации, делая возможным преобразование из состояния «до» в состояние «после», которое имеет визуальные отличия. При использовании технологии AR такого типа обычно придается большее значение трансформации за счет помещения в контекст.

С помощью технологии этого типа часто создается образ будущего. Тем не менее прошлое также может быть воссоздано с помощью AR, например с ее помощью могут создаваться проекты в области культурного наследия, такие как Archeoguide[213] – археологическая реконструкция древнегреческой Олимпии. С Archeoguide исторические памятники визуализируются, чтобы показать, как исторически значимые места выглядели раньше. Также с ее помощью можно изобразить будущее состояние, например предлагаемую или планируемую визуализацию архитектуры строений, обеспечивая возможность оценить, как будут выглядеть здания, построенные в том или ином месте.

Визуализация с помощью AR также применима в сфере розничной торговли. Предварительный просмотр будущей мебели в пространстве вашей комнаты, когда вы создаете интерьер своего дома, используя AR-приложение компании Pottery Barn 3-D Room Designer[214] на телефоне с поддержкой платформы Tango. Поэкспериментируйте с различными вариантами макияжа и посмотрите на получившийся результат с приложением Sephora’s Virtual Artist от Modiface[215], используя специальный киоск в магазине или свой смартфон. И вы даже сможете увидеть, как может выглядеть татуировка на вашем теле, используя AR-приложение InkHunter[216] на своем смартфоне. Эти примеры визуализации с помощью AR полезны, поскольку они потенциально могут помочь предотвратить негативную реакцию покупателя, т.к. позволяют «попробовать, прежде чем покупать».

AR-визуализация также может применяться в условиях, когда без ее использования пережить такие эмоции может быть трудно, неудобно или невозможно. В книге «Кто боится жуков?»[217], написанной с применением дополненного AR-содержания (2011), я использовала AR для помощи в лечении фобий путем повествования. На протяжении всего сборника рассказов по рукам читателя бегают различные жуткие насекомые и членистоногие, в том числе AR-тарантул. Исследование[218] страха перед тараканами, проведенное учеными испанского университета Хайме I в 2010 году, показало эффективность использования AR и значительное улучшение состояния всех участников терапии. Предметом исследования было лечение фобии, которая мешала людям в их повседневной жизни. Необходимо было пройти тест, который заключался в том, что вам необходимо было зайти в комнату, поймать таракана в коробку, затем снять крышку и минимум на несколько секунд опустить рук в коробку.

AR может использоваться, чтобы вдохновлять и стимулировать изменения в здравоохранении, создавая возможность увидеть последствия, к которым может привести в будущем решения врача, а также помочь визуализировать влияние медицинских процедур. В Modiface применили те же технологии распознавания и моделирования лица, которые использовались в Sephora’s Virtual Artist, чтобы помочь увидеть возможные результаты процедур стоматологической и косметической хирургии, а также в партнерстве с крупнейшей страховой компанией Японии Dai-Ichi Life[219] было создано приложение для «укрепления здоровья», позволяющее увидеть, как вы будете выглядеть, когда состаритесь, а также влияние на пользователя таких факторов, как борьба с преждевременным старением и лишним весом.

2. AR как аннотирование

Дополнительная информация, а именно текст или даже инструкции, такие как стрелки и индикаторы, подсказывающие направление движения, используются для аннотирования физических объектов и пространств с помощью AR в приложениях для ремонта, совместной работы, навигации, путешествий и туризма. AR как аннотация используется в повествовании, а также при погружении пользователя в определенное событие или при перемещении по какому-либо месту с использованием визуальных и звуковых подсказок.

AR используется для упрощения процесса осуществления ремонта и технического обслуживания – у пользователей не возникает необходимости отвлекаться на обучающие книги. Примеры такого использования включают, например, замену картриджа в вашем принтере[220] или ремонт автомобильного двигателя[221] с помощью пошаговых трехмерных (3D) визуальных образов, смоделированных с помощью AR и расположенных поверх того, на что вы на самом деле смотрите. WorkLink[222] производства Scope AR, является платформой создания контента для компаний, адаптирующих традиционные инструкции, написанные на бумаге, в аннотированные AR-инструкции. Для создания и публикации этих AR-руководств с помощью WorkLink знание кодирования не требуется.

AR, как аннотация, также работает по принципу совместной деятельности. Программное обеспечение AR удаленного доступа Scope AR[223] (для промышленного использования на смартфонах, планшетах и HoloLens) соединяет удаленных специалистов и работников на линии, инженеров-технологов или выездных технических специалистов, в режиме реального времени для решения общей задачи. Пользователи могут манипулировать дополненным контентом и добавлять аннотации, которые «фиксируются» на физических объектах в поле зрения техников.

Skype для HoloLens[224] от Microsoft предлагает возможности для работы без использования рук с аннотациями, которыми можно пользоваться не только на предприятии, но и для ремонта и обслуживания вашего дома, например для установки выключателя света и ремонта раковины в ванной комнате. Такая услуга также может быть полезной для обслуживания клиентов и технической поддержки потребителей при обслуживании и настройке продукта.

Аннотации в AR можно использовать для навигации, например, в магазине домашней утвари Lowe’s для навигации посредством приложения Lowe’s Vision[225], работающего на платформе Tango. Приложение помогает покупателям искать продукты в магазине с помощью AR. Подсказки, в каком направлении двигаться, накладываются на картину реального мира, направляя клиентов к нужному предмету, предлагая наиболее эффективный маршрут перемещения в магазине. Здесь AR функционирует как динамическая форма поиска пути (по аналогии с тем, как люди ориентируются в физическом пространстве и перемещаются с одного места на другое).

Кроме того, этот тип использования AR применяется к туризму и туристическим объектам, которые идентифицируются и обозначаются, например, с помощью Google Lens[226], а также музеям и художественным галереям, где предоставляется общий доступ к информации о произведениях искусства и артефактах. Аннотации в AR не ограничиваются только визуальным содержанием, как мы видели на примере приложения Detour[227] (в главе 4), в котором аудио используется для аннотирования местоположений. Это еще один способ поделиться историями и информацией с помощью AR и создать дополненный контент, который нельзя увидеть невооруженным глазом.

3. AR как перевод в реальном времени

Эта категория AR помогает лучше подстроиться под окружающую среду, где может быть потенциальный коммуникационный барьер. Это включает в себя письменный и устный перевод, а также язык жестов.

Google Translate с помощью вашего смартфона может переводить печатный текст, например, на уличном знаке или в меню, на 37 языков, что может быть особенно полезно, когда вы едете в страну, языком которой не владеете. Вспомогательные устройства, такие как OrCam[228], используют AR для увеличения возможностей людей с ослабленным зрением, чтобы они могли взаимодействовать со своим окружением, а именно позволяет читать напечатанный текст пользователю, идентифицировать объекты и даже распознавать известные лица. Еще одно приложение, UNI[229] – это специальный чехол, разработанный калифорнийским стартапом MotionSavvy для людей с нарушениями слуха. Он использует датчик движения и распознавание жестов для перевода языка жестов в аудио, а затем в текст. У AR и вспомогательных технологий есть большой потенциал, чтобы ежедневно улучшать уровень жизни людей, позволяя жить полноценно.

4. AR как магия

Все, что создается с помощью AR, должно быть в некоторой степени волшебным и вызывать чувство удивления. Когда с помощью AR создается волшебство, это вызывает наше любопытство и порождает чувство игры и дух приключения. Pokémon Go[230] – это основанная на вашем местоположении AR-игра компании Niantic, ставшая международным явлением, в которой вы перемещаетесь, исследуя мир вокруг вас, и ловите, а затем обучаете магических существ. AR как магия не ограничивается игрой. В качестве примера такого использования AR в образовательных целях можно привести Elements[231] от компании Daqri, деревянные кубики с обозначением химических элементов для стимулирования процесса обучения. На каждой грани кубика изображен символ, представляющий элементы периодической системы химических элементов; когда вы сближаете два кубика, химическая реакция волшебным образом изображается с помощью AR.

AR этого типа также содержит в себе элемент сюрреализма, как это видно в книгах и AR-искусстве, например, в книге «Воспоминания горного мира»[232] Камиллы Шеррер (2009) и художественной инсталляции «Миражи и чудеса», показанной во французском Scène Nationale d’Albi (2017), оживляющих фантазии авторов. AR как магия напоминает нам о том, что не нужно стремиться полностью воссоздать реальность с помощью AR. Это позволяет нашему воображению блуждать и экспериментировать творчески, не будучи при этом связанными законами физического мира.

5. AR как воздействие на различные органы чувств

Реальная жизнь ощущается не только визуально. Сумев разработать такие продукты и прототипы, как Digital Taste Interface от Эдриана Чока, тактильная технология Ultrahaptics, гарнитура дополненного звука Here One от Doppler Lab, а также устройство цифрового воспроизводства запаха oNotes, важно, чтобы мы не забывали о других органах чувств в AR. AR как воздействие на различные органы чувств, может обеспечить более глубокое чувство погружения, активируя все органы чувств.

Не все люди в мире зрячие, и использование AR несет в себе большую пользу для всех, за счет усиления чувствительности других органов чувств. Доступный дизайн, потенциально применимый для всех людей, а не только для определённой группы, был описан в главе 4, в которой приводились идеи Билла Бакстона о том, что результаты разработок будут полезны для многих: «Если вы понимаете потребности определенной узкой группы лиц и занимаетесь разработками для них, у вас зачастую получается произвести нечто полезное для всех».

6. AR как управление или направление, использующее спокойную технологию

Это применение AR отличается от второй группы в приведенной классификации, т.е. AR как аннотирования, тем, что в данной категории используются также тактильная составляющая, и другие тонкие сигналы, передающиеся вашему телу, чтобы направлять вас не только с помощью текстовых уведомлений, которые находятся в вашем прямом поле зрения. Примеры применения AR данного типа варьируются от геолокационных приложений (помогающих вам дойти до нужного места с помощью GPS, как в обуви No Place Like Home[233]) до фитнес-приложений и приложений для поднятия вашего самочувствия (например, легинсы для фитнеса Nadi X[234]), как мы рассмотрели в главе 8.

Цель спокойной технологии – помочь вам сфокусироваться, причем данная технология включается только тогда, когда это необходимо, сводя к минимуму отвлекающие факторы, чтобы вы могли сосредоточиться на той деятельности, которой занимаетесь в настоящий момент. Это область будет развиваться, когда технология повсеместно внедрится в нашу одежду и будет носиться на теле все больше и больше. По мере того, как мы продвигаемся вперед с развитием AR-технологий, важно не перегружать мыслительную деятельность пользователя, сохраняя его внимание на реальности.

7. AR как средство коммуникации

Для того чтобы AR по-настоящему сформировалась как массовая среда для коммуникации, которой она постепенно становится, общение должно быть многопользовательским и двусторонним. Это позволяет находиться в едином пространстве с использованием телеприсутствия, совместной работы и коммуникации между пользователями, находящимися на расстоянии друг от друга (как было описано в главе 6). В отличие от третьей из описанных категорий AR, целью этого типа дополненной реальности не является перевод.

AR как средство коммуникации включает в себя возможность удаленного редактирования. Силами канадской компании Cirque du Soleil[235], крупнейшего постановщика театрализованных шоу в мире, в сотрудничестве с HoloLens были созданы театральные декорации и разработано хореографическое шоу. До использования HoloLens большая часть времени тратилась на сборку декораций для шоу на студии Cirque du Soleil в Монреале. Шанталь Трембле, креативный директор Cirque du Soleil, сказала[236]: «Обычно нам приходится ждать, пока закончится наш кастинг и артисты прилетят в Монреаль, но теперь, посмотрев на это, мы могли бы даже внести некоторые изменения».

Использование AR для международного общения и сотрудничества имеет потенциал для изменения и даже спасения жизни, особенно в области здравоохранения. AR-платформа Proximie[237] используется в хирургических приложениях для совместной работы и обмена опытом между специалистами из разных частей света, где уровень медицинского обслуживания недостаточно высок, а знания о хирургии не находятся на должном уровне, особенно в зонах войны и бедствий. Proximie позволяет специалистам, находящимся удаленно, получить непосредственный и интерактивный опыт работы, без физического присутствия. Используя платформу Proximie, будь то на планшете, компьютере или мобильном устройстве, вы можете войти в систему и связаться со своей командой хирургов, лечащим хирургом и удаленным хирургом посредством AR. Proximie сотрудничала с организациями «Глобальный фонд улыбок», «Лицом к миру», больницами Эссалу в Трухильо (Перу) и Аль-Ауда (Сектор Газа), чтобы помочь хирургам изменить жизнь людей, которые иначе не имели бы доступа к мировому опыту в хирургии.

С помощью AR также можно соединить членов семьи, находящихся в разных местах, чтобы насладиться общим времяпрепровождением, преодолевая физическое расстояние, и оказаться в едином пространстве. В ближайшем будущем станут возможными такие примеры использования AR, как Holoportation[238], технология трехмерного сканирования, позволяющая использовать высококачественные 3D-модели людей, которые смогут передаваться в любое место, и, например, отец, находясь на расстоянии, сможет играть со своей дочерью с помощью HoloLens. Системы, подобные этой, меняют наш подход к созданию, хранению, совместному использованию и позволяют оживлять наши воспоминания благодаря возможности записывать и воспроизводить все, что было создано с помощью дополненной реальности. Как говорилось в главе 7, возможно, однажды наступит тот день, когда персонализированные фотореалистичные аватары смогут заменить нас, обеспечив возможность сохранить нас и наше наследие.

8. AR как сверхчеловеческий опыт

AR открывает для пользователей совершенно новый спектр чувств, который ранее был недоступен и выходит за рамки естественных человеческих возможностей. Речь идет о рентгеновском зрении (HoloAnatomy для HoloLens[239] при сотрудничестве с Case Western Reserve University[240]), тепловом зрении (Thermographer[241] компании Daqri), электромагнитных полях (которые гриндеры могут ощущать с помощью имплантированных под кожу[242]магнитных элементов) и даже о создании новых чувств, как, например, в описанной в главе 3 работе нейробиолога Дэвида Иглмана, заключающейся в передаче сигналов в мозг через нестандартные сенсорные каналы.

9. AR как инструмент для измерения в реальном времени

AR применяется для измерения параметров физических объектов, а также для анализа показателей тела с помощью биометрических данных. Одним из примеров такого использования AR является приложение Lowe’s Vision[243] на платформе Tango, использующее дополненную реальность для измерения параметров объектов и среды, в которой вы находитесь, с целью упрощения процесса декорирования дома. Эта же технология может использоваться для мониторинга состояния организма человека, а именно на основе таких биометрических показателей, как уровень стресса, частота пульса, уровень потоотделения, активность мозговых волн и другие сигналы организма.

С помощью запатентованных Microsoft датчиков стресса AR help[244] гарнитура HoloLens однажды сможет, без необходимости задавать вопросы, предоставить вам необходимую информацию через дисплей, устанавливаемый в гарнитуре, надеваемой на голову. Например, при опоздании на встречу на встречу, ваш уровень стресса увеличится, и программное обеспечение может самостоятельно изменить дату запланированной встречи, проверив наличие свободного времени в вашем календаре. Патент также включает в себя автоматическое отображение гарнитурой карты, на которой будет показан самый быстрый маршрут до места встречи.

Другие устройства, такие как гарнитура Muse[245], измеряют активность вашего головного мозга, чтобы расслаблять вас посредством медитации. Поскольку устройства, отслеживающие и контролирующие показатели человеческого тела, начинают связываться с оборудованием и программным обеспечением дополненной реальности, использование AR-технологий может стать более персонализированным и применимым для конкретного состояния и ситуации, в которой будет находиться пользователь, в результате чего будут обеспечены преимущества, как на рабочем месте, так и дома.

10. AR как высоко персонализированная технология, которую вы можете настраивать

Ваши потребности и контекст формируют вашу персонализированную дополненную реальность с помощью создания уникального контента специально для вас. С точки зрения этого типа AR, вы являетесь режиссером вашей собственной дополненной среды, вы определяете ее параметры. Одним из способов сделать это является пример использования биометрии, описанный в девятой категории, т.е. использовании AR как инструмента для измерения в реальном времени. В качестве еще одного примера можно привести Here One[246] производства Doppler Labs – дополненные аудионаушники, с помощью которых вы настраиваете свое личное аудиопространство, например, в самолете, в ресторане или на концерте; или такие приложения, как, например, Reality Editor[247] от Валентина Хеуна, позволяющее вам подсоединяться и управлять физическими объектами, создав алгоритм того, как вы хотели бы, чтобы они работали. Это реальность, которую вы сами создаете.

Художники и волшебство

Один из способов продолжения развития AR как новой среды – не отдавать этот процесс (и радость) на откуп компьютерным разработчикам и инженерам. Художник и инженер Голан Левин указывает на то, что художники первыми создали прототипы многих современных технологий. Чтобы устремить развитие AR в будущее, Левин настоятельно призывает художников, работающих с новыми технологиями, проявить себя.

Он пишет[248]: «Став по воле случая эмиссаром разв ития новой среды, я все чаще замечаю, что некоторые из самых распространенных и востребованных технологий на сегодняшний день изначально были задуманы и прототипированы много лет назад людьми творческих профессий той эпохи». Левин приводит в качестве примеров Google Street View[249] и Google Earth[250].

Основные идеи, реализованные художников Майклом Наймарком в своей работе «Карта кино Аспена» (1978—1980), которая позволила пользователям интерактивно наблюдать и перемещаться по панорамным улицам в Аспене, (США), спустя четыре десятилетия стала широко использоваться во всем мире с помощью сервиса Street View от Google (запущен в 2007 году). В 1996 году коллектив немецких художников и технологов из Art+Com, занимавшийся созданием новой среды, разработал Terravision[251], сетевое виртуальное изображение Земли на основе полученных со спутников изображений, аэрофотоснимков, данных о высоте и данных об архитектуре, с помощью чего пользователи могли без ограничений наблюдать за изображением Земли: от общего облика до максимально детализированных объектов и зданий. Google Earth, портал, который «позволяет летать в любом месте Земли и рассматривать сделанные со спутников изображения, карты, ландшафт, трехмерные изображения зданий, виды на космическое пространство и каньоны на дне океана», изначально назывался Earth Viewer и был создан в 2001 году Keyhole Inc., компанией, приобретенной Google в 2004 году. Одно существенное различие между Terravision и Google Earth заключается в том, что Google Earth объединяет комментарии, оставленные пользователями, позволяя пользователям сохранять и делиться своими любимыми местами. Левин пишет:

Иногда нам удается разглядеть уникальную художественную идею, которая могла родиться у какого-то человека за несколько десятилетий до этого, возможно, даже после того, как этот человек уже был уволен за предложенную им идею, которая тогда показалась бесполезной или непрактичной, но впоследствии была переоценена и, с появлением компьютеров, стала частью нашей повседневной жизни.

Левин подчеркивает важность включения художников в процесс разработки новых технологий, как это, в частности, реализовано в Xerox PARC, MIT Media Laboratory и Atari Research Lab. Он отмечает, что художники были первыми, кто поднимал вопросы, которые не возникли бы при других обстоятельствах. Чтобы устремиться в будущее, Левин считает необходимым интегрировать художников в процесс разработки, чтобы они также помогали оценивать социальные последствия и экспериментальные возможности той или иной технологии. Он добавляет, то, что зарождается как художественный эксперимент и даже является в некотором роде авантюрой, становится впоследствии инструментом, без которого нельзя обойтись.

Роль художника на ранних этапах создания новой технологии, такой как AR, важнее, чем можно предположить, поскольку подобные художественные исследования не только приводят к популяризации таких технологий, как отмечает Левин, но также имеют большое значение для понимания социального и культурного развития и влияния этих новых технологий.

По моему мнению, художники – это в каком-то роде кудесники. Они создают волшебную ткань, сшивая вместе кусочки повседневной жизни в необыкновенную реальность и будущее. Как интерпретаторы и переводчики, они помогают нам увидеть мир новыми глазами. Роль художника заключается в том, чтобы наблюдать, сопереживать и отражать это обратно в мир, предоставляя альтернативный способ того, как можно существовать, чувствовать, слышать и видеть. Для меня это определение инноваций и еще одна причина важности художественного поиска в AR.

Я хочу, чтобы технология AR и дальше продолжала поражать нас и расширять наше воображение по-новому, вдохновлять нас на позитивные изменения в мире и развивать человечество в целом. AR сможет сделать это, только если станет мощной средой для визуализации. Осознание особенностей реальности, которые еще не сформулированы на данный момент, может способствовать нашей готовности принять и взять на вооружение новые возможности, которые, в свою очередь, расширяют наше сознание и в целом улучшают уровень жизни человека и общественные блага. Так пусть же это станет нашей общей целью и решением: развить технологические возможности и человеческие способности на максимальном уровне.

Что еще почитать на тему дополненной реальности?

Подборка книг от Екатерины Дегай, директора компании FORMIKA LAB

FORMIKA LAB – российская компания, специализирующаяся на проектах дополненной и виртуальной реальности. Компания занимается AR/VR-решениями для автомобильных концернов, строительных компаний, промышленных предприятий, ритейла. Работает с различными устройствами (Microsoft Hololens, HTC Vive, Samsung Gear VR и др.) и платформами (Unity, Unreal Engine, ARKit, ARCore).

«На заре виртуальной реальности», Джарон Ланье (издательство «Бомбора»)

Вы удивитесь, но это автобиография. Ее автор, Джарон Ланье, – создатель термина «виртуальная реальность» и один из самых эксцентричных изобретателей и технологических философов современности. Он поступил в университет в 13 лет, в 24 года создал VR-компанию, имевшую контракты даже с NASA, а в 30 лет разорился. Долгие годы критиковал Microsoft, а потом, убедившись в собственной неправоте и получив приглашение на работу лично от Билла Гейтса, стал сотрудником Microsoft Research. Из огненной смеси личных историй и профессиональных знаний и получилась эта любопытная книга о виртуальной реальности.

Envisioning Holograms: Design Breakthrough Experiences for Mixed Reality, Майк Пелл (издательство Apress)

Это книга о дополненной реальности. Еще один визионер, но на этот раз в сфере дизайна, рассуждает о том, насколько кардинально должен измениться дизайн благодаря дополненной реальности – как создавать голограммы и что такое новые интерфейсы. Автор уверен, что дизайнер сегодня обязан уметь «кодить», иначе он не сможет создать полноценный продукт. Еще в 1984 году Пелл разрабатывал меню шрифтов для Macintosh, затем работал в Adobe, а с 2001 года сотрудничает с Microsoft.

Порекомендую также два практических руководства для разработчиков. Unity и Unreal Engine – два самых популярных игровых движка, но они же используются и в разработке проектов в дополненной и виртуальной реальности (не только игровых). В каждой из приведенных ниже книг пошагово разобраны возможности каждой из платформ.

Аugmented Reality Game Development, Майкл Ланэм (издательство Packt)

Автор занимается разработкой игр более 15 лет. В Unity он работает с 2007 года (сам движок появился в 2005 году).

Unreal Engine VR Cookbook: Developing Virtual Reality with UE4, Митч Маккэфри (издательство Addison-Wesley)

Автор ведет канал на Youtube с видеоуроками: Mitch’s VR Lab. Книга отлично дополняет видеоформат удобными текстовыми инструкциями. Надо заметить, что вступление к ней написал сам Луис Катальди из Epic Games, которой и принадлежит Unreal Engine.

Примечания

1

Hunter Hoffman, «Virtual Reality Pain Reduction» (http://www.hitl.washington.edu/projects/vrpain). – Прим. авт.

2

Технология Word Lens была приобретена Google в 2014 году и интегрирована в приложение Google Translate. Теперь она поддерживает 37 языков (https://youtu.be/h2OfQdYrHRs). – Прим. авт.

3

https://youtu.be/p6znyx0gjb4 – Прим. авт.

4

https://vimeo.com/70035191 – Прим. авт.

5

Ronald T. Azuma, «A Survey of Augmented Reality» (http://www.cs.unc. edu/~azuma/ARpresence.pdf). – Прим. авт.

6

Страница Марка Цукерберга на Facebook (https://www.facebook. com/zuck/posts/10101319050523971). – Прим. авт.

7

David Phelan, «Apple CEO Tim Cook: As Brexit hands over UK», The Independent (http://ind.pn/2u7tbJy). – Прим. авт.

8

По материалам WWDC 2017 года (https://youtu.be/oaqHdULqet0). – Прим. авт.

9

«How X-Box Kinect Tracks Your Moves», NPR (http://www.npr. org/2010/11/19/131447076/how-the-x-box-kinect-tracks-your-moves). – Прим. авт.

10

Досл. пер. «Электронная машина вкуса». – Прим. пер.

11

«Share Touch, smell and taste via the internet» (http://bit.ly/2wb4wAS). – Прим. авт.

12

https://youtu.be/bx5McnEht7Q – Прим. авт.

13

http://milk.co/treachery – Прим. авт.

14

Вышла в России в 2016 году. – Прим. ред.

15

http://pr.cs.cornell.edu/anticipation/index.php – Прим. авт.

16

http://cnet.co/2hqYUzf – Прим. авт.

17

http://www.google.com/selfdrivingcar/how – Прим. авт.

18

http://bit.ly/2wb1Q6y – Прим. авт.

19

https://youtu.be/WHGtvdxTVZk – Прим. авт.

20

https://youtu.be/K5OKaK3Ay8U – Прим. авт.

21

http://www.orcam.com – Прим. авт.

22

Helen Papagiannis, «Augmented Reality Applications: Helping the Blind to See», iQ (https://iq.intel.com/augmented-reality-applications-helping-the-blind-to-see). – Прим. авт.

23

https://www.seeingwithsound.com/about.htm – Прим. авт.

24

http://apple.co/2u48Xwa – Прим. авт.

25

Roni Jacobson, «App Helps the Blind ‘See’ With Their Ears», National Geographic (http://bit.ly/2wa9Btg). – Прим. авт.

26

https://youtu.be/4qhXQ_1CQjg – Прим. авт.

27

http://theartvertiser.com – Прим. авт.

28

Досл. с англ. «Убийца брэндов». – Прим. пер.

29

http://bit.ly/2woxBIC – Прим. авт.

30

Программное обеспечение для блокировки рекламы. – Прим. ред.

31

Andy Carvin, «Tim Berners-Lee: Weaving a Semantic Web» (http://bit. ly/2wp2kVT). – Прим. авт.

32

http://tacticalhaptics.com – Прим. авт.

33

https://vimeo.com/25608606 – Прим. авт.

34

Bret Victor, «A Brief Rant on the Future of Integration Design» (http:// worrydream.com/ABriefRantOnTheFutureOfInteractionDesign). – Прим. авт.

35

«New Technology: Haptic Feedback for Touchscreens» (https://youtu. be/FiCqlYKRlAA). – Прим. авт.

36

Сокр. от Generic and Highly Organic Shape-Change Interfaces. В пер. с англ.: «Универсальные и высокоорганические изменяющие форму интерфейсы». – Прим. пер.

37

Giovanni Maria Troiano, Esbin Warming Pedersen, Kasper Hornbaek, «User-Defined Gestures for Elastic, Deformable Displays», Международная Конференция по усовершенствованным визуальным интерфейсам, 2014 год (http://www.kasperhornbaek.dk/papers/AVI2014_ Gestures.pdf). – Прим. авт.

38

https://www.disneyresearch.com/project/revel-programming-the-sense-of-touch. – Прим. авт.

39

От англ. Reverse Electrovibration, сокр: REVEL. – Прим. авт.

40

От англ. Interactive Tactile Experience in Free Air. Досл. пер.: «Интерактивная тактильная технология в воздушном пространстве» (https://www.disneyresearch.com/project/aireal). – Прим. пер.

41

Rajinder Sodhi, Matthew Glisson, Ivan Poupyrev, «AIREAL: Interactive Tactile Experiences in Free Air», по материалам конференции SIGGRAPH, 2013 год. – Прим. авт.

42

https://www.ultrahaptics.com – Прим. авт.

43

http://www.smartstones.co – Прим. авт.

44

Andreas Forsland, «Augmenting Life. Unlocking Minds», Linkedin (https://www.linkedin.com/pulse/augmenting-life-unlocking-minds-andreas-forsland). – Прим. авт.

45

http://worrydream.com/ABriefRantOnTheFutureOfInteractionDesign. – Прим. авт.

46

http://bit.ly/2u8hgLt – Прим. авт.

47

В пер. с англ.: жилет (http://www.eagleman.com/research/sensory-substitution). – Прим. пер.

48

В пер. с англ.: многофункциональный экстрасенсорный преобразователь. – Прим. пер.

49

David Eagleman, «Can we create new senses for humans?», TED, 2015 год (http://bit.ly/2hrqVXk). – Прим. авт.

50

Shirley Li, «The Wearable Device That Could Unlock a New Human Sense», The Atlantic (http://theatln.tc/2hrk6VM). – Прим. авт.

51

Janet Cardiff, «Introduction to the Audio Walks» (http://www. cardiffmiller.com/artworks/walks/audio_walk.html). – Прим. авт.

52

John Wray, «Janet Cardiff, George Bures Miller and the Power of Sound», The New York Times (http://nyti.ms/2vsR8ud). – Прим. авт.

53

https://www.detour.com – Прим. авт.

54

http://www.cardiffmiller.com/artworks/walks/longhair.html – Прим. авт.

55

http://www.hackneyhear.com – Прим. авт.

56

Rachel Metz, «First Groupon Founder, Now Tour Guide», MIT Technology Review (http://bit.ly/2u3UHDv). – Прим. авт.

57

От англ. Beacon: Маяк. – Прим. пер.

58

Luke Whelan, «The New App Will Change the Way You See Your Neighborhood», Mother Jones (http://bit.ly/2unquyx). – Прим. авт.

59

В пер. досл.: «Новички радио». – Прим. пер.

60

https://www.detour.com/san-francisco/our-tenderloin – Прим. авт.

61

Chris Milk, «How Virtual reality can create the ultimate empathy machine», TED, 2015 год (http://bit.ly/2v05VMe). – Прим. авт.

62

Casey Newton, «Groupon’s ousted founder is making gorgeous audio tours of San Francisco», The Verge (http://bit.ly/2vwrOEg). – Прим. авт.

63

https://vimeo.com/110344933 – Прим. авт.

64

Картографический сервис Microsoft. – Прим. ред.

65

Asha McLean, «Microsoft updates smart headsets for visually impaired», ZDNet (http://www.zdnet.com/article/microsoft-updates-smart-headsets-for-visually-impaired). – Прим. авт.

66

https://youtu.be/BEzncMLLOxE – Прим. авт.

67

Jennifer Warnick, «Independence Day», Microsoft Story Labs (http:// news.microsoft.com/stories/independence-day). – Прим. авт.

68

Мне посчастливилось работать с Бакстоном в 2013 году в Торонто в рамках проекта под названием «Значительные изменения: будущее глобального дизайна». Бакстон был нашим ведущим ученым в дизайн-бюро Брюса Мау, где он делился бесценными знаниями в области взаимодействия людей и машин и даже пожертвовал свою личную коллекцию интерактивных устройств, созданных за последние 30 лет. – Прим. авт.

69

Frank Bowe, «Making Computers Accessible to Disabled People», Technology Review. – Прим. авт.

70

Katie Collins, «Dolby’s stereoscopic virtual reality proves utterly terrifying», Wired (http://bit.ly/2unQFVT). – Прим. авт.

71

https://www.microsoft.com/microsoft-hololens/en-us/hardware – Прим. авт.

72

http://hypersound.com/home.php – Прим. авт.

73

http://hypersound.com/retail.php – Прим. авт.

74

https://youtu.be/82b2Bl-kA28 – Прим. авт.

75

http://joergmueller.info – Прим. авт. рекламы.

76

Jorg Muller, Matthias Geier, Christina Dicke, Sascha Spors, «The BoomRoom: Mid-air Direct Interaction with Virtual Sound Sources», конференция по человеческим факторам в вычислительных системах SIGCHI, 2014 (http://bit.ly/2vx2wpO). – Прим. авт.

77

http://www.moff.mobi – Прим. авт.

78

Популярный в США аналог игры «Море волнуется раз…», отличающийся тем, что игроки должны застывать во время танца. – Прим. ред.

79

Игра, в которой нужно бить с завязанными глазами по набитой конфетами полой игрушечной фигуре, пиньяте, чтобы из нее высыпалось как можно больше сладостей. – Прим. ред.

80

http://apps.augmatic.co.uk/konstruct – Прим. авт.

81

http://string.co – Прим. авт.

82

David Barnard, «iPhone User Interface Design Projects», Apress. – Прим. авт.

83

https://hereplus.me – Прим. авт.

84

«Holding the Internet to Ransom», BBC (http://www.bbc.co.uk/ programmes/p036zrcf). – Прим. авт.

85

http://for.tn/2u83hFz – Прим. авт.

86

https://www.apple.com/ca/airpods – Прим. авт.

87

http://www.valencell.com – Прим. авт.

88

http://bit.ly/2vsQAVe – Прим. авт.

89

Steven LeBoef, «How Biometrics Could Change Gaming in 2014», Consumer Technology Association, 2014 год (http://bit.ly/2u3XVHe). – Прим. авт.

90

https://youtu.be/9-P6jEMtixY – Прим. авт.

91

«Scent of Mistery with Smell-O-Vision Powered by Scentevents» (http:// bit.ly/2wb9jST). – Прим. авт.

92

http://artandolfaction.com/projects/scent-of-mystery – Прим. авт.

93

Прототип был показан на Конференции разработчиков игр GDC в 2015 году в Сан-Франциско. После GDC FeelReal объявила о краудфандинге на KickStarter, который не увенчался успехом: было собрано только 24 568 долларов из запланированных 50 000 долларов. Маска и шлем доступны для предварительного заказа на сайте компании (http://feelreal.com). – Прим. авт.

94

http://www.onotes.com – Прим. авт.

95

https://scentee.com – Прим. авт.

96

http://www.ollyfactory.com – Прим. авт.

97

http://www.ollyfactory.com/instructions – Прим. авт.

98

Досл. с англ.: «Нос мертвеца» (http://bit.ly/2waT9sP). – Прим. пер.

99

http://www.daleair.com – Прим. авт.

100

http://sensorymaps.com/about – Прим. авт.

101

http://www.myode.org – Прим. авт.

102

http://www.odettetoilette.com – Прим. авт.

103

От англ. Nourish – питать, кормить (http://www.projectnourished. com). – Прим. пер.

104

Досл. с англ.: Мета-печенье (https://youtu.be/3GnQE9cCf84). – Прим. пер.

105

Досл. с англ.: Дополненное насыщение. – Прим. пер.

106

Takuji Narumi, Yuki Ban, Takashi Kajinami, Tomohiro Tanikawa, Michitaka Hirose, «Augmented perception of satiety: controlling food consumption by changing apparent size of food with augmented reality», конференция SIGCHI, 2012 (http://bit.ly/2f905me). – Прим. авт.

107

http://guerillascience.org/event/brain-banquet – Прим. авт.

108

«Using mobiles to smell: how technology is giving us our senses», The New Economy (http://www.theneweconomy.com/technology/using-mobiles-to-smell-how-technology-is-giving-us-our-senses-video). – Прим. авт.

109

https://youtu.be/9vLSuLL9xLA – Прим. авт.

110

http://bit.ly/2viJtPD – Прим. авт.

111

Matthew Lombard, Theresa Ditton, «At the Heart of It All: The Concept of Presence», Journal of Computer Mediated Communication. – Прим. авт.

112

Jay David Bolter, Richard Gruisin, «Remediation: Understanding New Media», MIT Press. – Прим. авт.

113

https://youtu.be/Go9rf9GmYpM – Прим. авт.

114

Stephen Bottomore, «The Panicking Audience? Early cinema and the train effect», Historical Journal of Film, Radio, and Television. – Прим. авт.

115

Dan North, «Magic and Illusion in Early Cinema», Studies in French Cinema. – Прим. авт.

116

Oliver Grau, «Virtual Art: From Illusion to Immersion», MIT Press. – Прим. авт.

117

Jay David Bolter «Presence and the Aura of Meaningful Places», Международный семинар по присутствию, 2004 год. – Прим. авт.

118

Досл. с англ.: Быть там без движения. – Прим. пер.

119

В русском издании называется «Бой в реальности» (https://youtu. be/zipHSPewumA). – Прим. ред.

120

Битва при Геттисберге – самое кровопролитное сражение времен Гражданской войны в США. – Прим. ред.

121

http://www.110stories.com. – Прим. авт.

122

«Exploring Future Reality», NYC Media Lab (http://bit.ly/2fcsiIZ). – Прим. авт.

123

Bolter, «Remediation». – Прим. авт.

124

Andre Gaudreault, Phillipe Marion, «The Cinema as a Model for the Genealogy of Media», Convergence. – Прим. авт.

125

Yvonne Spielmann, «Video: From Technology to Medium», Art Journal. – Прим. авт.

126

«Magic Leap Partners With Lucasfilm’s ILMxLAB», The Scene (https:// thescene.com/watch/wired/magic-leap-joins-with-ilm-and-lucasfilm). – Прим. авт.

127

http://apache.co.uk/work/disney-become-iron-man – Прим. авт.

128

http://modiface.com – Прим. авт.

129

http://bit.ly/2wpguqd – Прим. авт.

130

https://youtu.be/Te9gj22M_aU – Прим. авт.

131

https://youtu.be/Hf9qkURqtbM – Прим. авт.

132

http://tangible.media.mit.edu/project/inform – Прим. авт.

133

https://usat.ly/2u7CpFA – Прим. авт.

134

https://youtu.be/LGwHQwgBzSI – Прим. авт.

135

https://flixel.com/ – Прим. авт.

136

https://youtu.be/PTEj8Gfe144 – Прим. авт.

137

https://en.wikipedia.org/wiki/X-Ray_Specs_(novelty) – Прим. авт.

138

https://youtu.be/H1uEAUaOxIg – Прим. авт.

139

https://youtu.be/SKpKlh1-en0 – Прим. авт.

140

http://bbc.in/2vwn3L4 – Прим. авт.

141

https://vimeo.com/16430181 – Прим. авт.

142

http://www.quivervision.com – Прим. авт.

143

http://uploadvr.com/spectacle-ar – Прим. авт.

144

http://prisma-ai.com – Прим. авт.

145

https://artisto.my.com – Прим. авт.

146

Natasha Lomas, «Prisma uses AI to turn your photos into graphic novel fodder double quick», Tech-Crunch (http://tcrn.ch/2vsYAWm). – Прим. авт.

147

http://apple.co/2vt9kDR – Прим. авт.

148

https://youtu.be/4QiGYtd3qNI – Прим. авт.

149

«Holoportation: virtual 3D teleportation in real-time (Microsoft Research)» (https://youtu.be/7d59O6cfaM0). – Прим. авт.

150

https://youtu.be/byGdr7tV2sY – Прим. авт.

151

«Introducing the New Blippar App: The Power of Visual Discovery» (http://bit.ly/2vlVmnA). – Прим. авт.

152

«Augmented Reality in Education: How To Turn The World Into An Interactive Learning Environment» (http://bit.ly/2waImyU). – Прим. авт.

153

«Blippar Is Building a Wikipedia of the Physical World», TechCrunch (http://tcrn.ch/2u7eoyy). – Прим. авт.

154

https://youtu.be/BwWueXlsOrA – Прим. авт.

155

https://youtu.be/_3Y7BXEbqcg – Прим. авт.

156

Kudo Tsunoda, «Introducing first ever experiences for the Microsoft HoloLens Development Edition», Windows Blogs (http://bit.ly/2woZccI). – Прим. авт.

157

Kim Taylor Bennett, «Miniature Tigers Go Astronautical with Their Video for ‘Crying in the Sunshine’», Vice (http://bit.ly/2unyM9Q). – Прим. авт.

158

https://www.bitmoji.com – Прим. авт.

159

Joanna Stern, «Bitmoji? Kimoji? Digital Stackers Trump Plain Old Emojis», The Wall Street Journal (http://on.wsj.com/2unRY7v). – Прим. авт.

160

http://www.uraniom.co – Прим. авт.

161

https://youtu.be/m8KGIiuXww0 – Прим. авт.

162

http://structure.io – Прим. авт.

163

http://www.elfyourself.com – Прим. авт.

164

http://www.jibjab.com/ecards – Прим. авт.

165

Jacquelin Ford Morie, «The Ultimate Selfie: Missings on the future of our human identity», Конференция по представлению поведения в моделировании и симулировании. – Прим. авт.

166

Досл. с англ.: [количественное] измерение себя (http://bit. ly/2w9X7Sx). – Прим. пер.

167

https://youtu.be/MMa2oT1wMIs – Прим. авт.

168

http://highfidelity.io – Прим. авт.

169

http://www.quantumcapture.com – Прим. авт.

170

https://www.soulmachines.com – Прим. авт.

171

McCulloch, Augmented Reality Help, патент США 9303095 (http://bit. ly/2u1Cp5U). – Прим. авт.

172

https://suitabletech.com – Прим. авт.

173

Adele Peters, «A creepy New Startup Wants To Create Living Avatars For Dead People», Fast Company. – Прим. авт.

174

Marius Ursache, «The Journey to Digital Immortality» (http://bit. ly/2unIKrx). – Прим. авт.

175

«Gartner says by 2017 Your Smartphone Will Be Smarter Than You» (http://www.gartner.com/newsroom/id/2621915). – Прим. авт.

176

https://youtu.be/ZA6m2fxpxZk – Прим. авт.

177

«4D printing: buildings that can change over time», BBC (http://www. bbc.com/future/story/20130709-buildings-that-can-make-themselve). – Прим. авт.

178

http://bit.ly/2vlRWRK – Прим. авт.

179

В пер. с англ.: Редактор реальности (http://www.realityeditor.org). – Прим. пер.

180

Will Shandling, «Indistinguishable Reality: A Conversation with Reality Editor’s Valentin Heun», Designation Blog. – Прим. авт.

181

http://www.johnseelybrown.com/calmtech.pdf – Прим. авт.

182

В пер. с англ.: повсеместная компьютеризация. – Прим. пер.

183

Jakob Nielsen, «The Human Body as Touchscreen Replacement», Nielsen Norman Group (http://bit.ly/2hrrK2r). – Прим. авт.

184

https://hpi.de/baudisch/projects/imaginary-interfaces.html. – Прим. авт.

185

https://www.tk.informatik.tu-darmstadt.de/en/research/tangible-interaction/earput – Прим. авт.

186

В пер. с англ.: Воображаемый телефон, (https://youtu.be/ xtbRen9RYx4). – Прим. пер.

187

https://hpi.de/baudisch/projects/imaginary-phone.html – Прим. авт.

188

http://www.seangustafson.com/Publication/gustafson13 – Прим. авт.

189

Roman Lissermann, Jochen Huber, Aristotelis Hadjakos, Suranga Nanayakkara, Max Muhlhauser, «Ear-Put: Augmenting Ear-worn Devices for Ear-based Interaction» (https://youtu.be/DjoR929f0DQ). – Прим. авт.

190

http://katiavega.com – Прим. авт.

191

http://nailo.media.mit.edu – Прим. авт.

192

http://duoskin.media.mit.edu – Прим. авт.

193

В пер. с англ.: куртка с навигацией (http://wearableexperiments. com/navigate). – Прим. пер.

194

Устойчивое выражение, русский аналог которого: «В гостях хорошо, а дома лучше». – Прим. пер.

195

http://dominicwilcox.com/portfolio/gpsshoe – Прим. авт.

196

http://wearablex.com/nadix – Прим. авт.

197

Jessica Hullinger, «These Vibrating Yoga Pants Will Correct Your Downward Dog», Fast Company (http://bit.ly/2v2H7lj). – Прим. авт.

198

https://atap.google.com/jacquard – Прим. авт.

199

https://youtu.be/yJ-lcdMfziw – Прим. авт.

200

Эти действия напоминают работу Imaginary Phone, но вместо ладони и кожи в данном примере используются проводящие ткани. – Прим. авт.

201

Rachel Arthur, «Project Jacquard: Google and Levi’s Launch The First ‘Smart’ Jean Jacket For Urban Cyclists», Forbes (http://bit.ly/2waDh9U). – Прим. авт.

202

https://www.studioroosegaarde.net/project/intimacy-2-0 – Прим. авт.

203

http://valencell.com/technology – Прим. авт.

204

Leslie Katz, «Surgically implanted headphones are literally ‘in-ear’», CNET (http://cnet.co/2vm1ooe). – Прим. авт.

205

Seth Rosenblatt, «Hacking humans: Does Google Glass Mark the End of True Humanity?», CNET (http://cnet.co/2unEU1Q). – Прим. авт.

206

http://bit.ly/2vsUUUe – Прим. авт.

207

Cassie Goldring, «Man or Cyborg: Does Google Glass Mark the End of True Humanity?», Huffpost (http://bit.ly/2v2WTww). – Прим. авт.

208

Tan Le, «A headset that reads your brainwaves», TED, 2010 год (http:// bit.ly/2unwYxF). – Прим. авт.

209

http://emotiv.com – Прим. авт.

210

«Mind games», Macleans (http://www.macleans.ca/economy/ business/mind-games). – Прим. авт.

211

http://www.neurable.com – Прим. авт.

212

Natasha Lomas, «Researchers use machine learning to pull interest signals from readers’ brain waves», TechCrunch, 2016 год (http://tcrn. ch/2u7O479). – Прим. авт.

213

http://bit.ly/2vwuvG2 – Прим. авт.

214

https://youtu.be/4r72wufxihg – Прим. авт.

215

http://modiface.com/ – Прим. авт.

216

http://inkhunter.tattoo/ – Прим. авт.

217

http://bit.ly/2uo63la – Прим. авт.

218

Cristina Botella, Juani Breton-Lopez, Soledad Quero, Rosa Banos, Azucena Garcia-Palacios, «Treating Cockroach Phobia With Augmented Reality», Behavior Therapy (https://www.ncbi.nlm.nih.gov/ pubmed/20569788). – Прим. авт.

219

http://bit.ly/2vwBi2E – Прим. авт.

220

http://www.bbc.com/news/business-13262407 – Прим. авт.

221

http://dailym.ai/2fbNEWU – Прим. авт.

222

http://www.scopear.com/products/worklink – Прим. авт.

223

http://www.scopear.com – Прим. авт.

224

https://youtu.be/4QiGYtd3qNI – Прим. авт.

225

http://www.lowesinnovationlabs.com/instorenavigation – Прим. авт.

226

http://tcrn.ch/2v0Dj5B – Прим. авт.

227

https://www.detour.com – Прим. авт.

228

http://www.orcam.com – Прим. авт.

229

https://youtu.be/sqAbOZMZp_E – Прим. авт.

230

http://www.pokemongo.com – Прим. авт.

231

http://elements4d.daqri.com – Прим. авт.

232

https://vimeo.com/1651492 – Прим. авт.

233

http://dominicwilcox.com/portfolio/gpsshoe – Прим. авт.

234

http://wearablex.com/nadix – Прим. авт.

235

https://www.cirquedusoleil.com – Прим. авт.

236

Sean O’Kane, «Cirque du Soleil will use HoloLens to design sets and plan shows», The Verge (http://bit.ly/2vmlSxo). – Прим. авт.

237

http://www.proximie.com – Прим. авт.

238

https://youtu.be/7d59O6cfaM0 – Прим. авт.

239

https://youtu.be/SKpKlh1-en0 – Прим. авт.

240

http://case.edu/hololens – Прим. авт.

241

http://bit.ly/2vtijoF – Прим. авт.

242

http://www.wired.co.uk/article/diy-biohacking – Прим. авт.

243

http://www.lowesinnovationlabs.com/tango – Прим. авт.

244

http://www.bbc.com/news/technology-32736627 – Прим. авт.

245

http://www.choosemuse.com – Прим. авт.

246

https://hereplus.me – Прим. авт.

247

http://www.realityeditor.org – Прим. авт.

248

«New Media Artworks: Prequels to Everyday Life» (http://www.flong.com/blog/2009/new-media-artworks-prequels-to-everyday-life). – Прим. авт.

249

https://www.google.com/streetview – Прим. авт.

250

https://www.google.ca/earth – Прим. авт.

251

https://artcom.de/en/project/terravision – Прим. авт.

Content

Хелен Папагианнис
Дополненная реальность. Все, что вы хотели узнать о технологии будущего

Об авторе

Вводное слово

Предисловие

Введение

Почему я написала эту книгу

Кто должен прочитать эту книгу

Структура книги

Глава 1. Новая волна реальности

Что такое дополненная реальность?

Как развивается AR

Проникновение в ваши чувства

Различное применение AR

Дополненное здравоохранение

Дополненное образование

Дополненная торговля

Дополненная работа

Дополненные развлечения

AR сегодня: основное внимание сконцентрировано на человеке

Глава 2. Взглянуть на мир по-новому

Вы – контроллер

Наблюдение за движением и прогнозирование действий

Создание трехмерной карты с технологией SLAM

Возможность видеть для незрячих

Обучение компьютера способности видеть с помощью машинного обучения

Обучение мозга видеть посредством звука

Выберите свою собственную реальность

Глава 3. Тактильные ощущения

Тактильные технологии, применяемые в сенсорных экранах

Деформируемые экраны

Интеграция тактильного ощущения за пределами экрана

Тактильная симуляция как способ коммуникации

Дивный новый мир тактильных фильмов

Сенсорная замена

Глава 4. Дополненный звук и аудиогарнитура

Дополненный звук с привязкой к местности

Дополненный звук для сочувствия и понимания

Помощь людям с ослабленным зрением при перемещении по городу

Создание полезных технологий для всех

Окружая вас звуком

Воображение и игра со звуком

Дополненный звук и персонализация

Постоянно работающая аудиогарнитура

Глава 5. Цифровой запах и вкус

Возвращение Smell-O-Vision

Персонализированное общение и переписка при помощи ароматов

Цифровые базы данных запахов

Здравоохранение и дополненный запах

Цифровой вкус

Будущее цифрового вкуса и запаха

Глава 6. Повествование и воображение

Воображение и креативность

Присутствие

Потеря уникальности

Аура и контекстуализированное присутствие

Улучшение среды и возвышение над старым

Особенность медиа

Принципы повествования: начало

1. Виртуальная примерочная

2. Портал в стене, полу или столе

3. Призраки

4. Оживающие картинки

5. Рентгеновское зрение

6. 3D-моделирование

Новые направления в повествовании

1. Абстрактные и художественные AR-фильтры

2. Общее виртуальное пространство

3. Объекты, рассказывающие истории

4. Галереи действий и 3D AR-стикеры

5. Вы – звезда: D-фотореалистичные персонализированные AR-аватары

Глава 7. Аватары и объекты как живые переменные

Идеальное селфи

Искусственный интеллект скоро вернется

Активация компьютерной технологии

4D-печать

Редактор реальности

Глава 8. Тело как интерфейс

Электронная кожа и тело как сенсорный экран

Реагирующая одежда

Встраивание технологии в тело

Создайте свою реальность

Глава 9. Расширение возможностей

1. AR как визуализация

2. AR как аннотирование

3. AR как перевод в реальном времени

4. AR как магия

5. AR как воздействие на различные органы чувств

6. AR как управление или направление, использующее спокойную технологию

7. AR как средство коммуникации

8. AR как сверхчеловеческий опыт

9. AR как инструмент для измерения в реальном времени

10. AR как высоко персонализированная технология, которую вы можете настраивать

Художники и волшебство

Что еще почитать на тему дополненной реальности?

Примечания