Дополненная и виртуальная реальность в умных городах: как это может быть

Виртуальная реальность (Virtual reality, VR) — это созданный компьютером мир, доступ к которому можно получить с помощью иммерсивных устройств — шлемов, перчаток, наушников. Виртуальная среда полностью заменяет реальный мир, не реагируя на его изменения, при этом пользователь может воздействовать на нее, погружаясь, к примеру, в видеоигру.

Дополненная реальность (Augmented reality, AR) просто добавляет реальному миру слои. То есть люди могут по-прежнему взаимодействовать с физической средой, получая дополнительную информацию от своих устройств или приложений дополненной реальности.

2

Источник: http://trends.rbc.ru/trends/industry/5db179279a79472d7aa9e58a

1.1. Виды AR

Обычно рассматривают четыре типа дополненной реальности:

• на основе маркера (marker-based),
• безмаркерная (markerless),
• на основе проекции (projection-based),
• на основе суперпозиции (superimposition-based).

В marker-based AR требуется конкретный шаблон, маркер, например, QR-код, поверх которого накладывается виртуальный объект.

Рис. 1. Маркерная AR

Как видно из названия, для разработки markerless приложения маркер не нужен. На окружающую среду накладывается сетка и обнаруживаются ключевые точки, к которым привязывается виртуальная модель.

Рис. 2. Безмаркерная AR

Projection-based AR разработан для того, чтобы сделать заводские предприятия умнее, безопаснее и эффективнее. Проектор устраняет необходимость в бумажных инструкциях, создавая цифровой слой практически на любой рабочей поверхности.

Projection-based AR

Superimposition-based AR частично или полностью заменяет исходное представление объекта дополненным представлением того же самого объекта.

Рис. 3. Superimposition-based AR

Источник: http://proglib.io/p/gayd-po-virtualnym-miram-ar-i-vr-2020-04-02

Интеллектуальная инфраструктура и интернет вещей

Растущая доступность широкополосного интернета наряду с развитием электроники помогают ускорить строительство глобальной сети взаимодействующих друг с другом устройств — интернета вещей. Дороги, энергетические сети, системы водоснабжения и канализации, общественные здания и сооружения, сети связи, автомобили и дома, холодильники, тостеры и стиральные машины становятся «умнее» каждый день, обмениваясь данными друг с другом, с аналитическими программами и с людьми-операторами.

В 2016 году зарегистрировано более 6,4 миллиарда подключённых к интернету устройств. В ближайшие годы их количество будет расти экспоненциально из-за того, что смарт-функции получают привычные, разработанные и широко внедрённые устройства, от розеток до автопоездов. Эта интеллектуальная инфраструктура и огромное количество создаваемых в режиме реального времени данных продвигают дополненную и виртуальную реальность в секторе управления крупными сложными объектами. Понятная и реалистичная визуализация протекающих в городе процессов с возможностью смотреть отдельные «слои» и масштабировать вид — ключ к переосмыслению инфраструктуры.

Это подтверждается инициативами в области смарт-городов в ЕС, Индии, Китае, США и Канаде — в этой стране, к примеру, проводят конкурс проектов Smart City Challenge 2017, вдохновившись Smart City Challenge 2016 в США.

Кейсы:

• отслеживание аварий в водо-, газо-, электропроводах, а также перемещения инженерных бригад;
• просмотр комплексной статистики в реальном времени на высокоиммерсивных трёхмерных моделях районов и городов;
• обслуживание инженерных систем с наложенными на них графическими инструкциями;
• планирование инженерной инфраструктуры по карте, отображаемой прямо на земле/здании;
• комплексное понимание процессов и взаимозависимостей через отображение всего интернета вещей на единой интерактивной трёхмерной карте.

Источник: http://holographica.space/articles/ar-vr-smart-cities-11731

История AR/VR

Принято считать, что развитие виртуальной реальности началось в 50-е годы прошлого века. В 1961 году компания Philco Corporation разработала первые шлемы виртуальной реальности Headsight для военных целей, и это стало первым применением технологии в реальной жизни. Но опираясь на сегодняшнюю классификацию, систему, скорее, отнесли бы к AR-технологиям.

Отцом виртуальной реальности по праву считается Мортон Хейлиг. В 1962 он запатентовал первый в мире виртуальный симулятор под названием «Сенсорама».  Аппарат представлял собой громоздкое устройство, внешне напоминающее игровые автоматы 80-х, и позволял зрителю испытать опыт погружения в виртуальную реальность, например, прокатиться на мотоцикле по улицам Бруклина.  Но изобретение Хейлига вызывало недоверие у инвесторов и учёному пришлось прекратить разработки.

«Сенсорама» Хейлига

Через несколько лет после Хейлига похожее устройство представил профессор Гарварда Айван Сазерленд, который вместе со студентом Бобом Спрауллом создал «Дамоклов меч» — первую систему виртуальной реальности на основе головного дисплея. Очки крепились к потолку, и через компьютер транслировалась картинка. Несмотря на столь громоздкое изобретение, технологией заинтересовались ЦРУ и НАСА.

В 80-е годы компания VPL Research разработала более современное оборудование для виртуальной реальности — очки EyePhone и перчатку DataGlove. Компанию создал Джарон Ланье — талантливый изобретатель, поступивший в университет в 13 лет. Именно он придумал термин «виртуальная реальность».

Дополненная реальность шла рука об руку с виртуальной вплоть до 1990 года, когда учёный Том Коделл впервые предложил термин «дополненная реальность». В 1992 году Льюис Розенберг разработал одну из самых ранних функционирующих систем дополненной реальности для ВВС США. Экзоскелет Розенберга позволял военным виртуально управлять машинами, находясь в удалённом центре управления. А в 1994 году Жюли Мартин создала первую дополненную реальность в театре под названием «Танцы в киберпространстве» – постановку, в которой акробаты танцевали в виртуальном пространстве.

В 90-х были и другие интересные открытия, например, австралийка Джули Мартин соединила виртуальную реальность с телевидением. Тогда же начались разработки игровых платформ с использованием технологий виртуальной реальности. В 1993 году компания Sega разработала консоль Genesis.

На демонстрациях и предварительных показах, однако, всё и закончилось. Игры с Sega VR сопровождали головные боли и тошнота и устройство никогда не вышло в продажу. Высокая стоимость девайсов, скудное техническое оснащение и побочные эффекты вынудили людей на время забыть о технологиях VR и АR.

В 2000 году благодаря дополнению с технологиями AR в игре Quake появилась возможность преследовать чудовищ по настоящим улицам. Правда, играть можно было лишь вооружившись виртуальным шлемом с датчиками и камерами, что не способствовало популярности игры, но стало предпосылкой для появления известной ныне Pokemon Go.

Настоящий бум начался только в 2012 году. 1 августа 2012 года малоизвестный стартап Oculus запустил на платформе Kickstarter кампанию по сбору средств на выпуск шлема виртуальной реальности. Разработчики обещали пользователям «эффект полного погружения» за счет применения дисплеев с разрешением 640 на 800 пикселей для каждого глаза.

Необходимые 250 тысяч долларов были собраны уже за первые четыре часа. Спустя три с половиной года, 6 января 2015 года, начались предпродажи первого серийного потребительского шлема виртуальной реальности Oculus Rift CV1. Сказать, что релиз был ожидаемым — значит не сказать ничего. Вся первая партия шлемов была раскуплена за 14 минут.

Это стало символическим началом бума VR-технологий и взрывного роста инвестиций в эту отрасль. Именно с 2015 года технологии виртуальной реальности стали поистине новым технологическим Клондайком.

Источник: http://rb.ru/story/vsyo-o-vr-ar/

1.2. Софт для AR

Чтобы создать приложение дополненной реальности, понадобится набор средств разработки (software development kit, SDK). Ниже мы рассмотрели наиболее популярные SDK.

ARKit

ARKit – это SDK для создания приложений дополненной реальности и игр для iPhone и iPad. Для него характерны следующие черты:

• Надежное отслеживание лиц – легко применять эффекты для лица или создавать мимические выражения.
• Отслеживание уровня освещенности среды для корректной постановки светового окружения виртуальных объектов.
• Обнаружение 2D-объектов: горизонтальных, вертикальных и наклонных плоскостей. То есть, к примеру, столов и стен.

• Интеграция с Unity и Unreal Engine.

Reality Composer – редактор для создания 3D-моделей.

RealityKit –рендеринг и анимация.

Поддерживаемые платформы: iOS 11.0 и выше.

Цена: бесплатно.

ARCore

На ARKit компания Google ответила своей разработкой – ARCore.

• ARCore использует камеру телефона для определения функциональных точек и изменения их положения во времени. Визуальная информация комбинируется с данными, полученными от датчиков, для вычисления положения и ориентация телефона в пространстве.
• Обнаружение плоских и наклонных поверхностей.
• Автоматическая регулировка освещенности. Например, если вы находитесь в комнате с тусклым освещением, ARCore автоматически скорректирует изображение.
• Привязка виртуальных объектов (котенок) к физическим объектам (стол). Если выйти из комнаты и вернуться, котенок останется на прежнем месте.
• Интеграция с Unity и Unreal Engine.

Поддерживаемые платформы: Android 7.0 и выше, iOS 11 и выше.

Цена: бесплатно.

Vuforia

Официальный сайт. Особенности:

• Распознавание текста и различных типов визуальных объектов (коробка, цилиндр, плоскость).
• Поддерживает создание маркерных и безмаркерных AR.
• 3D-сканирование окружения.
• Обнаружение нескольких объектов.
• Режим Simulation Play, позволяющий проходить сквозь или вокруг 3D-модели и наблюдать за этим на компьютере.
• API: C# для Unity, С++ для iOS, Java для Android.

Поддерживаемые платформы: Android 4.4.4 и выше, iOS 11 и выше.

Цена: от 99$/мес.

EasyAR

Официальный сайт. Характеристики:

• Сканирование среды и генерация 3D-сетки в реальном времени.
• Совместимость с Android смартфонами, которые ARCore не поддерживает.
• Отслеживание 3D объектов.
• Распознавание и отслеживание плоских изображений в режиме реального времени.
• Запись экрана в форматах H.264/AAC/MP4.
• Интеграция с Unity.

Поддерживаемые платформы: Android, iOS.

Цена: бесплатно.

Lens Studio

Официальный сайт. Возможности:

• Отслеживания лица, шеи, локтей, рук.

• Изменение цвета волос и наложение масок на лица.

• Отложенная публикация «линз».

• Создание 3D-моделей без написания кода в Material Editor.

Поддерживаемые платформы: Snapchat.

Цена: бесплатно

Spark AR

Официальный сайт. Функции:

• Создание масок для Instagram.

• Цветовые фильтры.

• Трекинг лица, частей тела.

Поддерживаемые платформы: Instagram.

Цена: бесплатно

Виртуальная реальность (англ. virtual reality) – компьютерная симуляция альтернативной реальности.

Источник: http://proglib.io/p/gayd-po-virtualnym-miram-ar-i-vr-2020-04-02

2.1. Виды VR

Автономная VR работает сама по себе, без необходимости использования дополнительного внешнего оборудования (компьютер, консоль), например, Oculus Quest. Всё, что нужно, – это гарнитура и контроллеры VR.

Oculus Quest

VR на базе ПК – это любые гарнитуры, требующие постоянного подключения к ПК, такие как: PC Oculus Rift S, Valve Index, HTC Vive, Pimax и Windows Mixed Reality.

HTC Vive

Когда говорят о VR для консоли, обычно имеют ввиду PlayStation VR для PlayStation 4.

Источник: http://proglib.io/p/gayd-po-virtualnym-miram-ar-i-vr-2020-04-02

Что такое дополненная реальность?

Используя дополненную реальность (AR), мы смотрим на мир не напрямую, а через какой-то «фильтр», который встраивает в настоящий мир виртуальные объекты так, будто они действительно там находятся. В отличие от виртуальной реальности, настоящий мир не уходит из поля зрения, а «дополняется», что и отражается в термине.

Чаще всего в качестве «фильтра» для AR используется смартфон или планшет. Сферы применения здесь самые разные. Может использоваться в обучении, играх, навигации, искусстве, рекламе, музеях, ивент-сфере, ритейле.

Реже встречающийся способ – AR на больших экранах: обычно применяется в торговых центрах, на остановках в рамках рекламных кампаний и т.п. Экран становится либо «окном», в котором помимо обратной стороны показываются дополнительные объекты, либо «телевизором», показывающим зрителей и виртуальные объекты рядом.

Еще более редкий, но известный благодаря футуристичности способ – очки дополненной реальности. Используются в основном на производствах, в обычной жизни вы их скорее всего не встретите. По крайней мере не сегодня.

Источник: http://helmeton.ru/blog/technologii-ar-vr/

Правда, что VR и AR наиболее популярны в индустрии развлечений?

Видеоигры и фильмы — действительно, самые распространенные форматы, адаптированные для виртуальной реальности. Воспользовавшись иммерсивной гарнитурой, пользователь может оказаться, например, в Антарктиде или среди динозавров. Не так давно появились продвинутые интерактивные VR-развлечения — командные игры с полным погружением, свободой движения без ограничений в виде проводов. Дополненная реальность тоже используется в играх: например, известное приложение Pokemon GO работает как раз по принципу AR. Пользователь смотрит на окружающий мир через камеру и экран гаджета, а приложение накладывает на реальность дополнительные объекты — покемонов, которых надо ловить, а потом тренировать. С помощью дополненной реальности создают интерактивные книги, открытки, раскраски, разрабатывают приложения для музеев, экскурсий по городу и многое другое.

4

Источник: http://trends.rbc.ru/trends/industry/5db179279a79472d7aa9e58a

Это только для игр?

5

Источник: http://trends.rbc.ru/trends/industry/5db179279a79472d7aa9e58a

Маркетинг

Возможность показать продукт лицом, создать связь между человеком и брендом, показать “внутреннюю кухню” компании. Это может быть корпоративная игра, которая знакомит с ценностями компании, показывает офисы, сотрудников, производство. В виртуальной реальности вы можете предоставить мгновенный доступ ко всему ассортименту продукции, легко поменять и адаптировать свои приложения, добавлять новый контент и ассортимент. Также всегда есть возможность создавать и адаптировать контент под разные типы клиентов. А дополненная реальность позволяет взаимодействовать с пользователями удаленно, в соц.сетях или собственных мобильных приложения, используя смартфон пользователя.

Продажи

Благодаря виртуальной и дополненной реальности человек может в любой момент посмотреть “товар лицом”. Виртуальный шоу-рум позволяет демонстрировать даже самую большую ассортиментную линейку. VR также позволяет дистанционно подключать к демонстрации продукта реальных продавцов. Таким образом небольшой шлем виртуальной реальности превращается в масштабный центр продаж. VR эффективен для b2b и для b2c сегмента, разница только в визуализации продукта. Если ваш продукт можно изменять, то VR и AR отлично показывают, как это будет выглядеть. Для многих продуктов AR позволяет не только показать, но и примерить: очки на себе или мебель в своей квартире.

Источник: http://helmeton.ru/blog/technologii-ar-vr/

Культура и туризм

Это два сектора, в которых с особенной силой проявляются творческий и финансовый потенциалы иммерсивных технологий.

Из музеев со всего мира постоянно приходят известия о внедрении дополненной реальности для оживления картин, справок об экспозициях, навигации по крупным выставочным центрам, подобным Эрмитажу или Лувру.

Одним из самых интересных музейных опытов с технологией виртуальной реальности является метамузей Artheon, в котором собраны тысячи оцифрованных произведений искусства из нью-йоркского Метрополитен-музея, амстердамского Рейксмюсеум и с сайта Artsy.net. Стоит отметить, что это не замена настоящему путешествию, а скорее приглашение увидеть всё своими глазами.

Об интересе к подобным приложениям со стороны туристов уже не спорят. Власти городов мира наперебой внедряют различные решения для маршрутизации туристических потоков: проводят по улицам линии, организовывают экскурсии, составляют карты. А тем временем технологии плавно подготовились к тому, что турист поднимет смартфон и увидит перед собой маршрут со всеми пояснениями. Это работает именно так — просто и интуитивно.

В туризме особое место занимает вопрос демонстрации мест назначения, будь то номера в отелях Турции или парки в Нижнем Новгороде. Каждый турист желает знать, хорошо ли ему будет в месте, в которое он отправляется. Отели и турфирмы организуют 360-градусные съёмки богатых отельных холлов, номеров и живописных побережий — это помогает клиенту принять решение о покупке. Стоит упомянуть и риэлторов, самые богатые из которых готовы заказывать такие съёмки, а также создавать компьютерные трёхмерные модели объектов, в цене которых теряются затраты на оцифровку.

Кейсы:

• популяризация достопримечательностей, культурных объектов любого рода;
• стимулирование людей к посещению музеев, отелей, курортов;
• повышение эффективности услуг по продаже и аренде недвижимости;
• поддержка туризма в целых регионах;
• управление туристическими потоками.

Источник: http://holographica.space/articles/ar-vr-smart-cities-11731

2.4. VR через веб-браузер

WebGL – кроссплатформенный API для 3D-графики в браузере. Исполняется как элемент HTML5 и поэтому является полноценной частью объектной модели документа (DOM API) браузера. Может использоваться с языками программирования, поддерживающими DOM API: JavaScript, Rust, Java, Kotlin и др.

Для упрощения работы с WebGL существуют различные фреймворки. Все они распространяются под свободной лицензией (MIT, Apache 2 или BSD), написаны на JavaScript и имеют сходный набор функций: работа с геометрией, материалом, светом, анимацией, камерами, шейдерами, текстом и 3D-аудио. Вот некоторые из них:

• three.js – сайт, GitHub, MIT.

• Babylon.js – сайт, GitHub, Apache 2.

• A-Frame – сайт, GitHub, MIT.

• PlayCanvas – сайт, GitHub, Apache 2.

• React 360 – сайт, GitHub, BSD.

• AR.js – GitHub, MIT.

Источник: http://proglib.io/p/gayd-po-virtualnym-miram-ar-i-vr-2020-04-02