Дополненная реальность
Допо́лненная реа́льность (англ. augmented reality, AR[1] — «дополненная реальность») — результат введения в зрительное поле любых сенсорных данных с целью дополнения сведений об окружении и изменения восприятия окружающей среды.
Сущность и происхождение[править | править код]
Дополненная реальность — воспринимаемая смешанная реальность, создаваемая с помощью компьютера с использованием «дополненных» элементов воспринимаемой реальности, когда реальные объекты монтируются в поле восприятия.
Среди наиболее распространенных примеров дополнения воспринимаемой реальности — параллельная лицевой цветная линия, показывающая нахождение ближайшего полевого игрока к воротам при телевизионном показе футбольных матчей, стрелки с указанием расстояния от места штрафного удара до ворот, «нарисованная» траектория полета шайбы во время хоккейного матча, смешение реальных и вымышленных объектов в кинофильмах и компьютерных или гаджетных играх и т. п.
Предположительно, термин «дополненная реальность» был предложен исследователем корпорации Boeing Томом Коделом (англ. Tom Caudell) в 1990 году[2]. Том Кодел употреблял термин, описывая цифровые дисплеи, которые использовались при постройке самолётов. Сборщики носили с собой портативные компьютеры, могли видеть чертежи и инструкции с помощью шлемов, имеющих полупрозрачные дисплейные панели[3]
Существует несколько определений дополненной реальности: исследователь Рональд Азума (англ. Ronald Azuma) в 1997 году определил её как систему, которая[4]:
- совмещает виртуальное и реальное;
- взаимодействует в реальном времени;
- работает в 3D.
В 1994 году Пол Милгром (англ. Paul Milgram) и Фумио Кисино (англ. Fumio Kishino) описали континуум «виртуальность-реальность» (англ. Milgram's Reality-Virtuality Continuum)[5] — пространство между реальностью и виртуальностью, между которыми расположены дополненная реальность (ближе к реальности) и дополненная виртуальность (ближе к виртуальности). Дополненная реальность — результат добавления к воспринимаемым как элементы реального мира мнимых объектов, обычно в качестве вспомогательной информации.
Иногда в качестве синонимов используют термины «расширенная реальность», «улучшенная реальность», «обогащённая реальность», «увеличенная реальность». Такое использование названных терминов в общем случае неправильно, — термины «расширенная реальность», «увеличенная реальность», «обогащённая реальность» применимы лишь для обозначения определённых форм и аспектов практического применения дополненной реальности, тогда как применимость термина «улучшенная реальность» вовсе сомнительна.
Механики дополненной реальности[править | править код]
- Привязка к маркеру — механика, при которой объект в дополненной реальности появляется при наведении камеры на физический оригинал. Контент дополненной реальности запускается, когда в поле зрения камеры появляется определённый триггер. Маркером могут являться: изображения, логотипы, фотографии, звуки.
- Привязка к плоскости — механика, при которой объект в дополненной реальности появляется в пространстве, привязанный к определённой точке, выбранной устройством в результате сканирования. Распознаются как горизонтальные, так и вертикальные плоскости. Такая механика применяется, когда нет необходимости держать маркер в поле зрения устройства.
- Привязка к геолокации — механика, при которой объект в дополненной реальности появляется в определённой точке города. Маркером в таком случае является геолокация — координаты.
- Порталы — механика, при которой в дополненной реальности появляется пространство в режиме 360°. Пространством может служить фото-, видео-материалы, а также отрисованные в графике.
- Взаимодействие с физическим объектом — механика, при которой на физическом оригинале появляются дополнительные элементы в дополненной реальности. Триггер в такой механике — физический объект. Для этого создается цифровая копия физического объекта в 3D пространстве.
- Интеграция реалистичных персонажей — механика, при которой реальный объект помещён в дополненную реальность. Такого эффекта можно достичь несколькими способами: • 2D видео — реальный объект снимают на хромакее с ракурса человеческого роста, в графическом редакторе удаляется фон и изображение помещается в AR-среду под прямым углом к зрителю. При попытке зрителя обойти объект, он поворачивается к зрителю одной и той же стороной, сохраняя иллюзию объёма. • 4D съёмка — студийная съёмка с использованием набора специальных камер, захватывающих объект в движении. В результате съёмки получается реалистичная анимированная 3D-модель, готовая для интеграции в AR-среду.
- Расширенный функционал — механика, которая позволяет добавить интерактив. Возможности: запуск анимации по нажатию, ведение диалога с персонажем, переход на сторонние веб-ресурсы и т.д.
- Мультиплеер — режим совместной деятельности нескольких устройств. Используется в играх, квестах, массовых презентаций и совместной работы дизайнеров и инженеров.
- Web AR — просмотр AR-контента в интернет пространстве. Существует два вида: • Просмотр в браузере • Загрузка приложения напрямую на устройство
Развитие технологии дополненной реальности[править | править код]
- Распознавание объектов в реальном времени. Используется совмещение технологий AR и ML для помощи слабовидящим и слепым людям. При наведении смартфона на объект, приложение определяет его и воспроизводит название в звуке.
- 6D ai-окклюзия. Технология построения сетки окружающего пространства, в которой работают не только плоскости, но и глубинная карта окружения, благодаря которой объекты в дополненной реальности могут вести себя относительно положения реальных объектов.
- Реалистичное 3D-сканирование.
Проблемы в развитии дополненной реальности[править | править код]
«Как и у любой технологии, у AR и VR есть обратная сторона: пока их довольно тяжело использовать. От ношения AR-очков за целый день очень устают глаза, особенно это было заметно в ранних версиях устройств; кроме того человеку поступает значительно больше информации. Но в будущем люди к этому адаптируются — параллельно с развитием технологий», — говорит[6] футуролог Роберт Скоубл. Другая проблема современной дополненной реальности — неудобство в использовании AR-очков из-за их громоздкого размера, а также высокая цена таких устройств. Очки же для широкой аудитории, которые дешевле и больше распространены (например, Google Glass) — маломощны, поэтому не могут выполнять множество функций[7]. Подробнее с этим можно ознакомиться в данной статье [8].
Литература, кинематография и телевидение[править | править код]
Первые приёмы дополненной реальности, не получив тогда такого наименования, нашли широкое применение в фантастической литературе и связанном с ней изобразительном искусстве в жанре альтернативная история, а также в продукции телевидения и кинофильмах, где смешаны и взаимодействуют реальные объекты и персонажи с таковыми же, созданными мультипликацией и компьютерной графикой.[9]
Мобильные технологии[править | править код]
Существует множество программных продуктов для мобильных устройств, которые позволяют при помощи дополненной реальности получить необходимые сведения об окружении: браузеры дополненной реальности[10] и специализированные программы для отдельных сервисов, компаний или даже единственных моделей. Само распространение дополненной реальности и нарастающая известность технологии среди потребителей связаны с тем, что вычислительная мощность и набор датчиков в аппаратных платформах для смартфонов и планшетов-компьютеров позволяют производить наложение любых цифровых данных на получаемое в реальном времени со встроенных в устройства камер изображение. Часть решений в этой области воплощается в виде нательных компьютеров (в том числе в качестве элементов умной одежды) для постоянного контакта со средой дополненной реальности.
Корпорация Google работает над гарнитурой Project Glass (одна из первых попыток вывести дополненную реальность в потребительский сектор, 2013 год, заморожена разработка в 2015 году. Параллельно шла разработка платформы для дополненной реальности Tango, выпущена в 2016 году[1]), а Vuzix — над Smart Glasses M100. Microsoft в 2016 году выпустила Hololens для бизнеса и профессионалов. В июне 2017 года Apple анонсировала платформу ARKit[1]. Аналогичные разработки ведут другие крупные компании, включая Canon с AR-очками для профессиональных дизайнеров MREAL[11], а также многие начинающие компании. В связи с тем, что мобильные приложения широко распространены и легкодоступны по сравнению с handsfree, технология дополненной реальности рассматривается именно в области мобильной разработки.[12]
Медицина[править | править код]
В современных лапароскопических операциях изображение на эндоскопе дополняется изображением, полученным во время интраоперативной ангиографии. Это позволяет хирургу точно знать, где находится опухоль внутри органа, и таким образом минимизировать потери здоровой ткани органа пациента во время операции по удалению опухоли[13].
Военная техника[править | править код]
В современных боевых самолетах и вертолетах часто используется индикация на лобовом стекле или на шлеме пилота. Она позволяет пилоту получать наиболее важную информацию прямо на фоне наблюдаемой им обстановки, не отвлекаясь на основную приборную панель[14]. Это позволяет, например, сэкономить драгоценные секунды во время маневренного воздушного боя. Многие подобные системы позволяют осуществлять целеуказание путём поворота головы или движения глазных яблок.
Широкое распространение получают и тактические системы дополненной реальности для экипажей боевых машин, танков, солдат, действующих в пешем порядке. Примером такого рода является американская нашлемная система ARC4. В перспективе для синтеза соответствующих символов дополненной реальности будут использоваться технологии искусственного интеллекта, что позволит оперативно маркировать цели, обеспечивая эффективное целеуказание, координацию и бесконфликтность совместного ведения огня[15].
Технология дополненной реальности является мощным инструментом оптимизации 3D-топологии хранилищ боеприпасов на местности с выбором совокупности боеприпасов в стеках и расстояний между ними на основе динамической визуализации зон рисков. Распространение информации о таких зонах позволит выбирать безопасные места дислокации и наименее рискованные маршруты передвижения подразделений в условиях угрозы взрыва хранилищ. Кроме того, на очках AR или соответствующих дисплеях могут отображаться сведения о состоянии и предыстории эксплуатации конкретных боеприпасов перед их отправкой в подразделения[16].
Игровая индустрия[править | править код]
Существуют компьютерные игры, производящие обработку видеосигнала с камеры и накладывающие на изображение окружающего мира дополнительные элементы. Например, в 2004 году была выпущена игра для мобильных телефонов с названием Mosquitos, представлявшая собой обычный видео режим камеры, но с наложенными поверх, прицелом и комарами, растущими в размерах, от которых «отстреливался» игрок. Комары генерировались на большой площади, выходящей за пределы обзора камеры, поэтому нужно было встать в комнате, и крутить телефон вокруг себя, чтобы "отыскать" комаров. [17].
В современном мире игры дополненной реальности получили широкое распространение на гаджетах, а также на игровых консолях. К середине 2016 года получила широчайшее распространение по миру и серьёзный общественный резонанс гаджетовая глобальная многопользовательская игра Pokémon Go[1] для интерактивной ловли покемонов в виртуально дополненном реальном мире — на реальных объектах по всей территории планеты. Американец Абхишек Сингх (англ. Abhishek Singh) перенёс в дополненную реальность целый уровень из Super Mario Bros. Также разработчики перенесли Minecraft в дополненную реальность[1].
Полиграфия[править | править код]
Дополненная реальность активно используется в печатной продукции благодаря распространению так называемых браузеров дополненной реальности[10] — в частности, Wikitude, JuliviAR, Layar, blippAR, ViliPhoto и других. В газеты, буклеты, проспекты, журналы и даже географические карты[18] помещаются изображения, служащие метками для последующей визуализации цифровых объектов. В роли дополняющей информации может выступать текст, изображения, видео, звук или трёхмерные объекты[19], статичные или анимированные — фактически, абсолютно любые цифровые данные. С помощью специальных программ-браузеров, установленных на планшеты и смартфоны, пользователи сканируют метки, получая доступ к дополнительному контенту.
В периодике дополненная реальность чаще всего используется для визуализации рекламы, в качестве привлекающего внимание аудитории маркетингового инструмента. Однако встречаются проекты, направленные на решение социальных задач: показательным примером здесь выступает инициатива японской газеты Tokyo Shimbun, тексты которой при помощи мобильных устройств адаптируются для детского восприятия, что направлено на создание общего информационного поля у детей и их родителей и укрепление связей в семье[20].
Анимированная дополненная реальность получила распространение в дошкольной обучающей литературе.
В качестве меток дополненной реальности могут использоваться штрих-коды, QR-коды, метки RFID[21].
Образование[править | править код]
Так же дополненная реальность не обошла и тему образования[22]. Применение технологий дополнительной реальности в образовании[23] набирает обороты и является перспективной практикой, обладающей разного рода преимуществами и способной улучшить эффективность преподавания различных дисциплин, в том числе иностранных языков[24]. Чтобы освоить язык, требуется проникнуть в культуру народа, которому этот язык принадлежит, приобрести иноязычные социокультурные компетенции. Дополненная реальность является одной из наиболее перспективных технологий, позволяющих решить этот вопрос.
Внедрение AR-технологий в российских высших учебных заведениях началось в 2015 году в программах Московского института открытого образования, а с 2017 года это направление стало развиваться Департаментом информационных технологий г. Москвы и Дальневосточным федеральным университетом[25].
Нейронные сети и дополненная реальность[править | править код]
Приложений, для создания так называемого green screen без green screen — выделение контура человека и его отделение от фото, созданных с помощью различных технологий, на рынке уже немало. Отделение контура человека от изображения позволяет подставлять новый фон, что может быть полезно для видеозвонков или создания более ярких и красочных изображений. Разработчики приложений вроде Prisma или Paper Artist также опираются на похожие технологии и используют нейронные сети, которые работают прямо на мобильном устройстве.
Примечания[править | править код]
- ↑ 1 2 3 4 5 Откуда не ждали Apple готовит замену iPhone . Дата обращения: 9 июля 2017. Архивировано 10 июля 2017 года.
- ↑ Brian X. Chen. If You’re Not Seeing Data, You’re Not Seeing (англ.). Wired (25 августа 2009). Дата обращения: 10 декабря 2010. Архивировано 25 августа 2011 года.
- ↑ Иванова А. Технологии виртуальной и дополненной реальности:возможности и препятствия применения // Стратегические решения и риск-менеджмент. — 2018. — Вып. 3 (108). — ISSN 2618-947X. Архивировано 20 июля 2020 года.
- ↑ R. Azuma, A Survey of Augmented Reality Архивная копия от 1 июня 2010 на Wayback Machine Presence: Teleoperators and Virtual Environments, pp. 355—385, August 1997.
- ↑ P. Milgram and A. F. Kishino, Taxonomy of Mixed Reality Visual Displays Архивировано 3 ноября 2009 года. IEICE Transactions on Information and Systems, E77-D(12), pp. 1321—1329, 1994.
- ↑ "8 предсказаний Роберта Скоубла о будущем AR/VR-технологий". Rusbase. Архивировано из оригинала 27 января 2018. Дата обращения: 27 января 2018.
- ↑ "Где будет использоваться дополненная реальность в 2018 году | Rusbase". Rusbase. Архивировано из оригинала 27 января 2018. Дата обращения: 27 января 2018.
- ↑ Котельева А.В., Барсов В.В. Проблемы и перспективы дополненной реальности. // Информационные системы и технологии: фундаментальные и прикладные исследования.. — 2017. — Т. 1, № 1. — С. 454-457.
- ↑ ЖУЙКОВА А.А., ГИЛЬМАНОВ Р.Ф., ИВАНОВА Н.А. ОСНОВНЫЕ АЛГОРИТМЫ КОМПЬЮТЕРНОЙ ГРАФИКИ ГЕОМЕТРИЧЕСКОЕ МОДЕЛИРОВАНИЕ (рус.) // ЭКОНОМИКА И СОЦИУМ. — 2016.
- ↑ 1 2 Что делать начинающему AR-сёрферу: обзор браузеров дополненной реальности — ARNext.ru . Дата обращения: 26 марта 2013. Архивировано 10 января 2014 года.
- ↑ Canon представила очки дополненной реальности MREAL — ARNext.ru . Дата обращения: 26 марта 2013. Архивировано 10 января 2014 года.
- ↑ Наумова Е.Е. , Фокин A.A. Проблемы дополненной реальности в мобильных приложениях // МОЛОДЕЖНЫЙ НАУЧНО-ТЕХНИЧЕСКИЙ ВЕСТНИК : статья в журнале - научная статья. — 2014. — № 2. — С. 7.
- ↑ Laparoscopic Surgery — Siemens Healthcare Global . Дата обращения: 11 июля 2014. Архивировано 14 июля 2014 года.
- ↑ Психофизиологические проблемы разработки и эксплуатации нашлемных систем индикации . Дата обращения: 28 мая 2009. Архивировано из оригинала 4 февраля 2020 года.
- ↑ Slyusar, Vadym Artificial intelligence as the basis of future control networks. Coordination problems of military technical and devensive industrial policy in Ukraine. Weapons and military equipment development perspectives/ VII International Scientific and Practical Conference. Abstracts of reports. - October 8–10, 2019. - Kyiv. - Pp. 76 - 77. (2019). Дата обращения: 28 апреля 2020. Архивировано 26 июня 2021 года.
- ↑ Slyusar, Vadym Augmented reality in the interests of ESMRM and munitions safety. Coordination problems of military technical and devensive industrial policy in Ukraine. Weapons and military equipment development perspectives/ VII International Scientific and Practical Conference. Abstracts of reports. - October 8–10, 2019. - Kyiv. - Pp. 193 - 194. (2019). Дата обращения: 28 апреля 2020. Архивировано 17 октября 2021 года.
- ↑ sharonxy. M mosquitoes - Molla 7650 Symbian camera game (17 сентября 2011). Дата обращения: 16 ноября 2017. Архивировано 8 ноября 2021 года.
- ↑ Канадский стартап начал продажу детских географических AR-карт Архивная копия от 10 января 2014 на Wayback Machine — ARNext.ru
- ↑ ИСАЕВ АНДРЕЙ ЛЬВОВИЧ, АНДРОСОВА ЕКАТЕРИНА ЕВГЕНЬЕВНА. КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕ КОМБИНАЦИИ ИЗ ТРЕХМЕРНЫХ ОБЪЕКТОВ (рус.) // ЭКОНОМИКА И СОЦИУМ. — 2016.
- ↑ Газета Tokyo Shimbun адаптирует тексты для детей Архивная копия от 10 января 2014 на Wayback Machine — ARNext.ru
- ↑ Яковлев Б. С., Пустов С. И. Классификация и перспективные направления использования технологии дополненной реальности // Известия Тульского государственного университета. Технические науки. — 2013.
- ↑ Бутов Р.А. Дополненная реальность: перспективы использования в образовании. // Труды 60-й Российской научной конференции МФТИ. — 2017. — Т. 1, № 1. — С. 19-20.
- ↑ Алексанова Л.В. Применение технологии дополненной реальности в образовании // ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В ЭКОНОМИКЕ, ОБРАЗОВАНИИ И БИЗНЕСЕ : статья в сборнике трудов конференции. — 2014. — Т. 1, № 1-1 (11). — С. 237-243.
- ↑ Коннова З. И., Семенова Г. В. Роль технологии дополненной реальности в процессе развития социокультурной компетенции при обучении иностранному языку // Известия Тульского государственного университета. Гуманитарные науки. : журнал. — 2022. — № 2. — С. 74.
- ↑ Семенова Г. В. Опыт применения технологий дополненной и виртуальной реальностей в образовательном процессе // Известия Тульского государственного университета. Педагогика. : журнал. — 2022. — № 1. — С. 58.