Scientific journal
Научное обозрение. Педагогические науки
ISSN 2500-3402
ПИ №ФС77-57475

APPLICATION OF VIRTUAL AND AUGMENTED REALITY TECHNOLOGY IN EDUCATIONAL PROCESS: ISSUES AND PERSPECTIVES

Andrushko D.Yu. 1
1 Ufa State Aviation Technical University
In 2017, under the order of President of the Russian Federation the Strategy for the Development of the Information Society in the Russian Federation for 2017-2030 was approved, which defines goals, objectives and measures for the implementation of domestic and foreign policy in the field of information technology. By order of the Government of the Russian Federation, a digital economy program was approved, in which key information technologies were listed, including technologies of virtual and augmented reality. This article identifies and discusses the use of virtual and augmented reality in the educational process, describes the main problems, solutions and prospects. The practical significance of the work lies in the fact that the research materials can be used in educational institutions for successful learning based on virtual and augmented reality technologies, as well as by developers when creating training programs and simulators based on the described technologies. The article also describes successful cases of using technologies of virtual and augmented reality in various spheres of human activity, including the example of Ufa State Aviation Technical University (USATU). Attention is paid to studies that experimentally tested the effectiveness of the use of technology in the educational process.
virtual reality
augmented reality
educational process
information technology
digital economy

«Тенденции развития современного общества, развитие компьютерных технологий, глобализация и информатизация затрагивают все сферы общественного устройства, в том числе и образование. Смысл, назначение и миссия современного образования – не просто получение базовых знаний и необходимых навыков и умений, – это выработка культурного кода, самостоятельного подхода к усвоению новых знаний, культурных ценностей, новых форм и видов деятельности» [1]. Виртуальная и дополненная реальность относятся к перечню ключевых информационных технологий цифровой экономики [2, 3]. Эксперты прогнозируют рост рынка VR/AR-технологий и считают одним из перспективных [4, 5].

Стратегия развития информационного общества предполагает подготовку специалистов в области информационных технологий [2]. В настоящее время для решения данной задачи используются инновационные методы, которые позволяют более эффективно усваивать новые знания с высокой степенью вовлеченности в образовательный процесс. К ним относят в том числе технологии виртуальной и дополненной реальности, то есть они могут являться как инструментом обучения, так и объектом исследования.

Материалы и методы исследования

Виртуальная реальность (virtual reality, VR) – совокупность программно-аппаратных средств, которые позволяют воспроизводить искусственный мир и транслируют его в сознание пользователя посредством воздействия на органы чувств (зрение, слух, тактильные ощущения, положение в пространстве и т.д.). Виртуальная реальность также предоставляет инструменты взаимодействия с объектами, которые в ней находятся (интерактивность), в отличие от кинематографа, где конечный пользователь является пассивным наблюдателем.

Полное погружение в виртуальную реальность обеспечивают специальные устройства. Для передачи зрительной информации применяются шлемы, очки, комнаты виртуальной реальности (CAVE). Многоканальная акустическая система позволяет пользователю ориентироваться на слух в пространстве. Имитация тактильных ощущений используется в устройствах с обратной связью. Взаимодействие с объектами виртуальной реальности обеспечивают манипуляторы, специальные перчатки и костюмы, которые также можно использовать для передачи тактильных и температурных ощущений. Камеры отслеживают как положение отдельных частей тела (конечности, голова, глаза), так и все вместе в совокупности (походка, анимация движения по контрольным точкам).

В процессе обучения степень усвоения материала зависит от степени вовлеченности обучающегося. Также установлено, что человек запоминает многократно повторяемую или воздействующую на несколько органов чувств информацию. Это утверждение подтверждается исследованиями Р. Карникау и Ф. Макэлроу [6], которые создали модель «Пирамиды обучения» (рис. 1).

andr1.tif

Рис. 1. Пирамида обучения

Любой визуальный материал помогает сфокусировать внимание обучающегося. Представление сложных процессов в виде совокупности простых элементов, графиков или диаграмм упрощает их понимание. Совместное обсуждение позволяет изучить проблему с разных точек зрения, а активное участие помогает запомнить важные детали за счет многократного повторения информации.

По мнению Р. Карникау и Ф. Макэлроу, самыми лучшими способами усвоения материала являются обучение других людей или применение полученных знаний в практической деятельности. Как правило, в учебных заведениях для применения теоретических знаний используются лабораторные работы, производственные практики и другие формы учебной деятельности. Но, к сожалению, на практике обучающиеся сталкиваются с определенными трудностями, связанными с техническими, материальными ограничениями, которые не предполагают полноценного эксперимента. Например, ограниченный бюджет не позволяет иметь дорогостоящее оборудование и поддерживать его в приемлемом состоянии, достаточном для проведения эксперимента. Также специфика некоторых видов деятельности предполагает высокий уровень компетенции исполнителя и связана с высоким риском для здоровья. В частности, обучающийся может не получить допуск к технологической установке в связи с рисками по технике безопасности, ведь он не обладает необходимыми навыками её эксплуатации.

Технология виртуальной реальности позволяет создавать как реальные, так и вымышленные миры с учетом всех свойств и особенностей поведения объектов, что открывает широкие возможности её применения в различных сферах человеческой деятельности.

В июле 2018 г. врачи скорой отделения неотложной помощи в парижской больнице стали применять очки виртуальной реальности в терапевтических целях. VR-очки помогают отвлечь внимание пациента и спокойнее переносить неприятные медицинские процедуры без применения обезболивающих средств. Пациент надевает гарнитуру виртуальной реальности и переносится в спокойное умиротворяющее место [7].

Дополненная реальность (augmented reality, AR) является результатом добавления в реальный мир мнимых объектов для отображения дополнительной информации и повышения восприятия информации. Дополненная реальность преображает реальный мир, а виртуальная реальность воспроизводит искусственный. На стыке виртуального и реального мира возникает смешанная реальность.

В январе 2018 г. канадская компания CAE разработала симулятор LucinaAR, который призван помочь акушерам отработать технику приема родов при различных вариантах родовых осложнений [8]. Симулятор представляет собой детальные манекены младенца и матери, а также AR-очки HoloLens, которые помогают увидеть движение плода и оценить правильность выполняемых действий.

Например, симулятор можно использовать для обучения акушеров правильным действиям при плечевой дистоции, которая встречается один раз на тысячу случаев. Если врач знаком с техникой правильного освобождения плеча младенца, то существенно повышаются шансы на успешные роды. Поэтому использование детальной симуляции с дополненной реальностью является одним из способов подготовки акушеров.

Использование виртуальной и дополненной реальности имеет смысл, когда альтернативные методы являются трудновыполнимыми, неэффективными или затратными. Кроме того, существует еще несколько аргументов в пользу использования VR/AR-технологий в образовании.

Трехмерная графика дает возможность наглядно смоделировать сложные процессы с необходимой детализацией, от движения космических тел до ядерных реакций. Также можно ускорить или замедлить скорость протекания процесса. Точность и достоверность моделирования в виртуальной реальности ограничена лишь вычислительной мощностью и научными познаниями о моделируемом процессе или явлении.

Устройство виртуальной реальности можно использовать в качестве тренажера для отработки сложных и опасных элементов, например, управление летательным аппаратом или оказание медицинской помощи, без риска для здоровья пользователя.

Виртуальная реальность также позволяет легко организовать процесс обучения в игровой манере [9] и отлично подходит для организации экскурсий по историческим достопримечательностям и эпохам, моделирования бизнес-кейсов.

Интерактивность и эффект полного погружения дает возможность проведения занятий в режиме виртуальной и дополненной реальности, что совместимо с дистанционным обучением.

Любой созданный виртуальный объект или процесс можно воспроизводить и использовать неограниченное количество раз без существенных материальных и временных затрат. На их производство и использование могут накладываться лицензионные ограничения авторских и смежных прав. Но всегда есть возможность создания и публикации материалов под свободной и открытой лицензией. Созданная виртуальная модель или тренажер не заменяет реальный объект или процесс, но позволяет подготовиться к реальной ситуации с максимально возможной детализацией.

Но, как и любая развивающаяся технология, VR/AR имеют свои недостатки, о которых также необходимо упомянуть. Побочными эффектами при длительных сеансах VR являются головные боли и головокружения, которые возникают из-за сенсорного несоответствия. Например, пользователь поворачивает голову, но из-за технических ограничений изображение транслируется с задержкой. Мозг и глаза пользователя перенапрягаются, чтобы устранить несоответствие между пространственной и зрительной информацией, что приводит к эффекту укачивания, аналогичному «морской болезни». Контрастные изображения, частые вспышки и другие триггеры могут спровоцировать приступ эпилепсии. Это серьезная проблема, производители VR-оборудования прекрасно осведомлены о ней, открыто предупреждают (чтобы избежать исков) и запрещают использовать VR-устройства детям младше 13 лет.

Пользователи с нарушениями зрения также могут испытывать дискомфорт при погружении в виртуальную реальность. Оптика распространенных шлемов и очков виртуальной реальности не может в полной мере учитывать все индивидуальные особенности зрения пользователя. Конечно, существуют исследования, направленные на решение этой задачи [10], но проблема имеет место быть.

Провода, подключенные к гарнитурам и шлемам виртуальной реальности, стесняют движения пользователя, поэтому логичным шагом является использование беспроводных устройств. При решении проблемы автономности возникает необходимость во вместительных аккумуляторах, которые увеличивают вес устройства, что снижает его эргономичность. Также для обеспечения комфортного использования необходимо избавиться от задержек, поэтому возникает потребность в мощном оборудовании, что приводит к увеличению стоимости комплектующих и снижению автономности устройства. В результате разработка комфортных и доступных устройств виртуальной реальности является непростой инженерной задачей.

Реальное пространство VR ограничено небольшой комнатой, поэтому пользователь рискует нанести себе травму при столкновении со стенами или предметами интерьера. Для решения этой проблемы в 2014 г. было выпущено устройство Virtuix Omni (рис. 2), которое представляет собой беговую дорожку и кольцо на уровне пояса, фиксирующее положение пользователя. Однако устройство не позволяет достичь полного погружения, потому что для перемещения по дорожке приходится прилагать немалые усилия. Разработчики в целях безопасности могут ограничить положение пользователя, усадив его за штурвал самолета, гоночного болида или в обычное офисное кресло.

andr2.tif

Рис. 2. Virtuix Omni

Корпорация Google решила пойти другим путем и запатентовала ботинки для перемещения в виртуальной или дополненной реальности (рис. 3). Моторизированные ботинки компенсируют перемещение пользователя, поэтому его положение не меняется. Также автоматически определяется доступное свободное пространство перед пользователем, и, если оно заканчивается, ботинки предупреждают о возможном столкновении.

andr3.tif

Рис. 3. VR-ботинки Google. Общий вид, функциональность и подошва

Создание адекватных моделей и реалистичных миров требует существенных материальных затрат и человеческих ресурсов. В разработке участвуют специалисты из различных сфер деятельности: программисты, художники, дизайнеры, эксперты предметной области и т.д. Поэтому разработка VR/AR-проектов является трудоемким и дорогостоящим процессом, на выходе получаем высокую себестоимость конечного решения.

Производители устройств виртуальной реальности выпускают пакеты интеграции с популярными игровыми движками Unity и Unreal Engine для облегчения процесса разработки. Однако у каждого производителя свои интерфейсы прикладного программирования (application programming interface, API) для разработки под конкретное устройство. Движок Unity поддерживает интерфейсы SteamVR API и Oculus API, но поддержка ограничена. Чтобы обеспечить совместимость для большинства VR-устройств, разработчики используют пакеты интеграции от каждого производителя, что приводит к увеличению сложности и времени разработки. Oculus выпустила новый пакет интеграции, который упрощает портирование приложений на устройства HTC Vive [11]. Однако поддержка данной функции экспериментальная и в любой момент может быть удалена или изменена по маркетинговым или иным соображениям. На текущий момент отсутствует единый программный стандарт разработки VR-приложений.

Результаты исследования и их обсуждение

На сегодняшний день существуют несколько направлений исследования, которые изучают применение VR/AR-технологий в образовательном процессе. Первое направление рассматривает виртуальную и дополненную реальность как часть информационных технологий, изучает вопросы создания VR/AR-приложений. Второе направление работ сосредоточено на разработке средств обучения с использованием технологий виртуальной и дополненной реальности. Последнее направление экспериментально проверяет эффективность использования подобных решений в образовательном процессе.

В рамках первого направления существует курс «Основы создания приложений с дополненной реальностью», который готовит учащихся 9–11 классов основам создания VR/AR-приложений. Рассматривается возможность проведения курсов для студентов по направлениям «Прикладная информатика» и «Педагогическое образование» с целью изучения основам разработки VR/AR-приложений и их применению в образовательном процессе [12].

В УГАТУ с 2013 г. на базе НИЛ ГАМЕТТ функционирует лаборатория трехмерной визуализации [13], которая представляет собой комнату виртуальной реальности. Лаборатория комплектуется всем необходимым VR-оборудованием и периферией, что позволяет отслеживать взгляд и движения пользователя, а также взаимодействовать с виртуальными объектами. Возможности лаборатории позволяют проводить сложные виртуальные опыты, отрабатывать технологические операции с прототипами систем и механизмами, в том числе при обучении специалистов для опасных/удаленных производств.

Комнату виртуальной реальности также можно использовать для повышения квалификации специалистов по моделированию, которое достигается в том числе с помощью анализа объектов моделирования. Например, кафедра технологии машиностроения использует для практических занятий по промышленному проектированию комнату виртуальной реальности. За студентом закрепляется определенный участок цеха, на котором нужно разместить оборудование согласно правилам и нормам техники безопасности. Каждый студент вносит вклад в общую модель цеха, которая оценивается отдельно. Таким образом, совместными усилиям студентов можно спроектировать целое предприятие.

Лаборатория дает возможность взаимодействовать нескольким специалистам из различных сфер знаний в одном виртуальном окружении. В частности, для визуализации расчетов сложной газодинамической среды студентами ОНФ была разработана соответствующая модель газоперекачивающей станции, которая подробно описывала поведение потоков воздуха с учетом искажения геометрии выходной трубы. Конечной целью модели являлась экспериментальная проверка гипотезы влияния геометрических искажений на технологический процесс.

Кроме того, учащимися и сотрудниками университета были разработаны модели авиационных двигателей, станции МКС, анатомический атлас и другие образовательные материалы, которые позволяют наглядным образом изучить предметную область рассматриваемой проблематики.

Для обоснования эффективности применения технологии дополненной реальности в образовании, в рамках курса информатики были проведены эксперименты с привлечением учащихся 5–6 классов московской гимназии № 1409 [14]. В первом эксперименте исследовалась гипотеза о том, что использование технологии дополненной реальности на занятии повышает эффективность изучения AR, по сравнению с лекцией об этой технологии. Второй эксперимент проверял гипотезу об эффективности изучения некоторых разделов курса информатики с использованием AR. В результате эксперимента автор исследования делает вывод, что общий уровень знаний в экспериментальной группе учащихся повысился в среднем на 23,1 % по сравнению с контрольной группой.

Компания VRARlab провела эксперимент, в котором приняли участие 153 человека: школьники 15–17 лет и их родственники. В рамках исследования был проведен урок по физике в виртуальной реальности [15]. Перед участниками эксперимента была представлена простейшая электрическая цепь. Потом испытуемые оказывались внутри проводника с подробной визуализацией строения атома, кристаллической решетки и процессом протекания электрического тока. Все происходящее комментировалось преподавателем в рамках лекции по данной теме. Для проверки остаточных знаний был проведен тест. Также участникам было предложено оценить эффективность использования виртуальной реальности в качестве учебного материала. По результатам исследования 91,5 % испытуемых успешно прошли тестирование, а 97,4 % положительно отнеслись к возможности использования данной технологии в образовательном процессе.

Заключение

Применение технологий виртуальной и дополненной реальности создает новые и более эффективные способы обучения, однако технические недостатки устройств и высокая стоимость конечных решений ограничивают её широкое применение в образовательном процессе. Приоритетной задачей является повышение эргономичности VR-оборудования и стремление к комфортному использованию устройства без существенного ущерба для здоровья.