Центр компетенций НТИ по направлению «Нейротехнологии, технологии виртуальной и дополненной реальности»

Центр НТИ на базе ДВФУ по направлению «Нейротехнологии, технологии виртуальной и дополненной реальности»

Деятельность Центра направлена на развитие таких передовых технологий и направлений, как виртуальная и дополненная реальность, цифровое проектирование и моделирование, UI/UX интерфейсы для VR/AR, нейроинжениринг, нейросистемы и вычисления.

Цели и задачи

Стратегические цели реализации программы Центра:

В научно-исследовательском направлении:
создание и внедрение в отечественные и зарубежные системы государственного и частного здравоохранения реабилитационного комплекса (программно-аппаратный комплекс) для пациентов различной этиологии с применением технологий виртуальной и дополненной реальности, систем захвата движения, систем обратной связи); виртуальных тренажеров для медицинских манипуляций; алгоритмов оцифровки пациентов на основе технологии точного трекинга.

По направлению образовательной деятельности:
создание универсальных научно-доказанных методик построения образовательного контента в виртуальной и дополненной реальности, создание и внедрение стандартов безопасности и санитарно-гигиенических требований, разработка платформенных решений для создания образовательного VR/AR-контента и международного маркетплейса образовательного VR/AR контента.

В инфраструктурном направлении:
создание программного обеспечения для оптимизации коммуникации между всеми участниками строительных проектов с помощью погружения заинтересованных лиц в виртуальную реальность, основанную на рабочей документации.

Для достижения этих целей Центр применяет и развивает следующие технологии:

Информационные модели зданий и сооружений (BIM), архитектурное проектирование, управленческие методологии (Agile, Scrum, Kanban), системы захвата движения, 3D-графика, рефакторинг, игровые механики, QA-тестирование, триангуляция Делоне, технологии биологической обратной связи, hand-tracking, full-body tracking, мио-электростимуляция, визуальное программирование, игромоделирование, геймификация, шейдирование объектов малого полигонажа, построение карт нормалей.

Результаты деятельности

Преодоление технологических барьеров

В 2020-2021 году проведена Всероссийская программа апробации образовательных VR/AR решений Центра НТИ и организаций-партнеров, результатом которой стало создание методической и методологической базы для образовательных VR и AR продуктов. Разработан проект стандарта правил использования контента в виртуальной и дополненной реальности при массовом использовании, который уже является обязательным приложением к лицензионным договорам, заключаемым Центром и его партнерами.

Значимые результаты научно-исследовательской деятельности

Специалистами Центра НТИ на базе ДВФУ разработан программно-аппаратный комплекс диагностики и лечения состояния опорно-двигательного аппарата пациента. В основе комплекса - метод биологической обратной связи с применением сквозных цифровых технологий – программного обеспечения, с элементами виртуальной реальности, и аппаратную часть костюм, с функцией чрескожной стимуляции, служащий интерфейсом взаимодействия пользователя в цифровой среде.
В 2021 году Центром было завершено клиническое исследование метода реабилитации пациентов с последствиями острого нарушения мозгового кровообращения и парезом верхней конечности с использованием указанного выше комплекса. Исследование проводилось на базе Центра восстановительной медицины и реабилитации ДВФУ. По результатам исследования было выявлено отсутствие побочных эффектов, нарастание амплитуды активных движений в парализованной руке, снижение мышечного тонуса, повышение эмоционального фона пациента.
В ноябре 2021 года впервые в России совместно с Сколковским институтом науки и технологий были проведены 2 операции по очувствлению протезов и лечению фантомных болей. В результате операции у пациентов было достигнуто снижение болевого синдрома на 70%-100%. Электроды, используемые для снижения боли, были также применены для создания системы очувствления протезов (передача информации с датчиков, установленных на протезах, в нервную систему). Исследование продолжается в 2022 году.
Был разработан комплекс интраоперационных упражнений для оценки нейрохирургического вмешательства и программное обеспечение трекинга кисти пациента. Программа “Нейровижен” в виде установочных дистрибутивов была предоставлена 6 клиникам по всей России для проведения апробации и сбора данных о пациентах с неврологическими патологиями. База данных пациентов возросла до 30 человек. На данный момент тестируется качество принятия машинного решения при постановке оценки, точность которого уже достигает 90%.
В 2021 году внедрен в образовательную индустрию комплекс образовательных тренажеров с использованием VR/AR для общего и среднего специального образования. Комплекс объединяет 4 программных продукта Центра:
1. VARVARA (диалоговый тренажер для изучения английского языка);
2. VR Chemistry LAB (виртуальная химическая лаборатория);
3. Физика. Магнетизм (интерактивный учебник по данному разделу школьного курса физики);
4. VR Space (сборник VR-задач для развития пространственного мышления и пропедевтики стереометрии).
В 2023 году был начат проект «Реабилитационный программно-аппаратный комплекс с применением VR&AR и интерфейсов с двухсторонней связью 2.0: реабилитация нижних конечностей». Сотрудниками Центра НТИ удалось реализовать рабочий прототип программы, что позволит в 2024 году приступить к клиническому исследованию метода.

Создание важных объектов инфраструктуры

В 2020 году для проведения Всероссийской апробации была создана платформа, позволяющая получить доступ к продуктам, участвующим в апробации, YouTube-канал для проведения вебинаров с разработчиками, а также телеграм-канал для оперативного общения участников апробации с сотрудниками Центра.

Внедрение и коммерциализация результатов деятельности Центра

В ходе проводимой в 2020/2021 учебном году Всероссийской программы апробации образовательных решений в виртуальной и дополненной реальности доступ к образовательным VR/AR решениям и тренажерам Центра получили более 1 000 школ. Всероссийская апробация позволила успешно презентовать образовательные тренажеры Центра и производить их внедрение уже на коммерческой основе.
В 2021 году в целях коммерциализации разработок Центра по направлению «Образование» был создан Центр технологий виртуальной и дополненной реальности в сфере образования. Для увеличения числа охватываемых образовательных организаций начато формирование дилерской сети, в которую уже входит более 20 партнеров.

Создание и лицензирование РИДов

В 2018-2023 гг. Центром создано 15 программ для ЭВМ, получено 2 патента на изобретение, 2 патента на полезные модели и 7 баз данных, было создано и зарегистрировано 26 РИД. Количество проданных лицензий в 2018-2021 гг. по направлению «Образование» боле 1 100. Полученный доход по лицензионным соглашениям Центра составил на сегодняшний день более 13 млн. руб.

Консорциум

В число участников консорциума Центра НТИ входит 40 организаций:

14 – вузов и научных организации;
24 – коммерческих организаций;
2 – некоммерческие организации.

Среди ключевых партнеров Центра:

Унитарное Предприятие «ВРТЭК Продакшен» участвует в проекте РЕМО (Реабилитационный программно-аппаратный комплекс с применением VR&AR) путем предоставления разработки «ВРТЭК Продакшен» - костюма с технологией обратной связи Teslasuit, который позволяет стимулировать мышцы и фиксировать результат реабилитации совместно с комплексом упражнений в тренажере виртуальной реальности от Центра НТИ.
ООО “ВИАР СУПЕРСОНИК” выступила в качестве партнера по реализации и разработке тренажера по английскому языку для 7-8 классов для общеобразовательных учреждений под названием VARVARA. Компания занималась разработкой технической части приложения: алгоритмом работы приложения, прорисовкой локаций, интерфейсом и т.д. Совместив работу партнеров с обширными методическими материалами и проработанными сценариями, Центр получил готовый полноценный VR-продукт.
Компания “СТЕМ-игры” занималась разработкой программы по оттачиванию практических навыков у выпускников 9 и 11 классов по предмету химия в самой безопасной виртуальной лаборатории. Компания также смогла реализовать свой технический потенциал и разработала программную основу для методических материалов по химии и основным экспериментам, в рамках подготовки к ЕГЭ и ОГЭ.

Проекты

1. Медицинское направление:

Реабилитационный программно-аппаратный комплекс с применением VR&AR и интерфейсов с двухсторонней связью - разработан программно-аппаратный комплекс с подключенным костюмом с функцией биологической обратной связи. В аппаратной части комплекса реализован такой функционал, как: инструмент оценки степени пост-инсультных поражений, раздел для долгосрочной реабилитации пациентов, система настроек параметров реабилитации под нужды конечных пользователей и врачей-реабилитологов, система статистики со всей информацией о ходе реабилитации, 3 VR локации для прохождения реабилитации. По результатам клинического исследования метода реабилитации с участием 30 человек были доказаны положительные динамики в: психоэмоциональном состоянии пациента, восстановлении мышечной активности, контроля качества выполнения упражнений, мониторинга биофизической активности и объема движений в суставах. Подготовлена демо-версия приложения для предоставления клиникам на апробацию.
Тренажер с применением технологий виртуальной реальности и методология для направленной хронической стимуляция спинного мозга (SCS) в реабилитации пациентов, перенесших осложненную спиномозговую травму – разработано программное обеспечение для реабилитации пациентов, перенесших осложненную спиномозговую травму. Проведены испытания образца на базе Медицинского Центра ДВФУ. Совместно с Казанским федеральным университетом, в коллаборации с клиникой Mayо проведены 7 операций (4 в октябре 2021 года) по хронической эпидуральной стимуляции спинного мозга (SCS – Spinal Cord Stimulation) с целью восстановления пациентов с клинически полной травмой спинного мозга. В 2021 году получено свидетельство на программу для ЭВМ «Программа для реабилитации пациентов после спинальной травмы с применением технологии виртуальной реальности».
Система оценки эффективности нейрохирургического вмешательства и реабилитации с использованием системы бесконтактного мониторинга позиционирования кисти - разработано комплексное решение на основе технологий компьютерного зрения и машинного обучения, призванное получать информацию, анализировать ее и выставлять оценку о различных неврологических дисфункциях человека. В процессе работы происходит анализ и интерпретация медицинских данных пациента с помощью встроенных в систему моделей искусственного интеллекта, алгоритмов, шкал и правил, в т.ч. созданных на основе клинических рекомендаций и других регламентирующих документов. По результатам работы выдаются оценки и рекомендации для пользователя, подтверждаемые различной семантической информацией. Полученные результаты применяются для поддержки врачебных решений на этапах сбора анамнеза, проведения нейрохирургических операций и дальнейших этапов реабилитации пациентов с неврологическими патологиями. Получено заключение локального комитета по биомедицинской этике Дальневосточного федерального университета на проведение исследований с отобранной группой пациентов на основании которого начинаются исследования по применению при интраоперационных тестах с пациентами и при диагностике нейродегенеративных заболеваний.
Формирование «цифрового портрета» нейродегенеративных заболеваний с использованием систем захвата движения и интерфейсов двухсторонней связи - разработан прототип онлайн-платформы для автоматизированного сбора и обработки данных, в том числе способный использовать технологии искусственного интеллекта, позволяющий улучшить качество оказываемой помощи за счет своевременных уведомлений и рекомендаций врачу о прогнозах развития болезни у пациентов на основе анализа видеозаписей выполняемого ими комплекса упражнений и данных обследований. Получено заключение локального комитета по биомедицинской этике Дальневосточного федерального университета о возможности проведения клинических исследований и сбора статистических данных.
Послеоперационная реабилитация верхних конечностей с применением VR - разработана методика реабилитации травм верхних конечностей с применением виртуальной среды по шкале Френчай. Разработан прототип программного обеспечения, упражнения прошли адаптацию по системе геймификации.

2. Промышленное направление:

Интеграция технологий виртуальной и дополненной реальности в технологический цикл проектирования - в результате проекта будет разработано программное обеспечение, обладающее свойствами погружения всех участников строительного процесса (подрядчиков, заказчиков, проектировщиков строительной продукции) в виртуальную реальность, основанную. на рабочей документации. С помощью разрабатываемого программного обеспечения можно будет создавать концептуальное проектирование архитектурного и дизайнерского бюро, проектировать объкты недвижимости, осуществлять строительной контроль и экспертизу проектов.

3. Образовательное направление:

Комплекс образовательных тренажеров с использованием VR/AR для общего и среднего специального образования - в настоящее время комплекс включает в себя разработанное и готовое к реализации программное обеспечение для поддержки изучения программ по: химии (8, 9 и 11 классы), физике (9 класс), английскому языку (5–9 классы) и математике (пропедевтика стереометрии, 7-9 класс).