В декабре 2016 года стартовал проект по разработке программно-аппаратного комплекса для экспресс-оценки изменения эмоционального восприятия группы респондентов и ее визуализации в режиме реального времени. Реализация проекта осуществляется при поддержке Федерального государственного бюджетного учреждения «Фонд содействия развитию малых форм предприятий в научно-технической сфере» (Фонд содействия инновациям).
Название проекта:
Разработка и тестирование мультимодальной карты группового восприятия на основе нейро- и биометрических данных (Мультимодальная карта эмоционального восприятия).
Задачи проекта:
1. Разработка специализированной нейрогарнитуры, обеспечивающей комфортное и качественное прилегание датчиков к голове для получения устойчивого электроэнцефалографического и полиграфического сигналов.
2. Разработка методики анализа и алгоритмов интерпретации снимаемых биоэлектрических сигналов мозга и вегетативных реакций с группы респондентов (до 20 человек) для расчета интегральных показателей эмоционального состояния.
3. Разработка программного обеспечения, реализующего данную методику и визуализацию результата.
В июне 2017 года был завершен 1-й промежуточный этап реализации проекта.
Результаты проведенных работ:
1. Разработана работающая модель АПК оценки эмоционального воздействия длительного аудиовизуального контента. Модель АПК демонстрирует возможность регистрации биоэлектрических сигналов мозга, их анализ и интерпретацию в режиме реального времени, с последующим отображением показателей эмоционального состояния группы респондентов до 25 человек. Определены точки крепления электродов для регистрации необходимых нейрофизиологических сигналов. Заключен договор на производство усилителей сигнала электроэнцефалограммы, фотоплетизмограммы и КГР. Заключен договор на производство корпусов нейрогарнитуры, обеспечивающих комфортное прилегание датчиков и не сковывающих движения респондентов.
2. Разработаны алгоритмы реализации методики оценки эмоционального воздействия длительного аудиовизуального контента. Получены следующие показатели эмоционального состояния:
a. Валентность (знак) эмоции - направление изменения эмоционального состояния испытуемого в ответ на предъявление стимула (отрицательное или положительное эмоциональное переживание).
b. Индекс интереса - отражает когнитивную увлеченность смысловой составляющей стимула.
c. Индекс зрительного внимания - на физиологическом уровне отражает активацию зрительной коры в процессе восприятия визуального стимула. На психологическом уровне этот показатель отражает, насколько внимательно и осознанно человек сморит на те стимулы, которые предъявляются.
d. Индекс синхронности - отражает синхронность изменения эмоционального состояния у всех респондентов, рассчитанный по показателю «коэффициент синхронизации» и «отношение общего количества положительных к общему количеству отрицательных корреляций».
e. Индекс утомления - отражает когнитивное напряжение при просмотре стимульного материала. Когнитивное утомление возникает в результате длительной и (или) интенсивной умственной нагрузки. При когнитивном утомлении происходит замедление процессов передачи информации, ухудшение когнитивных функций, ослабление сенсорного восприятия и моторной функции.
3. Разработана пилотная версия программного обеспечения для АПК.
Программное обеспечение имеет модульную структуру и состоит из следующих модулей:
a. Модуль подключения нейрогарнитуры.
b. Модуль мультипликации нейрогарнитур.
c. Модуль обработки эмоционального восприятия одного респондента.
d. Модуль агрегации эмоциональных данных.
e. Модуль отображения карты эмоционального восприятия.
f. Модуль хранения данных.
g. Модуль управления.
h. Модуль проигрывания видео.
i. Модуль связи.
Модули комбинируются в несколько отдельных программ. В состав программной части АПК входят:
a. программа сервера постобработки, визуализации и управления (СПВУ)
b. программа клиент респондента (КР)
c. программа проигрывателя видео (ПВ)
4. Изготовлен макет АПК и проведено тестирование макета АПК.
Макет АПК представляет собой комплекс оборудования, демонстрирующего возможность технологии регистрации биоэлектрических сигналов мозга, их анализ и интерпретацию в режиме реального времени, с последующим отображением показателей эмоционального состояния группы респондентов до 25 человек.
Составные части макета АПК:
a. Беспроводной приемник ABM B-Alert X-24 (5 шт.)
b. Электроэнцефалограф ABM B-Alert X-24 (5шт.)
c. Персональный компьютер (1 шт.)
d. Монитор LG 23MP67D-P (2 шт.)
e. Система крепления электродов (5 комплектов).
Тестирование макета АПК показало работоспособность технологии, существенных недостатков не выявлено.