«Наносемантика» участвует в проекте по созданию виртуального ассистента космонавта
Виртуальный ассистент "Лучик" (nanosemantics.ai)
Целью проекта, помимо отработки технологии создания, является выполнение экспериментальных исследований влияния условий космического полета на эффективность технологий распознавания и идентификации речи космонавта.
Потребность в голосовом виртуальном ассистенте на борту международной космической станции (МКС) обусловлена существенной нагрузкой на зрительный анализатор в ходе выполнения космонавтом полетной программы, а также большим объемом используемой на борту информации.
Ассистент предоставляет космонавту удобный интерфейс для доступа к различным информационным материалам, документации и базам данных. Более того, в условиях сенсорной депривации и монотонности использование космонавтом аудиальной информации по запросу может составлять существенный резерв психологической поддержки. Также голосовой виртуальный ассистент незаменим в критических ситуациях автономной работы, когда отсутствует связь с центром управления или когда передача информации по аудиоканалу является единственно возможным вариантом для коммуникационной поддержки (в темноте, в условиях иммобилизации, т.д.).
Программное обеспечение ассистента создается на базе отечественной информационной системы для разработки интеллектуальных виртуальных ассистентов Dialog Operating System (DialogOS). Данная платформа от «Наносемантики» включает в себя всю необходимую функциональность для создания и обучения диалоговых роботов с возможностью коммуникации с пользователем в различных текстовых и голосовых каналах.
Демонстрационный виртуальный ассистент «Лучик» способен вести разговор с космонавтом на различные темы (в том числе, в голосовом канале), логировать и сохранять аудио-ответы космонавта для последующей их отправки на Землю для изучения и анализа. Также в ассистенте реализован базовый навык по теме «логистика и инвентаризация». В условиях ограниченного объёма космических станций и сложных систем хранения инвентаризация и поиск вещей на МКС являются актуальными задачами. Среди других тем взаимодействия космонавта с ассистентом: планы работ, бортовые инструкции, управление операциями, психологическая поддержка (1).
Дополнительной задачей стало исследование влияния условий космического полета (микрогравитация, зашумленность, ограниченное пространство, автономность) на эффективность технологий распознавания и идентификации речи космонавта. В тренажерах специальных модулей выполнялось включение бортовых приборов для моделирования возможной шумовой обстановки, на фоне которой выполнялись сеансы разговора оператора с голосовым ассистентом «Лучиком» (с аудиозаписью на диск ноутбука).
Получение текстовых транскрипций из аудиофайлов с использованием системы автоматического распознавания речи ASR (Automatic Speech Recognition) реализовано со следующими показателями. CER (Character Error Rate) – процент ошибок (отличий от оригинала) на уровне символов в распознанном тексте – составляет 2,66%. WER (Word Error Rate) – процент ошибок (отличий от оригинала) на уровне слов в распознанном тексте – составляет 9,7%. Даже при наличии шума и изменчивости громкости речи ASR продемонстрировала достаточно высокую точность распознавания как символов, так и слов, что показывает приемлемость ее практического использования на борту российского сегмента МКС.
«Мы очень вдохновлены данным проектом и одновременно чувствуем огромную ответственность, ведь к космическим разработкам нашей страны приковано особое внимание», ‒ комментирует Станислав Ашманов, генеральный директор ГК «Наносемантика». «DialogOS – это проверенная годами платформа, успешно работающая у множества наших клиентов и у миллионов их пользователей. Мы постоянно совершенствуем её, поэтому она является надежной системой для реализации первого космического голосового помощника. Но до завершения еще предстоит пройти долгий путь: технологии распознавания и синтеза речи продолжают проходить тестирование, совершенствуется база знаний ассистента, и разработчики проверяют различные сценарии его взаимодействия с космонавтами».
В настоящее время выполнена оценка работоспособности платформы DialogOS и ассистента «Лучика» на бортовых вычислительных средствах российского сегмента Международной космической станции, выполняется тестирование диалоговых схем и дальнейшее формирование базы знаний ассистента (2).
(1) Д.Н.Рулев, С.И.Ашманов. Подход к разработке программного обеспечения виртуального ассистента космонавта. Современные проблемы ракетной и космической техники, сборник статей 2023.
(2) Рулев Д.Н, Ашманов С.И., Крайнов В.С., Попова Е.В., Умнова Л.А. Оценка функционирования программного обеспечения голосового ассистента космонавта. Пилотируемые полеты в космос. Сборник материалов 15 международной научно-практической конференции, Звездный городок, 2023.
