Аннотация:
Рассматриваются актуальные и перспективные направления по использованию высокоскоростных видеокамер. Обсуждается возможность применения высокоскоростных камер в области человеко-машинного взаимодействия для автоматического распознавания динамической видеоинформации (в том числе визуальной речи диктора). Выделяются основные задачи взаимодействия, решаемые с помощью высокоскоростных камер, такие как: автоматическое чтение речи по губам диктора, обнаружение моргания, распознавание микровыражений. Обозначаются возможные проблемы, связанные с внедрением высокоскоростных видеокамер. Анализируется состояние области исследований на настоящий момент и доказывается, что имеется высокая актуальность развития данного научно-технического направления. Предлагаются многообещающие области применения и задачи организации человеко-машинного взаимодействия с применением высокоскоростной видеосъемки. Основными направлениями являются аудиовизуальное распознавание слитной речи и чтение речи по губам диктора. В ходе дальнейших исследований планируется реализация подобной многомодальной системы аудиовизуального распознавания речи для русского языка с использованием микрофона и высокоскоростной видеокамеры JAI Pulnix.
Ключевые слова:
высокоскоростная видеокамера; компьютерное зрение; аудиовизуальное распознавание речи; аудиовизуальная база данных; чтение по губам; динамическая видеоинформация.
Исследование выполнено при финансовой поддержке фонда РФФИ (проект № 15-07-04415-а) и Совета по грантам Президента РФ (проект № МД-3035.2015.8).
Реферативные базы данных:
Тип публикации:
Статья
УДК:
004.5
Образец цитирования:
Д. В. Иванько, А. А. Карпов, “Анализ перспектив применения высокоскоростных камер для распознавания динамической видеоинформации”, Тр. СПИИРАН, 44 (2016), 98–113