Аннотация:
Изложены основные положения методики темпоральной оценки нестабильности нейронного машинного перевода (НМП), позволяющей оценить изменение НМП одних и тех же текстов во времени. Дается описание эксперимента по исследованию НМП с использованием 250 русскоязычных текстовых фрагментов. Каждый фрагмент многократно переводился на французский язык в течение одного года с шагом в один месяц посредством системы НМП Google. Полученные переводы были проаннотированы с помощью надкорпусной базы данных (НБД), чтобы зафиксировать сделанные в переводе ошибки, если таковые имели место. В итоге сформировалась серия из 12 аннотаций для переводов каждого из 250 текстовых фрагментов. В последней аннотации ставится рубрика, обозначающая степень нестабильности НМП применительно ко всей серии переводов. Эта рубрика характеризует изменения качества перевода или указывает на их отсутствие. Цель статьи — описать методику темпоральной оценки нестабильности НМП и результаты ее применения.
Ключевые слова:
нейронный машинный перевод, нестабильность, оценка качества машинного перевода, лингвистическое аннотирование, виды нестабильности.
Поступила в редакцию: 10.07.2020
Тип публикации:
Статья
Образец цитирования:
А. Ю. Егорова, И. М. Зацман, М. Г. Кружков, В. А. Нуриев, “Методика темпоральной оценки нестабильности машинного перевода”, Системы и средства информ., 30:3 (2020), 67–80