Аннотация:
Изложены основные положения методики темпоральной оценки нестабильности нейронного машинного перевода (НМП), позволяющей оценить изменение НМП одних и тех же текстов во времени. Дается описание эксперимента по исследованию НМП с использованием 250 русскоязычных текстовых фрагментов. Каждый фрагмент многократно переводился на французский язык в течение одного года с шагом в один месяц посредством системы НМП Google. Полученные переводы были проаннотированы с помощью надкорпусной базы данных (НБД), чтобы зафиксировать сделанные в переводе ошибки, если таковые имели место. В итоге сформировалась серия из 12 аннотаций для переводов каждого из 250 текстовых фрагментов. В последней аннотации ставится рубрика, обозначающая степень нестабильности НМП применительно ко всей серии переводов. Эта рубрика характеризует изменения качества перевода или указывает на их отсутствие. Цель статьи — описать методику темпоральной оценки нестабильности НМП и результаты ее применения.
Ключевые слова:
нейронный машинный перевод, нестабильность, оценка качества машинного перевода, лингвистическое аннотирование, виды нестабильности.
Поступила в редакцию: 10.07.2020
Тип публикации:
Статья
Образец цитирования:
А. Ю. Егорова, И. М. Зацман, М. Г. Кружков, В. А. Нуриев, “Методика темпоральной оценки нестабильности машинного перевода”, Системы и средства информ., 30:3 (2020), 67–80
\RBibitem{EgoZatKru20}
\by А.~Ю.~Егорова, И.~М.~Зацман, М.~Г.~Кружков, В.~А.~Нуриев
\paper Методика темпоральной оценки нестабильности машинного перевода
\jour Системы и средства информ.
\yr 2020
\vol 30
\issue 3
\pages 67--80
\mathnet{http://mi.mathnet.ru/ssi720}
\crossref{https://doi.org/10.14357/08696527200307}
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/ssi720
https://www.mathnet.ru/rus/ssi/v30/i3/p67
Эта публикация цитируется в следующих 5 статьяx:
A. Yu. Egorova, I. M. Zatsman, V. O. Romanenko, “Method for Assessing the Repeatability of ChatGPT Machine Translation Results”, Autom. Doc. Math. Linguist., 58:6 (2024), 453
А. Ю. Егорова, И. М. Зацман, В. О. Романенко, “Машинный перевод с помощью ChatGPT: мониторинг воспроизводимости результатов”, Системы и средства информ., 33:3 (2023), 117–128
А. Ю. Егорова, И. М. Зацман, М. Г. Кружков, В. А. Нуриев, “Индикаторная оценка нестабильности нейронного машинного перевода”, Системы и средства информ., 31:2 (2021), 139–151
А. Ю. Егорова, И. М. Зацман, В. А. Нуриев, “Экспертная оценка машинного перевода: классификация ошибок”, Системы и средства информ., 31:3 (2021), 144–157
А. Ю. Егорова, И. М. Зацман, М. Г. Кружков, В. А. Нуриев, “Машинный перевод: индикаторная оценка результатов обучения искусственной нейронной сети”, Системы и средства информ., 30:4 (2020), 124–137
Цитирование в формате AMSBIB
Обратная связь: