Published November 6, 2025 | Version v1

КАЧЕСТВО ПЕРЕВОДА: ChatGPT VS. GOOGLE TRANSLATE

Description

В статье рассматриваются современные способы оценки перевода, модификация технологий оценивания, вариативность оценочных параметров в условиях развития нейросетевых технологий. В работе анализируются факторы, влияющие на качество перевода; к ним относятся модель машинного перевода, качество исходного материала, возможности и ограничения обучения машинного перевода. Представлены результаты эксперимента по оценке качества перевода научных статей.

Ключевые слова: качество перевода, машинный перевод, большая языковая модель, параметры оценки, обучение, типология ошибок, многомерные метрики качества.

Abstract (En)

The article reviews modern methods for evaluating translation quality, modifications in the evaluation procedures, and variability of the evaluation parameters in the context of the current neural network development. We analyze factors that influence translation quality, which include the machine translation model, the quality of the source material, and the possibilities and limitations of the model training. Furthermore, the paper presents the results of an experiment aimed to evaluate the translation quality of academic articles.

Key words: translation quality, machine translation, Large Language Model, evaluation parameters, model training, error typology, Multidimensional Quality Metrics.

Files

Л. В. Елизарова, Я. А. Салина.pdf

Files (618.6 kB)

Name Size
md5:d3ec83745780d09f2a03448da85b8e46
618.6 kB Preview Download

Additional details

Additional titles

Translated title (En)
TRANSLATION QUALITY: ChatGPT VS. GOOGLE TRANSLATE

References

  • 1. Егорова А. Ю., Зацман И. М., Косарик В. В., Нуриев В. А. Нестабильность нейронного машинного перевода // Системы и средства информатики. 2020. Т. 30. № 2. С. 124-135. DOI: 10.14357/08696527200212. 2. Елизарова Л. В., Дмитриева К. К. Объективные параметры субъективной оценки качества перевода // Вестник Воронежского государственного университета. Серия: Лингвистика и межкультурная коммуникация. 2024. № 2. С. 30-38. DOI: 10.17308/lic/1680-5755/2024/2/30-38. 3. Кириченко И. А., Сигачева Н. А. Цифровизация перевода с английского на русский язык: анализ и сравнение качества машинного сервиса // Казанский вестник молодых ученых. 2020. Т. 4. № 3. С. 27-37. 4. Княжева Е. А. О некоторых аспектах исследования проблемы оценки качества перевода // Вестник Московского Университета. Серия 22. Теория перевода. 2024. № 1. С. 98-118. DOI: 10.55959/MSU2074-6636-22-2024-17-1-98-118. 5. Колин К. К., Хорошилов Ал-др. А., Никитин Ю. В., Пшеничный С. И., Хорошилов Ал-й А. Искусственный интеллект в технологиях машинного перевода // Социальные новации и социальные науки. Москва: ИНИОН РАН, 2021. № 2. С. 64-80. 6. Оболенский Д. М., Шевченко В. И. Использование метода RAG и больших языковых моделей в интеллектуальных образовательных экосистемах // Экономика. Информатика. 2024. № 51 (3). С. 699-709. DOI: 10.52575/2687-0932-2024-51-3-699-70. 7. Раренко М. Б. Машинный перевод: от перевода «по правилам» к нейронному переводу // Социальные и гуманитарные науки. Отечественная и зарубежная литература. Сер. 6. Языкознание: Реферативный журнал. 2021. № 3. С. 70-79. DOI: 10.31249/ling/ 2021.03.05. 8. Сергаева Ю. В. Оптимизация словообразовательной модели в процессе словотворчества // Studia Linguistica. 2012. № 21. С. 105-114. 9. Li Y., Suzuki J., Morishita M., Abe K., Inui K. MQM-Chat: Multidimensional Quality Metrics for Chat Translation // Proceedings of the 31st International Conference on Computational Linguistics. 2025. P. 3283-3299. 10. Lomel A. Metrics for Translation Quality Assessment: A Case for Standardising Error Typologies // Machine Translation: Technologies and Applications. 2018. No. 1. Pp. 109-127. 11. Results of the WMT24 Metrics Shared Task: Are LLMs Breaking MT Metrics? / M. Freitag et al. // Association for Computational Linguistics: In Proceedings of the Ninth Conference on Machine Translation. 2024. P. 47-81. 12. Thompson B., Dhaliwal M. P., Frisch P., Domhan T., Federico M. A Shocking Amount of the Web is Machine Translated: Insights from Multi-Way Parallelism // Findings of the Association for Computational Linguistics. 2024. P. 1763-1775.
  • 1. Egorova, A. Yu., Zatsman, I. M., Kosarik, V. V., Nuriev, V. A. (2020). Nestabilnost neyronnogo mashinnogo perevoda [Instability of Neural Mashine Translation]. In Sistemy i sredstva informatiki. Vol. 30. No 2. Pp. 124-135. DOI: 10.14357/08696527200212. (In Russ.). 2. Elizarova, L. V., Dmitrieva, K. K. (2024). Obektivniye parametry subectivnoy otsenki kachestva perevoda [Objective parameters for subjective evaluation of translation quality]. In Vestnik Voronezhskogo gosudarstvennogo universiteta. Seriya: Lingvistika i mezhkulturnaya kommunikatsiya. No 2. Pp. 30-38. DOI: 10.17308/lic/1680-5755/2024/2/30-38. (In Russ.). 3. Kirichenko, I. A., Sigacheva, N. A. (2020). Tsifrovizatsiya perevoda s angliyskogo na russkiy yazyk: analiz i sravnenie kachestva mashinnogo servisa [Digitization of Translation from English to Russian: Analysis and Comparison of Machine Service Quality]. In Kazanskiy vestnik molodykh uchenykh. Vol. 4. No 3. Pp. 27-37. (In Russ.). 4. Knyazheva, E. A. (2024). O nekotorykh aspektakh issledovaniya problemy otsenki kachestva perevoda [Aspects of translation quality problem]. In Vestnik Moskovskogo Universiteta. Seriya 22. Teoriya perevoda. Pp. 98-118. DOI: 10.55959/MSU2074-6636-22-2024-17-1-98-118. (In Russ.). 5. Kolin, K. K., Khoroshilov, Al-dr. A., Nikitin, Yu. V., Pshenichnyy, S. I., Khoroshilov, Al-y. A. (2021). Iskusstvennyy intellekt v tekhnologiyakh mashinnogo perevoda [Artificial intelligence in machine translation technologies]. In Sotsialnye novatsii i sotsialnye nauki. No 2. Pp. 64-80. (In Russ.). 6. Obolenskiy, D. M., Shevchenko, V. I. (2024). Ispolzovanie metoda RAG i bolshikh yazykovykh modeley v intellektualnykh obrazovatelnykh ekosistemakh [Application of Large Language Models and the RAG in Intelligent Educational Ecosystems]. In Ekonomika. Informatika. No 3. Pp. 699-709. DOI: 10.52575/2687-0932-2024-51-3-699-70. (In Russ.). 7. Rarenko, M. B. (2021). Mashinnyy perevod: ot perevoda «po pravilam» k neyronnomu perevodu [Machine translation: from rule-based translation to neural translation]. In Sotsialnye i gumanitarnye nauki. Otechestvennaya i zarubezhnaya literatura. Ser. 6. Yazykoznanie: Referativnyi zhurnal. No 3. Pp. 70-79. DOI: 10.31249/ling/2021.03.05. (In Russ.). 8. Sergaeva, Yu. V. (2012). Optimizatsiya slovoobrazovatelnoy modeli v protsesse slovotvorchestva [Optimization of the word formation pattern in coinages]. In Studia Linguistica. No 21. Pp. 105-114. (In Russ.). 9. Li, Y., Suzuki, J., Morishita, M., Abe, K., Inui, K. (2025). MQM-Chat: Multidimensional Quality Metrics for Chat Translation. In Proceedings of the 31st International Conference on Computational Linguistics. Pp. 3283-3299. 10. Lomel, A. (2018). Metrics for Translation Quality Assessment: A Case for Standardising Error Typologies. In Machine Translation: Technologies and Applications. No. 1. Pp. 109-127. 11. Results of the WMT24 Metrics Shared Task: Are LLMs Breaking MT Metrics? / M. Freitag et al. In Proceedings of the Ninth Conference on Machine Translation. 2024. Pp. 47-81. 12. Thompson, B., Dhaliwal, M. P., Frisch P., Domhan, T., Federico, M. A. (2024). Shocking Amount of the Web is Machine Translated: Insights from Multi-Way Parallelism. In Findings of the Association for Computational Linguistics. Pp. 1763-1775.