YandexGPT обошла ChatGPT в англо-русском переводе

«Яндекс Переводчик» с YandexGPT стал мировым лидером по качеству перевода с английского на русский. Российская нейросеть заняла первое место, обогнав ChatGPT, который расположился на третьей позиции. Об этом стало известно из итогов международного независимого бенчмарка DiBiMT. 

Бенчмарк DiBiMT – это эталонный тест для измерения процента ошибок в переводе. Исследователи собрали базу данных из нескольких тысяч предложений на английском языке с омонимами – одинаковыми по написанию словами, имеющими разное значение. ИИ-модели и сервисы перевели эти предложения, а алгоритмы бенчмарка определили процент корректно переведенных слов. Кроме того, правильные варианты выборочно проверяли профессиональные переводчики, что обеспечило высокое качество оценки. На основе этих показателей был сформирован публичный рейтинг. 

Интересно, что, несмотря на лидерство по переводу с английского на русский, YandexGPT не удалось оказаться в списке 22 лидеров по переводам с других языков. 

В компании отметили, что благодаря внедрению YandexGPT, компании удалось за год повысить точность перевода в два раза. Таким образом он стал более естественным, лучше передает стилистические особенности, смысл устойчивых выражений. 

«Яндекс Переводчик занимает первое место по качеству англо-русского перевода второй год подряд. Однако рынок стремительно меняется. Развитие искусственного интеллекта открыло перед игроками новые возможности, и многие крупные компании внедрили в свои продукты большие языковые модели. Яндекс в прошлом году сделал это одним из первых, что позволило не только сохранить лидерские позиции, но и, что важнее, получить кратный рост качества работы нашего сервиса», – прокомментировал ML Brand Director Яндекса Петр Ермаков. 

В компании рассказал, что ранее в «Яндекс Переводчике» использовалась технология нейросетевого машинного перевода. Нейросеть анализировала массивы текстов, запоминала закономерности и на их основе переводила текст. Однако у такой технологии было ограничение, так как сервис учитывал контекст в отдельных предложениях, но не в тексте целиком. Благодаря внедрению YandexGPT, специально обученной под задачи перевода, разработчикам удалось устранить это ограничение. 

Для оценки качества перевода разработчики Яндекса используют несколько показателей. Так, они измеряют число ошибок на часть текста. Второй показатель  – это гладкость (fluency), то есть то, насколько текст похож на привычную человеческую речь. 

Ранее «Яндекс» запустил новые редакторы текстовых документов и таблиц на базе собственной платформы. Отмечается, что они входят в состав сервиса «Документы». Важно, что текстовый редактор встроена YandexGPT 4 – последняя на данный момент нейросеть интернет-компании.