«Яндекс» улучшил технологию перевода текста с фото

Компания «Яндекс» при помощи нейросети YandexGPT улучшила технологию перевода текста с изображений, пишет РБК. Она создала адаптированную модель YandexGPT, которая сохраняет стиль оригинального текста и игру слов. Более того, она оставит неизменным оригинальную верстку изображения, то есть повторит шрифт и размер букв.

«Технология поможет, например, в поездке, если нужно быстро перевести меню в ресторане, или в работе, чтобы разобраться в нюансах технической документации на иностранном языке», — говорится в пресс-релизе.

Для обучения YandexGPT использовались пары изображений с оригинальным и переведенным текстом. Ей также показывали эталонные и некачественные тексты, чтобы в дальнейшем она не добавляла лишних деталей, а делала только корректный перевод.

На данный момент функция уже доступна на десятках языках в «Яндекс Переводчике» и браузере, а чуть позже появится в «Умной камере». Компания также отметила, что одной из первых использовала большую языковую модель, чтобы улучшить технологию перевода.

Ранее компания «Яндекс» разработала мобильное приложение «Алиса», в котором пользователи могут общаться с чат-ботом, работать с текстами и генерировать изображения с помощью нейросети YandexART 2.0. Ожидается, что в будущем «Алиса» получит еще ряд функций. Приложение уже доступно в Google Play и App Store.

Помимо поддержки текстовых и голосовых запросов, как в веб-версии «Алисы» в приложении сохраняется история диалога. Это делает сервис более удобным: пользователь может быстро найти свои предыдущие запросы.