«Алиса» научилась описывать изображения

Компания «Яндекс» обучила свою нейросеть «Алису» в «Яндекс Браузере» воспринимать изображения и описывать их. Это должно помочь незрячим и слабовидящим людям воспринимать визуальный контент.

Пользователь может попросить «Алису» описать иллюстрацию в статье, фотографию товаров в интернет-магазинах или изображение в соцсетях. Для этого необходимо выбрать опцию «Описать картинку» в контекстном меню или на панели поверх картинки. При этом нейросеть не только составит описание, но и озвучит его.

«Алиса сообщает, что нарисовано на картинке, а по желанию пользователя – приводит подробности. Например, она может изучить фотографию платья в интернет-магазине и описать его цвет, крой и посадку», – пишет «Яндекс».

Компания взяла за основу мультимодальную модель, которая способна анализировать и тексты, и картинки. При этом нейросеть не выделяет какие-то отдельные предметы, а воспринимает изображение как единое целое, учитывая контекст и смысл, а также взаимосвязь между деталями. Благодаря это получается создать более осмысленное описание.

Управлять функцией можно через настройки браузера. Для этого нужно найти раздел «Специальные возможности». При этом при включенной программе экранного доступа, «Алиса» опишет только те изображения, на которые пользователь может «нацелить фокус». Функция доступна для Windows, iOS и Android устройств.

Ранее «Алису» на базе самой мощной генеративной модели «Яндекс» YandexGPT 5.1 Pro внедрили в мессенджер MAX. «Алиса» учитывает контекст беседы и дает более точные ответы в дальнейшем диалоге. Также с 24 сентября нейросеть появилась и в Telegram.