В РФ представили модель ИИ-помощника для незрячих

В Новосибирском государственном университете (НГУ) начали разработку помощника для слабовидящих и незрячих пациентов. Устройство будет работать с использованием ИИ-технологий. 

«Родилась идея использовать слуховой анализатор мозга для ориентации человека в пространстве. Когда человек читает книгу или слушает аудиозапись, в его мозгу формируются определенные образы о предметах и т. д. Если дать слабовидящему или слепому пациенту через слуховой анализатор возможность определять расстояние до объекта (дверного проема, окна, транспортного средства), его размеры. Это, безусловно, поможет ему в реальной жизни и адаптации в социальной среде», – сообщили ТАСС в пресс-службе НГУ. 

На первом этапе ученые создают прототип прибора и обучают ИИ для выполнения поставленных задач. Этим активно занимается сформированная рабочая группа, в которую вошли ученые центра ИИ НГУ и МНТК «Микрохирургия глаза». 

«Принцип работы данной системы прост: "видеть" вместо человека будет видеокамера, информация с которой поступит в портативный компьютер, преобразующий ее в текст. Затем текстовое описание преобразуется голосовым помощником и подается через наушники непосредственно пациенту. Данное сообщение предоставляет основную информацию, которую пользователю необходимо знать, чтобы ориентироваться в пространстве», – пояснил руководитель проекта в центре ИИ НГУ Алексей Окунев. 

При разработке устройства применяется мультимодальная языковая модель, которая позволяет помощнику выдавать точное словесное описание окружающих помещений и предметов. Также в будущем пользователи смогут задавать уточняющие вопросы о происходящем вокруг и получать развернутые ответы на них. Кроме того, новая языковая модель ученых НГУ с высокой точностью распознает тексты, надписи, указатели, предупреждения о препятствиях. 

Сейчас учеными создана базовая модель, а прототип устройства будет готов к концу 2025 года. Это компактная носимая система, состоящая из одноплатного 16-ядерного компьютера в наплечной сумке, видеокамеры (например, GoPro) и наушников. В устройстве также будет аккумулятор, а все элементы будут соединены беспроводными каналами коммуникации. Видеокамеру пользователь будет держать в руке и наводить в нужном направлении. Общий вес устройства с аккумулятором составит около одного кг. 

Ранее в НГУ был создан навигатор с искусственным интеллектом, который поможет людям с нарушениями зрения ориентироваться в пространстве. Уникальность системы заключается в возможности работы без подключения к интернету, для использования которой достаточно смартфона.