Google представил ИИ с долгосрочной памятью

Исследователи Google разработали новый тип модели ИИ. Новшество ее в том, что она дает языковым моделям нечто похожее на долговременную память. Система может обрабатывать гораздо более длинные последовательности информации, чем текущие модели, что приводит к лучшей производительности при выполнении различных задач, пишет Forbes.

При создании новой архитектуры «Titans» исследователи вдохновлялись буквально работой человеческой памяти. Объединяя искусственную краткосрочную и долгосрочную память через блоки внимания и MLP памяти, система может работать с длинными последовательностями информации. При этом ИИ «не забывает» то, что изучил до этого.

Одной из необычных функций системы является то, как она решает, что запоминать. Titans использует «удивленность» в качестве своей основной метрики — чем неожиданнее информация, тем больше вероятность, что она сохранится в долговременной памяти. Система также знает, когда следует забывать вещи, что помогает ей эффективно использовать пространство памяти.

Команда создала три разные версии Titans, каждая из которых по-разному обрабатывает долговременную память: память как контекст (MAC), память как контроль доступа (ворота) (MAG), память как слой (MAL). Хотя каждая версия имеет свои сильные стороны, вариант MAC особенно хорошо работает с очень длинными последовательностями.

К примеру, система преуспела в тесте «Иголка в стоге сена», где ей нужно найти определенную информацию в очень длинных текстах. Titans достигла точности более 95% даже с текстами из 16 тысяч токенов.

Однако не все новости, связанные с компанией, полностью положительные. Так, ранее компания Google направила письмо ЕС, в котором сообщила, что не будет соблюдать закон о проверке фактов. Она отказывается добавлять проверку фактов в поисковую выдачу или видео на YouTube и не будет использовать данные проверки фактов при ранжировании или удалении контента.