Google запустила модель для наблюдения за звуками животных

Специалисты Google DeepMind запустили обновление Perch 2.0, предназначенное для акустического наблюдения за звуками диких животных. Первая версия модели работала только с птицами, тогда как новое поможет в изучении звуков всего животного мира.

Данную ИИ-модель обучили на данных Xeno-Canto, iNaturalist, Tierstimmenarchiv и FSD50K. Всего в наборе более 14,7 тыс. классов звуков, из них 14 597 – звуки видов животных и 198 – общие звуки.

Perch принимает на вход 5-секундную аудиозапись и на выходе выдает вектор, с помощью которого можно определить, какие животные звучат на записи. В бенчмарках BirdSet и BEANS нейросеть опережает решения конкурентов. Также выяснилось, что модель можно перенести для распознавания звуков морских животных.

Ученые активно применяют Perch в своей работе. Исследователи биоакустической лаборатории LOHE при Гавайском университете с помощью Perch ускорили процесс поиска популяций танагров-медоносов. Эти птицы находятся на грани вымирания, но очень важны как часть гавайской культуры.

Добавим, что код Perch 2.0 открыт и опубликован на GitHub. Также в репозитории есть инструкция по запуску модели.

Более того, предполагается, что спустя некоторое время ИИ сможет помочь человеку определять, какие именно эмоции испытывают животные. Исследователи считают, что он сможет определить, когда питомцам больно.