Создана нейросеть для распознавания дипфейков

В НИТУ МИСИС разработали нейросеть для проверки подлинности лиц, изображенных на картинке. Загрузить фото для идентификации можно через специально разработанное веб-приложение, также предусмотрена возможность анализа в реальном времени через камеру компьютера. 

В разработке специалисты отталкивались от обманов presentation attacks: использование фотографии лиц в печатном и электронном виде, а также объемных масок, имитирующих черты лица человека. В итоге они проанализировали пять существующих нейросетей, выбрали из них две самые перспективные, и на основе проведенных экспериментов и наблюдений разработали версию, представляющую собой двухступенчатую систему. 

Специалисты НИТУ МИСИС отметили, что важным этапом разработки решения с использованием машинного обучения является поиск набора данных для обучения моделей. Разработчики использовали набор данных из 16 500 изображений: подлинных и фейковых с примерно равномерным распределением по типам обмана систем распознавания лиц: с помощью печатных фотографий и изображений на экранах электронных устройств, масок и персонажей мультфильмов. А также сами напечатали фотографии людей с различными внешними признаками, сделали их «ложные» изображения и добавили в выборку. 

На первом этапе распознавания лица используется заранее обученная нейросеть MTCNN, которая определяет положение лица на картинке. Затем на изображение добавляется специальное поле, 60% от площади которого составляет анализируемое лицо. Такое приближение дает значительный прирост в точности. Далее используется сеть InceptionResnet, дающая числовые представления особенностей лица. На втором этапе используется еще несколько слоев нейронной сети для отбора признаков изображения. Результаты двух этапов объединяются и проходят через несколько финальных слоев для получения окончательного вывода о подлинности изображения. Этот подход позволил достичь высокого значения точности при определении подлинности лиц. 

Важно, что дипфейки используют в рекламе, кинематографе, музыкальной индустрии, для развлечения или обмана, ими «оживляют» картины и «воскрешают» умерших на экране. Однако само название говорит о том, что перед нами сложная «глубокая» подделка, которую зачастую нелегко отличить от реальности. IT Speaker поговорил с экспертами в области ИТ о видах и областях применения стремительно развивающихся технологий.