Изобретен ИИ, который распознает звуки клавиш

Исследователя ряда университетов Британии разработали инструмент на основе обучения нейросетей, который распознает напечатанный текст по звуку клавиш с 95% точностью. Также алгоритм может определить, что нажимает пользователь, через Zoom – в этом случае точность составляет 93%. 

Обучение алгоритма ученые провели на основе нажатий клавиатуры MacBook Pro, которая установлена на портативные компьютеры моделей, выпущенных в последние два года. Каждая клавиша была визуализирована с помощью осциллограмм и спектрограмм, которые позже загрузили в классификатор изображений CoAtNet. 

В результате тестов выяснилось, что инструмент с 95% точностью определяет клавишу при «прослушивании» записи со смартфона и с 93% – обрабатывая данные, записанные через Zoom. 

Как отмечают исследователи, акустические атаки могут стать серьезным оружием в руках злоумышленников, поскольку для успешного нападения нужно лишь записать звук с компьютера жертвы, а все остальное сделает алгоритм. При этом осуществить атаку хакеры могут разными способами: «подслушав» конференцию в Zoom или заразив смартфон жертвы вредоносным ПО, которое даст доступ к микрофону.