В Smart Engines узнали как повысить эффективность работы нейросетей

Ученые российской AI-компании Smart Engines выявили способ повысить эффективность работы нейросетей на 40%. Метод базируется на новой схеме квантования. Результаты исследования были опубликованы в научном журнале Mathematics. 

Важно, что полученный метод уже используется при решении прикладных задач компьютерного зрения — для поиска объектов и распознавания текстов. Разработка также может стать неотъемлемой частью беспилотных автономных систем, расширив класс задач, которые могут выполнять бортовые компьютеры. 

Специалисты Smart Engines отмечают, что на текущий момент нейросети в основном  выполняются на специализированных видеокартах, однако не каждый компьютер ими оснащен. При этом любое пользовательское устройство имеет центральный процессор, мировым стандартом для которых является использование 8-битных нейронных сетей. Однако глубокие нейронные сети усложняются, содержат сотни миллионов и более коэффициентов, что требуют большей вычислительной мощности. Это ограничивает возможность использования центральных процессоров в системах искусственного интеллекта (ИИ). 

Исследователи Smart Engines решили эту проблему, предложив качественное улучшение 8-битной модели — 4,6-битные сети. Она работает быстрее 8-битной модели на 40%, но практически не уступает ей по качеству за счет более эффективного использования особенностей центральных процессоров мобильных устройств. 

Так, для этого входные данные и коэффициенты модели квантуются таким образом, чтобы их произведения помещались в 8-битные регистры. Суммирование результатов сделано с помощью двухуровневой системы 16- и 32-битных аккумуляторов для достижения максимальной эффективности. В результате в среднем на одно значение приходится 4,6 бита информации. 

Такая схема квантования значительно отличается от существующих, так как позволяет гибким образом задавать разрядность входных данных в зависимости от задачи и не привязывается к степеням двойки. Поэтому эта разработка обепечивает заметно более высокое качество распознавание, чем, например, 4-битные модели. 

Ранее компания «Мобиус Технологии» в несколько раз повысила скорость обработки документов благодаря роботу Валере — новому «сотруднику» компании, созданному на основе искусственного интеллекта (ИИ). Он взял на себя рутинную работу, которая прежде требовала серьезных трудозатрат. При этом вероятность ошибок, связанных с человеческим фактором, сведена к нулю.