ITGLOBAL.COM запустил GPU-инфраструктуру для финтех-компании

ITGLOBAL.COM (международное облачное направление корпорации ITG) запустил GPU-инфраструктуру для обучения ML-моделей одной из отечественных компаний из финтех-сектора. Решение помогло снять ограничения, которые замедляли работу команд специалистов по машинному обучению и аналитике данных, сообщили в пресс-службе ITG.

Так, компания, для которой была запущена инфраструктура, развивает цифровые сервисы в области скоринга, персонализированных предложений и прогнозной аналитики. Для работы этих продуктов заказчик регулярно обучал ML-модели на больших массивах транзакционных, поведенческих и CRM-данных. По мере роста числа сервисов и объема данных существующей инфраструктуры перестало хватать: обучение моделей занимало слишком много времени, вычислительные ресурсы приходилось распределять между командами, а запуск новых инициатив замедлялся.

До перехода в облачную GPU-инфраструктуру часть моделей обучалась на CPU-ресурсах, часть – на локальных GPU с ограниченным доступом. В результате обучение отдельных моделей занимало до 30-36 часов, а командам приходилось часами ждать свободные мощности.

Для решения проблемы ITGLOBAL.COM предоставил заказчику облачную GPU-инфраструктуру на базе NVIDIA H200 с несколькими конфигурациями под разные этапы работы – от пилотного тестирования до полноценных production-нагрузок. Выбор H200 был обусловлен спецификой задач заказчика: 141 ГБ памяти HBM3e и высокая пропускная способность позволяют обучать крупные модели без существенных ограничений по размеру пакета данных, а поддержка технологии MIG (разделения одного GPU на несколько изолированных экземпляров) дала возможность нескольким командам работать параллельно на одном графическом процессоре, не блокируя друг друга.

Таким образом, переход на GPU Cloud позволил сократить среднее время обучения моделей в 3-5 раз – с десятков часов до 5-7 часов. Время дообучения на обновленных данных уменьшилось с 8–10 часов до 2–3 часов. Благодаря MIG команды перестали ждать в очереди и смогли запускать эксперименты параллельно, что увеличило общее количество проверяемых гипотез более чем на 60%. Срок вывода новых ML-сценариев в продакшн сократился примерно на 40%.

Ранее агентство J'son & Partners Consulting представило отчет по исследованию российского рынка серверного ПО для видеоконференцсвязи. В документе определены ключевые драйверы развития рынка и описан конкурентный ландшафт. Самую большую долю в сегменте получили IVA Technologies (29,6%) и «МТС Линк» (7,5%).