Эксперт рассказал, зачем нужны ML-платформы и в чем их перспективы

Рынок облачных ML-платформ сегодня очень динамичен: провайдеры активно наращивают GPU-мощности. Так, в 2024 году затраты на глобальном рынке инференса искусственного интеллекта составили $91,43 млрд. В России особенно востребована аренда GPU – практически во всех отраслях: от ритейла до промышленности. О рынке ML-платформ и его перспективах IT Speaker рассказал главный архитектор сервисов искусственного интеллекта и машинного обучения Cloud X Кирилл Смеловец.

Главное преимущество таких платформ – достаточная технологическая зрелость. Клиенту важны не только мощности в виде GPU, но и предсказуемость: гарантированные квоты, очереди и приоритеты задач, удобный деплой моделей и прозрачная экономика всего цикла – от эксперимента до продакшена. Ключевой фактор – данные можно хранить и обрабатывать внутри защищенного контура без вывода «наружу».

Востребованные функции ML-платформ

Сегодня основной запрос – масштабирование под пиковые нагрузки и контроль качества данных: мониторинг дрейфа данных, мониторинг моделей, автоматические алерты, и автоперезапуск приложений. Особенно важны приватность и суверенность данных, соблюдение требований комплаенса и изоляция рабочих сред.

Из функций наибольшим спросом пользуются удобный деплой моделей с автоскейлингом под API-нагрузку, а также хранение и версионирование как самих моделей, так и предобработанных датасетов.

Типичные сценарии использования ML-сервисов

Один из самых востребованных сценариев – интеллектуальный документооборот. Это распознавание текста в документах, классификация документов, извлечение сущностей для различных процессов. Чаще всего такие решения обучаются на закрытых датасетах и разворачиваются во внутренних контурах компаний.

Второе направление – сервисы распознавания речи: потоковое преобразование звонков и переговоров в текст для последующего анализа.

Третье – видеоаналитика в реальном времени: от задач безопасности на производстве до учета и контроля технологических процессов.

И, конечно, растет спрос на чат-ассистентов: как корпоративных для работы с внутренними документами, так и более универсальных для помощи сотрудникам в повседневных задачах.

Широкий спектр функций ML-платформ делает их наиболее востребованными в таких сферах, как финтех, госсектор, телеком и ритейл. При этом за счет того, что они позволяют автоматизировать рутинные задачи и просты в использовании, платформы также актуальны для среднего бизнеса.

Новые решения для работы с ИИ

Компании-разработчики развивают сервисы по работе с ИИ, например, запуская удобный механизм деплоя моделей «в один клик» прямо из витрины внутри платформы – это позволяет подключать разные модели, в том числе для работы в чат-сценариях. Параллельно с этим улучшают RAG-системы: делают их более гибкими, интегрируют графовые подходы для улучшения качества поиска и связи данных.

Например, у нас в планах запуск новых инструментов мониторинга качества моделей, автоскейлинга для инференса и расширение интеграций с корпоративными хранилищами данных. Все это позволит пользователям быстрее выводить решения в продакшен и экономить ресурсы.

Отдельное направление – портативные LLM на NPU-устройствах. Их преимущество – возможность для пользователей обращаться к базе знаний без подключения к интернету и работать с ассистентом в любом месте, полностью офлайн и при этом с сохранением приватности данных.

При этом без тесной связки с Kubernetes и системами оркестрации невозможно обеспечить масштабируемость и предсказуемое управление ресурсами. Подключение к базам данных, объектным хранилищам и системам стриминга критично для того, чтобы модели могли работать с реальными данными и приносить практическую ценность. Интеграция с облачной экосистемой – это ключевая часть платформ. Используя Kubernetes и Kubeflow как основу, поверх можно сделать дополнительные приложения для очереди задач и приоритетов для разных команд, мониторинг качества моделей, изоляцию сред и безопасную работу с корпоративными хранилищами данных.

Риски использования

Использование облачных ML-сервисов, помимо выгод, сопряжено с рядом рисков. Один из них – зависимость от одного поставщика, которая может стать серьезным ограничением для растущего бизнеса. Например, если у поставщика возникнут проблемы с оборудованием, клиент рискует понести материальные потери из-за перебоев в работе. Пользователи также уделяют особое внимание соответствию решений ФЗ-152 «О персональных данных», так как опасаются утечек данных. Эту проблему можно решить, выбирая провайдера, имеющего все необходимые сертификаты соответствия.

Высокая стоимость внедрения становится одним из препятствий для повсеместного использования сервисов. В качестве решения компании могут внедрять FinOps – подход, который позволяет координировать действия финансовых, технических и бизнес-подразделений для оптимизации облачных затрат. Он помогает руководителям оптимизировать расходы, принимая обоснованные решения о том, сколько средств и на какие облачные затраты необходимо выделить.

Куда движется рынок

Глобальный рынок Machine Learning as a Service (машинное обучение как услуга; MLaaS) в 2024 г. оценивался в $9,6 млрд и, по прогнозу аналитиков Research and Markets, будет расти в среднем на 25,88% в год, превысив $84,1 млрд к 2033-му. Спрос на MLaaS в России также будет только расти: рынок ИИ активно расширяется, компании нуждаются в инфраструктуре, а ограниченный доступ к современным GPU заставляет использовать ресурсы максимально эффективно. Уже сейчас мы видим запрос на десятки тысяч эквивалентов H100 к 2030 году – и это только для базовых сценариев.

В таких условиях особую ценность приобретает автоматизация MLOps. Речь идет не просто о пайплайнах для обучения и деплоя, а об «автономных» контурах, которые сами отслеживают дрейф данных и изменения качества, инициируют дообучение, валидируют новые версии моделей, выкатывают обновления в формате canary-релизов и масштабируют инференс без участия человека.

Технологическая база для этого уже есть. Сейчас задача отрасли – объединить эти блоки в единый контур, где переход от данных к продакшену будет максимально быстрым и прозрачным. По сути, именно эта автоматизация станет драйвером следующего этапа развития ML-платформ.