VK Tech представила облачный Data Lakehouse

VK Tech стала первым в России вендором, предлагающим корпоративный Data Lakehouse на управляемых облачных сервисах. Это стало возможным благодаря новому сервису Cloud Trino для обработки больших данных на платформе VK Cloud.

Data Lakehouse сочетает в себе элементы «озер данных» и корпоративного хранилища, снижая нагрузку на системы хранения и удешевляя хранение неструктурированных данных. Он реализован на S3-совместимом объектном хранилище и высокопроизводительном SQL-движке Cloud Trino на базе Kubernetes, что позволяет компаниям использовать современный стек для работы с крупными проектами, оплачивая только фактически потребленные ресурсы.

Cloud Trino обеспечивает параллельное подключение к нескольким источникам, ускоряя ETL-процессы и позволяя пользователям быстро получать доступ к данным для Self-Service-аналитики. Хранение данных в облаке стало в 10 раз дешевле – до 3 руб. за 1 ГБ вместо 35 руб. для Data Warehouse. Облачный Kubernetes обеспечивает гибкость и возможность масштабирования инфраструктуры.

«В 2024 г. ежедневно создавалось около 402,89 млн терабайт данных – это 147 зеттабайт данных в год. Прогнозируется, что в 2025 г. этот показатель вырастет до 181 зеттабайта. У наших клиентов данные также растут в геометрической прогрессии, а полнота данных и скорость работы с ними обеспечивает конкурентность бизнеса. Мы создаем инструменты, которые позволяют работать с данными быстрее и дешевле, чтобы больше компаний могли повышать эффективность за счет Data Driven-подхода. С появлением нового сервиса Cloud Trino и ранее разработанных инструментов у нас появился первый в России стек технологий по модели as a service для создания современных архитектур Data Lakehouse. В планах сделать его экстремально быстрым, а хранение данных – экстремально дешевым», – отметил директор по продукту VK Cloud Дмитрий Лазаренко.

Data Lakehouse доступен как на облачной платформе, так и на собственной инфраструктуре на базе Private Cloud и VK Data Platform. Инфраструктура VK Cloud аттестована по требованиям 152-ФЗ (УЗ-1).

Ранее компания VK разработала новую платформу OpenVK, которая позволит публиковать программное обеспечение с открытым исходным кодом. На ней будут размещаться различные проекты. Например, ИТ-системы и продукты, инструменты и библиотеки для разработчиков, модели искусственного интеллекта.