1
Опыт миграции DWH и сложности, которые при этом возникают
Владимир, дата-инженер из Flocktory, поделился опытом переезда с одного облака на другое. Команда перенесла около петабайта данных и внедрила новые инструменты. А ещё решила в процессе две ключевые задачи:
— построила фиче-стор для 100 миллионов пользователей, обеспечивающий работу ML-моделей в реальном времени (отклик менее 80 мс) и офлайн-хранилище для обучения моделей;
— создала централизованную управленческую отчётность («слайсер») с откликом до 3 секунд при обработке 200-600 ГБ данных и формировании агрегатов 20-30 ГБ.
Узнаем про сложности, возникшие при реализации этих задач