1
Как обеспечить качество данных: подборка опенсорс-инструментов от Островка
Когда у вас десятки постоянно меняющихся источников данных (отели, авиакомпании, платёжные сервисы), качество данных — это не разовые тесты, а непрерывный процесс. Команда Островка рассказывает, как они построили у себя целую платформу для этого, используя открытые решения.
Какой стек они используют? В ядре — Soda Core для тестов и Apache Airflow для оркестрации. FastAPI используется для API, Streamlit — для дашбордов инженеров, а DataHub — как единый каталог метаданных для менеджеров. И всё это работает в Kubernetes.
Разберёмся, почему был выбран именно такой набор инструментов и как они связаны в единую Data Quality Platform.