1
Для тех кто параноит по поводу конфедициальности данных, приватности и т п, оставлю инфо для размышления. Мы уже приличное время живём в цифровом мире и понятие приватности уже в прошлом. Новый мир таков что ничего не утаить и наши данные как откытая книга.
Биг дата (Big Data) собирает пользовательские данные автоматически через цифровые следы: историю поиска, клики, покупки, геолокацию, посты в соцсетях и данные умных устройств (IoT). Сбор происходит с помощью трекеров (файлы cookies), веб-аналитики (Google Analytics, Яндекс.Метрика), API-интеграций с приложениями и CRM-системами, а собранная информация продаётся интересантам.
Основные источники и методы сбора данных:
Интернет-активность: История просмотров, лайки, комментарии, поисковые запросы, переходы по ссылкам.
Транзакционные данные: Покупки в онлайн-магазинах, банковские переводы, программы лояльности.
Мобильные устройства и IoT: Геолокация, данные фитнес-трекеров, умные колонки, камеры наблюдения.
Социальные данные: Посты, профили, хештеги, сообщения.
Технические данные: IP-адреса, уникальные идентификаторы устройств (ID), файлы cookies.
Процесс сбора включает использование автоматизированных решений (например, Apache Kafka), часто требуя согласия пользователя (например сайт предупреждает мы собираем куки, продолжить? если куки включены по умолчанию то сайт и вашего согласия не спросит). Данные хранятся в специальных хранилищах, таких как Hadoop, откуда их забирают инструменты анализа (нейросети).