# Сходства, различия, взаимосвязь

## Что общего

У Big Data и ML есть общая основа: оба направления построены вокруг данных и
производственных процессов, которые превращают «сырье» в полезный результат.

Общее обычно проявляется так:

- **данные как актив**: качество, полнота и актуальность определяют результат;
- **производственные пайплайны**: загрузка, преобразования, тесты, мониторинг;
- **масштабирование**: рост объемов, источников и пользователей требует автоматизации;
- **воспроизводимость**: возможность повторить вычисления и объяснить, откуда взялся
  результат;
- **безопасность и соответствие**: доступы, аудит, персональные данные, регуляторика.

## В чем различия

### Разные цели

- **Big Data** фокусируется на инфраструктуре и инженерии данных: как надежно
  доставить данные, привести к нужному виду, обеспечить доступ и производительность.
- **ML** фокусируется на построении модели: как получить максимум качества по метрике
  при приемлемых ограничениях по задержке, стоимости и рискам ошибок.

### Разные артефакты

- **Big Data**: датасеты, таблицы, партиции, витрины, схемы, контракты данных,
  задания (jobs), DAG-оркестрация.
- **ML**: признаки, обучающие выборки, веса модели, конфигурации экспериментов,
  метрики, артефакты обучения, реестр версий моделей.

### Разные риски

- **Big Data**: потери данных, деградация производительности, ошибки схем, инциденты
  доступа, поломка пайплайнов.
- **ML**: утечки признаков (data leakage), переобучение, дрейф данных и концепта,
  смещение (bias), ошибки интерпретации метрик, деградация качества в продакшене.

## Как они связаны друг с другом

Связь чаще всего выглядит как конвейер: Big Data-платформа готовит и доставляет
данные, а ML-компоненты обучают и применяют модели.

### Типовой поток данных и моделей

1. **Источники** (приложения, датчики, внешние API) генерируют события и записи.
2. **Ingestion** доставляет данные в озеро или промежуточные хранилища.
3. **ETL/ELT** чистит, нормализует, объединяет и обогащает данные.
4. **Feature pipeline** формирует признаки и обучающие выборки.
5. **Training** обучает модель и публикует артефакт в реестр.
6. **Serving** применяет модель: онлайн (API) или офлайн (batch scoring).
7. **Monitoring** отслеживает качество данных и поведение модели в продакшене.

В крупных системах шаги 3–4 и 6–7 часто реализуются как отдельные продукты:
данные предоставляются как сервис (data products), а модели — как сервис (model
serving).

### Где ML помогает Big Data

Хотя «классический» поток идет от данных к моделям, ML полезен и внутри инженерии
данных:

- **контроль качества**: поиск выбросов и аномалий в потоках данных;
- **дедупликация и сущностное объединение**: matching записей из разных источников;
- **кластеризация**: сегментация данных для аналитики и оптимизации хранения;
- **умные алерты**: уменьшение шумных оповещений, приоритизация инцидентов;
- **автоматизация разметки**: полуавтоматическая классификация и тегирование.

## Важный практический нюанс: «данных много» не значит «ML будет лучше»

Большие объемы данных не гарантируют успех ML. Часто ключевыми оказываются:

- **сигнал в данных** (есть ли вообще предсказуемая закономерность);
- **качество разметки** и корректность целевой переменной;
- **покрытие сценариев** (редкие события, сезонность, новые сегменты);
- **стабильность процессов**: если бизнес-процесс меняется, модель устаревает.

Поэтому Big Data и ML нужно проектировать совместно: требования к данным должны
исходить из целей модели, а ограничения инфраструктуры — учитываться в выборе
архитектуры ML-решения.

## Короткий вывод

Big Data и ML пересекаются, но не заменяют друг друга. Big Data отвечает за
индустриальную работу с данными, ML — за извлечение предсказательной ценности.
Сильные системы строятся на их связке: качественные данные, воспроизводимые
пайплайны и контролируемый жизненный цикл моделей.
