# Зачем об этом говорить

Термины *Big Data* (большие данные) и *Machine Learning* (машинное обучение, ML)
часто
упоминаются вместе, потому что в современных организациях данные стали одним из
главных активов, а ML — одним из главных способов извлечения ценности из данных.

При этом это разные направления: Big Data отвечает за то, как данные собирать,
хранить и обрабатывать в промышленном масштабе, а ML — за то, как на основе данных
строить модели, которые могут делать прогнозы, классифицировать объекты или
помогать принимать решения.

## Что такое Big Data

Big Data — это подходы и технологии для работы с данными, которые:

- **слишком велики** для обработки на одной машине в разумное время;
- **слишком разнообразны** по структуре (таблицы, логи, события, тексты, изображения)
    или не структурированы вообще;
- **слишком быстро поступают**, требуя потоковой обработки и низких задержек;
- **требуют надежности и воспроизводимости**: контроль качества, версионность,
  доступы, аудит, повторяемые пайплайны.

Практический смысл Big Data довольно просто: это инженерия данных на масштабе,
где обычные скрипты и одиночные базы данных перестают справляться.

### Назначение Big Data

Big Data-платформа решает задачи:

- **сбор и интеграция данных** из множества источников (приложения, IoT, CRM, веб);
- **хранение** «сырых» и подготовленных данных (озеро данных, хранилище, витрины);
- **обработка** (batch и stream), преобразования, агрегации, обогащение;
- **предоставление данных** аналитикам и системам (SQL, API, data products);
- **управление данными**: качество, доступы, каталог, lineage, соответствие регуляциям.

## Что такое Machine Learning

Machine Learning — это класс методов, позволяющих системе находить закономерности
в данных и строить модель, которая обобщает наблюдения и работает на новых примерах.
В отличие от традиционного программирования, где правила задаются явно, в ML правила
«извлекаются» из обучающей выборки.

Если просто, то вместо того чтобы писать четкие правила *«если температура ниже 0,
то надеть куртку»*, мы скармливаем машине тысячи примеров, и она сама находит
закономерности и строит правило, опираясь на которые потом может самостоятельно
предложить эту куртку надеть в соответствующих условиях.

### Назначение ML

ML применяют, когда:

- **сложно описать правила вручную**, но есть примеры (спам/не спам, дефект/норма);
- **нужны прогнозы** (спрос, отток, нагрузка, риск невозврата);
- **нужна персонализация** (рекомендации, ранжирование, next best action);
- **нужно обнаружение аномалий** (фрод, сбои, необычное поведение);
- **нужна обработка неструктурированных данных** (текст, изображение, звук).

## Типовые этапы работы

### Для Big Data

- **ingestion**: получение данных (batch/stream);
- **storage**: размещение в озере/хранилище/витринах;
- **processing**: трансформации, очистка, объединение;
- **serving**: выдача данных потребителям;
- **governance**: правила доступа, качество, метаданные, мониторинг.

### Для ML

- **формулировка задачи и метрики** (что оптимизируем и как измеряем успех);
- **подготовка данных** (выборка, признаки, разметка, баланс классов);
- **обучение и валидация** (разделение train/valid/test, кросс-валидация);
- **внедрение** (batch scoring или online serving);
- **мониторинг** (качество, дрейф данных, задержки, стоимость).

## Короткий вывод

Big Data и ML дополняют друг друга: Big Data обеспечивает надежные потоки данных
и производственную обработку, а ML превращает эти данные в предсказательные модели
и
автоматизированные решения. Их пересечение обычно происходит в пайплайнах, где
данные готовятся, а затем используются для обучения и применения моделей.
