# Технологии Хранения Данных: Фундамент Аналитических Систем

На этом уровне решается главный вопрос: где и как хранить данные, чтобы они были доступны, надежны и при этом стоимость владения оставалась приемлемой.

## Data Warehouse (DWH)

Это традиционное, "дисциплинированное" решение для хранения структурированных и очищенных данных, предназначенных для бизнес-отчетности (BI).

* **Базовые технологии:** В основе лежат мощные реляционные СУБД (РСУБД), оптимизированные для сложных аналитических запросов. Ключевые требования — поддержка SQL, ACID-транзакций для обеспечения целостности данных и высокая скорость выполнения запросов.
* **Ключевые представители:** Классические MPP-платформы (Massively Parallel Processing), такие как **Arenadata DB** (российский аналог Greenplum), **Vertica**, **Teradata**, а также облачные решения вроде **Amazon Redshift**, **Google BigQuery**, **Microsoft Azure Synapse**.

## Datalake

Это "гибкое" хранилище, которое принимает данные в любом формате — от структурированных таблиц до сырых логов, изображений и видео. Это идеальная среда для хранения "сырой" нефти данных, которая позже будет перерабатываться аналитиками и дата-сайентистами.

* **Базовые технологии:**
  * **Распределенные файловые системы:** Исторически фундаментом Datalake была экосистема **Apache Hadoop** (компонент **HDFS** — Hadoop Distributed File System).
  * **Объектные хранилища:** Современный стандарт — масштабируемые и недорогие S3-совместимые объектные хранилища. Они могут быть как облачными (**Amazon S3**), так и устанавливаемыми on-premise (**Apache Ozone**, **Ceph**).
* **Ключевые представители:** Платформы на базе Hadoop (например, дистрибутивы от Cloudera или Arenadata Hyperwave, который эволюционировал из Hadoop и теперь поддерживает и другие компоненты).

## Datalakehouse

Это эволюционный гибрид, который пытается объединить лучшее из двух миров: гибкость и дешевизну Datalake и мощь управления данными DWH (ACID, SQL-производительность).

* **Базовые технологии:**
  * **Хранилище:** То же масштабируемое объектное хранилище (S3, HDFS, Ozone).
  * **Табличные форматы (Table Formats):** Это ключевой слой, "магия", превращающая озеро в дом. Такие форматы, как **Apache Iceberg**, **Delta Lake** и **Apache Hudi**, позволяют работать с набором файлов в объектном хранилище как с полноценной SQL-таблицей, добавляя поддержку транзакций и эффективных обновлений.
  * **Каталог метаданных (Metastore):** Для управления схемами данных и их расположением используется, например, **Hive Metastore**.
