# 数据集管理知识库

## 核心功能
数据集定义和加载，支持依赖关系管理和自动数据补全。

## 主要组件

### Dataset类
数据集的核心定义类，支持依赖关系和自动数据补全。

#### 初始化参数
- `*depends`: 依赖的数据集
- `fn`: 数据计算函数
- `tb`: 表名，存储路径
- `update_time`: 更新时间
- `window`: 依赖回看窗口
- `partitions`: 分区列
- `is_hft`: 是否为高频数据

#### 执行流程
1. 解析函数签名和参数
2. 确定分区策略
3. 计算存储路径
4. 处理更新时间逻辑
5. 初始化依赖关系

### get_value方法
获取指定日期的数据值。

**执行流程**:
1. 构建搜索路径
2. 检查数据是否存在
3. 如果存在，加载数据并过滤
4. 如果不存在，检查依赖并补全数据
5. 执行数据计算函数
6. 存储结果数据
7. 返回结果

### get_history方法
获取历史日期范围的数据。

**执行流程**:
1. 构建搜索路径
2. 检查哪些日期数据缺失
3. 并行补全缺失日期的数据
4. 加载所有日期的数据
5. 合并并排序结果
6. 返回结果

### get_dependsPIT方法
获取依赖数据集在特定时间点的值。

**执行流程**:
1. 确定依赖数据的时间范围
2. 使用load_ds函数加载依赖数据
3. 返回LazyFrame结果

## DataLoader类
批量数据加载器。

### get方法
加载多个数据集。

**执行流程**:
1. 调用load_ds函数
2. 处理加载结果
3. 存储到内部状态
4. 返回结果

## load_ds函数
并行加载多个数据集的主函数。

**执行流程**:
1. 验定日期范围
2. 计算前置日期（用于处理未来数据）
3. 幷行提交所有数据加载任务
4. 收集结果
5. 合并具有时间和不具时间的数据
6. 返回结果字典

## 数据补全机制
自动检测并补全缺失日期的数据，支持多层依赖关系的自动补全。

## 依赖管理
支持多层数据集依赖，自动处理依赖关系和执行顺序。