# xxx爬虫文档
## 调研

## 数据库设计
```
eg:
# 数据库连接
MYSQL_IP="localhost",
MYSQL_PORT=3306,
MYSQL_DB="test",
MYSQL_USER_NAME="root",
MYSQL_USER_PASS="root",

# 相关表

table_name = 'kaikeba'

## 字段说明
datagrip中，diagnostics -> dump model可以导出
```
## 稳定性

* [ ] 是否能够长期稳定采集？
* [ ] 是否加IP代理？
* [ ] 是否支持断点续跑?
* [ ] 是否能确保按时启动，定期采集?
* [ ] 是否已开启报警？

## 采集频次、类型、存储方式

* [ ] 采集频次是否满足要求？
* [ ] 采集类型是否满足要求：增量采集 or 批次采集?

## 爬虫逻辑
1. 通过深度爬取，一层一层往下爬取即可

## 项目架构
1. 单文件项目架构

## 反爬绕过
1. json动态数据

## 注意事项

## 尚存问题

## 待优化

## 知识点

## [kkba document](https://github.com/kaikeba/kkba)
