- [x] 考虑安全分词：tokenizer()按特殊符号分词
- [x] test 无 label
- [x] 类增加self.dictionary字典方便调试
- [x] 解码问题：两次unquote
- [x] 考虑字典库的建立方法：单类黑样本vs自然多类全样本，参数one_class控制
- [x] pad_sequences values vs UNK，皆填充为-1
- [x] 考虑字典是否截断，参数vocabulary_size控制字典截断及大小
- [x] 单词粒度和字符粒度，参数level控制
- [x] 考虑多分类问题
- [x] 解决特征层面和模型层面的适配问题
- [x] word2vec预训练 vs keras tokenizer+wordindex+embeddings layer vs word2vec预训练+embeddings layer微调
- [x] 扩大场景、数据，验证NLP通用安全解决方案及代码
- [x] 已知支持：Web url类安全检测，Web DNS类安全检测等短文本安全场景
- [x] 分词模式：无标点(concise)、全标点(all)、安全模式(define)
- [x] 控制序列截断引发问题：wordindex和word2vec序列截断方式：去除or填充为某值（字典内/字典外索引）？长文本默认采取前者，短文本任选其一。word2vec向量填充为0
- [x] webshel检测中小马和大马引发：长文本问题，解决方法：字典截断(vocabulary_size) vs 序列软截断(num_words) vs 序列硬截断(max_length)
- [ ] 考虑 异源数据 vs 攻击模式 vs 泛化性能(过拟合vs欠拟合)->同一种攻击模式下的泛化性
- [ ] 考虑 数据源考虑payload vs 黑样本
- [x] word2vec奔溃问题->测试用例和版本管理
- [x] word2vec中序列索引填充为0 or -1? 填充为0，兼容预训练矩阵
- [x] 支持恶意软件类安全检测、Webshell类安全检测等长文本安全场景
- [ ] AutoML：自动测试所有参数、场景、数据的排列组合
- [x] 对比wordindex序列和word2vec预训练微调中的序列->一致
- [x] 对比 微调 vs 预训练 vs 预训练+微调 
- [x] 支持垃圾邮件检测，发现：小数据集下没必要预训练，此时微调>预训练，因为预训练默认会损失信息
- [ ] text_to_word_sequence函数分词优化
