# 中文文本字符集分析过滤工具

## 概要说明 

UTF-8字符集分析过滤工具 CharsetFilter
版本: V 1.0.2
更新：xmxoxo 2020/3/12
GitHub地址： https://github.com/xmxoxo/CharsetFilter

工具说明：本工具把UTF8字符集分成了39个子集，可对文本文件中的字符集进行分析，
统计各类字符的总数以及出现的种类数。同时还可以方便地过滤或者保留的字符，
特别适合NLP等领域中对不可见字符的过滤分析等处理。

注: 被分析的文本文件需要是UTF8格式

## 使用案例说明：

分析文本字符集，输出简要信息
```
CharsetFilter --file ./111.txt 
```

分析文本字符集，输出详细信息，详细信息会保存到 xxx_report.txt 文件中
```
CharsetFilter --file ./111.txt --detail 1
```


分析文本字符集，按默认值过滤(过滤 "尚未识别 0", "控制字符 3")，并保存过滤结果(自动命名)
```
CharsetFilter --file ./111.txt --filter 1
```


分析文本字符集，仅保留 1,2,36,39，并保存过滤结果(自动命名为 xxx_out.txt)
```
CharsetFilter --file ./111.txt --filter 1 --remain_charset 1 2 36 39

```