# kodoc-tokenizer

Tokenizer for kodoc

## Requirements

- `transformers>=4.0`

## Installation

```bash
pip3 install kodoc-tokenizer
```

## How to Use

### Version

```python
import kodoc_tokenizer

kodoc_tokenizer.__version__  # 0.1.0rc1
```

### clean_text

```python
from kodoc_tokenizer import clean_text

text = "Today a::: : \t\t \x00I \x00a  朝 三暮四 [MASK] m \na fool \n\nbecause I am a fool. \n [SEP][CLS]  "
assert clean_text(text) == "Today a::: : I a 朝 三暮四 [MASK] m a fool because I am a fool. [SEP][CLS]"
```

### Basic Function

```python
from kodoc_tokenizer import KodocTokenizer

tokenizer = KodocTokenizer.from_pretrained("kodoc/kodoc-bert-base")
tokens = tokenizer.tokenize("다이어트마침표_1부 2013.7.25 02:24 PM 페이지1 제1부 다이어트 핵심 바이블 A`2`Z 다이어트에 실패하는 원인 중 하나는 잘못된 상식도 크게 한몫을 한다.")
```
