---
authors:
  - Zhiyuan Chen
date: 2024-05-04
---

# tokenisers

`tokenisers` 提供了一系列预定义令牌器。

令牌器是一个将核苷酸或氨基酸序列转换为索引序列的类。它用于在将输入序列馈送到模型之前对其进行预处理。

请参阅 [Tokenizer](https://huggingface.co/docs/transformers/main/en/main_classes/tokenizer) 了解更多细节。

## 可用令牌器

- [DnaTokenizer](tokenisers/dna.md)
- [RnaTokenizer](tokenisers/rna.md)
- [ProteinTokenizer](tokenisers/protein.md)
