# TOV Tokenizer

Иерархический токенизатор на основе Теории Относительности Всего (ТОВ).

## Особенности

- 🌳 Иерархическое дерево (предложения → слова → подслова → символы)
- ⚡ γ-кэширование частых токенов
- 🧹 λ-утечка для редких токенов
- 🧠 Выбор токенов через потоки массы
- 🔄 Сохранение/загрузка состояния

## Установка

```bash
pip install tov-tokenizer