Metadata-Version: 2.4
Name: tov-tokenizer
Version: 0.1.0
Summary: Иерархический TOV-токенизатор с γ-кэшированием и λ-утечкой
Author: Артём Мехед
License: MIT
Project-URL: Homepage, https://github.com/твой-логин/tov-tokenizer
Project-URL: Repository, https://github.com/твой-логин/tov-tokenizer
Classifier: Programming Language :: Python :: 3
Classifier: License :: OSI Approved :: MIT License
Classifier: Operating System :: OS Independent
Classifier: Topic :: Scientific/Engineering :: Artificial Intelligence
Requires-Python: >=3.7
Description-Content-Type: text/markdown
Requires-Dist: numpy>=1.19

# TOV Tokenizer

Иерархический токенизатор на основе Теории Относительности Всего (ТОВ).

## Особенности

- 🌳 Иерархическое дерево (предложения → слова → подслова → символы)
- ⚡ γ-кэширование частых токенов
- 🧹 λ-утечка для редких токенов
- 🧠 Выбор токенов через потоки массы
- 🔄 Сохранение/загрузка состояния

## Установка

```bash
pip install tov-tokenizer
