from ramonak.tokenizer import sent_tokenize, word_tokenize


def test_word_tokenize():
    assert word_tokenize("а я, аднак, быў там... але даволі даўно") == [
        "а",
        "я",
        ",",
        "аднак",
        ",",
        "быў",
        "там",
        "...",
        "але",
        "даволі",
        "даўно",
    ]


def test_word_tokenize_remove_punct():
    assert word_tokenize(
        "а я, аднак, быў там... але даволі даўно", remove_punct=True
    ) == [
        "а",
        "я",
        "аднак",
        "быў",
        "там",
        "але",
        "даволі",
        "даўно",
    ]


def test_sent_tokenize():
    assert sent_tokenize("""
                         Нарадзіўся ў засценку Акінчыцы Мінскага павета Мінскай губерні. 
                         Бацькі — Міхал Казіміравіч і Ганна Юр’еўна (народжаная Лёсік) з вёскі Мікалаеўшчына (цяпер за 12 км ад Стоўбцаў). 
                         З 13-ці іх дзяцей да сталага веку дажыла толькі 9
                         """) == [
        "Нарадзіўся ў засценку Акінчыцы Мінскага павета Мінскай губерні.",
        "Бацькі — Міхал Казіміравіч і Ганна Юр’еўна (народжаная Лёсік) з вёскі Мікалаеўшчына (цяпер за 12 км ад Стоўбцаў).",
        "З 13-ці іх дзяцей да сталага веку дажыла толькі 9",
    ]
