from saku import SentenceTokenizer

tokenizer = SentenceTokenizer(
    eos="。",
    patterns=["（）", "『』"],
)
document = "どうもこんにちは。私の名前は山田です。「どーも。」で囲んでいます。"

for s in tokenizer.tokenize(document):
    print(s)

print("*"*80)

tokenizer = SentenceTokenizer(
    eos="、",
    patterns=["『』"],
)
document = '''
ソコヴィアでのウルトロンとの戦いから約1年後、ヒドラの残党ブロック・ラムロウのテロ計画を阻止するため、スティーブ・ロジャース率いるアベンジャーズがナイジェリアの都市ラゴスに出撃する。計画を阻止されたラムロウはスティーブを道連れに自爆を図るが、それを阻止しようとしたワンダの行動により

一般市民に犠牲者が出てしまう。アベンジャーズはこの件で国際法違反の自警団ではないかと国際社会から批判を浴びる。同じ頃、トニー・スタークもソコヴィアで犠牲となった青年の母親から叱責され、ウルトロンの一件を猛省する。
当初、トミー・ウィソーは「自分を演じられる俳優はジョニー・デップだけだ」と主張して譲らなかったが、最終的にジェームズ・フランコが自身を演じることを認めた。フランコはその顛末について「あるとき、トミーは私が自分を演じることを許可したのです。駆け出しの頃に私がジェームズ・ディーンを演じたから

トミーは許可を出したのでしょう。皆さんお分かりのように、トミーはディーンには似てません。私の目には、トミーがマジックペンで髪を染めた吸血鬼に見えます。しかし、トミーは自分をジェームズ・ディーンだと思っているのです。」と語っている。
早稲田大学の山口先生によれば、『それぞれの人が認識しているレジャーの概念は必ずしも一致していない。研究者、専門家、関係者においてもその認識に違いが見られる。「観光」や「リゾート」などが同様の意味をもって使用される場合もある。』とのこと。
'''.strip()

for s in tokenizer.tokenize(document):
    print(s)

print("*"*80)

for s in tokenizer.tokenize_raw(document):
    print(s)
