
def evaluate(separatice,test):
  errors = 0
  for key in test.keys():
    if separatice.into_clauses(key) != test[key]:
      print(key)
      errors += 1
  print('accuracy:',1 - errors/len(test))


test = {'какие места есть в корпусах, где можно купить еды?' : ['какие места есть в корпусах', 'где можно купить еды?'], 'Сравнивать карателей с пёселями - это оскорбление пёселей.' : ['Сравнивать карателей с пёселями','это оскорбление пёселей.'],
'Люди идут мимо стелы к дворцу, в котором по слухам заседает именинник' : ['Люди идут мимо стелы к дворцу','в котором по слухам заседает именинник'],
'Ненавижу кабачки, их изобрели специально для того, чтобы их сажали, не зная, зачем.' : ['Ненавижу кабачки', 'их изобрели специально для того','их сажали, не зная, зачем.'],
'поставить ограждение без охраны, причем нужных цветов в нужной пропорции' : ['поставить ограждение без охраны', 'причем нужных цветов в нужной пропорции'],
'И ведь есть люди, которые на полном серьёзе думают, что каждому участнику акции платят по 50€.' : ['И ведь есть люди','которые на полном серьёзе думают', 'каждому участнику акции платят по 50€.'],
'В Лиде каждый день собирается, но про неё почему то почти не пишут.' : ['В Лиде каждый день собирается','про неё почему то почти не пишут.'],
'Как же они бояться свои морды засветит,это трындец' : ['Как же они бояться свои морды засветит', 'это трындец'],
'Так вот на что, собственно, говоря идут мои налоги.' : ['Так вот на что, собственно', 'говоря идут мои налоги.'],
'А перед этим надо согласовать слова, которые будете употреблять для согласования.' : ['А перед этим надо согласовать слова', 'которые будете употреблять для согласования.'],
'я испортил книгу библиотеки, что будет' : ['я испортил книгу библиотеки', 'что будет'],
'что если я не сдам книгу в библиотеку вовремя, мне выпишут штраф?' : ['что если я не сдам книгу в библиотеку вовремя', 'мне выпишут штраф?'],
'мой друг не смог сдать учебник вовремя, что с ним будет?' : ['мой друг не смог сдать учебник вовремя', 'что с ним будет?'],
'я сдал все экзамены без троек, могу ли я переветись на бесплатное обучение?' : ['я сдал все экзамены без троек', 'могу ли я переветись на бесплатное обучение?'],
'где брать справку о том, что я действительно студент вуза?' : ['где брать справку о том', 'я действительно студент вуза?'],
'я хочу получить справку, которая подтверждает, что я студент ггф!' : ['я хочу получить справку','которая подтверждает','я студент ггф!'],
'я потерял зачетку перед экзаменом, сколько времени уйдет на ее восстановление' : ['я потерял зачетку перед экзаменом','сколько времени уйдет на ее восстановление'],
'что делать, если мне проставили неправильную оценку в личном кабинете?!' : ['что делать','если мне проставили неправильную оценку в личном кабинете?!'],
'как найти место, где студенческие объединение проводит мероприятие' : ['как найти место', 'где студенческие объединение проводит мероприятие'],
'что делать, если согласно расписанию ты не можешь посещать ни один курс по выбору, но обязан получить зачет хотя бы одному из них' : ['что делать', 'если согласно расписанию ты не можешь посещать ни один курс по выбору', 'обязан получить зачет хотя бы одному из них'],
'я общался бы с ним, если бы он был умнее' : ['я общался бы с ним', 'он был умнее'],
'могу ли я получать социальную стипендию, я сирота' : ['могу ли я получать социальную стипендию', 'я сирота'],
'я стал жертвой кражи, могу ли я получить материальную помощь' : ['я стал жертвой кражи', 'могу ли я получить материальную помощь'],
'как понять по номеру аудитории, где она находится' : ['как понять по номеру аудитории', 'где она находится'],
'есть ли столовая в старом корпусе, если да, то как её найти' : ['есть ли столовая в старом корпусе, если да', 'то как её найти'],
'как мне узнать, где находиться деканат моего факультета' : ['как мне узнать', 'где находиться деканат моего факультета'],
'у нас сократили часы в учебном плане, имеем ли мы право на скидку на обучение' : ['у нас сократили часы в учебном плане', 'имеем ли мы право на скидку на обучение'],
'кто отвечает за то, какие спецкурсы будут в этом году, и может ли студент как-то повлиять' : ['кто отвечает за то', 'какие спецкурсы будут в этом году', 'и может ли студент как-то повлиять'],
'для любого эпсилона большего нуля существует такая дельта больше нуля, что \"хвост\" функции не будет выходить за границы этого эпсилона.' : ['для любого эпсилона большего нуля существует такая дельта больше нуля', '\"хвост\" функции не будет выходить за границы этого эпсилона.'],
'Вот где где, а в академе, по-моему, самые упитанные белки, у них кормушки пустые не видел, белки мимо пробегают' : ['Вот где где', 'в академе, по-моему, самые упитанные белки','у них кормушки пустые не видел','белки мимо пробегают'],
'На фоне требований снизить стоимость обучения и отмены ряда практик, результирующая онлайн-учеба не самая положительная' : ['На фоне требований снизить стоимость обучения и отмены ряда практик','результирующая онлайн-учеба не самая положительная'],
'могу ли я взять деньги у сбербанка 350000 рублей на 20 лет чтобы пенсионый фонд ежемесечно погошал этот кредит в течении этих лет' : ['могу ли я взять деньги у сбербанка 350000 рублей на 20 лет', 'пенсионый фонд ежемесечно погошал этот кредит в течении этих лет'],
'Сегодня вечером к нам приезжает новый студент из Египта, в понедельник ему будет нужна помощь в покупке симкарты, обмене денег и в оформлении документов в университете, кто сможет помочь утром(9-10)?' : ['Сегодня вечером к нам приезжает новый студент из Египта', 'в понедельник ему будет нужна помощь в покупке симкарты, обмене денег и в оформлении документов в университете','кто сможет помочь утром(9-10)?'],
'Не-а, вероятно можно с помощью csv или pandas такое сделать,  если не один раз подобным образом вставлять нужно будет' : ['Не-а', 'вероятно можно с помощью csv или pandas такое сделать','если не один раз подобным образом вставлять нужно будет'],
'нас там нормам не учат, филологов ещё вроде немного на пунктуацию и орфографию проверяют' : ['нас там нормам не учат', 'филологов ещё вроде немного на пунктуацию и орфографию проверяют'],
'так, значит, итоги, я попробовала fasttext+logreg, получилось неплохо, я 2-3 реплики из каждого класса отделили в тест, классификатор не ошибается.' : ['так, значит, итоги', 'я попробовала fasttext+logreg', 'получилось неплохо','я 2-3 реплики из каждого класса отделили в тест','классификатор не ошибается.'],
'привет, с 2 курса у нас каждый семестр есть курсы на выбор, и плюс есть курсы для всех гуманитариев' : ['привет', 'с 2 курса у нас каждый семестр есть курсы на выбор','и плюс есть курсы для всех гуманитариев'],
'да, верно, но есть проблема в том, что эта штука работает нестабильно, а результаты разные из-за разных моделей.' : ['да, верно', 'есть проблема в том', 'эта штука работает нестабильно', 'результаты разные из-за разных моделей.'],
'ладно, вроде туман в голове начинает рассеиваться, надо как-то всё переварить.' : ['ладно', 'вроде туман в голове начинает рассеиваться','надо как-то всё переварить.'],
'Есть 1млн коротких строк англ языка(допустим из библии), юзер начинает вводить строку и надо подобрать наиболее подходящую по смыслу.' : ['Есть 1млн коротких строк англ языка(допустим из библии)','юзер начинает вводить строку','надо подобрать наиболее подходящую по смыслу.'],
'Очень прошу прощения, чуть-чуть не расчитала впемя и не успела код доделать до пар, поздно вечером пришлю.' : ['Очень прошу прощения', 'чуть-чуть не расчитала впемя и не успела код доделать до пар', 'поздно вечером пришлю.'],
'Энкодер можешь на гпу запускать, а про approximate nearest neighbor search на гпу я не слышал, но можно попробовать погуглить.' : ['Энкодер можешь на гпу запускать', 'про approximate nearest neighbor search на гпу я не слышал', 'можно попробовать погуглить.'],
'да, окей, сесть прописать в кракострочной перспективе быстрее, чем отлаживать почти \"черный ящик\"' : ['да, окей', 'сесть прописать в кракострочной перспективе быстрее', 'чем отлаживать почти \"черный ящик\"'],
'у меня есть вариант как запускать эту штуку быстрее, ещё не оттестировала, завтра к утру мб будет слегка обновленный код или не будет.' : ['у меня есть вариант как запускать эту штуку быстрее', 'ещё не оттестировала', 'завтра к утру мб будет слегка обновленный код или не будет.'],
'какие мероприятия проходят в НГУ, где можно посмотреть список?' : ['какие мероприятия проходят в НГУ','где можно посмотреть список?'],
'для экспериментов и тренировки это прямо находка, очень много времени экономит' : ['для экспериментов и тренировки это прямо находка', 'очень много времени экономит'],
'Вы можете обратить внимание на пару по выч. методам на 2 потоке без аудитории, она будет проходить дистанционно' : ['Вы можете обратить внимание на пару по выч. методам на 2 потоке без аудитории', 'она будет проходить дистанционно'],
'Сейчас в Минске можно увидеть, как те, кто не поступили задерживают тех, кто поступил.' : ['Сейчас в Минске можно увидеть, как те', 'кто не поступили задерживают тех', 'кто поступил.'],
'так вот код для классификатора плюс файл с датасетом, нужно соблюдать имена столбцов: class - название класса интента, class_id - номер класса, text - сама реплика.' : ['так вот код для классификатора плюс файл с датасетом', 'нужно соблюдать имена столбцов: class - название класса интента, class_id - номер класса, text - сама реплика.'],
'фу тут тараканы, горячей воды нет, комнаты маленькие' : ['фу тут тараканы', 'горячей воды нет', 'комнаты маленькие'],'Господь сотворил целые числа; остальное — дело рук человека.' : ['Господь сотворил целые числа', 'остальное — дело рук человека.'],
'и ещё, пиши раз в день, пожалуйста, о прогрессе, например, \"за сегодня было добавлено столько-то фраз такого типа и столько-то синсетов было наполнено\".' :['и ещё, пиши раз в день, пожалуйста, о прогрессе, например', '"за сегодня было добавлено столько-то фраз такого типа', 'столько-то синсетов было наполнено".'],
 'Ребят, где находится магаз?':['Ребят', 'где находится магаз?'],'Иван Васильевич, а что сказал Петр Иванвович?':['Иван Васильевич', 'что сказал Петр Иванвович?'],'Чел, ты потерялся...':['Чел','ты потерялся...'],'Иван, Петр сказал, что ты не очень прилежный студент!':['Иван', 'Петр сказал', 'ты не очень прилежный студент!'],
        'Я собрался с ребятами, мы решили, что хотели бы создать студенческое объединение.':['Я собрался с ребятами', 'мы решили', 'хотели бы создать студенческое объединение.'],
        'Уже сейчас студенты Санкт-Петербурга проявили интерес к данному мероприятию, и я считаю, что студентам НГУ подобные инициативы также будут интересны.':['Уже сейчас студенты Санкт-Петербурга проявили интерес к данному мероприятию', 'и я считаю', 'студентам НГУ подобные инициативы также будут интересны.']}