import re
import unittest
from ir_datasets.formats import ExctractedCCDoc, ExctractedCCQuery, TrecQrel, ExctractedCCNoReportQuery, ExctractedCCNoReportNoHtNarQuery, ExctractedCCMultiMtQuery
from .base import DatasetIntegrationTest


class TestNeuCLIR22(DatasetIntegrationTest):
    def test_docs(self):
        self._test_docs('neuclir/1/zh', count=3179209, items={
            0: ExctractedCCDoc(doc_id='95a18cdd-da7a-4815-a07d-7365d8c2e268', title='欧科云链链上大师重磅上线，一起来用“链上Bloomberg”听听行业脉搏跳动', text='Wednesday, 7 July 2021, 18:25 HKT/SGT Share: 欧科云链链上大师重磅上线，一起来用“链上Bloomberg”听听行业脉搏跳动\n\n香港, 2021年7月7日 - (亚太商讯) - 近日，欧科云链集团正式推出国内首款全景式链上数据分析工具——链上大师（ChainHub）。基于OKLink原有的九大公链全节点链上数据，欧科云链链上大师提供10000+数据指标、4大专题数据、以周、月、年为单位的专业研报，具备专业API接口，为广大C端、B端和G端用户打造了一体化的数据解决方案。\n\n\n\n\n\n\n\n\n\n上线之初，欧科云链链上大师受到各大媒体的青睐，被称为“链上Bloomberg”，以六大数据优势享誉业内。\n\n\n\n2011到2021，发现链上数据的价值\n\n\n\n区块链的链上数据分析，始于2011 年的 Coin Days Destroyed 指标——这是第一个链上数据指标。\n\n\n\n到了2021年，欧科云链链上大师上线，已经推出了10000+精选链上数据指标。短短十年，链上数据指标实现从1到1万+的扩展，来自于区块链技术的迅猛发展、新基建政策的扶持、区块链落地场景的成熟、企业的耐心打磨、产业市值的飞涨。\n\n\n\n当前，区块链市场的协议项目超过1万个，总市值一度超过2.5万亿美元，DeFi、NFT、去中心化存储、物联网、支付、人工智能等赛道涌现出优秀项目，特斯拉、微策略、灰度等机构也先后入场，持续推动区块链产业的繁荣。\n\n\n\n作为新基建之一，区块链技术具有透明、公开、不可篡改等特点。而链上数据，也成为了区块链的脉搏，收集、展示所有链上活动，直观地反映出区块链的链上整体生态，帮助机构、组织、长期投资者找到有意义的指标，借此来进行信息的研究和判断。\n\n\n\n如何收集链上数据呢？一般有两种方法：1、通过运行节点来获取数据；2、从数据供应商那里获取。欧科云链链上大师、Nansen、Dune Analytics等产品工具指明了方向——链上数据指标分析。\n\n\n\n在区块链行业，始终没有像彭博终端这样的超级工具，可以集中所有分析资源和实时价格指数，欧科云链链上大师的出现，填补了这一空白。\n\n\n\n三大产品特色，把握市场动向\n\n\n\n欧科云链链上大师是国内首款全景式的链上数据分析工具，上线之初，便受到各大媒体青睐，被称为“链上Bloomberg”。\n\n\n\nBloomberg（彭博）是全球最大的财经资讯服务供应商，为财经与商界专业人士提供数据、新闻和分析工具，当前业务遍及全球185个国家与地区。随着区块链产业的崛起，数字资产市场的成熟，机构、交易员等专业人士对于链上数据的需求日渐强烈。\n\n\n\n在此背景下，欧科云链推出全景式链上数据分析工具——欧科云链链上大师。结合OKLink蜂巢架构的核心底层技术，基于插拔式架构的扩展，欧科云链链上大师利用OLAP数据库做离线+实时分析，使用预计算方案，满足链上数据全方位的多维度指标输出，在产品层面上具备“三大特色”！\n\n\n\n特色一：链上大师依托9大公链，推出了10000+数据指标。链上大师完整详实的链上数据，既包含了多生态角色（矿工、机构等），又覆盖了多维度（地址、市场指标、网络）的数据指标。\n\n\n\n特色二：专业标准的API。欧科云链链上大师的专业API接口，为用户提供一个更为灵活、轻量的数据获取方式，可支持用户进行数据分析及策略挖掘。\n\n\n\n特色三：链上大师一体化的数据解决方案。欧科云链链上大师标准化的数据采集与整理，将多样化的指标及时更新入库呈现给用户。\n\n\n\n具体来说，链上大师提供了“热门专题”和“精选指标”两大类数据，满足链上用户多样化的数据需求。\n\n\n\n在“热门专题”中，目前推出了“DeFi”、“机构数据”、“NFT排行榜”、“波卡生态“4大板块数据，且保持持续更新。近期，欧科云链链上大师在“DeFi板块”嵌入“挖矿收益排行榜”、“24H借贷利率”等数据，为用户节省大量时间成本。\n\n\n\n在“精选指标”中，基于OKLink九大公链全节点链上数据，欧科云链链上大师生成10000+数据指标，用户可以查到主流数字资产的各类指标，并根据矿工、机构、市场指标、全网概览等进行分类，方便用户进行查询。借助链上大师，用户还可以使用收藏功能，将特定指标收藏进“我的收藏”。\n\n\n\n同时，为了方便机构用户、普通用户的专业交流，链上大师支持“主题分享”，可将“矿工”、“市场指标”等同一主题下的多个数据一键分享。\n\n\n\n全景式链上数据分析，打造行业“听诊器”\n\n\n\n欧科云链集团作为区块链行业原生企业，此次推出链上大师，为区块链行业在链上数据赛道再次筑下一座里程碑。\n\n\n\n相比于同类产品，欧科云链链上大师具有三大优势，做到了“三全齐美”，即：\n\n\n\n全数据：全节点链上数据，蜂巢架构设计，数据丰富专业\n\n全天候：全天候实时更新，贴合市场需求，更新精准及时\n\n全方位：全方位统计指标，紧跟市场热点，指标全面多样\n\n\n\n在数据研报方面，欧科云链链上大师拥有专业研究团队，依托OKLink九大公链浏览器、链上天眼、链上大师等产品，定期推出周报、月报、年报等专业研报，借指标解剖行业，用数据洞悉未来。\n\n\n\n链上大师上线后，欧科云链成为集区块链浏览器与数据服务为一体的复合型区块链大数据服务商，同时也为区块链行业提供了一只“听诊器”。只需要打开欧科云链链上大师，就可以“一键听诊”，洞悉链上数据，感知行业冷暖，把握市场脉搏。\n\n\n\n如何响应新基建政策，促进区块链行业健康发展？拿好手上的这只“听诊器”，一起来听听区块链市场的脉搏跳动。\n\n\n\n\n\n\n\n话题 Press release summary\n\n\n\n部门 Cloud & Enterprise, FinTech & Blockchain\n\nhttp://www.acnnewswire.com\n\nFrom the Asia Corporate News Network\n\n\n\nCopyright © 2021 ACN Newswire. All rights reserved. A division of Asia Corporate News Network\n\n', url='https://ch.acnnewswire.com/article.asp?art_id=67895', time=None, cc_file='crawl-data/CC-NEWS/2021/07/CC-NEWS-20210707164449-00551.warc.gz'),
            12345: ExctractedCCDoc(doc_id='9ee19273-f5b9-4deb-87fe-f90d6b4bcac4', title='週三起有劇烈降雨 溫度有機會下降', text='週三起有劇烈降雨、溫度略降。氣象局表示，12日、13日各地大多為多雲到晴，午後西半部地區及東北部、東部山區有局部短暫雷陣雨。氣象專家吳德榮指出，14日至18日午後易有強對流發展，伴隨劇烈降雨。台灣整合防災工程公司總監賈新興則表示，14日之後因水氣相對增加，各地高溫會降至30度至32度左右。\n\n週一、二高溫炎熱\n\n氣象局表示，12日、13日各地大多為多雲到晴，東南部及恆春半島有局部短暫陣雨，午後西半部地區及東北部、東部山區有局部短暫雷陣雨，並有局部較大雨勢發生的機率。中央大學大氣科學系兼任副教授吳德榮指出，最新歐洲模式模擬顯示，11日至13日各地大多晴朗炎熱、紫外線強，高溫在36度左右。\n\n吳德榮表示，最新模式模擬顯示，14日至18日太平洋高壓減弱東退，東風波移入，並逐漸發展成季風低壓的型態。季風低壓為大尺度的低壓環流，水氣多、大氣不穩定度高，午後易有強對流發展，伴隨劇烈降雨，其他時間亦偶有局部短暫降雨的機率，各地區白天高溫略降，但因模式模擬將持續調整，應密切觀察最新資料。\n\n週三起降雨增\n\n賈新興表示，12日、13日受太平洋高壓影響，午後有局部短暫雨或短暫雷雨的天氣，14日之後因太平洋高壓北抬，「本來是太平洋高壓主宰的天氣型態，轉為低壓帶接手的環境」，台灣東半部和恆春半島水氣會相對增多，14日之後降雨條件會比較明顯，局部地區會有較大雨勢。\n\n氣溫方面，12日、13日全台各地高溫約在33度至34度，局部地區可能達35度，14日之後因水氣相對較多，午後降雨機率較大，與前一陣子較炎熱的天氣型態相比，各地高溫會略降，降至30度至32度左右。\n\n【更多精采內容，詳見 】', url='https://udn.com/news/story/7266/5594185', time='2021-07-11T17:43:41+00:00', cc_file='crawl-data/CC-NEWS/2021/07/CC-NEWS-20210711102218-00616.warc.gz'),
            3179208: ExctractedCCDoc(doc_id='f8fd8814-4658-4982-b262-aae10756d1ea', title='氣立第3季業績回穩 可望衝今年單季高點', text='（中央社記者鍾榮峰台北2日電）氣動元件廠台灣氣立下半年業績仍須觀察美中貿易戰影響，不過第3季業績回穩，法人預估氣立第3季業績獲利可站上今年單季高點。\n\n展望第3季營運表現，法人指出，儘管仍受到美中貿易戰影響，氣立8月到9月業績可望回穩，預估落在新台幣1.2億元到1.3億元區間，第3季整體業績可到3.7億元到3.8億元，較第2季成長7%到8%左右，來到今年迄今單季高點。\n\n在單季獲利部分受惠業績上揚，加上費用支出刪減效益，預估氣立第3季毛利率可較第2季小幅增加，若無業外匯損因素，第3季獲利可望大幅季增180%到190%，來到今年迄今單季高點。不過整體下半年業績還需觀察美中貿易戰影響。\n\n在產能布局，法人指出氣立在中國浙江平湖園區持續動工，預估今年第4季完工，明年第1季開始進駐設備。\n\n氣立先前表示，擴廠項目的廠區主要規劃包括2/3用於集團上游模具設計製造、原物料鋁壓鑄件、氣動元件製造及車用零組件生產等；另外1/3廠區規劃下游金屬表面處理製程，包含精密研磨、陽極處理及表面烤漆等。\n\n氣立今年7月自結合併營收新台幣1.23億元，較去年同期1.56億元減少21.11%，累計今年前7月氣立自結合併營收8.15億元，較去年同期10.26億元減少20.56%。\n\n從產品營收比重來看，今年上半年執行元件占比約6成多，控制元件占比約9%，輔助元件占比約11%到12%，氣源處理元件占比約5%。銷售地區仍以中國大陸為主要市場，占比約8成，台灣市場占比約15%。從客戶別來看，經銷商、電子產業和氣動產業三大應用占比合計超過75%。（編輯：楊凱翔）1080902', url='https://www.cna.com.tw/news/afe/201909020081.aspx', time=None, cc_file='crawl-data/CC-NEWS/2019/09/CC-NEWS-20190902014743-01074.warc.gz')
        })
        self._test_docs('neuclir/1/fa', count=2232016, items={
            0: ExctractedCCDoc(doc_id='93e291b3-0216-4a48-941e-01476e703311', title='انفجار در خطوط انتقال نفت و گاز در شوش تعدادی کشته و زخمی برجای گذارد', text='انفجار در خطوط انتقال نفت و گاز در شوش تعدادی کشته و زخمی برجای گذارد.\n\nانفجار در ایستگاه خط لوله انتقال نفت و گاز در شوش در استان خوزستان دست\u200cکم سه کشته و ۴ زخمی برجای گذارد. به گفته فرماندار شوش، این حادثه عصر روز سه\u200cشنبه ۶ ژوئیه، در اثر انفجار ناشی از نشت گاز در ایستگاه خط لوله انتقال نفت و گاز رخ داد. انفجار این خط لوله، یک روز پس از آتش\u200cسوزی در یک انبار بزرگ در غرب تهران به وقوع پیوست. دلیل این آتش\u200c\u200cسوزی قطعی برق اعلام شد.\n\nتبلیغ بازرگانی دنباله\n\nمجید عسگری، فرماندار شهرستان دهلران، روز گذشته (سه\u200cشنبه) و در پی انفجار در خطوط نفت و گاز گفت: انفجار در ایستگاه خط لوله انتقال نفت و گاز در بخش فتح\u200cالمبین شوش اتفاق افتاده است که منجر به مرگ سه نفر و مجروح شدن چهار نفر دیگر شده است.\n\nبه گزارش خبرگزاری ایرنا، محل دقیق انفجار در فاصله روستای بیت عجم و مجاهدین در بخش فتح\u200cالمبین شهرستان شوش عنوان شده است.\n\nعدنان غزی، فرماندار شوش، نیز درباره مجروحان این حادثه گفت:\u200c چهار نفر که در اتاق جنب محل انفجار در حال استراحت بودند، به شدت زخمی شدند که توسط اورژانس ۱۱۵ به بیمارستان نظام مافی شوش اعزام شدند.\n\nبه گفته فرماندار شهرستان دهلران، قربانیان این انفجار از کارشناسان شرکت بهره\u200cبرداری نفت و گاز غرب ایران بودند.\n\nایستگاه خط لوله انتقال نفت و گاز در بخش فتح المبین شوش زیر نظر شرکت بهره برداری نفت و گاز غرب کشور است.\n\nاین خط انتقال از اهواز تا ایلام امتداد دارد و محل حادثه در حدود ۳۵ کیلومتری شوش گزارش شده است.\n\nدر \u200cهفته\u200cهای اخیر موارد متعددی از آتش\u200cسوزی و انفجار در ایران گزارش شده است. حدود یک ماه پیش،\u200c پالایشگاه تندگویان در جنوب تهران دچار حریق شد.\n\nدریافت رایگان خبرنامهبا خبر-پیامک های ما اخبار را بصورت زنده دریافت کنید آبونه شوید', url='https://www.rfi.fr/fa/%D8%A7%DB%8C%D8%B1%D8%A7%D9%86/20210707-%D8%A7%D9%86%D9%81%D8%AC%D8%A7%D8%B1-%D8%AF%D8%B1-%D8%AE%D8%B7%D9%88%D8%B7-%D8%A7%D9%86%D8%AA%D9%82%D8%A7%D9%84-%D9%86%D9%81%D8%AA-%D9%88-%DA%AF%D8%A7%D8%B2-%D8%AF%D8%B1-%D8%B4%D9%88%D8%B4-%D8%AA%D8%B9%D8%AF%D8%A7%D8%AF%DB%8C-%DA%A9%D8%B4%D8%AA%D9%87-%D9%88-%D8%B2%D8%AE%D9%85%DB%8C-%D8%A8%D8%B1%D8%AC%D8%A7%DB%8C-%DA%AF%D8%B0%D8%A7%D8%B1%D8%AF', time='2021-07-07T13:05:05+00:00', cc_file='crawl-data/CC-NEWS/2021/07/CC-NEWS-20210707140801-00548.warc.gz'),
            12345: ExctractedCCDoc(doc_id='f73a0ff9-f69c-49cb-9abf-8b8b31296390', title='رشد 40 درصدی پرداخت صدقه سمنانی\u200cها در بهار امسال', text='ایسنا/سمنان مردم نیکوکار استان سمنان در سه\u200cماهه نخست امسال یک میلیارد و 533 میلیون تومان صدقه پرداخت کردند که این رقم نسبت به مدت مشابه سال گذشته، 40درصد رشد داشته است.\n\nحمیدرضا رجب\u200cزاده، معاون توسعه مشارکت\u200cهای مردمی کمیته امداد استان سمنان با اشاره به اینکه مشارکت خیران، زمینه خدمت اثربخش به نیازمندان و توانمندسازی خانواده\u200cهای تحت حمایت را فراهم می\u200cکنند، گفت: مردم نیکوکار استان سمنان در سه ماهه نخست سال جاری از طریق صندوق\u200cهای صدقات، یک میلیارد و 533 میلیون تومان، صدقه پرداخت کردند.\n\nوی با اشاره به رشد 40 درصدی پرداخت صدقه در سه\u200cماهه نخست امسال نسبت به مدت مشابه گذشته، افزود: مردم این استان در سه ماهه نخست سال 99،نیز یک میلیارد و 98 میلیون تومان، در پرداخت صدقه مشارکت داشتند.\n\nرجب زاده با تأکید بر اینکه رشد کمک\u200cهای مردمی به نیازمندان از طریق این نهاد، نشانه اعتماد آنان به کمیته امداد است، افزود: تمامی مبالغ جمع\u200cآوری\u200cشده برای رفع نیازهای خانواده\u200cهای تحت حمایت در بخش\u200cهای مختلف ازجمله تأمین مسکن، جهیزیه، درمان، تحصیل و اعطای وام هزینه می\u200cشود.\n\nوی بر پرداخت صدقه به روش الکترونیکی با هدف کاهش هزینه\u200cهای جمع آوری صدقات، رعایت شیوه نامه\u200cهای بهداشتی با توجه به شیوع کرونا و افزایش سرعت در رسیدن صدقات به دست نیازمندان تاکید کرد.\n\nمعاون توسعه مشارکت\u200cهای مردمی کمیته امداد استان سمنان بابیان اینکه بر اساس میزان جمعیت 702 هزار 360 نفر استان سمنان و صدقات جمع\u200cآوری\u200cشده در سه ماهه نخست سال جاری، هر شهروند استان سمنان به\u200cطور میانگین روزانه 24تومان صدقه پرداخت می\u200cکند.\n\nانتهای پیام', url='https://www.isna.ir/news/1400042014309/%D8%B1%D8%B4%D8%AF-40-%D8%AF%D8%B1%D8%B5%D8%AF%DB%8C-%D9%BE%D8%B1%D8%AF%D8%A7%D8%AE%D8%AA-%D8%B5%D8%AF%D9%82%D9%87-%D8%B3%D9%85%D9%86%D8%A7%D9%86%DB%8C-%D9%87%D8%A7-%D8%AF%D8%B1-%D8%A8%D9%87%D8%A7%D8%B1-%D8%A7%D9%85%D8%B3%D8%A7%D9%84', time='2021-07-11T10:19:16+00:00', cc_file='crawl-data/CC-NEWS/2021/07/CC-NEWS-20210711102218-00616.warc.gz'),
            2232015: ExctractedCCDoc(doc_id='085e47da-94b0-4da6-a0a6-2865b85cf10c', title='رضیان: روی لایحه تجارت کار کارشناسی لازم انجام شده است', text='نماینده مردم قائمشهر در مجلس شورای اسلامی گفت: کمیسیون حقوقی و قضایی به همراه کارشناسان کار و مطالعه دقیقی بر روی لایحه تجارت انجام دادند و اینگونه نیست که مجلس شورای اسلامی بی\u200cتفاوت از کنار این لایحه گذشته باشد.\n\nبه گزارش ایسنا، عبدالله رضیان در جلسه علنی امروز در تذکری با استناد به ماده ۷۵ آیین\u200cنامه داخلی مجلس شورای اسلامی و با اشاره به اظهارات روز گذشته علیرضا سلیمی در خصوص نحوه بررسی لایحه تجارت در مجلس بیان کرد: در روز گذشته آقای سلیمی مطلبی را در خصوص نحوه بررسی لایحه تجارت بیان کردند که صحیح نیست. ایشان گفتند که همکاران در مجلس حواس\u200cشان نیست که چه تصویب می\u200cشود، اما بنده باید به ایشان بگویم که اینگونه نیست و کار کارشناسی روی این لایحه انجام شده است.\n\nوی در ادامه اظهار کرد: بر روی لایحه تجارت در کمیسیون قضایی و حقوقی به همراه کارشناسان این حوزه کار و مطالعه طولانی\u200cمدتی انجام شده است و همه همکاران حقوقی بر این لایحه اشراف دارند.\n\nنماینده مردم قائمشهر در مجلس شورای اسلامی در ادامه تاکید کرد: صحبت\u200cهای روز گذشته آقای سلیمی بازتابی را در رسانه\u200cها و صداوسیما داشت، در حالی که اینگونه نیست و مجلس شورای اسلامی بر روی این لایحه کار کارشناسی لازم را انجام داده است.\n\nانتهای پیام', url='https://www.isna.ir/news/98061105453/%D8%B1%D8%B6%DB%8C%D8%A7%D9%86-%D8%B1%D9%88%DB%8C-%D9%84%D8%A7%DB%8C%D8%AD%D9%87-%D8%AA%D8%AC%D8%A7%D8%B1%D8%AA-%DA%A9%D8%A7%D8%B1-%DA%A9%D8%A7%D8%B1%D8%B4%D9%86%D8%A7%D8%B3%DB%8C-%D9%84%D8%A7%D8%B2%D9%85-%D8%A7%D9%86%D8%AC%D8%A7%D9%85-%D8%B4%D8%AF%D9%87-%D8%A7%D8%B3%D8%AA', time='2019-09-02T04:48:00+00:00', cc_file='crawl-data/CC-NEWS/2019/09/CC-NEWS-20190902014743-01074.warc.gz')
        })
        self._test_docs('neuclir/1/ru', count=4627543, items={
            0: ExctractedCCDoc(doc_id='ed4af92b-0039-453e-8f25-f359225da8e0', title='Сергей Аксёнов сообщил о регистрации в Крыму 247 новых случаев COVID-19', text='Глава Республики Крым Сергей Аксёнов сообщил на своей официальной странице в социальной сети «ВКонтакте» о регистрации 247 новых случаев коронавирусной инфекции в Крыму.', url='https://mirtesen.ru/dispute/43025555825/Sergey-Aksyonov-soobschil-o-registratsii-v-Kryimu-247-novyih-slu', time=None, cc_file='crawl-data/CC-NEWS/2021/07/CC-NEWS-20210711213016-00623.warc.gz'),
            12345: ExctractedCCDoc(doc_id='3f82d6dd-23d4-4274-ac07-dce8745d369f', title='Количество зараженных коронавирусом в Беларуси на 9 июля 2021 года: число новых случаев за сутки растет несколько дней подряд, 11 смертей', text='За сутки в республике выявили 1 тыс. 250 новых случаев COVID-19 Фото: Валерий ЗВОНАРЕВ\n\nСвежая статистика по коронавирусу в Беларуси 9 июля опубликована в Telegram-канале Минздрава. Так, за сутки в республике выявили 1 тыс. 250 новых случаев COVID-19, выписали из больниц 1 тыс. 335 пациентов.\n\nВ предыдущие два дня за сутки регистрировали около тысячи и чуть более тысячи новых случаев коронавируса, таким образом, уже третий день подряд этот показатель растет.\n\n«Всего с начала пандемии в Беларуси были зарегистрированы 425 тыс. 804 человека с положительным тестом на COVID-19. Выздоровели 418 тыс. 920 пациентов, у которых ранее был подтвержден диагноз COVID-19», – добавили в Минздраве.\n\nТакже за прошедшие сутки у мерли 11 пациентов с выявленным коронавирусом. За все время распространения инфекции на территории Беларуси скончались 3 тыс. 236 пациентов с выявленной коронавирусной инфекцией.\n\nТакже специалисты продолжают делать тесты. За минувшие сутки выполнено 17 тыс. 733 теста, а всего в стране проведено 6 млн. 941 тыс. 505 таких анализов.\n\nКроме того, в Беларуси продолжается вакцинация от коронавируса. Более 1,06 млн белорусов получили первую дозу вакцины против COVID-19, из них более 694,2 тыс. человек прошли полный курс вакцинации.\n\nЧитайте также:\n\nКак защититься от заразного индийского штамма корнавируса «Дельта», рассказал доктор Комаровский\n\nПо его словам, не стоит терять бдительность даже жителям тех стран, где мало случаев заражения штаммом «Дельта» (подробности).\n\nВакцины vs СOVID-19: в ВОЗ сказали, кто побеждает. Вам это не понравится\n\nВ ВОЗ прокомментировали ситуацию с новыми штаммами коронавируса (подробности).\n\nБез фастфуда и алкоголя. Диетолог рассказала, как питаться перед вакцинацией от ковида, чтобы прививка лучше подействовала\n\nСпециалист рассказала, что если человек всю жизнь питался фастфудом, порция брокколи перед прививкой вряд ли что-то изменит (подробности).', url='https://www.kp.by/online/news/4358793/', time='2021-07-09T14:10:25+03:00', cc_file='crawl-data/CC-NEWS/2021/07/CC-NEWS-20210709143545-00589.warc.gz'),
            4627542: ExctractedCCDoc(doc_id='d79316fa-5986-404b-bd29-4eef59c153ea', title='Фанаты «Барселоны» хотят сделать Пике новым президентом клуба, а Хави — тренером', text='Защитник «Барселоны» Жерар Пике является фаворитом каталонских болельщиков на пост следующего руководителя клуба, сообщает AS.\n\n\n\nПолномочия нынешнего президента Хосепа Марии Бартомеу истекут в 2021 году. По сведениям источника, в команду 32-летнего Пике могут войти бывшие партнёры по команде — Хави и Карлес Пуйоль. Последний может занять пост спортивного директора, а Хави фанаты сине-гранатовых видят главным тренером команды.\n\n\n\nВместе с тем сообщается, что Пике пока не думает о завершении игровой карьеры и набирается управленческого опыта в других клубах — «Андорре» и «Химнастик Манресе», являясь их владельцем.\n\nНапомним, что 32-летний испанский футболист приобрёл контрольный пакет акций клуба «Химнастик Манреса» в конце июля текущего года. При этом бывший игрок сборной Испании взял на себя полную ответственность за выплату долгов клуба. Пике планирует сделать «Химнастик Манреса» филиалом приобретённого им в январе клуба «Андорра», который был основан в 1942 году и выступает в Примере Каталонии — пятом дивизионе чемпионата Испании.', url='https://www.championat.com/football/news-3839327-fanaty-barselony-hotjat-sdelat-pike-novym-prezidentom-kluba-a-havi---trenerom.html', time=None, cc_file='crawl-data/CC-NEWS/2019/09/CC-NEWS-20190902014743-01074.warc.gz')
        })
        self._test_docs('neuclir/1/zh/hc4-filtered', count=519945, items={
            0: ExctractedCCDoc('cef2e118-8da8-4695-8854-1f5cd802f95c', '【圖輯】動物才需要皮毛！ 西班牙人「浴血裸躺」抗議皮草製品｜香港01｜世界說', '請使用下列任何一種瀏覽器瀏覽以達至最佳的用戶體驗：Google Chrome、Mozilla Firefox、Internet Explorer、Microsoft Edge 或Safari。為避免使用網頁時發生問題，請確保你的網頁瀏覽器已更新至最新版本。\n\n繼續瀏覽', re.compile('^https://www\\.hk01\\.com/%E4%B8%96%E7%95%8C%E8%AA%AA/272186/%E5%9C%96%E8%BC%AF\\-%E5%8B%95%E7%89%A9%E6%89%.{67}E4%BA%BA\\-%E6%B5%B4%E8%A1%80%E8%A3%B8%E8%BA%BA\\-%E6%8A%97%E8%AD%B0%E7%9A%AE%E8%8D%89%E8%A3%BD%E5%93%81$', flags=48), '2018-12-17T19:13:00+08:00', 'crawl-data/CC-NEWS/2018/12/CC-NEWS-20181218012339-00004.warc.gz'),
            9: ExctractedCCDoc('058f053d-6a7e-41be-9ab7-402eaea1943e', '[表一6]上市上櫃股東會一覽表', re.compile('^代碼 股票名稱 日期 地 點 \\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\-\\- \\*3430 奇鈦科 20.{1331}\\) \\*3557 嘉威 20191015 台北市信義路五段5號 \\*1732 毛寶 20191017 新竹縣湖口鄉中華路22號2樓\\(新竹工業區管理中心\\) 註：有 \\* 號者為「臨時會」，無註記者為「常會」。$', flags=48), 'https://news.cnyes.com/news/id/4367796', '2019-08-16T07:58:22+08:00', 'crawl-data/CC-NEWS/2019/08/CC-NEWS-20190815235008-00897.warc.gz'),
            519944: ExctractedCCDoc('5eaf1d5b-1591-4b42-9e6f-2c878b721d5e', '六福村徵鬼！當鬼王陪玩笑傲飛鷹 讓你選擇笑死還是嚇死', re.compile('^▲應徵上鬼王還能陪遊客一起搭乘笑傲飛鷹。（圖／六福村提供，下同）\n\n\n\n記者陳凱力／新竹報導\n\n中國人怕鬼，西洋人也怕鬼，全世界的人都怕鬼！鬼門要關了，但六福村主題遊樂園不關門，迎接即將到來的萬聖節，.{637}本演繹等測試，擁有其他特殊專長如體操、特技更是加分條件。你，準備好要挑戰當鬼王了嗎？我們不見不散！\n\n更多活動詳情及優惠，歡迎至六福村官網 、六福村官方線上購票 、FB粉絲專頁或猛鬼人力銀行網站查詢。$', flags=48), 'https://www.ettoday.net/news/20190828/1523501.htm', '2019-08-28T19:38:00+08:00', 'crawl-data/CC-NEWS/2019/08/CC-NEWS-20190828113707-01025.warc.gz'),
        })
        self._test_docs('neuclir/1/fa/hc4-filtered', count=391703, items={
            0: ExctractedCCDoc('f5c30695-2fea-4a08-b87c-49a7e39c7945', 'کاهش نرخ رسمی ۲۵ ارز', re.compile('^امروز که همزمان با روز تعطیل رسمی در بازارهای جهانی است، نرخ دلار آمریکا همچنان بدون تغییر، ۴۲ هزار .{1518}۳۰ ریال، بولیوار جدید ونزوئلا چهار هزار و ۲۰۶ ریال و منات جدید ترکمنستان ۱۲ هزار ریال ارزش گذاری شد\\.$', flags=48), 'https://www.irna.ir/news/83444978/%DA%A9%D8%A7%D9%87%D8%B4-%D9%86%D8%B1%D8%AE-%D8%B1%D8%B3%D9%85%DB%8C-%DB%B2%DB%B5-%D8%A7%D8%B1%D8%B2', '2019-08-21T05:56:07+00:00', 'crawl-data/CC-NEWS/2019/08/CC-NEWS-20190821054226-00948.warc.gz'),
            9: ExctractedCCDoc('7eee1f43-a5a1-4777-89d6-3ff572b9245b', 'بورس آذربایجان\u200cغربی هفته گذشته هم مثبت بود', re.compile('^وحید جوادی روز شنبه در گفت و گو با خبرنگار ایرنا با بیان اینکه طی هفته گذشته شاخص کل بازار فرابورس ن.{840} ۲۲ اسفند سال ۱۳۸۳ شمسی با همت سازمان بورس و اوراق بهادار و استانداری این استان تاسیس شد\\.\n\n۳۲۱۴/۲۰۹۳$', flags=48), re.compile('^https://www\\.irna\\.ir/news/83422351/%D8%A8%D9%88%D8%B1%D8%B3\\-%D8%A2%D8%B0%D8%B1%D8%A8%D8%A7%DB%8C%D8%A.{51}%D8%AA%D9%87\\-%DA%AF%D8%B0%D8%B4%D8%AA%D9%87\\-%D9%87%D9%85\\-%D9%85%D8%AB%D8%A8%D8%AA\\-%D8%A8%D9%88%D8%AF$', flags=48), '2019-08-03T06:14:18+00:00', 'crawl-data/CC-NEWS/2019/08/CC-NEWS-20190803054534-00767.warc.gz'),
            391702: ExctractedCCDoc('40ab1e8e-a937-4c9e-89a9-9495a021e47e', 'بهره\u200cبرداری از طرح آبرسانی تهران به سد تنظیمی کرج تا خرداد ۹۹', re.compile('^به گزارش خبرگزاری مهر به نقل از وزارت نیرو، سید حسن رضوی در حاشیه بازدید از تصفیه\u200cخانه ششم تهران از .{942}ایت می\u200cکند\\. بهره\u200cبرداری از تونل انتقال آب کرج – تهران و تصفیه\u200cخانه ششم، منوط به تکمیل این کانال است\\.$', flags=48), re.compile('^https://www\\.mehrnews\\.com/news/4704991/%D8%A8%D9%87%D8%B1%D9%87\\-%D8%A8%D8%B1%D8%AF%D8%A7%D8%B1%DB%8C\\-.{144}%D8%B8%DB%8C%D9%85%DB%8C\\-%DA%A9%D8%B1%D8%AC\\-%D8%AA%D8%A7\\-%D8%AE%D8%B1%D8%AF%D8%A7%D8%AF\\-%DB%B9%DB%B9$', flags=48), '2019-08-28T10:56:28+00:00', 'crawl-data/CC-NEWS/2019/08/CC-NEWS-20190828113707-01025.warc.gz'),
        })
        self._test_docs('neuclir/1/ru/hc4-filtered', count=964719, items={
            0: ExctractedCCDoc('ecd810c8-4b67-4a53-a0bb-20e0214becde', 'Рафаэль Надаль – в четвертьфинале Открытого чемпионата Франции', re.compile('^Двое друзей встретились в парке, гуляя с собаками\\. Один из них предложил зайти позавтракать в ближай.{419}ки осведомился хозяин\\. \\- Чихуахуа\\? \\- удивился мужчина\\. \\- Так вот что они мне подсунули! еще анекдот!$', flags=48), 'https://www.33live.ru/novosti/02-06-2019-rafael-nadal-v-chetvertfinale-otkrytogo-chempionata-francii.html', None, 'crawl-data/CC-NEWS/2019/06/CC-NEWS-20190602191517-00127.warc.gz'),
            9: ExctractedCCDoc('f70cc5be-3ff8-4f84-a6d4-c7515231ffbf', 'Парламент Франции одобрил закон об ограничении прав демонстрантов', re.compile('^Нижняя палата парламента Франции во вторник, 5 февраля, одобрила законопроект, расширяющий полномочи.{4654}го пострадали магазины на Елисейских полях, некоторые из которых разграбили\\. Автор: Никита Баталов\n\n$', flags=48), re.compile('^https://www\\.dw\\.com/ru/%D0%BF%D0%B0%D1%80%D0%BB%D0%B0%D0%BC%D0%B5%D0%BD%D1%82\\-%D1%84%D1%80%D0%B0%D0%B.{188}0%B0%D0%B2\\-%D0%B4%D0%B5%D0%BC%D0%BE%D0%BD%D1%81%D1%82%D1%80%D0%B0%D0%BD%D1%82%D0%BE%D0%B2/a\\-47375953$', flags=48), None, 'crawl-data/CC-NEWS/2019/02/CC-NEWS-20190205195434-00321.warc.gz'),
            964718: ExctractedCCDoc('c89674e1-fbaf-48f9-9ce2-2517968dc020', 'Пугачева посмеялась над Лободой и назначила своей преемницей Вайкуле', re.compile('^Народная артистка СССР Алла Пугачева и певица Лайма Вайкуле посмеялись над видеороликом в инстаграме.{3749} тем, кто неуважительно писал о звезде, поближе познакомиться с ее творчеством и почитать биографию\\.$', flags=48), 'https://www.gazeta.ru/culture/2019/08/28/a_12607039.shtml', '2019-08-28T14:38:12+03:00', 'crawl-data/CC-NEWS/2019/08/CC-NEWS-20190828113707-01025.warc.gz'),
        })
        self._test_docs('neuclir/1/multi', count=10038768, items={
            0: ExctractedCCDoc('95a18cdd-da7a-4815-a07d-7365d8c2e268', '欧科云链链上大师重磅上线，一起来用“链上Bloomberg”听听行业脉搏跳动', re.compile('^Wednesday, 7 July 2021, 18:25 HKT/SGT Share: 欧科云链链上大师重磅上线，一起来用“链上Bloomberg”听听行业脉搏跳动\n\n香港, 2021年7月7日 \\-.{2347}k\n\n\n\nCopyright © 2021 ACN Newswire\\. All rights reserved\\. A division of Asia Corporate News Network\n\n$', flags=48), 'https://ch.acnnewswire.com/article.asp?art_id=67895', None, 'crawl-data/CC-NEWS/2021/07/CC-NEWS-20210707164449-00551.warc.gz'),
            9: ExctractedCCDoc('1c1925e5-4fa4-4ea0-934a-d050dde6d78c', '加比爾捷西斯停賽2場 無緣美洲盃決賽｜即時新聞｜體波｜on.cc東網', re.compile('^巴西殺入美洲國家盃決賽，不過效力曼城嘅前鋒加比爾捷西斯就冇份參加，南美足協周三\\(7日\\)宣布，加比爾捷西斯喺8強對智利施展嘅「天殘腳」紅牌，要停賽2場兼罰款5,000美元，意味4強對秘魯已經開始坐波監嘅.{52}要同隊友道歉，但呢支球隊再次展示出強大力量，我會嘗試從錯誤中繼續學習。」\n\n2年前加比爾捷西斯喺美洲國家盃決賽入波協助巴西捧盃，但同時亦食紅牌，加埋上場被逐，佢成為領隊迪迪領軍以來首個2次食紅牌球員。$', flags=48), 'https://hk.on.cc/hk/bkn/cnt/sport/20210707/bkn-20210707210135443-0707_00882_001.html', None, 'crawl-data/CC-NEWS/2021/07/CC-NEWS-20210707140801-00548.warc.gz'),
            10038767: ExctractedCCDoc('d79316fa-5986-404b-bd29-4eef59c153ea', 'Фанаты «Барселоны» хотят сделать Пике новым президентом клуба, а Хави — тренером', re.compile('^Защитник «Барселоны» Жерар Пике является фаворитом каталонских болельщиков на пост следующего руково.{849}оторый был основан в 1942 году и выступает в Примере Каталонии — пятом дивизионе чемпионата Испании\\.$', flags=48), 'https://www.championat.com/football/news-3839327-fanaty-barselony-hotjat-sdelat-pike-novym-prezidentom-kluba-a-havi---trenerom.html', None, 'crawl-data/CC-NEWS/2019/09/CC-NEWS-20190902014743-01074.warc.gz'),
        })

    def test_queries(self):
        self._test_queries('neuclir/1/zh/hc4-filtered', count=60, items={
            0: ExctractedCCQuery('1', 'Asteroids Endangering Earth', 'Articles related to asteroids that pose danger of impact to Earth.', '小行星危害地球', '与对地球构成撞击危害的小行星相关的文章。', 'Asteroids Endangering Earth', '与对地球产生影响的危险的天蝎座有关的文章。', {'very_valuable': 'Details about asteroids that currently or in the future may pose danger of impact to Earth (names, measurements, age, etc).\nInformation on the risk of an asteroid impacting Earth.', 'somewhat_valuable': 'N/A', 'not_that_valuable': 'Information on discussions about asteroids possibly impacting Earth at some point.', 'non_relevant': 'Details about asteroids that previously impacted Earth or Earth’s atmosphere.\nInformation about asteroids and the asteroid belt in general.\nGeneral research conducted on asteroids that is not focused on the danger of impact.\nInformation about asteroids impacting other planets.\nInformation on research about other planets.\n'}, '2011 UL21 briefly had about a 1 in a million chance of impacting in 2029. Its cumulative impact probability dropped to 1 in 71 million by 2 November 2011 when the observation arc reached 15 days. It was removed from the Sentry Risk Table on 4 November 2011 when all impact scenarios for the next 100 years or more were ruled out. During 2029, the closest approach to Earth is 1.6 AU. Palomar Observatory precovery images from 1989 and 1990 have extended the observation arc to 22 years. Its next notable close approach to the Earth will be on June 27, 2024 at a distance of 0.044 AU (6,600,000 km; 4,100,000 mi).\n\nWith an absolute magnitude of 15.8, it is one the brightest and therefor largest potentially hazardous asteroids (PHA) detected since (242450) 2004 QY2. The next largest PHA (based on absolute magnitude) discovered in 2011 is 2011 WO41 with an absolute magnitude of 16.8. ', 'https://en.wikipedia.org/w/index.php?title=(415029)_2011_UL21&oldid=877055001', '2019-01-06', 'zh'),
            9: ExctractedCCQuery('11', 'UK Defense Secretary leaking Huawei information', 'Find information about UK Prime Minister Theresa May firing Defense Secretary Gavin Williamson for leaking information about a Huawei deal from a National Security Council meeting.', '英国防大臣泄露华为情报', '查找与英国首相特蕾莎·梅将国防大臣加文·威廉姆森因泄露国家安全委员会会议有关华为交易情报而解职的相关信息。', '英国国防信息泄露华威', '寻找有关英国总理Theresa May firing Defense的信息，以了解国家安全委员会会议上关于Huawei交易的信息。', {'very_valuable': 'Specific reasons UK Defense Secretary Gavin Williamson was fired', 'somewhat_valuable': 'General information about the Huawei controversy', 'not_that_valuable': 'documents about the UK decision on Huawei 5G', 'non_relevant': 'documents about Huawei'}, 'In December 2018, Williamson expressed "grave" and "very deep concerns" about the Chinese telecommunications company Huawei providing technology to upgrade Britain\'s services to 5G. He accused China of acting "sometimes in a malign way". China\'s Defence Ministry spokesman Wu Qian criticized Williamson’s comments, saying "The remarks just reinforced the deep-rooted ignorance, prejudice and anxiety among some British people."\n\nOn 11 February 2019 Williamson delivered the speech "Defence in Global Britain" at the Royal United Services Institute outlining the future direction of the U.K. Armed Forces. The speech, which amongst a number of themes presented therein, proposes an increased role of the British military in the Indo-Pacific via the introduction of new and additional assets, including the F-35 carrying HMS Queen Elizabeth, was met with the consternation of the Chinese Government, leading Chinese Vice Premier Hu Chunhua to cancel trade talks with Chancellor of the Exchequer Philip Hammond. Hammond later stated that "no decisions have been made or even discussed about where [the aircraft carrier\'s] early deployments might be. And when those decisions are made, they will be made in the National Security Council."\n\nCritics of Williamson\'s approach to his Defence Secretary role have compared him to Private Pike, a hapless and immature character in the popular sitcom Dad\'s Army. ', 'https://en.wikipedia.org/w/index.php?title=Gavin_Williamson&oldid=891214674', '2019-04-06', 'zh'),
            59: ExctractedCCQuery('228', '2016 Chicago Cubs accomplishments', 'How did the Chicago Cubs do during the 2016 MLB baseball season?', '2016年芝加哥小熊队成绩', '在 2016 年 MLB 棒球赛季期间，芝加哥小熊队个人和团队取得了哪些成就？', '2016年芝加哥Cubs accomplishment', '芝加哥的Cubs是如何在2016年的MLB基础上做的？', {'very_valuable': 'details about Cubs regular season, the playoffs or winning the World Series; individual accomplishments of Cubs players  ', 'somewhat_valuable': 'documents focused on the 2017 season that mention the Cubs 2016 accomplishments ', 'not_that_valuable': 'passing mention of 2016 World Series', 'non_relevant': 'Other Cubs seasons '}, "The 2016 Chicago Cubs season is the 145th season of the Chicago Cubs franchise, the 141st in the National League and the Cubs 101st season at Wrigley Field. To celebrate their 100 years at Wrigley, the Cubs wore a patch on their home uniforms and wore 1916 throwback uniforms on July 6.\n\nThey began the season on the road against the Los Angeles Angels on April 4, 2016 and will finish the regular season on October 2, 2016 at the Cincinnati Reds.\n\nJune\nThe Cubs began June with the best run differential, plus 129, and a record of 35–15, also the best. Cubs starting pitchers began the month with a combined earned run average of 2.38.\nJune 1 – Major League Baseball announces results of early All Star Game voting. The Cubs have five players in starting positions: Kris Bryant, Addison Russell, Ben Zobrist, Anthony Rizzo, and Dexter Fowler.\nJune 1 – Jon Lester pitches a complete game four-hitter as the Cubs beat the Dodgers 2–1.\nJune 8 – Major League baseball releases update of All Star Game voting. The Cubs have received the four highest amount of votes among NL teams: Anthony Rizzo, Kris Bryant, Dexter Fowler, and Ben Zobrist. Addison Russell is also leading at SS.\nJune 11 – Jake Arrieta's 8–2 victory in Atlanta gives him a record of 7–0 in road starts and 10–1 overall.\nJune 13 – Jon Lester is named National League Player of the Week.\nJune 18 – Dexter Fowler leaves game after first inning with hamstring discomfort.\nJune 19 – Willson Contreras hits a home run on the first pitch of his first major-league at-bat becoming the 30th player in the Modern MLB Era to do so and the eighth player in Cubs history to homer in his first at-bat.\nJune 22 – Miguel Montero leaves game after play at the plate with apparent right knee injury. The Cubs are swept by the Cardinals at Wrigley Field for the first time since 1988.\nJune 27 – Kris Bryant becomes first player in MLB history to hit three home runs and two doubles in one game, going 5–5 in the game with six RBI's. His 16 total bases set a franchise record and he becomes the youngest player in club history to hit three home runs in the same game.\nJune 28 – A game at Cincinnati went into extra innings as a 2–2 tie. By the end of the 12th inning, both teams had used up all their position players. The Cubs used three pitchers to play left field. Travis Wood entered the game in left in the 14th with Spencer Patton beginning the inning at pitcher. He retired the first batter and was sent to left field and Wood replaced him on the mound. Following a groundout, the two players switched positions again. After the Cubs took the lead in the 15th inning, Pedro Strop replaced Patton and played left field with Wood returning to pitch. Wood finished the game with 1 1/3 innings pitched, allowing one hit and striking out three. It was the first time since 1961 that three pitchers moved from the mound to outfield and back in the same game. The last time two pitchers did so was in 1986, when the visiting Mets switched Jesse Orosco and Roger McDowell against Cincinnati. In the 15th, Javier Baez hit a grand slam, his first career grand slam, which is the latest grand slam, by inning, in Cubs history.\nJune 30 – Jon Lester is named National League Pitcher of the Month for June.\n\nJuly\nThe Cubs began July with the best record in baseball, 51–27, the best run differential at plus 169 and having a run of 10 consecutive months of at least .500 play. The pitching staff had the lowest ERA, the fewest hits allowed, runs allowed, earned runs allowed, and the lowest batting average by opponents in MLB. The Cubs offense when compared to all teams was second in on base percentage, second in base runners who eventually score, second in the number of RBI's and first in walks. Kris Bryant was tied with Todd Frazier of the Chicago White Sox and Mark Trumbo of the Baltimore Orioles for the Major League Home Run lead with 23 and was 4th with 61 RBI's. Anthony Rizzo had 60.\nThe July 12th All-Star game in San Diego will begin with the entire Cubs infield (Bryant, Rizzo, Russell, and Zobrist) as starters. Rizzo led all National League players in votes. Zobrist beat out Daniel Murphy by 88 votes. Fowler, though injured, was the top vote getter for National League outfielders. Lester and Arrieta were also named to the team.\nJuly 3 – The Cubs are swept by the New York Mets. Cubs begin July 0–3 and losers of 10 of their last 14 games.\nJuly 10 – The Cubs enter the All-Star break at 53–35 having lost 15 out of their last 21 games. However, the Cubs' lead of seven games over St. Louis in the division is the largest lead in baseball.\nJuly 20 – The Mets and Cubs wear throwback uniforms in the series finale ahead of the weekend’s Hall of Fame inductions. Six other teams are also wearing vintage uniforms.\nJuly 20 – Rizzo homers twice in Cubs 6–2 win over the Mets giving him 24 on the season, one behind the National League lead of 25 by teammate Bryant. Kyle Hendricks' ERA is 2.27 which is third best in MLB behind Clayton Kershaw and Madison Bumgarner.\nJuly 22 – Dexter Fowler returns from the disabled list and leads off the game with a home run and drives in three runs as the Cubs beat the Milwaukee Brewers 5–2.\nJuly 27 – Addison Russell hits his first career grand slam as part of a five-run eighth inning as the Cubs defeat the Chicago White Sox 8–1. Javier Baez and Kris Bryant also homer as the Cubs snap a two-game losing streak. Bryant's homer, his 26th, ties his total home runs from last season. Newly acquired Aroldis Chapman pitches a perfect ninth inning.\nJuly 31 – The Cubs beat the Seattle Mariners 7–6 in 12 innings. In a game started by Brian Matusz, who departed after giving up six runs in three innings, the Cubs bullpen pitches nine innings of scoreless relief. Trailing 3–6 in the bottom of the ninth, the Cubs rallied to tie the game and force extra innings. Travis Wood again played left field after pitching in the sixth inning. He made a catch up against the wall in the seventh and returned to pitch in the eighth inning. Having exhausted all position players and bullpen pitchers, the Cubs were forced to have Jon Lester pinch hit in the bottom of the 12th after Jason Heyward doubled and moved to third on a Willson Contreras sacrifice fly. With two strikes, Lester executed a safety squeeze bunt and Heyward scored to win the game.\nThe Cubs had a record of 12–14 for the month marking the first time in manager Joe Maddon's tenure that the Cubs had a record under .500 in a single month.\n\nAugust\nThe Cubs began August with the best MLB record of 63–41. The pitching staff once again had the lowest ERA, the fewest hits allowed, fewest runs allowed, fewest earned runs allowed, the lowest batting average by opponents in MLB and were among the leaders in fewest home runs allowed and in striking out opponent batters. The Cubs offense, when compared to all major league teams, was among the leaders in on-base percentage, base runners who eventually score, RBI's and drawing walks. Bryant and Rizzo were among the major league leaders in home runs and RBI's.\nAugust 1 – Kyle Hendricks throws a complete game shutout and lowers his ERA to 2.22, third best in the National League. His ERA at Wrigley Field this season is 1.19.\nAugust 3 – Cubs complete sweep of Miami Marlins with three-run ninth inning for the win.\nAugust 7 – Cubs beat Oakland A's 3–1 to sweep series and extend current winning streak to seven games. The win also puts the Cubs at a season-high 28 games over .500.\nAugust 8 – Kyle Hendricks is named National League Player of the Week for the first week of August.\nAugust 9 – Cubs defeat Angels 5–1, their eighth straight win, to become the first team to win 70 games. Bryant homers and drives in his 70th run becoming the first Cubs player ever to drive in 70 runs in each of his first two seasons.\nAugust 11 – Cubs defeat Cardinals 4–3 in 11 innings, their 10th straight win, on a walk-off walk. The win moved the Cubs to a season-high 13 game lead over the Cardinals in the NL Central.\nAugust 12 – Cubs defeat Cardinals 13–2, hitting five home runs and winning their 11th straight game. The lead in the NL Central increases to 14 games. The Cubs magic number to win the division stands at 34.\nAugust 18 – Cubs defeat the Brewers 9–6, completing a four-game sweep and move to a season-high 34 games over .500. Kris Bryant goes 5–5 with two home runs and five RBIs in the win.\nAugust 22 – Kyle Hendricks leads the Majors in ERA for pitchers with over 140 innings at 2.16. Jake Arrieta is fourth at 2.75 and Jon Lester is fifth at 2.81. Kris Bryant is the first player to score 100 runs this season.\nAugust 23 – With the Cubs 5–3 victory over the San Diego Padres, the Cubs moved to a season-high 35 games over .500 at 80–45. Their magic number to win the division moved 25. Jake Arrieta won his league-leading 16th game of the season and lowered his ERA to 2.62. Addison Russell hit his fifth home run in the last five games. The Cubs hit multiple home runs in their last seven games, the longest streak since the Cubs hit multiple home runs in an eight-game stretch from June 25 through July 2, 1961.\nAugust 26 – The Cubs defeated the Los Angeles Dodgers 6–3 to move to a season-high 37 games over .500 and moved to season-high 14-game lead in the division.\nAugust 29 – Following back-to-back road losses to the Los Angeles Dodgers, the Cubs returned home with a 14 game lead in the division and a 14.5 game lead over the Pittsburgh Pirates. The Cubs jumped out to a 3–0 lead early, but Jake Arrieta gave up the lead and trailed 6–3 in the eighth. Willson Contreras hit a two-run homer in the eighth and Jorge Soler tied with a homer in the ninth to send the game into extra innings. The Cubs won it in the 13th inning after giving up the go-ahead run in the top of 13th. They scored twice in the bottom of the 13th with a game-winning single by Miguel Montero. The Cubs magic number to win the division moved to 19 and their magic number to secure home-field advantage in the National League playoffs moved to 25.", 'https://en.wikipedia.org/w/index.php?title=2016_Chicago_Cubs_season&oldid=736895533', '2016-08-30', 'zh'),
        })
        self._test_queries('neuclir/1/fa/hc4-filtered', count=60, items={
            0: ExctractedCCQuery('1', 'Asteroids Endangering Earth', 'Articles related to asteroids that pose danger of impact to Earth.', 'سیارک ها\xa0کره زمین را به خطر می اندازند', 'مقالات مربوط به سیارک ها که خطر ضربه به کره زمین را دارند', 'سیارات در معرض خطر زمین', 'مقالات مربوط به سیارک \u200c هایی که خطر برخورد با زمین را تهدید می \u200c کنند.', {'very_valuable': 'Mention of asteroids striking Earth with description', 'somewhat_valuable': 'Mention of asteroids striking Earth but with little information', 'not_that_valuable': 'May talk about asteroids without real mention of their danger', 'non_relevant': 'Describes meteorites, planets, stars with no relation to striking Earth'}, '2011 UL21 briefly had about a 1 in a million chance of impacting in 2029. Its cumulative impact probability dropped to 1 in 71 million by 2 November 2011 when the observation arc reached 15 days. It was removed from the Sentry Risk Table on 4 November 2011 when all impact scenarios for the next 100 years or more were ruled out. During 2029, the closest approach to Earth is 1.6 AU. Palomar Observatory precovery images from 1989 and 1990 have extended the observation arc to 22 years. Its next notable close approach to the Earth will be on June 27, 2024 at a distance of 0.044 AU (6,600,000 km; 4,100,000 mi).\n\nWith an absolute magnitude of 15.8, it is one the brightest and therefor largest potentially hazardous asteroids (PHA) detected since (242450) 2004 QY2. The next largest PHA (based on absolute magnitude) discovered in 2011 is 2011 WO41 with an absolute magnitude of 16.8. ', 'https://en.wikipedia.org/w/index.php?title=(415029)_2011_UL21&oldid=877055001', '2019-01-06', 'fa'),
            9: ExctractedCCQuery('23', 'Technical US-South Korean Military Exercise', 'Find information regarding technical or computer-related military exercises that took place after the original U.S. and North Korean summit.', 'رزمایش فنی آمریکا و کره جنوبی', 'اطلاعات مربوط به تمرینات نظامی فنی یا رایانه ای را که پس از اتحاد اصلی ایالات متحده و اجلاس کره شمالی انجام شد ، بیابید.', 'فنی ایالات متحده و کره جنوبی ورزش نظامی', 'اطلاعات مربوط به تمرینات نظامی فنی یا کامپیوتری را که پس از اجلاس اصلی ایالات متحده و کره شمالی برگزار شد ، پیدا کنید.', {'very_valuable': 'simulated computer and technical drills between the US and South Korea.', 'somewhat_valuable': 'na', 'not_that_valuable': 'na', 'non_relevant': 'Info about large exercises, tensions between the US and North Korea, missile tests, letters sent to Trump. Computer game addiction.  US simulating battle against Iran. '}, "Foal Eagle (Korean: 독수리 연습) is a combined field training exercise (FTX) conducted annually by the Republic of Korea Armed Forces and the United States Armed Forces under the auspices of the Combined Forces Command. It is one of the largest military exercises conducted annually in the world. Foal Eagle has been a source of friction with the government of Democratic People's Republic of Korea (DPRK) and domestic ROK critics.\n\nFoal Eagle is an exercise conducted by the US and ROK armed forces, consisting of rear area security and stability operations, onward movement of critical assets to the forward area, special operations, ground maneuver, amphibious operations, combat air operations, maritime action group operations and counter special operations forces exercises (CSOFEX).\n\nThe United Nations Command informs the North Korean People's Army that South Korea and the United States will be conducting the exercise. The United Nations Command also reassured the Korean People's Army at general officer-level talks that these exercises, conducted annually in or around March, are purely defensive in nature[citation needed] and have no connection to ongoing or current events. The Neutral Nations Supervisory Commission monitors the exercise for violations of the Korean Armistice Agreement.\n\nSince 2001, Foal Eagle combined with the annual American-South Korean Reception, Staging, Onward movement, and Integration (RSOI) combined exercises, with RSOI being renamed Key Resolve in 2008. On June 12, 2018, US President Donald Trump announced that the US would abandon the joint military exercises with South Korea.", 'https://en.wikipedia.org/w/index.php?title=Foal_Eagle&oldid=845573161', '2018-06-12', 'fa'),
            59: ExctractedCCQuery('208', 'Bird reintroduction to wild', 'Which species of birds of prey have been successfully reintroduced into the wild?', 'معرفی مجدد پرندگان به طبیعت', 'کدام گونه از پرندگان شکاری با موفقیت دوباره در طبیعت وارد شده اند؟', 'معرفی مجدد پرنده به وحشی', 'کدام گونه از پرندگان شکاری با موفقیت در حیات وحش معرفی شده \u200c اند ؟', {'very_valuable': 'Articles which specified specific species, such as the Golden Eagle, or the Horned Owl, and further specified them as birds of prey, and spoke about injuries they had suffered causing them to need rehab, and then being reintroduced to the wild. ', 'somewhat_valuable': 'Articles which specified general species, such as eagles and owls and raptors, but did not specify specific species, then went on to talk about their rehab and reintroduction to the wild', 'not_that_valuable': 'Articles which spoke of birds of prey being reintroduced to the wild, but spoke of neither general nor specific species', 'non_relevant': 'Articles about Eagles, poachers catching birds, the reintroduction of foxes and squirrels into the wild and various other animal topics that were close but not central'}, 'North African ostrich in Morocco, Nigeria, Niger and Tunisia (ongoing)\n\nSarus cranes in Thailand (ongoing)\n\nShort-tailed albatross in Japan (successful)\n\nBlack grouse to Derbyshire, England – (ongoing)\n\nCommon crane to Somerset, England – (ongoing)\n\nCorncrake to Cambridgeshire, England – (ongoing)\n\nEuropean black vulture in the Massif Central in France - (successful)\n\nGolden eagle in Ireland (ongoing)\n\nGreat bustard to Salisbury Plain, England – (ongoing)', 'https://en.wikipedia.org/w/index.php?title=Species_reintroduction&oldid=869254157', '2018-11-17', 'fa'),
        })
        self._test_queries('neuclir/1/ru/hc4-filtered', count=54, items={
            0: ExctractedCCQuery('3', 'British royal news impacts', 'What political and economic impacts does news about the British royal family have domestically and abroad?', 'Влияние британских королевских новостей', 'Какое политическое и экономическое влияние новости о британской королевской семье имеют внутри страны и за рубежом?', 'Британские королевские новости влияют', 'Какие политические и экономические последствия имеют новости о британской королевской семье как внутри страны, так и за рубежом?', {'very_valuable': 'Information regarding economic and political impacts of the British royal family in the UK and worldwide', 'somewhat_valuable': 'Information related to the British royal family and their interactions with politics or the economy', 'not_that_valuable': 'information about the royal family', 'non_relevant': 'information not about the royals'}, "Announcement of engagement\nPrincess Eugenie of York in 2013\n\nPrincess Eugenie of York is the second daughter of Prince Andrew, Duke of York and Sarah, Duchess of York. Jack Brooksbank is a British nightclub manager, a distant relation of the Brooksbank baronets,[notes 1] and a third cousin twice removed of Princess Eugenie through Thomas Coke, 2nd Earl of Leicester.[notes 2] The couple have been dating for seven years; they were first introduced by friends in a ski break in Verbier, Switzerland, where Brooksbank was working at the time.\n\nOn 22 January 2018, Buckingham Palace announced that Princess Eugenie of York would marry Jack Brooksbank in the autumn. They were engaged earlier the same month while in Nicaragua with Brooksbank giving the Princess an oval-cut Padparadscha sapphire surrounded by a halo of diamonds set on a gold band with two further diamonds on the shoulders. The ring bears a striking similarity to the engagement ring of Princess Eugenie's mother.\n\nEugenie was eighth in the line of succession to the British throne at the time the engagement was announced. As of May 2018, she is ninth in the line of succession. Although Eugenie is a member of the British royal family, she does not require the Queen's permission to marry.[notes 3] The Duke and Duchess of York expressed their delight at the news and the British Prime Minister Theresa May congratulated the couple on her Twitter account. After the announcement the couple gave an interview to Matt Baker of BBC One.\n\nThe official engagement photographs were taken in the Picture gallery at Buckingham Palace. ", 'https://en.wikipedia.org/w/index.php?title=Wedding_of_Princess_Eugenie_and_Jack_Brooksbank&oldid=841040200', '2018-05-13', 'ru'),
            9: ExctractedCCQuery('111', 'Chinese regulation of Fentanyl', "Has the addition of fentanyl to China's list of regulated narcotic drugs been successful in curbing its production and distribution?", 'Китайское регулирование Фентанила', 'Помогло ли добавление фентанила в список регулируемых наркотиков Китая ограничить его производство и распределение?', 'Китайское регулирование Фентанила', 'Успешно ли было включение фентанила в перечень регулируемых наркотических средств Китая с точки зрения ограничения его производства и распространения?', {'very_valuable': 'One article focused on the very question in the description. The assessment by the US think tank, Rand, China lacks the resources to effectively control opioid exporters. Over 40 years, Chinese manufacturers have reoriented themselves to export, especially through the internet. The industry has about five thousand companies producing about two million tons of product per year. Also, many operate without government oversight. Besides the US, countries like Russia who share a border with China are also suffering from the influx of fentanyl and other drugs into their countries. The Chinese government has so far failed to control the flow. ', 'somewhat_valuable': "Three articles focused on China putting fentanyl on the list of controlled substances for export, but also with the caveat that the China is not the sole source of this product. Also, one article focused on US sanctions against certain Chinese entities because of their exporting fentanyl to the US. US stated that the regulated Chinese list isn't working. ", 'not_that_valuable': 'One article is about Trump announcing new tariffs to China mostly because of the trade war, but one reason mentioned was China’s failure to limit sales of fentanyl to US. Another article was about Trump’s Tweets calling for the ban of fentanyl from China to US', 'non_relevant': 'Trump’s request to Mexico and China to cooperate against the opioid crisis; China’s black listing of certain suspect people and companies (no details); UN’s opioid report; Drug problems in Russia, Estonia, Ukraine and Kazakhstan; Heroin problem; DoJ going after pharmaceutical companies; innovative vaccine to battle opioid crisis; Trump signed legislation to counter the smuggling of opioids into the United States; US sanctions against Korea and China; The Chinese government intends to impose sanctions against American companies that are involved in the supply of arms to Taiwan; how the opioid crisis grew in the US; US sanctions against Russia; Russia’s sanctions against Ukraine'}, 'Several large quantities of illicitly produced fentanyl have been seized by U.S. law enforcement agencies. In November 2016, the DEA uncovered an operation making counterfeit oxycodone and Xanax from a home in Cottonwood Heights, Utah. They found about 70,000 pills in the appearance of oxycodone and more than 25,000 in the appearance of Xanax. The DEA reported that millions of pills could have been distributed from this location over the course of time. The accused owned a pill press and ordered fentanyl in powder form from China. A seizure of a record amount of fentanyl occurred on February 2, 2019 by U.S. Customs and Border Protection in Nogales, Arizona. The 254 pounds (115 kg) of fentanyl, which was estimated to be worth US$3.5M, was buried under a pile of cucumbers and stowed under a special floor compartment.\n\nThe "China White" form of fentanyl refers to any of a number of clandestinely produced analogues, especially α-methylfentanyl (AMF). This Department of Justice document lists "China White" as a synonym for a number of fentanyl analogues, including 3-methylfentanyl and α-methylfentanyl, which today are classified as Schedule I drugs in the United States. Part of the motivation for AMF is that, despite the extra difficulty from a synthetic standpoint, the resultant drug is relatively more resistant to metabolic degradation. This results in a drug with an increased duration.\n\nIn June 2013, the United States Centers for Disease Control and Prevention (CDC) issued a health advisory to emergency departments alerting to 14 overdose deaths among intravenous drug users in Rhode Island associated with acetylfentanyl, a synthetic opioid analog of fentanyl that has never been licensed for medical use. In a separate study conducted by the CDC, 82% of fentanyl overdose deaths involved illegally manufactured fentanyl, while only 4% were suspected to originate from a prescription.\n\nBeginning in 2015, Canada has seen a number of fentanyl overdoses. Authorities suspected that the drug was being imported from Asia to the western coast by organized crime groups in powder form and being pressed into pseudo-OxyContin tablets. Traces of the drug have also been found in other recreational drugs including cocaine, MDMA, and heroin. The drug has been implicated in multiple deaths from the homeless to young professionals, including multiple teens and young parents. Because of the rising deaths across the country, especially in British Columbia where the deaths for 2016 is 668 and deaths for 2017 (January to October) is 999,Health Canada is putting a rush on a review of the prescription-only status of naloxone in an effort to combat overdoses of the drug.\n\nFentanyl has been discovered for sale in illicit markets in Australia in 2017 and in New Zealand in 2018. In response, New Zealand experts called for wider availability of naloxone.\n\nFentanyl has started to make its way into heroin and oxycodone, and more recently, cocaine. A kilogram of heroin laced with fentanyl may sell for US$1.6 million, but the fentanyl itself may be produced far more cheaply for about US$6,000 per kilogram. Fentanyl is often produced in China and exported illegally to the U.S.', 'https://en.wikipedia.org/w/index.php?title=Fentanyl&oldid=890112151#Overdose', '2019-03-30', 'ru'),
            53: ExctractedCCQuery('256', 'Causes of Mediterranean migrants drownings', 'What are the causes of migrants drowning while attempting to cross the Mediterranean Sea?', 'Причины утопления средиземноморских мигрантов', 'По каким причинам мигранты тонут при попытке пересечь Средиземное море?', 'Причины утопления средиземноморских мигрантов', 'Каковы причины утопления мигрантов при попытке пересечь Средиземное море?', {'very_valuable': 'N/A', 'somewhat_valuable': 'Articles that describe specifically the causes of drowning, such as smugglers overcrowding boats, as well as using rubber rafts or unseaworthy boats, also if a boat capsized due to weather. Another cause of drowning is whether rescuers, such a the Libyan Navy, have the resources to reach every immigrant. \n ', 'not_that_valuable': 'Articles that hint at the cause of boats capsizing, such as when a number is mentioned, or a rubber raft is mentioned. ', 'non_relevant': 'Articles on politicians’ views of the drownings; UN position or efforts on refugees; article on the aircraft carrier Admiral Kuznetsov; statistical information regarding refugees (country of origin, number, age); European countries’ positions or efforts regarding refugees; articles on successful rescues; immigrant situation impact on European domestic politics; reports of individual incidents without mentioning a cause; boat accidents and drownings not related to the Mediterranean crossing'}, 'Illegal immigration from Africa to Europe is significant. Many people from underdeveloped African countries embark on the dangerous journey for Europe, in hopes of a better life. In parts of Africa, particularly Mauritania and Morocco, trafficking of immigrants to Europe has become more lucrative than drug trafficking. Some migrants die during the journey. Most of those whose claim for asylum were unsuccessful are deported back to Africa. Libya is the major departure point for irregular migrants setting off for Europe.\n\nBetween October 2013 and October 2014, the Italian government ran Operation Mare Nostrum, a naval and air operation intended to reduce irregular immigration to Europe and the incidence of migratory ship wreckages off the coast of Lampedusa. The Italian government ceased the operation as it was judged to be unsustainable, involving a large proportion of the Italian navy. The operation was replaced by a more limited joint EU border protection operation, named Operation Triton managed by the EU border agency, Frontex. Some other European governments, including Britain\'s, argued that the operations such as Mare Nostrum and Triton serve to provide an "unintended pull factor" encouraging further migration.\n\nIn 2014, 170,100 irregular migrants were recorded arriving in Italy by sea (an increase from 42,925 arrivals recorded in 2013), 141,484 of them leaving from Libya. Most of them came from Syria, the Horn of Africa and West Africa.\n\nThe issue returned to international headlines with a series of migrant shipwrecks, part of the 2015 Mediterranean migration crisis. The International Organization for Migration (IOM) estimates suggest that between the start of 2015 and the middle of April, 21,000 migrants had reached the Italian coast and 900 migrants had died in the Mediterranean. Critics of European policy towards irregular migration in the Mediterranean argue that the cancellation of Operation Mare Nostrum failed to deter migrants and that its replacement with Triton "created the conditions for the higher death toll."', 'https://en.wikipedia.org/w/index.php?title=African_immigration_to_Europe&oldid=865282890#Illegal_immigration', '2018-10-22', 'ru'),
        })
        self._test_queries('neuclir/1/zh/trec-2022', count=49, items={
            0: ExctractedCCNoReportQuery('0', 'Iranian female athletes refugees', 'I am looking for stories about Iranian female athletes who seek asylum in other countries.', 'Find articles that identify female athletes who refused to return to Iran after competition and slam government by seeking asylum from other countries. Relevant documents must identify the athlete by name, and spell out the reason for seeking asylum and if they joined Refugee Team in Olympic competition. "Official" or unofficial reasons are equally acceptable, as long as the document gives some reason that the athlete refused to return after the competition,name of the countries that accepted their request, and Iran government reaction.', '伊朗女运动员难民', '我在查找有关在其他国家寻求庇护的伊朗女运动员的故事。', '查找有关在比赛后通过寻求其他国家的庇护拒绝返回伊朗并抨击政府的女运动员的文章。相关文章必须注明运动员的姓名，并说明寻求庇护的原因以及他们在奥运会比赛中是否加入了难民队。 “官方”或非官方理由同样可以接受，只要文章给出运动员在比赛结束后拒绝返回的理由、接受其请求的国家名称以及伊朗政府的反应。', '伊朗女运动员难民', '我正在寻找有关在其他国家寻求庇护的伊朗女运动员的故事。', '查找那些在比赛后拒绝返回伊朗的女运动员的文章，并通过从其他国家寻求庇护来抨击政府。相关文件必须注明运动员的姓名，并说明寻求庇护的原因以及他们是否加入了难民队参加奥运会比赛。 “官方”或非官方理由同样可以接受，只要文件给出运动员在比赛结束后拒绝返回的理由、接受其请求的国家名称以及伊朗政府的反应。', 'zh'),
            9: ExctractedCCNoReportQuery('24', 'Wind energy in Russia', 'I am looking for articles on the growth of wind energy in Russia.', 'Find articles on the development and growth of wind energy in Russia. Include information on joint ventures with foreign firms for the production of wind turbines and related equipment. Include information on the planned outputs of windmill parks. Information on wind energy in other countries not involving cooperation with Russian entities is not required. Neither is information on other renewable or non-renewable energy resources in Russia.', '俄罗斯的风能發电', '我要查找有关俄罗斯风能发展的文章。', '查找有关俄罗斯风能发展和增长的文章。 包括与外国公司合资生产风力涡轮机和相关设备的信息。 包括有关预计风电场发电量的信息。其他国家的风能信息，如果不涉及俄罗斯的机构合作，不需要。关于俄罗斯其他可再生或不可再生能源的信息也不需要。', '俄罗斯的风能', '我正在寻找有关俄罗斯风能发展的文章。', '查找有关俄罗斯风能发展和增长的文章。包括与外国公司合资生产风力涡轮机和相关设备的信息。包括有关风车公园计划产出的信息。不需要与俄罗斯实体合作的其他国家的风能信息。也没有关于俄罗斯其他可再生或不可再生能源的信息。', 'zh'),
            48: ExctractedCCNoReportQuery('133', 'Whale stranding', "I'm looking for articles on whale stranding.", 'Find articles on whale stranding. Relevant articles should provide the number of whales stranded on the beach, death count if any, and the count of whales successfully rescued by helping them return to the water. Relevant articles should also provide possible cause of such phenomenon.', '鯨魚擱淺', '我在查找鯨魚擱淺的報導。', '查找鯨魚擱淺的報導。相關報導必須提供鯨魚擱淺的數字，死亡數字，以及成功助鯨魚回海的獲救數字。相關報導也須提供鯨魚擱淺的可能原因。', '鲸鱼搁浅', '我正在寻找关于鲸鱼搁浅的文章。', '查找有关鲸鱼搁浅的文章。相关文章应提供搁浅在海滩上的鲸鱼数量、死亡人数（如有）以及帮助鲸鱼返回水中成功获救的鲸鱼数量。相关文章还应提供此类现象的可能原因。', 'zh'),
        })
        self._test_queries('neuclir/1/fa/trec-2022', count=46, items={
            0: ExctractedCCNoReportQuery('0', 'Iranian female athletes refugees', 'I am looking for stories about Iranian female athletes who seek asylum in other countries.', 'Find articles that identify female athletes who refused to return to Iran after competition and slam government by seeking asylum from other countries. Relevant documents must identify the athlete by name, and spell out the reason for seeking asylum and if they joined Refugee Team in Olympic competition. "Official" or unofficial reasons are equally acceptable, as long as the document gives some reason that the athlete refused to return after the competition,name of the countries that accepted their request, and Iran government reaction.', 'بانوان ورزشکار ایرانی پناهنده', 'دنبال مقالات مربوط به ورزشکاران زن ایرانی هستم که به کشورهای دیگر پناهنده شده اند.', 'مقالات مربوط به زنان ورزشکاری که از بازگشت به ایران پس از شرکت در مسابقات بین المللی خودداری کرده  و با درخواست پناهندگی از کشورهای دیگربه دولت ایران ضربه زدند. اسناد مربوطه باید نام ورزشکار را مشخص کند و دلیل درخواست پناهندگی و پیوستن آنها به تیم پناهندگان در مسابقات المپیک را مشخص کند. دلایل "رسمی" یا غیررسمی به یک اندازه قابل قبول هستند، تا زمانی که در سند دلایلی وجود داشته باشد که ورزشکار پس از مسابقه از بازگشت خودداری کرده است، همچنین  نام کشورهایی که درخواست آنها را پذیرفته اند و واکنش دولت ایران ذکر شده باشد.', 'ورزشکاران زن ایرانی پناهنده', 'من به دنبال داستان هایی در مورد زنان ورزشکار ایرانی هستم که به کشورهای دیگر پناهنده می شوند.', 'مقالاتی را بیابید که ورزشکاران زن را که پس از مسابقات و با درخواست پناهندگی از کشورهای دیگر از بازگشت به ایران امتناع کرده اند، بیابید. اسناد مربوطه باید نام ورزشکار را مشخص کند و دلیل درخواست پناهندگی و پیوستن آنها به تیم پناهندگان در مسابقات المپیک را مشخص کند. دلایل "رسمی" یا غیررسمی به یک اندازه قابل قبول است، تا زمانی که در سند دلیلی وجود داشته باشد که ورزشکار پس از مسابقه از بازگشت خودداری کرده است، نام کشورهایی که درخواست آنها را پذیرفته اند و واکنش دولت ایران ذکر شده باشد.', 'fa'),
            9: ExctractedCCNoReportQuery('26', 'Ukrainian Presidential Candidate Zelenskiy', "I am looking for articles that reflect Russia's attitude towards Ukrainian Presidential Candidate Volodymyr Zelenskiy.", 'Find articles that reveal the Russian perspective of then presidential candidate Volodymyr Zelenskiy for the 2019 election. Include articles that highlight what Ukrainian officials say that Russian media circulates about Zelenskiy as that reveals what Russians want readers to be aware of. Russian perspective as to his ability to win, who might be supporting him, how seriously they should be taking him, and so forth. Did not include articles that discussed subsequent elections, local or parliamentary elections, or any actions Zelenskiy took once he became president. Did not include Zelenskiys recommendations on how elections in Donbass should be run. Articles purely about the polls and statistics were not included.', 'زلنسکی نامزد ریاست جمهوری اوکراین', 'دنبال مقالاتی هستم که نشان دهنده نگرش روسیه نسبت به نامزد ریاست جمهوری اوکراین ولودیمیر زلنسکی باشد.', 'مقاله\u200cهایی را بیابید که دیدگاه روسیه را نسبت به ولودیمیر زلنسکی، نامزد ریاست\u200cجمهوری اوکراین  در زمان  انتخابات ۲۰۱۹ نشان می\u200cدهد.  مقالاتی که تاکید داشته باشد برنظر مقامات اوکراینی درباره مطالبی که رسانه های روسی منتشر می کنند درمورد زلنسکی  و می خواهند که خوانندگان روسی از آن آگاه باشند. مقالاتی که دیدگاه روسیه در مورد توانایی و قابلیت زلنسکی برای پیروزی و اینکه چه کسی ممکن است از او حمایت کند، و روسیه چقدر باید او را جدی بگیرد، و غیره.  مقالاتی که در مورد انتخابات بعدی، انتخابات محلی یا پارلمانی، یا هر اقدامی که زلنسکی پس از ریاست\u200cجمهوری انجام داد، لازم نیست. این مقالات توصیه های زلنسکی در مورد نحوه برگزاری انتخابات در «دونباس» را شامل نمی شود. ضمناً مقالاتی که صرفاً در مورد نظرسنجی ها و آمارباشد، گنجانده نشود.', 'زلنسکی کاندیدای ریاست جمهوری اوکراین', 'من به دنبال مقالاتی هستم که نشان دهنده نگرش روسیه نسبت به نامزد ریاست جمهوری اوکراین ولودیمیر زلنسکی باشد.', 'مقاله\u200cهایی را بیابید که دیدگاه روسیه ولودیمیر زلنسکی، نامزد ریاست\u200cجمهوری آن زمان را برای انتخابات ۲۰۱۹ نشان می\u200cدهد. شامل مقالاتی باشید که بر آنچه مقامات اوکراینی می\u200cگویند که رسانه\u200cهای روسی درباره زلنسکی می\u200cگویند تاکید می\u200cکند، زیرا نشان می\u200cدهد که روس\u200cها می\u200cخواهند خوانندگان از آن آگاه باشند. دیدگاه روسیه در مورد توانایی او برای پیروزی، چه کسی ممکن است از او حمایت کند، چقدر باید او را جدی بگیرند، و غیره. شامل مقالاتی که در مورد انتخابات بعدی، انتخابات محلی یا پارلمانی، یا هر اقدامی که زلنسکی پس از ریاست\u200cجمهوری انجام داد، بحث نمی\u200cکرد. توصیه های Zelenskiys در مورد نحوه برگزاری انتخابات در دونباس را شامل نمی شود. مقالات صرفاً در مورد نظرسنجی ها و آمار گنجانده نشده است.', 'fa'),
            45: ExctractedCCNoReportQuery('133', 'Whale stranding', "I'm looking for articles on whale stranding.", 'Find articles on whale stranding. Relevant articles should provide the number of whales stranded on the beach, death count if any, and the count of whales successfully rescued by helping them return to the water. Relevant articles should also provide possible cause of such phenomenon.', ' به گِل نشستن نهنگ ها', 'به دنبال مقالاتی در مورد به گِل نشستن نهنگ ها هستم.', 'مقالاتی در مورد  به گِل نشستن نهنگ ها بیابید. مقالات مربوطه باید تعداد نهنگ\u200cهایی را که در ساحل به گل نشسته\u200cاند، تعداد تلفات موجود، و تعداد نهنگ\u200cهایی که با کمک رسانی  با موفقیت نجات یافته\u200c و به آب بازگشته اند را ارائه کند. همچنین مقالات مرتبط  باید علت احتمالی چنین پدیده ای را ارائه دهند.', 'به گل نشستن نهنگ', 'من به دنبال مقالاتی در مورد به گل نشستن نهنگ هستم.', 'مقالاتی در مورد به گل نشستن نهنگ بیابید. مقالات مربوطه باید تعداد نهنگ\u200cهایی را که در ساحل به گل نشسته\u200cاند، تعداد تلفات در صورت وجود، و تعداد نهنگ\u200cهایی که با کمک به آنها برای بازگشت به آب با موفقیت نجات یافته\u200cاند، ارائه کند. مقالات مرتبط نیز باید علت احتمالی چنین پدیده ای را ارائه دهند.', 'fa'),
        })
        self._test_queries('neuclir/1/ru/trec-2022', count=45, items={
            0: ExctractedCCNoReportQuery('0', 'Iranian female athletes refugees', 'I am looking for stories about Iranian female athletes who seek asylum in other countries.', 'Find articles that identify female athletes who refused to return to Iran after competition and slam government by seeking asylum from other countries. Relevant documents must identify the athlete by name, and spell out the reason for seeking asylum and if they joined Refugee Team in Olympic competition. "Official" or unofficial reasons are equally acceptable, as long as the document gives some reason that the athlete refused to return after the competition,name of the countries that accepted their request, and Iran government reaction.', 'Иранские женские спорт-беженцы', 'Я ищу статьи об иранских спортсменках, которые ищут убежища в других странах.', 'Найдите статьи, в которых упоминаются спортсменки, которые отказались вернуться в Иран после соревнований, и критикули правительство, ища убежища в других странах. В соответствующих документах должно быть указано имя спортсмена, а также указана причина обращения за убежищем, а также то, присоединилась ли она к команде беженцев на олимпийских соревнованиях. «Официальные» или неофициальные причины одинаково приемлемы, если в документе указана причина, по которой спортсменка отказалась вернуться после соревнований, название стран, которые приняли их запрос, и реакция правительства Ирана.', 'Иранские спортсменки-беженцы', 'Я ищу истории об иранских спортсменках, которые ищут убежища в других странах.', 'Найдите статьи, в которых упоминаются спортсменки, отказавшиеся вернуться в Иран после соревнований, и критикуйте правительство, ища убежища в других странах. В соответствующих документах должно быть указано имя спортсмена, а также указана причина обращения за убежищем и то, присоединился ли он к команде беженцев на олимпийских соревнованиях. «Официальные» или неофициальные причины одинаково приемлемы, если в документе указана причина, по которой спортсмен отказался вернуться после соревнований, название стран, принявших его запрос, и реакция правительства Ирана.', 'ru'),
            9: ExctractedCCNoReportQuery('24', 'Wind energy in Russia', 'I am looking for articles on the growth of wind energy in Russia.', 'Find articles on the development and growth of wind energy in Russia. Include information on joint ventures with foreign firms for the production of wind turbines and related equipment. Include information on the planned outputs of windmill parks. Information on wind energy in other countries not involving cooperation with Russian entities is not required. Neither is information on other renewable or non-renewable energy resources in Russia.', 'Энергия ветра в России', 'Я ищу статьи о росте ветроэнергетики в России', 'Найдите статьи о развитии и росте ветроэнергетики в России. Включите информацию о совместных предприятиях с иностранными фирмами по производству ветряных турбин и сопутствующего оборудования. Включите информацию о планируемых объемах производства ветряных электростанций. Информация о ветроэнергетике в других странах, не предполагающая сотрудничества с российскими организациями, не требуется. Также нет информации о других возобновляемых или невозобновляемых источниках энергии в России.', 'Энергия ветра в России', 'Я ищу статьи о росте ветроэнергетики в России.', 'Найдите статьи о развитии и росте ветроэнергетики в России. Включите информацию о совместных предприятиях с иностранными фирмами по производству ветряных турбин и сопутствующего оборудования. Включите информацию о планируемых объемах производства ветряных электростанций. Информация о ветроэнергетике в других странах, не предполагающая сотрудничества с российскими организациями, не требуется. Также нет информации о других возобновляемых или невозобновляемых источниках энергии в России.', 'ru'),
            44: ExctractedCCNoReportQuery('133', 'Whale stranding', "I'm looking for articles on whale stranding.", 'Find articles on whale stranding. Relevant articles should provide the number of whales stranded on the beach, death count if any, and the count of whales successfully rescued by helping them return to the water. Relevant articles should also provide possible cause of such phenomenon.', 'Выбрасывание китов на берег', 'Я ищу статьи о выбрасывании китов на берег', 'Найдите статьи о выбрасывании китов на берег. В соответствующих статьях должно быть указано количество китов, выброшенных на берег, количество смертей, если таковые имеются, и количество китов, успешно спасенных, помогая им вернуться в воду. В соответствующих статьях также должна быть указана возможная причина такого явления.', 'Кит на мель', 'Я ищу статьи о посадке китов на мель.', 'Найдите статьи о посадке китов на мель. В соответствующих статьях должно быть указано количество китов, выброшенных на берег, количество погибших, если таковые имеются, и количество китов, успешно спасенных путем оказания им помощи в возвращении в воду. Соответствующие статьи также должны указывать возможную причину такого явления.', 'ru'),
        })
        self._test_queries('neuclir/1/zh/trec-2023', count=76, items={
            0: ExctractedCCNoReportNoHtNarQuery('200', 'Corruption Bribery Sports Federation Olympics', 'Are there cases of Institutional Corruption and Bribery in Sports?', 'We are Looking for articles that contain a case of financial corruption or bribery at institutional level. Cases of bribery in Olympics and sports federations are relevant. Cases of individuals’ bribery are excluded. Investigating an institution to find out if they are involved in corruption will not be relevant. Ethical problems or sexual abuse are not relevant.', '奧委會貪污賄賂', '體育界是否有機構性腐敗和賄賂等案件?', '腐败贿赂体育联合会奥运会', '体育中是否存在机构腐败和贿赂的案例？', '我们正在寻找在机构层面上包含金融腐败或贿赂案件的文章。奥运会和体育联合会中的贿赂案件是相关的。排除个人贿赂案件。调查一个机构以找出他们是否参与腐败是无关紧要的。道德问题或性虐待无关。', 'zh'),
            9: ExctractedCCNoReportNoHtNarQuery('209', 'How Handcrafting Affects Health', 'How does handcrafting or working with one’s hand affect health?', "Find articles that cite illnesses and conditions that could be combated with handcrafts or working with one's hands. Articles about dealing with trauma, stress, weight loss, helping with longevity by dealing with age related illness, strengthening memory, and others by working with one's hands are relevant. Anecdotal examples of people picking up some sort of craft that helped them deal with health issues are also relevant. Pleasure of handicrafts without mention of health benefits are irrelevant. Articles about various shows and exhibits are irrelevant. How to promote one’s handicrafts is irrelevant.", '手工製作如何影響健康', '手製品或以手製作成品對健康影響為何？', '手工制作如何影响健康', '手工制作或手工处理如何影响健康？', '查找引用疾病和条件的文章，可以用手工艺或手工搭配手工。有关应对创伤，压力，体重减轻，通过处理年龄相关疾病，加强记忆和其他人通过手工工作来帮助长寿的文章是相关的。人们捡起一些帮助他们解决健康问题的工艺的轶事例子也很重要。手工艺品的愉悦而没\u200b\u200b有提及健康益处是无关紧要的。有关各种展览和展览的文章无关紧要。如何促进手工艺品是无关紧要的。', 'zh'),
            75: ExctractedCCNoReportNoHtNarQuery('275', 'Olympic swimmer selection', 'How are individual swimmers selected by their country to participate in the Olympics?', 'Find articles about how individual swimmers are selected to represent their country at the Olympics.  Information about when and where qualifying events are held is relevant. Articles that only contain information about how the country receives slots to send swimmers to the Olympics or how relay teams are selected to compete at the Olympics would not be considered relevant. Also discussion of how countries select swimmers to compete at other international meets besides the Olympics should not be considered relevant.', '奧運游泳選手遴選', '各國如何遴選奧運游泳選手？', '奥林匹克游泳运动员选择', '他们的国家如何选择参加奥运会的游泳者？', '查找有关如何选择单个游泳者在奥运会上代表自己的国家的文章。有关合格事件的何时何地的信息是相关的。仅包含有关该国如何接收老虎机将游泳者派往奥运会或如何选择接力队参加奥运会竞争的文章将不相关。还讨论各国如何选择游泳者参加其他国际聚会，除了奥运会之外，还不应将其视为相关。', 'zh'),
        })
        self._test_queries('neuclir/1/fa/trec-2023', count=76, items={
            0: ExctractedCCNoReportNoHtNarQuery('200', 'Corruption Bribery Sports Federation Olympics', 'Are there cases of Institutional Corruption and Bribery in Sports?', 'We are Looking for articles that contain a case of financial corruption or bribery at institutional level. Cases of bribery in Olympics and sports federations are relevant. Cases of individuals’ bribery are excluded. Investigating an institution to find out if they are involved in corruption will not be relevant. Ethical problems or sexual abuse are not relevant.', 'فساد رشوه خواری المپیک فدراسیون ورزشی', 'آیا موارد فساد نهادی و رشوه در ورزش وجود دارد؟', 'المپیک فدراسیون ورزشی رشوه خواری فساد', 'آیا مواردی از فساد نهادی و رشوه خواری در ورزش وجود دارد؟', 'ما به دنبال مقالاتی هستیم که حاوی یک مورد فساد مالی یا رشوه خواری در سطح نهادی باشد. موارد رشوه خواری در المپیک و فدراسیون های ورزشی مرتبط است. موارد رشوه خوراکی افراد مستثنی است. تحقیق در مورد یک موسسه برای یافتن اینکه آیا آنها در فساد درگیر هستند ، مرتبط نخواهد بود. مشکلات اخلاقی یا سوء استفاده جنسی مرتبط نیست.', 'fa'),
            9: ExctractedCCNoReportNoHtNarQuery('209', 'How Handcrafting Affects Health', 'How does handcrafting or working with one’s hand affect health?', "Find articles that cite illnesses and conditions that could be combated with handcrafts or working with one's hands. Articles about dealing with trauma, stress, weight loss, helping with longevity by dealing with age related illness, strengthening memory, and others by working with one's hands are relevant. Anecdotal examples of people picking up some sort of craft that helped them deal with health issues are also relevant. Pleasure of handicrafts without mention of health benefits are irrelevant. Articles about various shows and exhibits are irrelevant. How to promote one’s handicrafts is irrelevant.", 'چگونه  کار دستی  بر سلامتی تأثیرمی گذارد؟', 'کار دستی یا کار کردن با دست چه تاثیری بر سلامتی دارد؟', 'دستکاری در سلامت چگونه تأثیر می گذارد', 'دستکاری یا کار با دست شخص چگونه بر سلامت تأثیر می گذارد؟', 'مقالاتی را پیدا کنید که به بیماری ها و شرایطی که می تواند با دست سازها یا کار با دستان خود همراه باشد ، استناد کند. مقالاتی در مورد برخورد با تروما ، استرس ، کاهش وزن ، کمک به طول عمر با برخورد با بیماری مرتبط با سن ، تقویت حافظه و دیگران با کار با دست شخص مرتبط است. نمونه های حکایتی از افرادی که به نوعی کاردستی را انتخاب می کنند که به آنها در مقابله با مسائل بهداشتی کمک می کند نیز مرتبط است. لذت بردن از صنایع دستی بدون ذکر مزایای سلامتی بی ربط است. مقالاتی در مورد نمایش ها و نمایشگاه های مختلف بی ربط است. نحوه ترویج صنایع دستی شخص بی ربط است.', 'fa'),
            75: ExctractedCCNoReportNoHtNarQuery('275', 'Olympic swimmer selection', 'How are individual swimmers selected by their country to participate in the Olympics?', 'Find articles about how individual swimmers are selected to represent their country at the Olympics.  Information about when and where qualifying events are held is relevant. Articles that only contain information about how the country receives slots to send swimmers to the Olympics or how relay teams are selected to compete at the Olympics would not be considered relevant. Also discussion of how countries select swimmers to compete at other international meets besides the Olympics should not be considered relevant.', 'انتخاب شناگر المپیک', 'روند انتخاب شناگران توسط کشورشان برای شرکت در المپیک چيست؟', 'انتخاب شناگر المپیک', 'چگونه شناگران فردی توسط کشورشان برای شرکت در المپیک انتخاب می شوند؟', 'مقالاتی را در مورد چگونگی انتخاب شناگران فردی برای نمایندگی کشور خود در المپیک پیدا کنید. اطلاعات مربوط به زمان و کجا وقایع واجد شرایط بودن مرتبط است. مقالاتی که فقط حاوی اطلاعاتی در مورد چگونگی دریافت اسلات برای ارسال شناگران به المپیک یا نحوه انتخاب تیم های رله برای رقابت در المپیک نیستند ، مرتبط نیست. همچنین بحث در مورد چگونگی انتخاب کشورها شناگران برای رقابت در سایر جلسات بین المللی علاوه بر المپیک نباید مرتبط باشد.', 'fa'),
        })
        self._test_queries('neuclir/1/ru/trec-2023', count=76, items={
            0: ExctractedCCNoReportNoHtNarQuery('200', 'Corruption Bribery Sports Federation Olympics', 'Are there cases of Institutional Corruption and Bribery in Sports?', 'We are Looking for articles that contain a case of financial corruption or bribery at institutional level. Cases of bribery in Olympics and sports federations are relevant. Cases of individuals’ bribery are excluded. Investigating an institution to find out if they are involved in corruption will not be relevant. Ethical problems or sexual abuse are not relevant.', 'Коррупция, взяточничество, спортивные организации, и Олимпиада', 'Бывают ли случаи институциональной коррупции и взяточничества в спорте?', 'Олимпийские игры Федерации спортивных игр коррупции Хруппов', 'Существуют ли случаи институциональной коррупции и взяточничества в спорте?', 'Мы ищем статьи, которые содержат случай финансовой коррупции или взяточничества на институциональном уровне. Случаи взяточничества на Олимпийских играх и спортивных федерациях актуальны. Случаи взяточничества отдельных лиц исключаются. Исследование учреждения, чтобы выяснить, не будут ли они участвовать в коррупции, не будет актуально. Этические проблемы или сексуальное насилие не актуальны.', 'ru'),
            9: ExctractedCCNoReportNoHtNarQuery('209', 'How Handcrafting Affects Health', 'How does handcrafting or working with one’s hand affect health?', "Find articles that cite illnesses and conditions that could be combated with handcrafts or working with one's hands. Articles about dealing with trauma, stress, weight loss, helping with longevity by dealing with age related illness, strengthening memory, and others by working with one's hands are relevant. Anecdotal examples of people picking up some sort of craft that helped them deal with health issues are also relevant. Pleasure of handicrafts without mention of health benefits are irrelevant. Articles about various shows and exhibits are irrelevant. How to promote one’s handicrafts is irrelevant.", 'Как Рукоделие Влияет на Здоровье', 'Как рукоделие или работать своими руками влияет на здоровье?', 'Как ручной работы влияют на здоровье', 'Как ручная обработка или работа с рукой влияет на здоровье?', 'Найдите статьи, в которых приводятся болезни и условия, которые можно бороться с ручными формами или работать с руками. Статьи о борьбе с травмами, стрессом, потерей веса, помощи с долговечностью путем борьбы с возрастными заболеваниями, укреплением памяти и других, работая своими руками, актуальны. Анекдотические примеры того, как люди собирают какое -то ремесло, которое помогло им решать проблемы со здоровьем, также актуальны. Удовольствие от ручной работы без упоминания о пользе для здоровья не имеет значения. Статьи о различных шоу и экспонатах не имеют значения. Как продвигать ручной работы не имеет значения.', 'ru'),
            75: ExctractedCCNoReportNoHtNarQuery('275', 'Olympic swimmer selection', 'How are individual swimmers selected by their country to participate in the Olympics?', 'Find articles about how individual swimmers are selected to represent their country at the Olympics.  Information about when and where qualifying events are held is relevant. Articles that only contain information about how the country receives slots to send swimmers to the Olympics or how relay teams are selected to compete at the Olympics would not be considered relevant. Also discussion of how countries select swimmers to compete at other international meets besides the Olympics should not be considered relevant.', 'отбор пловцов на Олимпийские игры', 'как страны отбирают пловцов для участия в Олимпийских играх ', 'Олимпийский отбор пловца', 'Как отдельные пловцы отбираются их страной для участия в Олимпийских играх?', 'Найдите статьи о том, как отдельные пловцы выбираются, чтобы представлять свою страну на Олимпийских играх. Информация о том, когда и где проводятся квалификационные мероприятия, актуальна. Статьи, которые содержат только информацию о том, как страна получает слоты для отправки пловцов на Олимпийские игры или о том, как выбираются эстафетные команды для соревнования на Олимпийских играх, не считаются актуальными. Также обсуждение того, как страны выбирают пловцов, чтобы конкурировать на других международных встречах, помимо Олимпийских игр, не следует считать актуальными.', 'ru'),
        })
        self._test_queries('neuclir/1/multi/trec-2023', count=76, items={
            0: ExctractedCCMultiMtQuery('200', 'Corruption Bribery Sports Federation Olympics', 'Are there cases of Institutional Corruption and Bribery in Sports?', 'We are Looking for articles that contain a case of financial corruption or bribery at institutional level. Cases of bribery in Olympics and sports federations are relevant. Cases of individuals’ bribery are excluded. Investigating an institution to find out if they are involved in corruption will not be relevant. Ethical problems or sexual abuse are not relevant.', 'المپیک فدراسیون ورزشی رشوه خواری فساد', 'آیا مواردی از فساد نهادی و رشوه خواری در ورزش وجود دارد؟', 'ما به دنبال مقالاتی هستیم که حاوی یک مورد فساد مالی یا رشوه خواری در سطح نهادی باشد. موارد رشوه خواری در المپیک و فدراسیون های ورزشی مرتبط است. موارد رشوه خوراکی افراد مستثنی است. تحقیق در مورد یک موسسه برای یافتن اینکه آیا آنها در فساد درگیر هستند ، مرتبط نخواهد بود. مشکلات اخلاقی یا سوء استفاده جنسی مرتبط نیست.', 'Олимпийские игры Федерации спортивных игр коррупции Хруппов', 'Существуют ли случаи институциональной коррупции и взяточничества в спорте?', 'Мы ищем статьи, которые содержат случай финансовой коррупции или взяточничества на институциональном уровне. Случаи взяточничества на Олимпийских играх и спортивных федерациях актуальны. Случаи взяточничества отдельных лиц исключаются. Исследование учреждения, чтобы выяснить, не будут ли они участвовать в коррупции, не будет актуально. Этические проблемы или сексуальное насилие не актуальны.', '腐败贿赂体育联合会奥运会', '体育中是否存在机构腐败和贿赂的案例？', '我们正在寻找在机构层面上包含金融腐败或贿赂案件的文章。奥运会和体育联合会中的贿赂案件是相关的。排除个人贿赂案件。调查一个机构以找出他们是否参与腐败是无关紧要的。道德问题或性虐待无关。'),
            9: ExctractedCCMultiMtQuery('209', 'How Handcrafting Affects Health', 'How does handcrafting or working with one’s hand affect health?', "Find articles that cite illnesses and conditions that could be combated with handcrafts or working with one's hands. Articles about dealing with trauma, stress, weight loss, helping with longevity by dealing with age related illness, strengthening memory, and others by working with one's hands are relevant. Anecdotal examples of people picking up some sort of craft that helped them deal with health issues are also relevant. Pleasure of handicrafts without mention of health benefits are irrelevant. Articles about various shows and exhibits are irrelevant. How to promote one’s handicrafts is irrelevant.", 'دستکاری در سلامت چگونه تأثیر می گذارد', 'دستکاری یا کار با دست شخص چگونه بر سلامت تأثیر می گذارد؟', 'مقالاتی را پیدا کنید که به بیماری ها و شرایطی که می تواند با دست سازها یا کار با دستان خود همراه باشد ، استناد کند. مقالاتی در مورد برخورد با تروما ، استرس ، کاهش وزن ، کمک به طول عمر با برخورد با بیماری مرتبط با سن ، تقویت حافظه و دیگران با کار با دست شخص مرتبط است. نمونه های حکایتی از افرادی که به نوعی کاردستی را انتخاب می کنند که به آنها در مقابله با مسائل بهداشتی کمک می کند نیز مرتبط است. لذت بردن از صنایع دستی بدون ذکر مزایای سلامتی بی ربط است. مقالاتی در مورد نمایش ها و نمایشگاه های مختلف بی ربط است. نحوه ترویج صنایع دستی شخص بی ربط است.', 'Как ручной работы влияют на здоровье', 'Как ручная обработка или работа с рукой влияет на здоровье?', 'Найдите статьи, в которых приводятся болезни и условия, которые можно бороться с ручными формами или работать с руками. Статьи о борьбе с травмами, стрессом, потерей веса, помощи с долговечностью путем борьбы с возрастными заболеваниями, укреплением памяти и других, работая своими руками, актуальны. Анекдотические примеры того, как люди собирают какое -то ремесло, которое помогло им решать проблемы со здоровьем, также актуальны. Удовольствие от ручной работы без упоминания о пользе для здоровья не имеет значения. Статьи о различных шоу и экспонатах не имеют значения. Как продвигать ручной работы не имеет значения.', '手工制作如何影响健康', '手工制作或手工处理如何影响健康？', '查找引用疾病和条件的文章，可以用手工艺或手工搭配手工。有关应对创伤，压力，体重减轻，通过处理年龄相关疾病，加强记忆和其他人通过手工工作来帮助长寿的文章是相关的。人们捡起一些帮助他们解决健康问题的工艺的轶事例子也很重要。手工艺品的愉悦而没\u200b\u200b有提及健康益处是无关紧要的。有关各种展览和展览的文章无关紧要。如何促进手工艺品是无关紧要的。'),
            75: ExctractedCCMultiMtQuery('275', 'Olympic swimmer selection', 'How are individual swimmers selected by their country to participate in the Olympics?', 'Find articles about how individual swimmers are selected to represent their country at the Olympics.  Information about when and where qualifying events are held is relevant. Articles that only contain information about how the country receives slots to send swimmers to the Olympics or how relay teams are selected to compete at the Olympics would not be considered relevant. Also discussion of how countries select swimmers to compete at other international meets besides the Olympics should not be considered relevant.', 'انتخاب شناگر المپیک', 'چگونه شناگران فردی توسط کشورشان برای شرکت در المپیک انتخاب می شوند؟', 'مقالاتی را در مورد چگونگی انتخاب شناگران فردی برای نمایندگی کشور خود در المپیک پیدا کنید. اطلاعات مربوط به زمان و کجا وقایع واجد شرایط بودن مرتبط است. مقالاتی که فقط حاوی اطلاعاتی در مورد چگونگی دریافت اسلات برای ارسال شناگران به المپیک یا نحوه انتخاب تیم های رله برای رقابت در المپیک نیستند ، مرتبط نیست. همچنین بحث در مورد چگونگی انتخاب کشورها شناگران برای رقابت در سایر جلسات بین المللی علاوه بر المپیک نباید مرتبط باشد.', 'Олимпийский отбор пловца', 'Как отдельные пловцы отбираются их страной для участия в Олимпийских играх?', 'Найдите статьи о том, как отдельные пловцы выбираются, чтобы представлять свою страну на Олимпийских играх. Информация о том, когда и где проводятся квалификационные мероприятия, актуальна. Статьи, которые содержат только информацию о том, как страна получает слоты для отправки пловцов на Олимпийские игры или о том, как выбираются эстафетные команды для соревнования на Олимпийских играх, не считаются актуальными. Также обсуждение того, как страны выбирают пловцов, чтобы конкурировать на других международных встречах, помимо Олимпийских игр, не следует считать актуальными.', '奥林匹克游泳运动员选择', '他们的国家如何选择参加奥运会的游泳者？', '查找有关如何选择单个游泳者在奥运会上代表自己的国家的文章。有关合格事件的何时何地的信息是相关的。仅包含有关该国如何接收老虎机将游泳者派往奥运会或如何选择接力队参加奥运会竞争的文章将不相关。还讨论各国如何选择游泳者参加其他国际聚会，除了奥运会之外，还不应将其视为相关。'),
        })

    def test_qrels(self):
        self._test_qrels('neuclir/1/zh/hc4-filtered', count=3217, items={
            0: TrecQrel('1', '07fdce5f-e00b-4a40-b9eb-f0f78cfaefc4', 0, '0'),
            9: TrecQrel('1', '6cf22079-e41d-45d9-b3d1-c3717fd439e7', 0, '0'),
            3216: TrecQrel('228', 'fb670b0a-1449-42c7-aed1-6e68ea2c1453', 1, '0'),
        })
        self._test_qrels('neuclir/1/fa/hc4-filtered', count=3087, items={
            0: TrecQrel('1', '079eba9b-fda2-4c26-ac18-2c35a7a08e88', 0, '0'),
            9: TrecQrel('1', '3bc0b037-dda0-4eb4-8941-d88990be1cc2', 0, '0'),
            3086: TrecQrel('208', 'fcbd86e4-e28c-449c-88a8-77f40264c2a1', 0, '0'),
        })
        self._test_qrels('neuclir/1/ru/hc4-filtered', count=3235, items={
            0: TrecQrel('3', '07d5796e-e55f-469f-b158-88a8aa53131d', 0, '0'),
            9: TrecQrel('3', '31ef93ab-b558-4646-bf00-9fb51833b937', 0, '0'),
            3234: TrecQrel('256', 'daa39a1a-f98b-4939-a0ea-d3a93f0ff20d', 0, '0'),
        })
        self._test_qrels('neuclir/1/zh/trec-2022', count=36575, items={
            0: TrecQrel('5', 'c15b7bf7-2300-4253-816e-0c0c6daf86c3', 0, 'zho'),
            9: TrecQrel('5', 'f5931ab8-3695-4a23-9981-164b9faee131', 0, 'zho'),
            36574: TrecQrel('58', 'b57cb57f-f107-4c77-b3ce-2c0e1e9c24f0', 0, 'zho'),
        })
        self._test_qrels('neuclir/1/fa/trec-2022', count=34174, items={
            0: TrecQrel('5', '2fa789e9-9d04-443e-a2de-45f160c9daa9', 3, 'fas'),
            9: TrecQrel('5', 'e7e959ec-5685-4ee7-8ecb-ce4feda3bc0e', 0, 'fas'),
            34173: TrecQrel('114', '8b7e706c-8cf5-48ba-8830-4e14f781ad3b', 0, 'fas'),
        })
        self._test_qrels('neuclir/1/ru/trec-2022', count=33006, items={
            0: TrecQrel('5', '3887b53d-dfef-463f-9543-46e295a5321a', 3, 'rus'),
            9: TrecQrel('5', '3dd3d61d-b1e8-4daf-a62f-e54cf6a985bf', 3, 'rus'),
            33005: TrecQrel('114', '7254202b-6a7f-477a-b4b9-dae50cf3629e', 0, 'rus'),
        })
        self._test_qrels('neuclir/1/zh/trec-2023', count=22061, items={
            0: TrecQrel('200', '033a72f3-b44e-4159-bf28-71273d635d80', 0, 'zho'),
            9: TrecQrel('200', '08d7940c-ce11-449f-83d3-4fff72087ec3', 0, 'zho'),
            22060: TrecQrel('275', 'ff76fb03-2547-4f79-a727-5fd41cfe6345', 0, 'zho'),
        })
        self._test_qrels('neuclir/1/fa/trec-2023', count=20450, items={
            0: TrecQrel('200', '00258365-6d48-49cc-901f-578b883c8226', 0, 'fas'),
            9: TrecQrel('200', '041eb44c-5e2d-41dd-83d6-1458df12e543', 0, 'fas'),
            20449: TrecQrel('274', 'ff33f614-0e2a-4060-b3d5-a006b1866db8', 0, 'fas'),
        })
        self._test_qrels('neuclir/1/ru/trec-2023', count=20062, items={
            0: TrecQrel('200', '0123b71d-7dc9-4797-ace1-484d7ac23e5c', 0, 'rus'),
            9: TrecQrel('200', '0640f622-4ac0-4f48-890e-5d66d3495136', 1, 'rus'),
            20061: TrecQrel('275', 'ffea67f2-2e85-46d0-9c73-2074de381063', 0, 'rus'),
        })
        self._test_qrels('neuclir/1/multi/trec-2023', count=62573, items={
            0: TrecQrel('200', '00258365-6d48-49cc-901f-578b883c8226', 0, 'fas'),
            9: TrecQrel('200', '041eb44c-5e2d-41dd-83d6-1458df12e543', 0, 'fas'),
            62572: TrecQrel('275', 'ff76fb03-2547-4f79-a727-5fd41cfe6345', 0, 'zho'),
        })

if __name__ == '__main__':
    unittest.main()
