{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "# !wget https://malaya-dataset.s3-ap-southeast-1.amazonaws.com/crawler/iium-confession/iium.json"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "import cleaning\n",
    "import json"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'title': 'Nikmat Disebalik Ujian',\n",
       " 'text': 'Assalammualaikum. Aku, wanita yang telah 5 tahun berkahwin dan masih belum mempunyai zuriat. Siapa kahwin tak nak anak kan?? Begitu jugak aku dan suami. Aku kesian kat suami aku yang sangat ingin zuriat. Tapi dia tak pernah bersuara hal zuriat sebab tak nak aku tertekan.\\n\\nAku tahu semuanya berpunca daripada aku. Aku tak mampu memberikan zuriat pada suami sebab penyakit yang aku deritai iaitu SLE. Terasa tidak sempurna diri ini, bukan saja mempunyai penyakit yang tiada ubat penyembuh,terpaksa bergantung pada ubat dan lebih menyedihkan aku masih tak mampu memberikan zuriat pada suami aku.\\n\\nSLE adalah penyakit kronik “autoimmune” di mana antibodi seseorang bertindakbalas dengan tisu badan seseorang pesakit itu sendiri. Ini menjejaskan beberapa bahagian sistem tubuh seperti kulit, sendi, buah pinggang, paru-paru, sistem saraf, atau organ-organ lain di dalam badan.\\n\\nUntuk kes aku, autoimmune aku serang darah, hati dan kulit aku. Darah aku sentiasa berkurang, dan penah hb aku lebih rendah dari 5. Tahun pertama kena penyakit ni, setiap 2 minggu atau sebulan aku mesti masuk warded dan setiap kali warded mesti kena masuk 2 pain darah.\\n\\nAku kena penyakit ni ketika aku baru berusia 23tahun, baru mula berkerja selepas menamatkan pengajian. Waktu tu aku belum berkahwin. Aku kerap keluar masuk hospital dan sebab tu jugak aku dibuang kerja. Aku pun paham la, company mane boleh tahan kalau staff asyik mc je. MC plak bukan sekejap.\\n\\nKereta aku tertunggak lebih 3 bulan dan hampir kena tarik. Badan aku pun mengembang sebab ubat-ubatan yang aku terpaksa aku makan esp steroid. Badan aku naik dari 45kg to 65kg. Time tu aku stress giler, aku baru nak mula hidup, aku dah di uji dengan ujian yang berat camni.\\n\\nAku mula mempersoalkan apa salah aku sampai kena uji camni. Kenapa aku yang diberi penyakit ni, kena tak orang lain. Mula2 sakit dulu, aku pikir Sakit ni satu musibah untuk aku. Dunia ni dah berakhir dan aku pikir nak mati je.\\n\\nAku pernah ditahan di zone merah di bahagian kecemasan. Dipasangkan oksigen, X-tray & ECG semua dibuat diatas katil, aku dah macam orang yang tak bernyawa pasrah atas semua tindakan nurse dan doktor. Melihat nurse membuka pakaian aku utk jalani semua prosedur yg dijalankan sebab aku tak mampu menggerakkan tubuh badan aku sendiri. Betapa lemahnya aku ketika tu.\\n\\nAlhamdulillah, nyawa aku masih panjang keadaan aku kembali stabil dan dipindahkan ke wad. Lepas beberapa hari aku dalam wad, anggota badan aku mula naik ruam. Seluruh badan aku merah dengan bebiji air memenuhi tubuh aku.Aku jadi rendah diri, malu nak jumpe dengan orang. Aku tak bagi kawan2 dan saudara mara melawat aku.\\n\\nTapi Bf (suami aku sekarang) tetap datang melawat aku. Aku menangis, aku tunjukkan pada dia keadaan diri aku. Aku selak baju aku hingga menampakkan paha, lengan dan juga belakang aku. Semua dipenuhi ruam. Time tu aku dah tak pikir lagi pasal aurat. Lantak, biar die tengok sendir keadaan aku. Aku dah tak lagi cam dulu.. Kulit aku menggerutu dah macam katak puru.\\n\\nAku cakap kat dia, “saya berpenyakit. Doktor cakap penyakit ni tak ade ubat penyembut. Ubat yang diberikan hanya untuk mengurangkan tindakan balas autoimmune dan saya perlu bergantung pada ubat-ubatan selamanya. Awak dah tengok sendiri keadaan saya, andai awak nak tinggalkan saya, saya redha dan saya terima.”\\n\\nApa jawapan yang aku dapat dari dia. “Gila! saya akan tetap sayang dan saya takkan tinggalkan awak” Allahu Akbar terkedu aku, terharu. Aku pikirkan dia akan tinggalkan aku. Tak ade manusia yang sanggup terima orang yang sakit.\\n\\nLepas beberapa ketika, aku kena transfer ke hospital untuk dapatkan rawatan daripada pakar SLE. Alhamdulillah lepas refer to pakar, aku tak perlu lagi warded dan tak payah masuk darah la. Tapi aku masih kena follow up setiap bulan. Nampak menyusahkan kena jumpa doktor setiap bulan tapi aku bersyukur sebab aku semakin sihat dan paling penting aku tak payah tido kat ward lagi.\\n\\nBila keadaan semakin ok, aku mula bekerja balik, Alhamdulillah ade company yang sudi terima pesakit macam aku. Lepas dah bekerja, Bf aku ajak kahwin. Kahwin?? Biar betul? boleh ke aku?? aku tak percaya dengan kemampuan diri aku. Ye sekarang aku nampak sihat tapi bila2 masa aku boleh sakit balik. Aku bagitaw doktor dan doktor mintak jumpa bf aku.\\n\\nBF aku pergi jumpa doktor. Doktor explaint semua keadaan aku, risiko yang mungkin akan terjadi dan ciri2 kalau autoimmune mula menyerang. Yang paling doktor tekankan adalah zuriat. Jangan melakkan harapan yang tinggi untuk mempunyai zuriat.\\n\\nPesakit SLE mempunyai risiko lebih tinggi untuk mengalami keguguran dan kehamilan boleh membahayakan diri pesakit. Pesakit hanya dibenarkan hamil setelah kedaan pesakit benar2 stabil. Alhamdulillah BF boleh terima semua tu.\\n\\nAkhirnya kami berkahwin,dari awal perkahwinan aku kena amek perancang kehamilan iaitu cucuk depo setiap 3 bulan. family member suami tahun keadaan aku. Sekarang dah 5 tahun perkahwinan, pernah 2 kali warded tapi Alhamdulillah suami menjaga aku dengan baik.\\n\\nKami Masih seperti dulu masih belum mempunyai zuriat. Masih berdua dan sentiasa dalam fasa honeymoon. Sehingga ke hari ni, sakit aku tak penah stabil, sentiasa turun dan naik dan masih tak dibenarkan hamil.\\n\\nAku pernah ingkar arahan doktor, Tahun ke4 perkahwinan aku stop ambik pencegah kehamilan dan aku tak bagitaw suami aku dan aku berjaya hamil. Mula2 dapat tahu aku hamil, kami terkejut, gembira, takut semua ada tapi bila doktor bagitaw risiko yang bakal terjadi pada baby, suami mula risau.\\n\\nBaby berisiko untuk mengalami sumbang disebabkan ibu makan steroid. Banyak darah yang doktor amek untuk check untuk pastikan dan berharap antibodi negatif (Anti-Ro dan Anti-La) yang boleh menggangu jantung bayi yang boleh menghentikan jantung baby.\\n\\nTapi berita gembira kehamilan tu hanya bertahan seminggu dan aku mengalami keguguran. Antara sebab berlakunya keguguran adalah disebabkan darah aku membeku dan tak sampai ke janin (disebabkan penyakit aku). Teruk aku kena marah dengan doktor.\\n\\nBukan doktor sengaja tak bagi tapi dalam keadaan hamil, lebih mudah autoimmune menyerang buah pinggan aku. Sebab tu doktor kena mengawal dan memastikan semuanya selamat sebelum membenarkan pesakit hamil. Sedih, memang la aku sedih tapi aku tak pernah menyesal, sekurang2nya kami pernah diberi peluang untuk merasai kehamilan walaupun sekejap.\\n\\nSemua orang marah aku termasuk keluarga aku, dan suami. Dorang marah sebab dorang sayangkan aku. Masih aku ingat macam mana menggelabahnya semua aku bila menangis sebab sakit perut dan darah berketul-ketul keluar. Terus kami ke hopital dan doktor check aku dah total miscarriage.\\n\\nSedih, menangis suami. “Saya boleh terima kehilangan baby tapi saya takut kehilangan awak.” Ya Allah Nikmat apa lagi yang aku dustai. Seorang suami sanggup ketepikan keinginan dia untuk memiliki zuriat kerana sayangnya pada isteri. Lepas keguguran, Suami aku upah orang utk urut, tungku dan sauna cam orang berpantang cumanye takde baby.\\n\\nAlhamdulillah suami aku angat membantu aku. Setiap Pagi aku bangun sediakan breakfast je, yang lain semua suami aku buat. Mungkin disebabkan aku sakit, aku dapat kelebihan tu. Suami aku terima aku seadanya. Badan aku penuh dengan parut, selulit disebabkan steroid. Aku tengok diri sendiri pun aku jijik. Muka aku jadi gelap dan moonface. Tapi suami aku tak pernah pertikaikan semua tu.\\n\\nDisebabkan ujian sakit ni, MIL aku tak pernah bertanyakan aku soal zuriat, tak pernah bagi aku tekanan dan sangat2 membantu aku. Masa aku keguguran, MIL boleh cakap,\\n\\n“Jangan dipikirkan pasal anak. Tak salah kalau kita tak ada anak, jaga kesihatan diri. Jangan korbankan diri sendiri untuk memenuhi kehendak/puaskan hati orang. Mulut orang takkan berhenti bercakap, abaikan. InsyaAllah anak mak redha dan dia terima kamu seadanya dan mak pun tak kisah. Yang penting kamu sihat dan bahagia.”\\n\\nAllah tu Maha Pengasih, bila Aku redha dan terima dengan ujian Dia, Dia bukakan pintu2 rahmah untuk aku. Allah kurniakan aku seorang suami yang sangat2 memahami dan yang paling penting terima aku seadanya dalam sakit dan sihat.\\n\\nAllah kurniakan keluarga dan mertua yang penyayang. Terima aku dan tak pernah persoalkan hal zuriat. Mereka sangat menjaga. Mertua aku sanggup carikan ubat2 tradisional utk merawat sakit aku especially yang melibatkan kulit aku. Kulit aku berbekas dan penuh dengan parut. Macam2 daun/herba dia cari dan sapukan kat badan aku.\\n\\nOrang2 disekeliling aku, jiran2 dan sedara mara ada bertanyakan aku soal zuriat tapi mereka bertanya dan mereka sendiri yang menjawab “Mungkin ko tak dapat lg anak sebab ko sakit”. Alhamdulillah disebabkan Penyakit itu jugak aku tak terus disoal dan ditekan.\\n\\nAku diberikan rezeki, peluang pekerjaan. Alhamdullillah.. Apa lagi yang aku mahukan. Allah bagi aku ujian hanya sedikit tapi rahmah dan nikmat lebih besar Dia berikan pada aku.\\n\\nAku sentiasa berdoa, “Ya Allah sesungguhnya terima dan redha dengan ujian-Mu. Kau berikanlah aku kekuatan dan kesabaran dalam menghadapi ujian ini. Kau adalah sebaik-baik perancang dan perancangan Kau adalah yang terbaik buat kami hamba yang naif lagi tidak mengetahui ini. Aku bersyukur ke atas segala nikmat yang Kau berikan kepada Aku.”\\n\\n– Lupus Warrior (Bukan nama sebenar)\\n\\nHantar confession anda di sini -> https://iiumc.com/submit'}"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "with open('iium.json') as fopen:\n",
    "    iium = json.load(fopen)\n",
    "    \n",
    "iium[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "100%|██████████| 20512/20512 [00:58<00:00, 348.47it/s]\n"
     ]
    }
   ],
   "source": [
    "from tqdm import tqdm\n",
    "\n",
    "outer = []\n",
    "\n",
    "for k in tqdm(range(len(iium))):\n",
    "    if 'text' not in iium[k]:\n",
    "        continue\n",
    "    \n",
    "    c = cleaning.split_into_sentences(iium[k]['text'])\n",
    "    texts = []\n",
    "    i = 0\n",
    "    while i < len(c):\n",
    "        t = c[i]\n",
    "        if len(t.split()) == 1:\n",
    "            t = ' '.join(c[i: i + 2])\n",
    "            i += 2\n",
    "        else:\n",
    "            i += 1\n",
    "        texts.append(t)\n",
    "    texts.append('')\n",
    "    outer.extend(texts)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1139839"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(outer)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Boleh pulak dia da habis makan bungkus tu, jalan menonong lalu depan mak aku sambil menjeling, buat dek je.',\n",
       " 'Peh cibs betul.',\n",
       " 'Ape la salah mak aku yg comel tu.',\n",
       " 'Kok ye pon nk jaga suara tu, atleast bgla senyuman kat mak aku yg sedia menunggu tu.',\n",
       " 'Tu aku da sakit hati.',\n",
       " 'Malam tu masa aku nk kua bilik pi jamban, pompan yg sama tengah siap2 depan cermin, so opkos la aku akan lalu.',\n",
       " 'Dgn penuh tatasusila tnpa pedulikan kesenioran aku yg final sem ni, aku pon bertego sapa bertanya diorg course ape, tahun bape, nama ape.',\n",
       " 'Kau tau, aku tanya sepatah, dia jawab sepatah.',\n",
       " 'Pastu aku lak yg bgtau nama sendiri.',\n",
       " 'Dia xtanya langsung nama, plus tahun bape study etc.',\n",
       " 'Peh bongkak betul minah ni.',\n",
       " 'Pastu aku tanya la kat dia pasal rumet yg lain, rupanya tu sume satu geng.',\n",
       " 'aku dpt bayangkan masa depan sem ni cmne.',\n",
       " 'Kesudahannya, kebongkakan pompan tu sama je ngn rumet yg lain.',\n",
       " 'Sampai skrg aku xpena nampak muka rumet lagi dua org.',\n",
       " 'Masing2 tak bertego.',\n",
       " 'Aku masuk bilik masa sorang tu tgh bersiap, aku siap senyum lagi, dia wat2 x nampak la.',\n",
       " 'What the .',\n",
       " 'Ni baru first week, tp menda2 yg diorg da buat: 1)menyalak dari compartment masing2 borak pasal hal duniawi 2)mengilai tebahak2 kalah soundcheck pentas Akademi Fantasia 3)ckp dlm tepon ngn pakwe, mcm share pakwe dia ngn aku.',\n",
       " 'aku paham concept sharing is caring, tp jgnla sampai mcm tu.',\n",
       " 'Nk aku jd madu, kau ckp depan2.',\n",
       " 'Eh 4)segala lampu termasuk kat tengah2 compartment ni dia akan bukak.',\n",
       " 'Walaupun bagus sbb dia bantu subuh aku awal hari2, tp xperlu kot sbb aku ade alarm henset mahal sendiri.',\n",
       " '5)pangai selebet berbau bagai habis satu bilik padahal baru first week da mencalarkan imej mereka sebagai wanita bertudung labuh.',\n",
       " 'Aku nk sound pon, masing2 buat2 mcm xnampak aku.',\n",
       " 'Jeling2 bagai depan cermin bila aku lalu sebelah diorg time masuk bilik.',\n",
       " 'Yg lagi dua org tu aku xpena becakap pon sbb dua2 x kua bilik n malam lenyap tah ke mana.',\n",
       " 'Aku rase sakit hati sgt n meluat sbb aku nk habis kan hari2 aku kat UIA ni dgn kenangan terindah.',\n",
       " 'Tp dah jadi cm ni, dpt rumet2 pangai cm hantu, pe patut aku buat skrg.',\n",
       " 'Boleh x tolong makikan diorg untuk aku.',\n",
       " 'Hahah Ok thank you IIUMC.',\n",
       " '',\n",
       " 'Kawan baik saya bakal menamatkan zaman bujangnya tak lama lagi.',\n",
       " 'For the first time masa dia inform nak bagitahu suruh save the date, saya menangis.',\n",
       " 'Tapi dia tak tahu, sebab dia inform pun dalam whatsapp je.',\n",
       " 'Dia kata nanti nak dekat majlis nanti, dia akan datang rumah.',\n",
       " 'Tapi normal ke saya menangis sebab kawan saya nak kahwin?',\n",
       " 'Saya happy for her but saya rasa sedih sangat.',\n",
       " 'Tak tahu nak explain macam mana.',\n",
       " 'Sangat complicated nak express feelings yang bercampur baur.',\n",
       " '',\n",
       " 'Ceritanya bermulanya begini.',\n",
       " 'Aku sekarang dalam proses tukar kos.',\n",
       " 'Disebabkan pointer aku tidak melepasi syarat2 yang ditetapkan,maka aku perlu amik subjek yang wajib diambil.',\n",
       " 'Masalah dia sekarang subjek sudah full dan study plan aku sudah bercelaru.',\n",
       " 'Add drop sampai jumaat ni.',\n",
       " 'Aku sudah pergi ke semua tempat tanya ni tanya tu.',\n",
       " 'Aku sudah pening memikirkan.',\n",
       " 'Memang berat tugas kalau nak tukar kos lain.',\n",
       " 'Katakanlah subjek tu penuh,kena amik sem depan.',\n",
       " 'Maka alamatnya aku hanya rugi buang masa duduk di sini.',\n",
       " '2 tahun asasi tambah 1 tahun di sini.',\n",
       " 'Boleh amik diploma dah tu.',\n",
       " 'Mohon bagi kata semangat camana nak hadapi masalah ni?',\n",
       " 'Kepala dah pening nak pergi mana.',\n",
       " 'Sekejap u len,giatmara,ikbn,& poli.',\n",
       " 'Katakanlah jumaat ni aku tidak dapat add subjek tu,aku nak minta maaf kat uia.',\n",
       " 'Mungkin sudah tiba masa untuk aku pergi.',\n",
       " '',\n",
       " 'Aku tak faham dengan hidup aku sendiri.',\n",
       " 'Memang aku nampak ok secara zahirnya.',\n",
       " 'Tapi, Tuhan je tahu penatnya aku melawan rasa ni.',\n",
       " 'Rasa yg aku sendiri tak faham.',\n",
       " 'Aku tak tahu apa yang aku nak?',\n",
       " 'Aku terkilan dgn diri sendiri.',\n",
       " 'Setiap benda yg aku buat, semuanya jasad yg bergerak, ruhku terbang entah ke mana.',\n",
       " 'Aku tak tahu apa kelebihan aku, tak tahu apa achievement yg aku dh buat stakat ni.',\n",
       " 'Aku dah tak berminat nk blajar.',\n",
       " 'Aku blajar sbb parents suruh.',\n",
       " 'Aku takde kawan rapat.',\n",
       " 'Mostly aku sorang2.',\n",
       " 'Aku dah bertahun2 tak gelak ketawa dan rasa happy.',\n",
       " 'hidup aku hambar.',\n",
       " 'Aku tak faham apa yg tak kena, sbb tu aku tak dpt explain betul2.',\n",
       " 'Tp, apa yg pasti, aku rasa macam dah tak ada hidup.',\n",
       " 'Sampai saat ni, aku masih macam ni.',\n",
       " '.menangis dan tak ada siapa yg tahu.',\n",
       " 'Mohon bg semangat.',\n",
       " '',\n",
       " 'Dulu aku selalu igt, pointer ni tak penting.',\n",
       " 'Asalkan lebih sikit dari lulus, tak perlu teralu cemerlang.',\n",
       " 'Lalu gradlah aku dengan cgpa yang biasa-biasa.',\n",
       " 'Harini, aku dapat rasa kesannya.',\n",
       " 'Mintak keje sana kena rejek, mintak keje sini kena rejek.',\n",
       " 'Rasa macam sampah yang ditendang-tendang.',\n",
       " 'Sakit hati dapat, manfaat takde.',\n",
       " 'Adik-adik, jangan malas.',\n",
       " 'Belajarlah rajin-rajin.',\n",
       " 'Biar sengsara 3 tahun dari sengsara lepas grad, 30 tahun.',\n",
       " '',\n",
       " 'Ada xsini yg penah rasa kecewa bila kesilapan kecil yg kita buat dicaci atau dikaitkan dgn solat n imej (which is individual responsibility kita as a Muslim).',\n",
       " 'Contohnya org yg dekat dgn kita keluarkan statement \"ko solat je tungging tebalik\",…\"kalau ok org baik kenapa ko mcm tu/ni.',\n",
       " 'sedangkan,Xpernah pon kita kacau solat n penampilan orang lain.',\n",
       " 'memang la kita boleh ambik critism tu dengan positive utk improve diri kita.',\n",
       " 'Tapi sakit sangat bila solat n kewajipan individual kita dipertikai.',\n",
       " 'Kalau benci pada certain kejahatan org tertentu janganlah caci kebaikan dia terutama amalan hakiki.',\n",
       " 'at least nak tegur apa yg xkena advice la personally.',\n",
       " 'Rasa mcm nak nangis je.',\n",
       " 'Korang ada experience mcm tu.',\n",
       " '']"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "outer[-100:]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('dumping-iium.txt', 'w') as fopen:\n",
    "    fopen.write('\\n'.join(outer))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}
