1b_szekelyhon_parser.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "# !pip install bs4"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2018-11-02T21:29:49.840309Z",
     "start_time": "2018-11-02T21:29:49.835307Z"
    }
   },
   "outputs": [],
   "source": [
    "import bs4 as bs, urllib, pandas as pd, numpy as np"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Parse past X years"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2019-04-18T01:56:17.461626Z",
     "start_time": "2019-04-18T01:56:17.453625Z"
    }
   },
   "outputs": [],
   "source": [
    "keyword='medve'\n",
    "baseurl=u'https://szekelyhon.ro/kereses?op=search&src_words='"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Modified to not include dates - to comply with the new news format"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2019-04-18T01:58:39.428960Z",
     "start_time": "2019-04-18T01:58:39.423961Z"
    }
   },
   "outputs": [],
   "source": [
    "def extractor(page):\n",
    "    print('Parsing... page',page)\n",
    "    url=baseurl+keyword+'&page='+str(page)\n",
    "    html = urllib.request.urlopen(url).read()\n",
    "#     soup = bs.BeautifulSoup(html,'lxml')\n",
    "    soup = bs.BeautifulSoup(html,\"html.parser\")\n",
    "    return soup.findAll(\"div\", {\"class\": \"cikkocka2c\"})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2019-04-18T01:58:43.646077Z",
     "start_time": "2019-04-18T01:58:40.142084Z"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Parsing... page 1\n",
      "Parsing... page 2\n",
      "Parsing... page 3\n",
      "Parsing... page 4\n",
      "Parsing... page 5\n",
      "Parsing... page 6\n",
      "Parsing... page 7\n",
      "Parsing... page 8\n",
      "Parsing... page 9\n",
      "Parsing... page 10\n",
      "Parsing... page 11\n",
      "Parsing... page 12\n"
     ]
    }
   ],
   "source": [
    "divs=[]\n",
    "for i in range(1,13):\n",
    "    divs.append(extractor(i))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2019-04-18T01:58:52.185032Z",
     "start_time": "2019-04-18T01:58:52.179025Z"
    }
   },
   "outputs": [],
   "source": [
    "def date_hu_en(i):\n",
    "    date=i[6:-4]\n",
    "    if date=='augusztus': m='08'\n",
    "    elif date=='december': m='12'\n",
    "    elif date=='február': m='02'\n",
    "    elif date=='január': m='01'\n",
    "    elif date=='július': m='07'\n",
    "    elif date=='június': m='06'\n",
    "    elif date=='május': m='05'\n",
    "    elif date=='március': m='03'\n",
    "    elif date=='november': m='11'\n",
    "    elif date==u'október': m='10'\n",
    "    elif date==u'szeptember': m='09'\n",
    "    elif date==u'április': m='04'\n",
    "    else: return date\n",
    "    return i[:4]+'-'+m+'-'+i[-3:-1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2019-04-18T01:58:53.150262Z",
     "start_time": "2019-04-18T01:58:53.146259Z"
    }
   },
   "outputs": [],
   "source": [
    "def find_all(s, ch):\n",
    "    return [i for i, letter in enumerate(s) if letter == ch]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2019-04-18T01:58:53.834854Z",
     "start_time": "2019-04-18T01:58:53.827857Z"
    }
   },
   "outputs": [],
   "source": [
    "from utils import text_processor"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2019-04-18T01:58:54.460391Z",
     "start_time": "2019-04-18T01:58:54.399393Z"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      " Annyira sokrétű a medveprobléma, hogy a beavatkozási törvény módosítása is csak tűzoltásnak számít\n",
      " Azonnal kilőhetők lesznek a medvék településen kívüli támadás esetén is\n",
      "Medvebocs befogásában kérték a csendőrség segítségét\n",
      "Hegyimentők az újfalvi tragédiáról: az áldozatot már nem lehetett megmenteni\n",
      "Holtan találtak egy férfit, medvetámadás áldozata lehetett\n",
      "Lezárult a kerékpárútvonalak feltérképezése, nyerteseket is sorsoltak\n",
      "Medvét láttak a csíkszeredai Brassói úton\n",
      "Medvék miatt riasztották a hegyimentőket a Kis-Cohárd közelében\n",
      "Medvetámadás Szépvíz közelében: csonttörést szenvedett a pásztor, olyan erősen harapta meg a vadállat\n",
      "Medvét gázolt el egy gépkocsi Sepsiszentgyörgy közelében, az állat elpusztult\n",
      "Medvéket vittek a vadászterületeikre, anélkül, hogy előtte szóltak volna nekik erről\n",
      "Vigyázat, nagyvadak! Elkészült Székelyudvarhelyen a szabályos medveketrec\n",
      "Medvét ütött el a vonat a sepsibükszádi vasútállomásnál\n",
      "Bocsaival együtt fogták be, és szállították el az egyik anyamedvét Szovátáról\n",
      " Az árok, amelyet nem mélyíteni, hanem tömni kell az árvíz megelőzéséhez\n",
      "Kiugróan magas idén a medvék okozta károk száma Gyergyószentmiklóson\n",
      " Bevált a medvecsapda Székelyudvarhelyen\n",
      " Kétszer több vadkárt jegyeztek a tavalyhoz képest, ezek túlnyomó részét medvék okozták\n",
      "Újabb csapás a turizmusnak\n",
      " Kártérítés járt a tusnádi medvetámadásért, de a per három évbe tellett\n",
      "Három medvét lőhetnek ki Udvarhelyszéken, megvan, hogy konkrétan hol\n",
      "Ön is a szerencsések közé tartozik?\n",
      "Gyere, Péter!\n",
      "Harminc százalékkal nőtt a silókukorica-földeken észlelt vadkárok mértéke Hargita megyében\n",
      "Elütött medvét találtak a Maros megyei Petele közelében\n",
      " Még nem lőttek medvére a vadásztársulatok Hargita megyében\n",
      " Nyolc portán vonult végig a medve, az emberek már belefáradtak, hogy a hatóságokat értesítsék\n",
      "Megölték a falu lakói a településre visszatérő medvét\n",
      "Szovátán már napi látogató a medve, ez meg is látszik a kirándulók számán\n",
      "Saját udvarán támadt rá a medve a harmincéves nőre\n",
      "Balánbányán és Tarcsafalván volt medvejárás a hétvégén\n",
      "Turisták futottak össze a medvével\n",
      " A medvegarázdálkodások elleni sürgősségi beavatkozás részleteiről tájékoztatták a polgármestereket\n",
      "Csíkszeredai udvarokban pusztított egy medve\n",
      " Véletlenül bezárta a csűrbe az udvarára tévedt medvét\n",
      " Gyakran éri kellemetlen meglepetés a betakarítást végző gazdákat\n",
      "Ezért merészkedik be egyre több medve a lakott területekre Székelyföldön\n",
      "Kiengedik a kórházból a pénteki madéfalvi medvetámadás áldozatát\n",
      "Ötvenéves nőre támadt a medve Madéfalvánál, az áldozat súlyos állapotban van\n",
      "Mentőt hívott magának a pásztor, akire rátámadt a medve Bükkhavasban\n",
      "Még csak szeptember elején vagyunk, de már 28 riasztást küldtek ki a hónapban medvék miatt\n",
      "Továbbra sincs engedély, de már nem is lőnék ki a Kápolnásfalunál emberre támadó medvét\n",
      "Pásztorra támadt egy medve Csicsó és Madéfalva közelében\n",
      "Medvekérdés: nyomás alá helyezi a sürgősségi rendelet a településvezetőket\n",
      "Medvét ütöttek el Recsenyéd és Homoródszentmárton között\n",
      "Elvitte a medve a juhot, a pásztor utána lesett, a vadállat rátámadt, a kutyák elkergették a medvét\n",
      "Jelentős előrelépés medveügyben: országos tervet mutatott be a környezetvédelmi minisztérium\n",
      "Állatokra vigyázott a mezőn, rátámadt a medve\n",
      "Kilőtték a Románandrásfalvánál emberre támadó medvét\n",
      "Nagyon tudják ezek a medvék, hogy mikor kell lelépni\n",
      " Pontosították, hogy mi a teendő a medvék miatti beavatkozásoknál\n",
      "Most a csíkszeredaiakon volt a sor, hogy medveriasztásra ébredjenek\n",
      "Nagyobb testű, a kölykeivel sétáló kutya miatt érkezhetett a hétvégi Ro-Alert riasztás Székelyudvarhelyen\n",
      "Ennyiszer riasztották a hatóságokat medve felbukkanása miatt Hargita megyében a hétvégén\n",
      "Medvét láttak a csíksomlyói borvízkútnál\n",
      "Medvét gázolt el egy autó Csíkszentdomokoson, elpusztult a vadállat\n",
      "Tehenet ölt a medve Székelyudvarhely mellett\n",
      "Hivatalos címere van Székelyudvarhelynek és Barátosnak\n",
      " Medvehelyzet: több opció közül kell kiválasztani a beavatkozás módját\n",
      "Eltűnt férfit kerestek a Vargyas-szorosban, aki reggelre került elő\n",
      "Ilyen még sosem volt: Szentegyháza központjából érkezett a medveriasztás\n",
      "Behozni a lemaradást: 200 millió eurót különítettek el a félbehagyott csatornahálózatok kiépítésére\n",
      "Medvét láttak a csíkszeredai Hajnal utcában\n",
      " Egyedi, mindenki számára elfogadható címert szeretnének a bögöziek, de nincs egyetértés\n",
      "Antal Árpád: a medvék azonnali eltávolítását szabályozó kormányrendelet egy eszköz, amivel élni kell\n",
      " Kiengedték a kórházból, de több hónapos lesz a felépülése a pálfalvi medvetámadás áldozatának\n",
      "Medvetetemet találtak azon a környéken, ahol nemrég megölt a nagyvad egy embert\n",
      "Medvét láttak Szentegyháza határában\n",
      " A túl mély árokkal magyarázzák az árvízgondot Máréfalván\n",
      "Ez a hétvége sem telt el medveriasztások nélkül\n",
      "Emlékkövekkel tisztelegnek Szováta helytörténeti jelentőségű személyiségei előtt\n",
      "A gasztronómia is hangsúlyos szerepet kapott az Egyfeszten\n",
      " Akad még valaki, aki puska nélkül be mer menni az erdőbe?\n",
      "A Gyergyói-medence értékeit népszerűsíti a csütörtökön elstartolt Egyfeszt\n",
      "Esti támadás: úgy tűnik, csak ellökte a medve, de az áldozat így is fejsérülést szenvedett\n",
      "53,5 millió lejt fordítanak a medvepopuláció megfigyelésére\n",
      " Sok szabály vonatkozik azokra, akik eladásra szedik az áfonyát a Madarasi Hargitán\n",
      " Megpróbálta elkergetni a juhok közeléből a medvét, és akkor...\n",
      " Nyugtalanság Gernyeszegen a halálos medvetámadás után\n",
      "Koncertek a Súgó-barlangban, medveles és Gyergyóikum-túra – csütörtökön kezdődik az Egyfeszt\n",
      " A megszabott határidő miatt nem várhattak az aszfaltozással Máréfalván\n",
      " A medve nem játék, különösen lakott területen – vadászok a beavatkozási törvényről\n",
      "Medve végezhetett egy pásztorral Gernyeszeg határában\n",
      "Súlyos sérüléseket szenvedett a medvetámadás áldozata, a nagyvad több ujját is leharapta – hétórás műtéten van túl\n",
      "Rákaptak a pityókára a szarvasok, az életükbe kerülhet\n",
      "Úgy hatolt be a medve egy gazdaságba és pusztított el hét juhot, hogy meg sem sérült a villanypásztor\n",
      "Medvepark létrehozásában érdekelt Hargita megye, még „szafarit” is szerveznének ott\n",
      "Egy hétig tartott rettegésben egy grizzly medve egy alaszkai táborozót\n",
      "Még mindig per tárgya a három évvel ezelőtti medvetámadás után kifizetendő kártérítés\n",
      "Elfogadta a kormány az azonnali beavatkozás lehetőségét az emberéletet veszélyeztető medvék esetében\n",
      " Áttelepítették a tusnádfürdői házakba betörő hárombocsos anyamedvét\n",
      " Több mint hatszáz aláírás társaságában küldik el a panaszlevelet a tusnádfürdőiek\n",
      "Emberre támadt a medve Székelypálfalván\n",
      "Hat hónap alatt ötszáz háziállat esett a medvék áldozatául Hargita megyében\n",
      "A ház egyik szobájában barikádozta el magát a medve elől az idős asszony\n",
      "Alig aludtak vissza a városlakók az első medveriasztás után, máris jött a második\n",
      " És mit mond a medvekutató?\n",
      "Medvét ütöttek el a Szejkefürdőn, a nagyvad elmenekült a helyszínről\n",
      "Tucatnyi esetben kellett közbelépniük a Hargita megyei hatóságoknak a medvék miatt\n",
      "Megköszönte a tusnádfürdőiek kiállását a miniszter\n",
      "A már elviselhetetlenné vált medveprobléma ellen tüntettek Tusnádfürdőn\n",
      "Szinte mindig csak medvére figyelmeztet a Ro-Alert rendszer Háromszéken\n",
      "Eddig csak félgőzzel indult be a székelyföldi turizmus\n",
      "Mobilapplikáció segítségével is bejárhatjuk Szovátát\n",
      " Gyermekre támadt egy medve Gelencén\n",
      "Medvét vagy életet? Zöld lobbi az erdőből nézve\n",
      "Vonat gázolt halálra egy medvét Gidófalvánál\n",
      "Ennyiszer riasztották a hétvégén a hatóságokat medve felbukkanása miatt Hargita megyében\n",
      "Többen is meglátogatták a medvecsapdát, de egyikük sem volt medve\n",
      "Tánczos: nem tekinthetőek potenciális veszélynek az emberektől meg nem riadó medvék\n",
      "Puskalövésekkel kellett elkergetni az emberre támadó medvét\n",
      "Szolidárisnak kellene lenni azokkal, akiket napi szinten érint a medveprobléma\n",
      "Elaltattak egy súlyosan megsérült, elgázolt medvét\n",
      "Turisták tömegét vonzották a medvékre figyelmeztető Ro-Alert üzenetek Tusnádfürdőn\n",
      "Enni akkor is kell, ha sok dolgunk van – gyors, praktikus receptek a Főnix Konyhától\n",
      "Jószágot ölt a medve a tüntetés napján is Gyergyószéken\n",
      "Tarthatatlanná vált medvehelyzet, Háromszék mind az öt városában utcára vonultak az emberek\n",
      " Több ezer fős tüntetés helyett csak mintegy százan tiltakoztak a fővárosban\n",
      " Már nem kérik, hanem követelik a közbelépést medveügyben\n",
      "Emberek és medvék otthona\n",
      "Békés tüntetésre készülnek a nagyvadak miatt\n",
      " A sugásfürdői medve áthelyezését vagy kilövését kéri a sepsiszentgyörgyi önkormányzat\n",
      "Medvét ütöttek el Udvarhelyszéken: egy darabig az úton feküdt az állat, aztán odébbállt\n",
      "Túlélte a medvetámadást a szaladó férfi, de hosszas lesz a felépülése\n",
      "Szemétdíjról, közszállításról, áradásról szólt a székelyudvarhelyi tanácsülés\n",
      "Nekiment a Tánczos Barna leváltását követelő zöldeknek a háromszéki szenátor\n",
      " Medvék törtek be a tusnádfürdői polgármester garázsába\n",
      "Tizennyolc alkalommal riasztották a hatóságiakat a medvék miatt\n",
      " Medveproblémák: sürgősségi beavatkozásra és állományszabályozásra is szükség lenne\n",
      "Háromszéken is emberre támadt a medve\n",
      "Itt a Medve-tó, amott egy medve\n",
      "Emberre támadt a medve Kápolnásfalu határában\n",
      "Medveinvázió Erdőszentgyörgyön\n",
      "Strandszezon van, ám a meteorológusok nem biztatnak sok jóval\n",
      "Az idei Filmszeredán a filmek is „mennek” a nézőkhöz\n",
      "Medvét ütött el a vonat Alsóboldogfalvánál\n",
      "Hat órán át küzdöttek a medvetámadás áldozatának megmentéséért – már stabil az állapota\n",
      "Medvecsapdát helyeztek el a Csereháton\n",
      "Medvetámadás Hargita megyében, súlyos állapotban van a megsebesült férfi\n",
      " „Bekopogtak” a homoródszentpáli gólyákhoz\n",
      "Panzióba és üzletbe törtek be a medvék Tusnádfürdőn\n",
      "Háromszéki ifjúsági konzultáció: hiába az aszfaltozás, ha elszivárognak a fiatalok\n",
      "Ismét lehet mozizni Csíkszeredában, nyilvános az ötödik Filmszereda programja\n",
      " Medve járt a tömbházak között Székelyudvarhelyen\n",
      "Elektromos kerítésbe szorult medvebocsot mentettek ki\n",
      "Vonat gázolt el egy medvét\n",
      "Különdíjasok lettek a székelyudvarhelyi séfek a Magyarország Étele 2021 versenyen\n",
      "Medve miatt riasztották a hatóságokat Székelyudvarhelyen, dörrenéseket is lehetett hallani\n",
      "Hatszor riasztották a hatóságokat a medvék miatt Hargita megyében\n",
      "Medvét hajtottak a csendőrök Csíksomlyó Fitód felőli oldalában\n",
      "Maroshévízen és Tusnádfürdőn egy nap alatt ötször riasztották medvékhez a hatóságokat\n",
      " Ismert gombászóhelyen rejtőzhetett el a sebzett medve\n",
      "Medvét gázolt el egy autó Szejke közelében, elszaladt a sérült vadállat\n",
      "Növekvő medveveszély: néhány megye Románia állatkertje, az ország pedig Európáé\n",
      "Szirénával hajtották el a medvéket Tusnádfürdőn hétfőn éjszaka\n",
      "Házakba próbált betörni a medve, a lakóknak menekülniük kellett\n",
      "Beperelik a „legnagyobb medvét” kiáltó környezetvédőt\n",
      "Medvék és farkasok nyomában jártunk\n",
      "Juhot, bárányokat és nyulakat ölt a medve Ajnádon – videó\n",
      "Nyitnak a mozik, magyar szinkronos gyermekfilm is műsoron\n",
      "A medvék vagy az emberek?\n",
      " Juhokra támadt a medve, de az odasiető gazdát is megsebesítette\n",
      "Medveriasztásokkal teli hétvége\n",
      "Tánczos: néhány óra alatt több mint nyolcezren regisztráltak a háztartási gépek roncsprogramjára\n",
      " Legalább a csíksomlyói búcsú idején ne legyen a közelben a bocsos anyamedve\n",
      " Éledezik a turizmus, de a foglalások száma még nem ugrott meg\n",
      "Medveveszélyre figyelmeztetnek a sugásfürdői és a benedekmezei erdők turistaútvonalain\n",
      "Ismét medvék kóboroltak az országúton a Szejkefürdő közelében\n",
      "Tánczos: az ozsdolai medve minden bizonnyal nagy volt, de nem a legnagyobb\n",
      " Legalább húsz medve él Székelyudvarhely közelében, a szakemberek szerint ezután lesznek igazán nagy gondok\n",
      "Az esti órákban is megjelent a medve Szécsenyben\n",
      "Medve jelenlétére figyelmeztetnek Szécsenyben\n",
      "Elpusztult medvét találtak\n",
      "Medveetetésért bírságoltak a csendőrök\n",
      "„…igenis ki szokták lőni”\n",
      " A vadásztársadalmat is megosztotta a Kovászna megyei medvekilövés ügye\n"
     ]
    }
   ],
   "source": [
    "hirek=[]\n",
    "tagset=set()\n",
    "for i in range(len(divs)-1):\n",
    "    divgroup=divs[i]\n",
    "    for div in divgroup:\n",
    "        icat=''\n",
    "        img=div.find('img')\n",
    "        if img !=None: \n",
    "            img=img['src']\n",
    "            #infer image category from image link\n",
    "            icats=find_all(img,'/')\n",
    "            if len(icats)>4:\n",
    "                icat=img[icats[3]+1:icats[4]]\n",
    "        tags=div.find(\"div\", {\"class\": \"tags_con1\"})\n",
    "        if tags!=None: \n",
    "            tags=[j.text.strip() for j in tags.findAll('div')]\n",
    "        idiv=div.find(\"div\", {\"class\": \"catinner\"})\n",
    "        if idiv!=None:\n",
    "            idiv=idiv.find('div')\n",
    "            content=div.find('p')\n",
    "            date=idiv.text[idiv.text.find('20'):idiv.text.find(',')]\n",
    "            title=div.find('h2').text\n",
    "            print(title)\n",
    "            if content==None:\n",
    "                sdiv=str(div)[::-1]\n",
    "                content=sdiv[:sdiv.find('>a/<')].replace('\\r','').replace('\\t','').replace('\\n','')[::-1][:-6]\n",
    "            else: content=content.text\n",
    "            content=content.replace('</div><div class=\"clear\"></div></div><div class=\"clear\"></div>','')\n",
    "            link=div.findAll('a')[-1]['href']\n",
    "            #infer category from link\n",
    "            cats=find_all(link,'/')\n",
    "            if len(cats)>3:\n",
    "                cat=link[cats[2]+1:cats[3]]\n",
    "            else: cat=''\n",
    "            #infer attack from plain text\n",
    "            relevant,severity,deaths=text_processor(title,content)\n",
    "            if tags!=None:\n",
    "                notags=[u'Húsvét',u'Film',u'Egészségügy',u'Külföld',u'Színház',u'Ünnep']\n",
    "                for notag in notags:\n",
    "                    if notag in tags:\n",
    "                        relevant=-1\n",
    "                        break\n",
    "            if ((relevant>-1)&\\\n",
    "                (cat not in ['sport','muvelodes','sms-e-mail-velemeny','tusvanyos'])&\\\n",
    "                (title not in [u'Röviden'])):\n",
    "                if tags!=None: \n",
    "                    tagset=tagset.union(set(tags))\n",
    "                    if 'medve' in tags:\n",
    "                        relevant=1\n",
    "                hirek.append({'date':date_hu_en(date),\n",
    "                              'hudate':date,\n",
    "                              'title':title,\n",
    "                              'image':img,\n",
    "                              'tags':repr(tags),\n",
    "                              'content':content,\n",
    "                              'link':link,\n",
    "                              'category':cat,\n",
    "                              'icategory':icat,\n",
    "                              'relevant':relevant,\n",
    "                              'severity':severity,\n",
    "                              'deaths':deaths,\n",
    "                              'duplicate':0\n",
    "                               })"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Összes medvés hír"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2019-04-18T01:58:55.338108Z",
     "start_time": "2019-04-18T01:58:55.300107Z"
    }
   },
   "outputs": [],
   "source": [
    "df=pd.DataFrame().from_dict(hirek)\n",
    "df['date']=pd.to_datetime(df['date'])\n",
    "df=df.sort_values('date').drop_duplicates().reset_index(drop=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2019-04-18T01:58:56.173594Z",
     "start_time": "2019-04-18T01:58:56.167592Z"
    }
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "136"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(hirek)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Save to medve Excel. Manual curation"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2019-04-18T01:58:57.152809Z",
     "start_time": "2019-04-18T01:58:57.142804Z"
    },
    "code_folding": []
   },
   "outputs": [],
   "source": [
    "dm=df[[ 'date', 'hudate', 'link','image', 'category','icategory','tags','title',\n",
    "       'content']]\n",
    "dc=df[['title','content','relevant', 'severity','deaths','duplicate']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "# !pip install openpyxl"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2019-04-18T01:58:58.117150Z",
     "start_time": "2019-04-18T01:58:57.625502Z"
    }
   },
   "outputs": [],
   "source": [
    "#save parsed data\n",
    "dm.to_excel('data/szekelyhon_medve.xlsx')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "ExecuteTime": {
     "end_time": "2019-04-18T01:58:58.667784Z",
     "start_time": "2019-04-18T01:58:58.563786Z"
    }
   },
   "outputs": [],
   "source": [
    "#save data for curation\n",
    "#1 if you dont have savedata yet\n",
    "existing_savedata=False\n",
    "if not existing_savedata:\n",
    "    dc.to_excel('data/szekelyhon_medve_curated.xlsx')\n",
    "#2 if you already have savedata\n",
    "else:\n",
    "    dc2=pd.read_excel('data/szekelyhon_medve_curated.xlsx')\n",
    "    dc2.combine_first(dc).to_excel('data/szekelyhon_medve_curated.xlsx')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Open `data/szekelyhon_medve_curated` and manually confirm each case."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Relevant = Medves cikk-e vagy sem: 1-igen, 0-nem biztos, -1:biztosan nem   \n",
    "Deaths = Halalok szama (ha ismert)  \n",
    "Severity = Sulyossag: 0-mas jellegu hir, 1-nyom, 2-latas, 3-allat-tamadas, 4-ember-tamadas  \n",
    "Duplicate = 0: Eredeti cikk, 1: Masolat, 2: Osszegzes"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}