G8_data_analysis.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## G8 - Lavoro e Disoccupazione"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# Import librerie per analisi dati (Pandas) e dati Istat\n",
    "import os\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "from IPython.core.display import HTML\n",
    "import istat\n",
    "import jsonstat\n",
    "\n",
    "# cache dir per velocizzare analisi in locale\n",
    "cache_dir = os.path.abspath(os.path.join(\"..\", \"tmp/od_la_grande_fuga\", \"istat_cached\"))\n",
    "istat.cache_dir(cache_dir)\n",
    "istat.lang(0)  # lingua italiano\n",
    "\n",
    "dir_df = os.path.join(os.path.abspath(''),'stg')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table><tr><th>cod</th><th>name</th><th>dim</th></tr><tr><td>DCCV_COMPL1</td><td>Indicatori  complementari </td><td>12</td></td></tr><tr><td>DCCV_DISOCCUPT1</td><td> Disoccupati</td><td>9</td></td></tr><tr><td>DCCV_DISOCCUPTDE1</td><td>Disoccupati  - dati destagionalizzati</td><td>6</td></td></tr><tr><td>DCCV_DISOCCUPTMENS1</td><td>Disoccupati  - dati mensili</td><td>7</td></td></tr><tr><td>DCCV_FORZLV1</td><td>Forze di  lavoro</td><td>7</td></td></tr><tr><td>DCCV_FORZLVDE1</td><td>Forze di lavoro  - dati destagionalizzati</td><td>6</td></td></tr><tr><td>DCCV_FORZLVMENS1</td><td>Forze lavoro  - dati mensili</td><td>7</td></td></tr><tr><td>DCCV_INATTIV1</td><td> Inattivi</td><td>10</td></td></tr><tr><td>DCCV_INATTIVDE1</td><td>Inattivi  - dati destagionalizzati</td><td>6</td></td></tr><tr><td>DCCV_INATTIVMENS1</td><td>Inattivi  - dati mensili</td><td>7</td></td></tr><tr><td>DCCV_NEET1</td><td>NEET  (giovani non occupati e non in istruzione e formazione)</td><td>10</td></td></tr><tr><td>DCCV_OCCUPATIMENS1</td><td>Occupati -  dati mensili</td><td>9</td></td></tr><tr><td>DCCV_OCCUPATIT1</td><td>Occupati  (migliaia)</td><td>14</td></td></tr><tr><td>DCCV_OCCUPATITDE1</td><td>Occupati -  dati destagionalizzati</td><td>9</td></td></tr><tr><td>DCCV_ORELAVMED</td><td>Occupati per ore settimanali lavorate e numero di ore settimanali lavorate procapite</td><td>12</td></td></tr><tr><td>DCCV_POPCOND1</td><td>Popolazione  per condizione professionale</td><td>10</td></td></tr><tr><td>DCCV_TAXATVT1</td><td>Tasso di  attività</td><td>7</td></td></tr><tr><td>DCCV_TAXATVTDE1</td><td>Tasso di attività  - dati destagionalizzati</td><td>6</td></td></tr><tr><td>DCCV_TAXATVTMENS1</td><td>Tasso di attività  - dati mensili</td><td>7</td></td></tr><tr><td>DCCV_TAXDISOCCU1</td><td>Tasso di  disoccupazione</td><td>8</td></td></tr><tr><td>DCCV_TAXDISOCCUDE1</td><td>Tasso di disoccupazione  - dati destagionalizzati</td><td>6</td></td></tr><tr><td>DCCV_TAXDISOCCUMENS1</td><td>Tasso di disoccupazione  - dati mensili</td><td>7</td></td></tr><tr><td>DCCV_TAXINATT1</td><td>Tasso di  inattività</td><td>7</td></td></tr><tr><td>DCCV_TAXINATTDE1</td><td>Tasso di inattività  - dati destagionalizzati</td><td>6</td></td></tr><tr><td>DCCV_TAXINATTMENS1</td><td>Tasso di inattività  - dati mensili</td><td>7</td></td></tr><tr><td>DCCV_TAXOCCU1</td><td>Tasso di  occupazione</td><td>7</td></td></tr><tr><td>DCCV_TAXOCCUDE1</td><td>Tasso di occupazione  - dati destagionalizzati</td><td>6</td></td></tr><tr><td>DCCV_TAXOCCUMENS1</td><td>Tasso di occupazione  - dati mensili</td><td>7</td></td></tr><tr><td>DCIS_RICSTAT</td><td>Ricostruzione statistica delle serie regionali di popolazione del periodo 1/1/2002-1/1/2014</td><td>6</td></td></tr><tr><td>DCSC_COSTLAVSTRUT_1</td><td>Imprese ed enti pubblici con almeno 10 dipendenti</td><td>6</td></td></tr><tr><td>DCSC_COSTLAVULAOROS_1</td><td>Indicatori - Imprese con dipendenti</td><td>5</td></td></tr><tr><td>DCSC_GI_COS</td><td>Imprese con almeno 500 dipendenti</td><td>6</td></td></tr><tr><td>DCSC_GI_OCC</td><td>Posizioni lavorative - Imprese con almeno 500 dipendenti</td><td>6</td></td></tr><tr><td>DCSC_GI_ORE</td><td>Ore lavorate - Imprese con almeno 500 dipendenti</td><td>6</td></td></tr><tr><td>DCSC_GI_RE</td><td>Retribuzioni lorde - Imprese con almeno 500 dipendenti</td><td>6</td></td></tr><tr><td>DCSC_ORE10_1</td><td>Ore lavorate - Imprese con almeno 10 dipendenti</td><td>5</td></td></tr><tr><td>DCSC_OROS_1</td><td>Posizioni lavorative alle dipendenze</td><td>5</td></td></tr><tr><td>DCSC_POSTIVAC_1</td><td>Posti vacanti - Imprese con almeno 10 dipendenti</td><td>5</td></td></tr><tr><td>DCSC_RETRATECO1</td><td>Retribuzioni contrattuali per settore economico (Ateco)</td><td>6</td></td></tr><tr><td>DCSC_RETRCASSCOMPPA</td><td>Retribuzioni contrattuali nella Pubblica amministrazione</td><td>7</td></td></tr><tr><td>DCSC_RETRCONTR1C</td><td>Retribuzioni contrattuali per tipo di contratto</td><td>6</td></td></tr><tr><td>DCSC_RETRCONTR1O</td><td>Orario contrattuale, ferie e altre riduzioni orarie - dipendenti a tempo pieno</td><td>6</td></td></tr><tr><td>DCSC_RETRCONTR1T</td><td>Tensione contrattuale</td><td>6</td></td></tr><tr><td>DCSC_RETRULAOROS_1</td><td>Retribuzioni lorde - Imprese con dipendenti</td><td>5</td></td></tr></table>"
      ],
      "text/plain": [
       "[DCCV_COMPL1(12):Indicatori  complementari ,\n",
       " DCCV_DISOCCUPT1(9): Disoccupati,\n",
       " DCCV_DISOCCUPTDE1(6):Disoccupati  - dati destagionalizzati,\n",
       " DCCV_DISOCCUPTMENS1(7):Disoccupati  - dati mensili,\n",
       " DCCV_FORZLV1(7):Forze di  lavoro,\n",
       " DCCV_FORZLVDE1(6):Forze di lavoro  - dati destagionalizzati,\n",
       " DCCV_FORZLVMENS1(7):Forze lavoro  - dati mensili,\n",
       " DCCV_INATTIV1(10): Inattivi,\n",
       " DCCV_INATTIVDE1(6):Inattivi  - dati destagionalizzati,\n",
       " DCCV_INATTIVMENS1(7):Inattivi  - dati mensili,\n",
       " DCCV_NEET1(10):NEET  (giovani non occupati e non in istruzione e formazione),\n",
       " DCCV_OCCUPATIMENS1(9):Occupati -  dati mensili,\n",
       " DCCV_OCCUPATIT1(14):Occupati  (migliaia),\n",
       " DCCV_OCCUPATITDE1(9):Occupati -  dati destagionalizzati,\n",
       " DCCV_ORELAVMED(12):Occupati per ore settimanali lavorate e numero di ore settimanali lavorate procapite,\n",
       " DCCV_POPCOND1(10):Popolazione  per condizione professionale,\n",
       " DCCV_TAXATVT1(7):Tasso di  attività,\n",
       " DCCV_TAXATVTDE1(6):Tasso di attività  - dati destagionalizzati,\n",
       " DCCV_TAXATVTMENS1(7):Tasso di attività  - dati mensili,\n",
       " DCCV_TAXDISOCCU1(8):Tasso di  disoccupazione,\n",
       " DCCV_TAXDISOCCUDE1(6):Tasso di disoccupazione  - dati destagionalizzati,\n",
       " DCCV_TAXDISOCCUMENS1(7):Tasso di disoccupazione  - dati mensili,\n",
       " DCCV_TAXINATT1(7):Tasso di  inattività,\n",
       " DCCV_TAXINATTDE1(6):Tasso di inattività  - dati destagionalizzati,\n",
       " DCCV_TAXINATTMENS1(7):Tasso di inattività  - dati mensili,\n",
       " DCCV_TAXOCCU1(7):Tasso di  occupazione,\n",
       " DCCV_TAXOCCUDE1(6):Tasso di occupazione  - dati destagionalizzati,\n",
       " DCCV_TAXOCCUMENS1(7):Tasso di occupazione  - dati mensili,\n",
       " DCIS_RICSTAT(6):Ricostruzione statistica delle serie regionali di popolazione del periodo 1/1/2002-1/1/2014,\n",
       " DCSC_COSTLAVSTRUT_1(6):Imprese ed enti pubblici con almeno 10 dipendenti,\n",
       " DCSC_COSTLAVULAOROS_1(5):Indicatori - Imprese con dipendenti,\n",
       " DCSC_GI_COS(6):Imprese con almeno 500 dipendenti,\n",
       " DCSC_GI_OCC(6):Posizioni lavorative - Imprese con almeno 500 dipendenti,\n",
       " DCSC_GI_ORE(6):Ore lavorate - Imprese con almeno 500 dipendenti,\n",
       " DCSC_GI_RE(6):Retribuzioni lorde - Imprese con almeno 500 dipendenti,\n",
       " DCSC_ORE10_1(5):Ore lavorate - Imprese con almeno 10 dipendenti,\n",
       " DCSC_OROS_1(5):Posizioni lavorative alle dipendenze,\n",
       " DCSC_POSTIVAC_1(5):Posti vacanti - Imprese con almeno 10 dipendenti,\n",
       " DCSC_RETRATECO1(6):Retribuzioni contrattuali per settore economico (Ateco),\n",
       " DCSC_RETRCASSCOMPPA(7):Retribuzioni contrattuali nella Pubblica amministrazione,\n",
       " DCSC_RETRCONTR1C(6):Retribuzioni contrattuali per tipo di contratto,\n",
       " DCSC_RETRCONTR1O(6):Orario contrattuale, ferie e altre riduzioni orarie - dipendenti a tempo pieno,\n",
       " DCSC_RETRCONTR1T(6):Tensione contrattuale,\n",
       " DCSC_RETRULAOROS_1(5):Retribuzioni lorde - Imprese con dipendenti]"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "area_lavoro = istat.area('LAB')\n",
    "area_lavoro.datasets()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Classe di età' (26:'15 anni e più', 29:'15-24 anni', 39:'20-24 anni', 48:'25-34 anni', 66:'35-44 anni', 80:'45-54 anni', 95:'55-64 anni', 190:'15-64 anni', 193:'35 anni e più', 194:'35-54 anni', 196:'55 anni e più', 210:'15-29 anni', 309:'18-29 anni', 314:'15-74 anni')"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Indicatori di lavoro - Tasso Disoccupazione\n",
    "ds_lavoro = area_lavoro.dataset('DCCV_TAXDISOCCU1')\n",
    "ds_lavoro.dimension('Territorio')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# NORD\n",
    "spec_n = {\n",
    "    \"Territorio\":3,\n",
    "    \"Sesso\":3,\n",
    "    \"Cittadinanza\":3,\n",
    "    \"Durata disoccupazione\":3,\n",
    "    \"Titolo di studio\":12,\n",
    "    \"Classe di età\":28\n",
    "}\n",
    "\n",
    "#SUD\n",
    "spec_s = {\n",
    "    \"Territorio\":88,\n",
    "    \"Sesso\":3,\n",
    "    \"Cittadinanza\":3,\n",
    "    \"Durata disoccupazione\":3,\n",
    "    \"Titolo di studio\":12,\n",
    "    \"Classe di età\":28\n",
    "}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "def disoccupati(ds, spec,nome):\n",
    "    c = ds.getvalues(spec)\n",
    "    ds = c.dataset(0)\n",
    "    df = ds.to_data_frame('Tempo e frequenza')\n",
    "    df.reset_index(level=0, inplace=True)\n",
    "    df.columns = ['Anno',nome]\n",
    "    df = df[(df['Anno'].str.contains(\"T\")==False)]\n",
    "    return df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "ename": "TypeError",
     "evalue": "'str' object is not callable",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mTypeError\u001b[0m                                 Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-10-154f2c3af5e0>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m()\u001b[0m\n\u001b[0;32m----> 1\u001b[0;31m \u001b[0mdf_s\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mdisoccupati\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mds_lavoro\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mspec_s\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m'Sud'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      2\u001b[0m \u001b[0mdf_n\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mdisoccupati\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mds_lavoro\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mspec_n\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m'Nord'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m<ipython-input-9-61e8934bce2e>\u001b[0m in \u001b[0;36mdisoccupati\u001b[0;34m(ds, spec, nome)\u001b[0m\n\u001b[1;32m      1\u001b[0m \u001b[0;32mdef\u001b[0m \u001b[0mdisoccupati\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mds\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mspec\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0mnome\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 2\u001b[0;31m     \u001b[0mc\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mds\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mgetvalues\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mspec\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m      3\u001b[0m     \u001b[0mds\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mc\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mdataset\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;36m0\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      4\u001b[0m     \u001b[0mdf\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mds\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mto_data_frame\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m'Tempo e frequenza'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      5\u001b[0m     \u001b[0mdf\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mreset_index\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mlevel\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;36m0\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0minplace\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;32mTrue\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/Users/cesar/anaconda/lib/python3.6/site-packages/istat/istat_dataset.py\u001b[0m in \u001b[0;36mgetvalues\u001b[0;34m(self, spec, rtype)\u001b[0m\n\u001b[1;32m    152\u001b[0m                 \u001b[0;32mif\u001b[0m \u001b[0mvalue\u001b[0m \u001b[0;34m!=\u001b[0m \u001b[0;36m0\u001b[0m \u001b[0;32mand\u001b[0m \u001b[0mdim\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mcod2desc\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mvalue\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;32mis\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    153\u001b[0m                     \u001b[0;32mif\u001b[0m \u001b[0mdim\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mdesc2cod\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mvalue\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;32mis\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 154\u001b[0;31m                         \u001b[0mmsg\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;34m\"unknown value '{}' for dimension '{}'\"\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mformat\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mvalue\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mdim\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mname\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    155\u001b[0m                         \u001b[0;32mraise\u001b[0m \u001b[0mIstatException\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mmsg\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    156\u001b[0m                     \u001b[0mvalue\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mdim\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mdesc2cod\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mvalue\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mTypeError\u001b[0m: 'str' object is not callable"
     ]
    }
   ],
   "source": [
    "df_s = disoccupati(ds_lavoro, spec_s, 'Sud')\n",
    "df_n = disoccupati(ds_lavoro, spec_n, 'Nord')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "df = pd.merge(df_n,df_s, how='inner', on=['Anno', 'Anno'])\n",
    "df = df.set_index(['Anno'])\n",
    "df.head(5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_filename = r'df_g8.pkl'\n",
    "df_fullpath = os.path.join(dir_df, df_filename)\n",
    "df.to_pickle(df_fullpath)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.0"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}