Part 6 - Saving and Loading Models.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Αποθήκευση και φόρτωση μοντέλων\n",
    "\n",
    "Σε αυτό το notebook, θα δούμε πως μπορούμε να αποθηκεύσουμε και να φορτώσουμε δίκτυα μέσω της PyTorch. Οι λειτουργίες αυτές είναι πολύ σημαντικές καθώς πολύ συχνά θα φορτώνετε μοντέλα τα οποία έχετε εκπαιδεύσει πριν για να τα χρησιμοποιήσετε για προβλέψεις σε νέα δεδομένα ή για να συνεχίσετε την εκπαίδευσή τους σε επιπλέον δεδομένα."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "%matplotlib inline\n",
    "%config InlineBackend.figure_format = 'retina'\n",
    "\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "import torch\n",
    "from torch import nn\n",
    "from torch import optim\n",
    "import torch.nn.functional as F\n",
    "from torchvision import datasets, transforms\n",
    "\n",
    "import helper\n",
    "import fc_model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Καθορίζω μετασχηματισμό για την κανονικοποίηση των δεδομένων\n",
    "transform = transforms.Compose([transforms.ToTensor(),\n",
    "                                transforms.Normalize((0.5,), (0.5,))])\n",
    "# κατεβάζω και φορτώνω τα δεδομένα εκπαίδευσης\n",
    "trainset = datasets.FashionMNIST('~/.pytorch/F_MNIST_data/', download=True, train=True, transform=transform)\n",
    "trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True)\n",
    "\n",
    "# κατεβάζω και φορτώνω τα δεδομένα ελέγχου\n",
    "testset = datasets.FashionMNIST('~/.pytorch/F_MNIST_data/', download=True, train=False, transform=transform)\n",
    "testloader = torch.utils.data.DataLoader(testset, batch_size=64, shuffle=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Εμφανίζω μία απο τις εικόνες."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "image, label = next(iter(trainloader))\n",
    "helper.imshow(image[0,:]);"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Εκπαιδεύω το δίκτυο\n",
    "\n",
    "Για να κάνω τα πράγματα πιο συνοπτικά εδώ, μετέφερα την αρχιτεκτονική του μοντέλου και τον κώδικα εκπαίδευσης από το τελευταίο notebook σε ένα αρχείο που ονομάζεται `fc_model`. Με την εισαγωγή αυτού, μπορούμε εύκολα να δημιουργήσουμε ένα πλήρως συνδεδεμένο δίκτυο με το `fc_model.Network` και να εκπαιδεύσουμε το δίκτυο χρησιμοποιώντας το `fc_model.train`. Θα χρησιμοποιήσω αυτό το μοντέλο (μόλις εκπαιδευτεί) για να δείξω πώς μπορούμε να αποθηκεύουμε και να φορτώνουμε μοντέλα."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Δημιουργήστε το δίκτυο, καθορίστε το κριτήριο και τον optimizer\n",
    "\n",
    "model = fc_model.Network(784, 10, [512, 256, 128])\n",
    "criterion = nn.NLLLoss()\n",
    "optimizer = optim.Adam(model.parameters(), lr=0.001)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "fc_model.train(model, trainloader, testloader, criterion, optimizer, epochs=2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Αποθήκευση και φόρτωση δικτύων\n",
    "\n",
    "Όπως μπορείτε να φανταστείτε, δεν είναι καθόλου πρακτικό να εκπαιδεύετε κάθε φορά το δίκτυο σας όταν θέλετε να το χρησιμοποιήσετε. Αντ' αυτού, μπορούμε να αποθηκεύσουμε τα εκπαιδευμένα μας δίκτυα και μετά να τα φορτώσουμε αργότερα για να τα εκπαιδεύσουμε επιπλέον ή να τα χρησιμοποιήσουμε για προβλέψεις.\n",
    "\n",
    "Οι παράμετροι για δίκτυα PyTorch αποθηκεύονται στο `state_dict` ενός μοντέλου. Μπορούμε να δούμε ότι το state dict περιέχει τους πίνακες βαρών και πόλωσης για κάθε ένα από τα επίπεδα μας."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "print(\"Το μοντέλο μας: \\n\\n\", model, '\\n')\n",
    "print(\"Οι τιμές του state dict: \\n\\n\", model.state_dict().keys())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Το απλούστερο πράγμα που πρέπει να κάνετε είναι απλά να σώσετε το state dict με `torch.save`. Για παράδειγμα, μπορούμε να το αποθηκεύσουμε σε ένα αρχείο `'checkpoint.pth'`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "torch.save(model.state_dict(), 'checkpoint.pth')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Μετά μπορούμε να φορτώσουμε το state dict με `torch.load`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "state_dict = torch.load('checkpoint.pth')\n",
    "print(state_dict.keys())"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Και για να φορτώσετε το state dict στο δίκτυο, εκτελώ `model.load_state_dict(state_dict)`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.load_state_dict(state_dict)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Φαίνεται αρκετά απλό, αλλά ως συνήθως είναι λίγο πιο περίπλοκο. Η φόρτωση του state dict λειτουργεί μόνο εάν η αρχιτεκτονική του μοντέλου είναι ακριβώς η ίδια με την αρχιτεκτονική του checkpoint. Εάν δημιουργήσω ένα μοντέλο με διαφορετική αρχιτεκτονική, αυτό αποτυγχάνει."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# δοκιμαστε αυτη την εντολή\n",
    "model = fc_model.Network(784, 10, [400, 200, 100])\n",
    "# Αυτό θα προκαλέσει σφάλμα επειδή τα μεγέθη του τανυστή είναι λάθος!\n",
    "model.load_state_dict(state_dict)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Αυτό σημαίνει ότι πρέπει να ξαναχτίσουμε το μοντέλο ακριβώς όπως ήταν όταν εκπαιδεύτηκε. Οι πληροφορίες σχετικά με την αρχιτεκτονική του μοντέλου πρέπει να αποθηκευτούν στο checkpoint, μαζί με το state dict. Για να το κάνετε αυτό, δημιουργείτε ένα λεξικό με όλες τις πληροφορίες που χρειάζεστε για να δημιουργήσετε εκ νέου το μοντέλο."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "checkpoint = {'input_size': 784,\n",
    "              'output_size': 10,\n",
    "              'hidden_layers': [each.out_features for each in model.hidden_layers],\n",
    "              'state_dict': model.state_dict()}\n",
    "\n",
    "torch.save(checkpoint, 'checkpoint.pth')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Τώρα το checkpoint διαθέτει όλες τις απαραίτητες πληροφορίες για την ανοικοδόμηση του εκπαιδευμένου μοντέλου. Μπορείτε εύκολα να το υλοποιήσετε σε συνάρτηση αν θέλετε. Ομοίως, μπορούμε να γράψουμε μια συνάρτηση για τη φόρτωση των checkpoints."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def load_checkpoint(filepath):\n",
    "    checkpoint = torch.load(filepath)\n",
    "    model = fc_model.Network(checkpoint['input_size'],\n",
    "                             checkpoint['output_size'],\n",
    "                             checkpoint['hidden_layers'])\n",
    "    model.load_state_dict(checkpoint['state_dict'])\n",
    "    \n",
    "    return model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = load_checkpoint('checkpoint.pth')\n",
    "print(model)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![purple-divider](https://user-images.githubusercontent.com/7065401/52071927-c1cd7100-2562-11e9-908a-dde91ba14e59.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Αυτό το notebook 📖 δημιουργήθηκε για το μάθημα ***Υπολογιστική Νοημοσύνη και Μηχανική Μάθηση*** του Τμήματος Μηχανικών Παραγωγής και Διοίκησης, της Πολυτεχνικής Σχολής του Δημοκριτείου Πανεπιστημίου Θράκης.<br>\n",
    "This notebook is made available under the Creative Commons Attribution [(CC-BY)](https://creativecommons.org/licenses/by/4.0/legalcode) license. Code is also made available under the [MIT License](https://opensource.org/licenses/MIT).<br>\n",
    "Author: Asst. Prof. Angelos Amanatiadis\n",
    "<img src=\"assets/cc.png\" style=\"width:55px; float: right; margin: 0px 0px 0px 0px;\"></img>\n",
    "<img src=\"assets/mit.png\" style=\"width:40px; float: right; margin: 0px 10px 0px 0px;\"></img>"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}