BleuScore_func.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## bleu score 함수로 정리"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "data = pd.read_csv('result198.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>lyrics</th>\n",
       "      <th>bigram+low</th>\n",
       "      <th>bigram+mid</th>\n",
       "      <th>bigram+high</th>\n",
       "      <th>trigram+low</th>\n",
       "      <th>trigram+mid</th>\n",
       "      <th>trigram+high</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.</td>\n",
       "      <td>우리는 지난 힘들었던 일들을 빼곡히 편지지에 적어봐.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>나는 매섭게 부는 바람에 흩날리는 잎파리를 보며 머리 속의 고민들을 날려보낸다.</td>\n",
       "      <td>나는 매섭게 부는 바람에 흩날리는 잎파리를 보며 머리 속의 고민들을 날려보낸다.</td>\n",
       "      <td>나는 매섭게 부는 바람에 흩날리는 잎파리를 보며 머리 속의 고민들을 날려보낸다.</td>\n",
       "      <td>나는 매섭게 부는 바람에 흔들리는 강아지에 빗맞은 눈물을 찍어 사진을 찍고 있다.</td>\n",
       "      <td>나는 매섭게 부는 바람에 흩날리는 잎파리를 보며 머리 속의 고민들을 날려보낸다.</td>\n",
       "      <td>나는 매섭게 부는 바람에 흩날리는 잎파리를 보며 머리 속의 고민들을 날려보낸다.</td>\n",
       "      <td>나는 매섭게 부는 바람과 훈훈함을 알아 차릴 것이다.</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                         lyrics  \\\n",
       "0                 우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   \n",
       "1  나는 매섭게 부는 바람에 흩날리는 잎파리를 보며 머리 속의 고민들을 날려보낸다.   \n",
       "\n",
       "                                     bigram+low  \\\n",
       "0                 우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   \n",
       "1  나는 매섭게 부는 바람에 흩날리는 잎파리를 보며 머리 속의 고민들을 날려보낸다.   \n",
       "\n",
       "                                     bigram+mid  \\\n",
       "0                 우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   \n",
       "1  나는 매섭게 부는 바람에 흩날리는 잎파리를 보며 머리 속의 고민들을 날려보낸다.   \n",
       "\n",
       "                                     bigram+high  \\\n",
       "0         우리는 지난 힘들었던 일을 빼곡히 편지지에 적은 다음해들을 만나본다.   \n",
       "1  나는 매섭게 부는 바람에 흔들리는 강아지에 빗맞은 눈물을 찍어 사진을 찍고 있다.   \n",
       "\n",
       "                                    trigram+low  \\\n",
       "0                 우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.   \n",
       "1  나는 매섭게 부는 바람에 흩날리는 잎파리를 보며 머리 속의 고민들을 날려보낸다.   \n",
       "\n",
       "                                    trigram+mid                   trigram+high  \n",
       "0                 우리는 지난 힘들었던 일을 빼곡히 편지지에 적어본다.  우리는 지난 힘들었던 일들을 빼곡히 편지지에 적어봐.  \n",
       "1  나는 매섭게 부는 바람에 흩날리는 잎파리를 보며 머리 속의 고민들을 날려보낸다.  나는 매섭게 부는 바람과 훈훈함을 알아 차릴 것이다.  "
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "data.head(2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "#reference 문장과 candidate 문장 컬럼 가져오기 \n",
    "reference_raw = np.asarray(data[['lyrics']])\n",
    "candidate_raw = np.asarray(data[['trigram+high']])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "from nltk.translate.bleu_score import sentence_bleu\n",
    "bs= []\n",
    "def bleuScore(r,c):\n",
    "    reference =[]\n",
    "    candidate = []\n",
    "    for i in range(len(r)):\n",
    "        reference.append(r[i][0].split())\n",
    "        candidate.append(c[i][0].split())\n",
    "    for j in range(len(c)):\n",
    "        #weight(0.25,0.25,0.5,0) 4-gram X\n",
    "        bs.append(sentence_bleu(reference, candidate[j], weights=(0.25, 0.25, 0.5, 0)))\n",
    "        #weight(0.25,0.25,0.25,0.25)\n",
    "        #bs.append(sentence_bleu(reference, candidate[j]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "bleuScore(reference_raw, candidate_raw)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "import csv \n",
    "#reference 문장과 candidate 문장m bleu score csv저장\n",
    "row_list=[]\n",
    "row_list.append([\"reference\",\"candidate\",\"bleu score\"])\n",
    "for i in range(len(reference_raw)):\n",
    "    row_list.append([reference_raw[i][0], candidate_raw[i][0], bs[i]])\n",
    "\n",
    "with open('198bleuscore_tri+high_4gramX.csv', 'w', newline='') as file:\n",
    "    writer = csv.writer(file)\n",
    "    writer.writerows(row_list)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}