ClipCap for Japanese

• ClipCap: CLIP Prefix for Image Captioning

• This repository uses rinna/japanese-gpt2-medium and rinna/japanese-clip-vit-b-16

  • Thanks for rinna Co., Ltd. ;)

• This code uses STAIR Captions for training Japanese image captioning model.

  • So you should download STAIR Captions and COCO datasets

Instructions

1. Dowload datasets & unzip & place it in ./ (./STAIR-captions).
2. Download COCO datasets & unzip & place it in ./ (./train2014, ./val2014).

Train

python train.py

Generate Caption

  python train.py --eval

Examples

output: 庭の芝生の上に青い服の男性がいる

output: 男性がスケートボードをしている

output: 窓の外にテントが立ている

output: パソコンのキーボードの上に黒い猫がいる

output: 黒い猫が黒い猫のトイレに頭を付けている

output: キッチンの中にたくさんの商品が並べられている

output: 猫がテーブルの上にある器を見ている

output: 野球の応援をしている男性と、その後ろで観戦している男性

Others

Licence

This work is licensed under the MIT License. To view a copy of this license, see LICENSE.