2020-1.VideoCaptioning

2020-1. SEJONG.UNIV_창의학기제 : 저화질 영상에 대한 Video Captioning 네트워크 성능 향상 연구

---

Introduction

Video_Captioning 기술은 영상의 특징을 추출하는 딥러닝 CNN 네트워크와 이를 기반으로 문장과 매칭시켜 학습시크는 RNN 네트워크가 결합하여 있는 기술이다. 이 기술의 성능은 특징들을 사용하기 때문에 영상의 화질과 CNN모델에 민감하다. 이 중에서 영상의 화질에 중점을 두고, 영상의 QP 조절을 통하여 저화질에서도 고화질 Video Captioning 네트워크의 성능을 가질 수 있도록 하는 연구를 통하여, 테스트 영상에 대해 저화질 영상에서 정확한 자막 생성 성능을 가질 수 있도록 하는 것을 목표로 한다.

---

Environment

• linux 18.04 + docker
• cuda 8.0
• caffe
• python 2.7

---

연구의 과정

• 1주차 : Video Captioning 논문 조사 및 CNN 학습 및 점수 비교

  • S2VT 논문 이해
  • COCO 평가 코드 임포트
  • 고화질 Video Captioning 논문 평가점수 복원(inceptionv4)

• 2주차 : 저화질 영상 생성 알고리즘 생성과 저화질 영상에 기존의 Video Captioning 네트워크 적용

  • 고화질 Video Captioning 논문 평가점수 복원(vgg16)
  • ffmpeg QP down을 통한 저화질 생성
  • 저화질 평가 및 고화질 평가 점수와 비교

• 3주차 : 저화질 Video Captioning 성능 향상 연구

  • 성능 향상 연구 : Adaptive Model By Video Information

• 마무리 보고서

---

Datasets

MSVD

Microsoft Video Description (MSVD) dataset comprises of 1,970 YouTube clips with human annotated sentences written by AMT workers. The audio is muted all clips to avoid bias. The play-time of each video in the dataset is usually between 10 to 25 seconds mainly showing one activity. The orignal datasets description comprises multilingual description. This project'll use English description. and Almost all research groups have split this dataset into training, validation and testing partitions of 1200, 100 and 670 videos respectively. thus, I use splited dataset form( training, validation and testing partitions of 1200, 100 and 670 videos ).

---

Reference

• Paper

  • Captioning
    • S2VT ( Sequence to Sequence Video to Text )
    • Reconstruction Network for Video Captioning
    • Microsoft COCO Captions : Data Collection and Evaluation Server
  • CNN Feature
    • Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
    • VGG16 : Very Deep Convolutional Networks for Large-Scale Image Recognition

• Github

  • S2VT
  • CNN FEATURES [InceptionV4][vgg16]
  • COCO Captions

• 이용 Caffe 버전 - recurrent (Github link )

  • 해당 Caffe는 recurrent 라는 브런치. 최신화할 경우 /examples/S2VT 가 존재하지않음에 주의.