该仓库存放了多模态情感分析实验的配套代码。
├─baseline 不使用预训练模型的baseline
│ ├─baseline.py
│ ├─model.py
│ └─data_utils.py
├─data 训练数据-文本和图像
├─label 训练数据-标签
│ ├─test_without_label.txt
│ └─train.txt
├─output 输出(预测测试集)
├─main.py 主函数
├─data_utils.py 数据处理模块
├─model.py 多模态模型构建
├─figs.ipynb 部分图表
├─README.md
└─requirements.txt
pip install -r requirements.txt
python ./main.py -h
多模态融合模型
python ./main.py
消融实验(仅图像)
python ./main.py --image_only
消融实验(仅文本)
python ./main.py --text_only
消融实验结果(以验证集上最佳的模型为准):
ACC | MAC_F1 | |
---|---|---|
Image only | 65.25% | 55.66 |
Text only | 73.50% | 64.63 |
Both | 77.25% | 67.12 |
python ./main.py --do_test
训练baseline模型
python ./baseline/baseline.py
vista-net: https://github.com/PreferredAI/vista-net
TomBERT: https://github.com/jefferyYu/TomBERT
transformers.modeling_bert: https://github.com/huggingface/transformers/blob/main/src/transformers/models/bert/modeling_bert.py