2402.10986.md

背景

• 背景
  文章介绍了在财务分析领域，传统的自然语言处理（NLP）方法面临许多挑战，例如需要处理包含大量数字信息的复杂文档、领域特有术语和实时分析的需求。因此，虽然大型语言模型（LLMs）开始被应用，但是同样存在问题，比如信息的幻觉现象减少了模型在金融决策中的实用性。同时，金融文档包含的视觉内容需要模型具备多模态能力。

• 已有的工作 既有的金融领域NLP工作未能解决文档内包含大量数值型信息和特定行业术语的处理问题，同样对于市场趋势、经济指标的复杂含义也缺乏足够理解。尽管有工作尝试应用NLP技术于该领域，但是缺乏即时分析的能力，且大型语言模型也容易产生幻觉信息，不适合高风险的金融决策环境。

核心贡献

• 提出了一个名为FinTral的多模态LLMs套件

  • 挑战1：金融文档理解的挑战 提出了解决金融领域挑战的突破性LLM，FinTral设计用来整合文本、数值、表格和视觉数据处理，实现对财务文档的全面理解。FinTral基于Mistral-7b模型训练，并且为金融领域进行了指定指令调优。

  • 挑战2：精准和即时的金融信息处理 FinTral使用直接优化策略（DPO）进行培训，以反馈数据进一步对指令微调后的模型进行加强，并整合了工具和信息检索（RAG）系统，提高模型在数值密集任务的准确性以及对复杂数据的文本提取效能。

实现与部署

FinTral包含了多种训练和微调版本，通过评价各版本在不同金融领域任务中的表现，论文展示了FinTral在零样本表现上的优势。特别是FinTral-DPO-T&R版本，在所有任务中均优于ChatGPT-3.5，且在五个任务中超越了GPT-4，展示了AI驱动金融科技的显著进步。实验包括了情绪分析、命名实体识别、数字理解、文本摘要、股票走势预测、信贷评分和公司披露等多项任务，通过比较分析验证了模型的有效性。

总结

该论文提出了一个针对财务分析优化的多模态大型语言模型（LLM）套件FinTral。通过与现有模型的对比，展示了其在财务领域多任务环境下的先进性能，特别是在处理零样本任务和减少幻觉现象方面的能力。