2311.13274.md

背景

• 背景
  文章介绍了转化器基础提示工程在自动化医疗报告中提升摘要性能的研究。

• 已有的工作 早期的工作没有充分探索在生成医疗报告中提示的制定细节与自动化报告性能之间的因果关系。缺乏关于如何适当使用不同指标评估这些模型的知识，并对提示工程技术在实践中的性能进行评估。

核心贡献

• 提出了一个基于转化器的提示工程方法

  • 挑战1：如何改善自动化医疗报告的性能 研究探讨了如何通过结合shot-prompting技术和context pattern prompting技术来改进提示，提高自动生成医疗报告的性能。结果表明，增加示例到提示中对报告有益，并且增加范围上下文以及领域上下文可以提升自动化医疗报告的性能。

  • 挑战2：如何评估自动生成的医疗报告 评估自动生成的医疗报告时使用了ROUGE评价指标和人工评估。尽管ROUGE是文本摘要评估中常用的指标，研究指出其局限性，并建议未来工作中需要创建一个不仅考虑单词出现频率，而且还考虑自动化医疗报告的语义的新评价指标。

实现与部署

该研究使用了自我编写的提示工程软件，并借助Azure OpenAI Service来运行GPT-4模型，生成自动化医疗报告。所得报告与医生提供的人类参考报告进行比对评估。实验结果表明，制定提示时加入两个示例以及范畴和领域上下文，能够得到结构最优的提示，从而生成性能最好的自动化医疗报告。

总结

这项研究验证了在自动化医疗报告中应用基于转换器的提示工程可以提高摘要性能。尽管存在一些局限性，但研究提出的方法证明了在提示制定时加入示例和上下文信息的效用，并且指出了未来工作的方向。