2312.08618.md

背景

• 背景
  文章介绍了在处理和理解大量文本序列方面增强大型语言模型（LLMs）功能的重要性，这在需要深度理解和综合大量信息的应用中至关重要。目前，大多数LLMs构建于Transformer架构之上，其全注意力机制带来了二次方时间和内存复杂度问题，降低了训练和推理效率。

• 已有的工作 现有工作使用全注意力机制无法有效扩展上下文窗口，因为这可能会降低训练和推理过程的效率。此外，在极长序列上进行注意力计算可能会导致几乎均匀的分布，从而忽略重要信息，且在处理长序列和短序列时存在训练信号分布不均衡的问题。

核心贡献

• 提出了一个名为Zebra的新模型架构

  • 挑战1：如何提升处理长文本序列的效率？ 面对由Transformer全注意力机制引起的时间和内存复杂度问题，本文提出通过分组的局部-全局注意力层来管理这一复杂度，显著降低了计算要求和内存消耗。Zebra模型通过交替局部和全局注意力层（类似斑马的条纹），在训练上只需一半的计算努力就能达到与全局注意力Transformer等同的性能水平。

  • 挑战2：如何兼顾长短序列的性能？ 为了克服在长短序列上的性能差异，本研究进行了一系列实验，包括从零开始的预训练、长上下文适应训练和长指令调优。实验结果表明，Zebra在短序列和长序列的基准测试中均能达到可比或更优的性能。

实现与部署

Zebra模型经过多项实验验证，包括从头开始的预训练、利用长上下文适应训练继续训练Llama-2-7B模型，并通过长短指令调优数据集进行微调和系统性能评估。这些实验不仅展示了Zebra在短序列基准测试中与Llama-2-7B相当的性能，并在长序列上展示出更优的困惑度结果，还证明了Zebra在不同长短基准测试中普遍更好的性能。

总结

本文提出的Zebra模型通过使用分组的局部-全局注意力层，有效地降低了计算和内存需求，并在长短序列处理上展示了卓越的性能。研究团队通过一系列实验验证了模型的效果，证明了Zebra架构的优势。