2401.06072.md

背景

• 背景
  论文探讨了时间知识图谱完成（Temporal Knowledge Graph Completion，TKGC）的挑战性任务，其目标是通过利用现有的时间结构知识来预测未来时间戳中缺失的事件链接。大型语言模型（LLMs）固有的强大生成能力为这一任务提供了新的解决思路。

• 已有的工作 现有工作主要基于嵌入式模型，缺点在于不能提供图中所有实体的精确排名，且在回答查询时无法直接记住所有实体，从而导致不切实际的搜索成本。现有方法也常常需要在预测正确的同时列出所有可能的候选实体，这对于LLMs来说具有限制。

核心贡献

• 高效的微调方法

  • 挑战1：适应特定图文信息和时间序列模式 作者提出通过高效的微调方法，让LLMs适应特定的图文信息和历史事件序列中发现的模式。针对数据选取的挑战，作者优先选择与查询直接相关的真实历史信息，并且优先引入与当前时间戳相近的数据。

  • 挑战2：强化LLMs的结构信息意识和推理能力 通过基于结构的历史数据增强和集成逆向知识，强调LLMs对结构化信息的理解，进而增强其推理能力。同时还引入了逆逻辑的概念，以克服LLMs在逆向推理上遇到的问题。

实现与部署

采用交叉熵损失函数微调LLMs，并通过beam search进行预测。在实验中，作者使用了ICEWS14、ICEWS18、ICEWS05-15和YAGO数据集作为评估基准，同时和嵌入式方法以及基于LLMs的方法作了比较。结果显示，提出的模型在多个评价指标上优于现有嵌入式模型，实现了原始设置下的最先进性能。

总结

本论文提出了一种使用大型语言模型进行时间知识图谱完成的方法，通过高效的微调方法和结合结构信息的历史数据增强，提高了模型的推理能力和性能。实验显示该方法有效地提升了时间知识图谱预测的精度，达到了最先进的结果。