本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

Mar, 2023

本文中，我们展示了数据处理、预训练任务、神经网络建模或微调的方法如何单独影响性能，以及当这些方法共同考虑预训练模型时，语言模型在特定的问答任务上表现出最佳结果；具体地，我们提出了一种扩展的预训练任务和一种新的邻居感知机制，能更多地关注邻近的标记，从而捕捉预训练语言建模的上下文丰富性。我们的最佳模型在 SQuAD 1.1 上实现了 95.7％的 F1 和 90.6％的 EM，也在 SQuAD 2.0 基准上超过了现有的预训练语言模型，如 RoBERTa，ALBERT，ELECTRA 和 XLNet。

Mar, 2022

本研究提出一种基于问答预训练目标的预处理方法，利用编码器 - 解码器的结构来在上下文中编码问题答案，成功应用于零样本学习等多个自然语言处理任务，相比现有最佳方法提升明显。

Jun, 2021

在多智体环境中，通过多个大型语言模型代理独立回答用户查询以产生鲁棒性答案，并使用中心答案模型进行聚合，结果显示比其他聚合方法（如投票方案和辩论）具有 50% 更高的准确率。此外，通过排列特征重要性方法进行关键特征分析，量化了中心答案模型对每个独立代理和查询上下文的依赖性。

Jun, 2024

本研究提出了一个名为 BeamSearchQA 的新型问题回答管道，它通过使用大型语言模型迭代地生成关于原始问题的新问题，从而启用一个迭代推理过程，以便更好地捕捉和利用隐藏知识。实验结果表明，BeamSearchQA 明显优于其他零 - shot 基线，在处理开放性领域问题回答方面具有很强的有效性。

May, 2023

本文提出了一种以问答对为基础的编码 - 解码模型，通过该模型的预训练策略，能够在单跳及多跳问题上达到强大性能，并进一步提高了对模型的解释和控制能力，缩小了与段落检索系统之间的性能差距。

Apr, 2022

该研究提出 HyperQA，是基于超伸缩空间对问题和答案嵌入之间的关系建模的简单但新颖的深度学习体系结构，它不需要进行特征工程，相似性矩阵匹配，复杂的注意机制或过度参数的层，但在多个基准测试中表现优异并与许多具有这些功能的模型保持竞争力。

Jul, 2017

我们提出了 EffiQA，一种在性能和效率之间取得平衡的协作框架，通过全球计划、高效知识图谱探索和自我反思三个阶段，改进了大型语言模型在多步骤推理任务中的表现，为知识密集查询提供了新的集成模式。

Jun, 2024

文章研究了问题回答领域（Question Answering）中各种算法模型以及增强数据方法，提出了基于 Attention-over-Attention 等方法的组合以及数据增强和集成策略，可在 SQuAD 等基准数据集上取得超人的表现。但在最新的自然问题基准数据集上，相对简单的 BERT 迁移学习方法取得了超过先前表现最优系统 1.9 F1 点的优异表现，并且添加集成策略进一步提高了 2.3 F1 点。

Sep, 2019

本文研究深度学习模型，结合记忆组件或注意力机制进行问答任务。我们比较了三种模型：神经机器翻译、神经图灵机和记忆网络，用于一个模拟 QA 数据集。研究表明，注意力和记忆的组合有潜力解决某些 QA 问题。其中，本文是首个使用神经机器翻译和神经图灵机解决 QA 任务的研究。

Oct, 2015