COLINGFeb, 2024

基于人类阅读过程的提问回答系统中的显式和隐式知识引导

PDF
TL;DR该研究引入了一个使用提示将显性和隐性知识连接起来的 PEI 框架，以实现与人类阅读过程相符的多跳问题回答。实验结果表明，PEI 在 HotpotQA 上表现与最先进的模型相当。消融研究证实了我们的模型在链接和整合显性和隐性知识方面的有效性。
发现论文，激发创造
  • 迭代式提示预训练语言模型进行思维链构建

    本研究探索了一个迭代提示框架，用于让预训练语言模型具有多步推理能力，我们提出了一种基于上下文的迭代提示器，可以动态地合成提示，以捕捉不同推理步骤之间的变化。实验证明，该方法在多步推理方面具有很好的效果。

    Mar, 2022

  • 预训练语言模型中的知识激发对自然语言理解的影响

    本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

    Oct, 2022

  • 基于提示的多跳问题回答的保护性学习

    本文提出了 Prompt-based Conservation Learning (PCL) 框架，提供支持证据不足以证明模型已完成所需推理以获得正确答案。通过在单跳 QA 任务上训练模型并为多跳 QA 任务分配额外的子网络，PCL 获得了新的知识并在保留旧知识的同时减轻了遗忘。实验结果表明，PCL 在多跳 QA 方面具有竞争力，并保留了相应的单跳子问题的良好性能。

    Sep, 2022

  • 利用结构化信息进行可解释的多跳问题回答和推理

    构建和利用语义结构的多跳问题回答框架，通过神经模型和连续思维机制提高推理能力，并结合信息抽取和提取的语义结构实现更准确和可解释的问题回答。

    Nov, 2023

  • 使用软提示和随机游走触发语言模型中的多跳推理以进行问答

    本文提出通过结构化知识图谱中的随机游走来指导语言模型完成多跳推理，从而有效解决语言模型在问答任务中组合多条逻辑事实的限制，并在两个 T5 语言模型上取得了显著的实验效果提升。

    Jun, 2023

  • 自我确信的激励机制：反复审视下的少样本问答

    利用大规模预训练语言模型，通过迭代增强和定制提示来提升其在复杂任务中的性能。

    Oct, 2023

  • 通过规划进行推理的消除：引导 LLMs 的非线性思维的新框架

    提出了一种新的提示方法 ——Inferential Exclusion Prompting（IEP），通过排除和推理的原则引导大型语言模型（LLMs）进行非线性思考。IEP 通过前向规划和后向排除的过程更好地模拟人类的复杂思维过程，并与其他基于 Chain-of-Thought（CoT）的方法相比，能够在各种任务中持续表现出色。此外，将 IEP 和 CoT 结合起来可以进一步提高 LLMs 在某些任务上的性能，突出了混合逻辑流程所必要的。此论文还介绍了 Mental-Ability Reasoning Benchmark（MARB）作为评估人类逻辑推理能力的综合特征的新方法。

    Oct, 2023

  • 基于知识提示的评估器：一种新颖的可解释机器翻译评估方法

    本文提出一种基于 CoT 提示的 KPE 方法，该方法结合了 Perplexity、Token-Level 相似性和 Sentence-Level 相似性的技术。实验证明，与以前的深度学习模型和单步提示方法相比，该方法的分段估计性能得到了显著提高，并且提供了更好的 MT 质量估计可解释性。

    Jun, 2023

  • 渐进提示提高大型语言模型推理能力

    本文提出了一种名为 “逐步提示” 的新提示方法，它利用先前生成的答案作为提示，逐步引导用户与 LLMs 之间的自动多次交互，从而进一步提高了性能。 该方法在 CoT 和自一致性之外，具有正交性，易于与最先进的技术相结合进行综合评估，并在六个基准测试中获得了最佳性能。

    Apr, 2023

  • 基于知识引导提示的因果感知概念提取

    本文提出一种基于结构性因果模型 (SCM) 的知识引导提示，以减轻 PLM 提取过程中的概念偏见，并在多语言知识图谱数据集上展示了该提示的有效性。

    May, 2023