ACLJun, 2024

DARA：基于知识图谱的问答问题的分解 - 对齐 - 推理自主语言代理

PDF
TL;DR回答知识图谱上的问题（KGQA）是不同实际应用中实现良好性能的语言智能代理的关键。为了提高由大型语言模型（LLMs）驱动的语言智能代理在 KGQA 中的神经符号推理能力，我们提出了 DecompositionAlignment-Reasoning Agent（DARA）框架。DARA 通过高级迭代任务分解和低级任务基础形式将问题有效地解析为正式查询。重要的是，DARA 可以通过少量高质量的推理轨迹进行高效训练。我们的实验结果表明，DARA 在 LLMs 上进行微调（例如 Llama-2-7B，Mistral）在零 - shot 评估的不同基准中优于基于上下文学习的代理（如 GPT-4）和其他微调代理，从而使这样的模型在实际应用中更易访问。我们还显示出，DARA 在 KGQA 方面达到了与最先进的枚举和排名方法相当的性能。
answering questions over knowledge graphskgqadecompositionalignment-reasoning agentneural-symbolic reasoning capabilitieslanguage agents
发现论文，激发创造
  • DERA: 使用对话增强的解析代理来增强大型语言模型的填充

    本文提出了一种新的解决方案 - 对话式解决代理（DERA），用于提高较大语言模型（LLMs）在医疗保健等安全关键领域输出的准确性和完整性，通过与 GPT-4 的交互来迭代地提高输出，并在医疗交流摘要、护理计划生成和 MedQA 等临床焦点任务中表现出显著的性能改进。

    Mar, 2023

  • KG-Agent: 知识图谱复杂推理的高效自主代理框架

    本研究旨在通过知识图谱改进大型语言模型 (LLM) 的推理能力，以回答复杂问题。我们提出了一种自主的基于 LLM 的智能体框架 KG-Agent，它允许一个小型 LLM 主动作出决策，直到完成对知识图谱的推理过程。在 KG-Agent 中，我们整合了 LLM、多功能工具箱、基于知识图谱的执行器和知识存储器，并开发了一个迭代机制，自主选择工具，然后更新用于对知识图谱进行推理的记忆。为了保证有效性，我们利用程序语言对知识图谱上的多跳推理过程进行了规范，并合成了基于代码的指令数据集，以对基础 LLM 进行微调。大量实验证明，仅使用 10K 个样本对 LLaMA-7B 进行微调就能在领域内外的数据集上超过使用更大的 LLM 或更多数据的现有方法。我们的代码和数据将公开发布。

    Feb, 2024

  • 基於可解釋的 AMR 問題分解的多跳問答

    本文提出了一种基于抽象意义表征的问题分解方法，通过将多跳问题分解成简单的子问题并按顺序回答它们，实现了可解释的推理过程。实验结果表明，这种方法在可解释的推理方面具有竞争力，并且由 QDAMR 生成的子问题形式良好，优于现有的基于问题分解的多跳 QA 方法。

    Jun, 2022

  • TIARA: 大规模知识库中鲁棒性问答的多粒度检索

    本文提出一种新的知识库问答模型 TIARA，通过多粒度检索帮助预训练语言模型集中于最相关的知识库上下文，并应用约束解码来控制输出空间并减少生成错误。实验证明，TIARA 在 GrailQA 和 WebQuestionsSP 等基准测试中表现出色，相比使用预训练语言模型或网络实体注释的先前 SOTA，至少在 F1 值上分别提高了 4.1 和 1.1 个百分点。

    Oct, 2022

  • 双重任务对话语言理解的关系时序图推理

    本文提出了一种新的框架，其核心是关系时间图推理，通过利用其内在关联，同时解决两个相互关联的对话语言理解任务。通过集成预测级交互，我们还提出了不同于以往的显式依赖关系建模方法。通过对实验的验证，我们的模型在不同场景下都优于现有模型，尤其在灵长目数据集上的对话情感分类任务中，F1 分别比前一最佳模型提高了 28％和 34％。

    Jun, 2023

  • 朝着全面答案更近一步：使用大型语言模型进行约束的多阶段问题分解

    通过引入 “分解和查询”(D&Q) 框架，使得大规模语言模型在回答问题时能够避免幻觉，通过引导模型思考并利用外部知识，同时限制其思考范围在可靠信息内，从而有效减轻了幻觉的风险。实验证实了 D&Q 的有效性：在我们的 ChitChatQA 数据集上，D&Q 在 67％的情况下不输给 ChatGPT；在 HotPotQA 的仅问题设置下，D&Q 获得了 59.6％的 F1 得分。我们的代码可在此 https URL 找到。

    Nov, 2023

  • 询问以理解：多跳问答问题生成

    本文提出了一种基于问题生成的新型多跳问答方法，通过精心设计端到端的 QG 模块，在上下文理解中提出内在逻辑子问题，从而继承了 QD 方法的可解释性并表现出较高的性能。实验证明，我们提出的 QG 模块是有效的，在流畅性、一致性和多样性方面优于 QD 方法，并获得了人工评估的定量可解释性。

    Mar, 2022

  • DARER: 双任务时序关系循环推理网络用于联合对话情感分类和行为识别

    该研究提出了一种新的框架和模型，通过引入预测级交互和时态表示，实现了联合对话情感分类和行为识别任务，与现有模型相比，性能更好，需要更少的计算资源和培训时间。

    Mar, 2022

  • 针对文本逻辑推理的话语感知图网络

    本文提出了逻辑结构约束建模的方法，通过引入针对命题单元的蕴涵或矛盾关系而非实体关系的逻辑结构来解决基于逻辑推理的问题回答任务，使用基于语篇的图网络实现了逻辑图构建和逻辑特征学习，并将基础特征与高级逻辑特征相结合，实现文本编码器的答案预测，实验结果证明该方法在三个文本逻辑推理数据集上效果显著，并且具有未见过逻辑文本的普适性。

    Jul, 2022

  • DARG: 大型语言模型的动态评估与自适应推理图

    通过自适应推理图扩展动态评估大型语言模型（LLM）的现有基准来生成具有可控复杂性和多样性的评估数据，实证结果表明，大多数 LLMs 在复杂性增加时性能下降，某些 LLMs 的性能显著下降，通过 DARG 生成的数据对 LLMs 存在更多偏见。

    Jun, 2024