ICMLAug, 2017

e-QRAQ: 一个带解释的多轮推理数据集与模拟器

PDF
TL;DR本文中，我们提出了一个新的数据集和用户模拟器 e-QRAQ（可解释的查询、推理和回答问题），该数据集测试了代理的读取模糊文本的能力，通过提问来回答挑战性问题并解释其问题和答案的推理。我们使用端到端记忆网络来训练一个神经结构，以成功地生成对问题的预测和部分解释，并发现预测和解释的质量之间存在着很强的相关性。
发现论文，激发创造
  • 学习解释：多跳问答中识别有效推理链的数据集和模型

    本研究引入了三种不同类型的解释数据集，发现基于 BERT 分类器的方法能够显著提高解释质量，同时通过使用广义推理链，使得对某些扰动更具鲁棒性。

    Oct, 2020

  • ReasonChainQA：基于文本的复杂问答解答，具有可解释的证明链

    提出了一个新的具有说明和明确证据链的质量高的文本证据复杂问题回答基准 ReasonChainQA，包含具有不同深度的多跳问题，12 种推理类型和 78 种关系。

    Oct, 2022

  • 多关系问答：基于叙述的机器阅读与推理在模拟世界中的应用

    本论文探索了一种独特的用户指导的知识源，介绍了个人叙述的多关系问答。作者生成并发布了五个数据集 (TextWorldsQA)，并在该任务上对几种最先进的问答模型及其变种进行了全面的评估和分析，以及发布了一个轻量级的 Python 框架 (TextWorlds)，用于生成任意的世界和叙述。

    Feb, 2019

  • XplainLLM：理解 LLM 决策的 QA 解释数据集

    大语言模型（LLMs）在自然语言理解任务中取得了显著进展，但是理解它们的决策过程仍然是一个巨大的挑战。本文通过引入一种新的解释数据集，将知识图谱（KGs）与问答（QA）任务以一种新颖的方式集成，为这一过程带来了一定的透明度。通过定量和定性评估，我们展示了我们的数据集提高了 LLMs 的上下文学习能力，并增强了它们的可解释性。我们的工作通过深入理解 LLMs 的决策过程，使其更加透明，从而对研究人员和从业人员更可靠，为可解释 AI 领域做出贡献。

    Nov, 2023

  • 基于知识路线的视觉问答推理：深度表示嵌入的挑战

    提出了一种基于知识路线的视觉问题推理 VQA 模型评估数据集，通过控制程序来选择自然场景图和外部知识库中的三元组，强制进行多步推理，并平衡答案分布，以解决现有的 VQA 模型的浅层相关问题和注释程序不均衡的问题​​。

    Dec, 2020

  • NOAHQA: 可解释计算图的数值推理问答数据集

    介绍一个双语问答数据集 NOAHQA，旨在解决目前数值推理问题缺乏复杂问题以及提供推理过程的可解释性问题，通过使用 NOAHQA 数据集，开发了一个可解释的推理图，并提出了适当的评估指标来衡量答案质量。在 NOAHQA 上对现有 QA 模型进行评估，表明人类表现为 89.7，最好的 QA 模型只能达到 55.5 的准确匹配分数。

    Sep, 2021

  • RoMQA: 鲁棒性、多证据、多答案问答基准

    RoMQA 是第一个鲁棒、多证据、多答案问答基准测试，它基于 Wikidata 知识图谱的相关限制生成问题集群，并通过测量每个问题集群中的最坏性能来评估 QA 模型对各种限制的鲁棒性。与先前的 QA 数据集相比，RoMQA 具有更多需要对更多证据文本进行推理的人类编写问题，并且平均有更多正确答案。此外，人类注释员评价 RoMQA 问题更自然或更有可能被人们问到。

    Oct, 2022

  • 可解释的高阶视觉问答推理：一个新的基准和知识路由网络

    本研究提出了一个新的 HVQR 基准，用于评估 VQA 系统的解释能力和高阶推理能力，该基准具有多级推理、常识知识库和知识路由模块等特点，并通过大规模数据集进行验证。

    Sep, 2019

  • 多目标身体化问答

    本研究提出了一种基于模块化架构和可执行子程序的多目标环境问答（MT-EQA）技术，可以有效解决问答中存在多个目标时的语义分析和推理问题，得到了优于现有方法和基准的实验效果。

    Apr, 2019

  • QADiver: 诊断 QA 模型的交互式框架

    本研究提出了一个基于 Web 的 UI 框架，通过整合可视化和分析工具来提供有关 QA 模型性能的信息，并帮助 QA 模型研究人员改进其模型的性能。

    Dec, 2018