Jun, 2019

知识库和文本上的可解释问答

PDF
TL;DR本文研究机器学习问题回答模型在知识库和文本文档结合的情况下的可解释性，使用 LIME 和 input perturbation 进行后处理解释方法，并比较其与自我解释的注意机制的效果，结果表明 input perturbation 提供比 LIME 或注意机制更好的解释，且自动评估和人类评估的方法排序相同。
interpretablitymachine learningquestion answeringknowledge basesinput perturbation
发现论文，激发创造
  • 交互式 KBQA：大型语言模型的知识库问答多轮交互

    通过与知识库进行直接交互生成逻辑形式，我们引入了 Interactive-KBQA 框架来解决知识库问答领域的问题，该框架包括三种通用 API 用于知识库交互，通过步骤推理过程注释数据集，展示了我们模型的适应性和潜力，并在低资源场景中以极少的示例达到了优秀的结果。

    Feb, 2024

  • 通过检索和理解从非结构化文本中进行问答

    本文提出了基于 RNN 和神经模型的信息检索和理解两个步骤的开放域问答系统来解决信息检索的问题，并在 Wiki Movies 数据集上达到了最先进的表现，通过减少 40% 的错误率来证明了每个组件的重要性。

    Mar, 2017

  • 使用神经注意力结合全局知识信息对知识库进行问答

    本研究旨在提高基于知识库的问答系统的效果，通过使用神经网络中的注意力机制动态地表示问题，并结合全局知识来提高答案的表征，解决了词表外（OOV）问题，实验证明该方法在 WEBQUESTIONS 任务上有效。

    Jun, 2016

  • 在上下文学习中进行知识库问答的选择

    该研究提出了一种基于 LLMs 的 McL-KBQA 框架，通过基于 ICL 的多选项将 LLMs 的 Few-shot 能力纳入 KBQA 方法，从而提高了 QA 任务的有效性和泛化性能。在两个 KBQA 数据集上的实验结果表明，McL-KBQA 具有竞争性的性能和强大的泛化性能。研究者期望从 LLMs 的角度探索 QA 任务的新方法，并获得规范和正确的答案和强大的泛化性。

    May, 2023

  • 多视角注意力的多任务学习 - 用于答案选择和知识库问答

    本文使用多任务学习方法和多视角注意力机制，同时处理答案选择和知识库问答问题，并通过在不同视角学习多视角注意力来提高两个任务的性能。

    Dec, 2018

  • 灵活结构化的知识驱动问答

    本文提出了一种使用语言模型结合知识进行基于知识的问答的方法，其中包括知识构建方法和深度融合机制，可以优雅地提取结构数据和提高模型性能。

    Sep, 2022

  • 如何选择一个解释器？一个基于应用的后续解释评估

    提出了一种名为 XAI Test 的应用基准评估方法，旨在评估不同水平的信息提供对最终决策的影响，针对现实世界的欺诈检测任务进行了实验，并使用多种统计方法分析了三种热门解释器的影响。

    Jan, 2021

  • 模型无关 NLP 可解释性中解释的粒度

    通过对复杂的基于 BERT 的分类器使用基于段落的方法，本文改进了当前基于单词采样的黑盒 NLP 可解释性方法的局限性，大大提高了基准分类任务的解释保真度。

    Dec, 2020

  • 知识库复杂问题回答的调查：最新进展和挑战

    本文介绍了复杂问答（QA）的最新进展，分别从基于信息检索和神经语义解析两个方向出发，提出了未来研究的方向，并介绍了阿里巴巴团队提出的模型。

    Jul, 2020

  • 我有了 “答案”！问答中 LLMs 隐藏状态的解释

    该研究调查了大型语言模型（LLMs）在基于知识的问答环境中的可解释性和可解释性，并提出隐藏状态可以区分正确和错误的模型行为的主要假设。通过测试量化模型 LLaMA-2-7B-Chat、Mistral-7B、Vicuna-7B 和 MuSeRC 问答数据集，分析结果支持所提出的假设。我们还确定了对模型行为产生负面影响的层次。作为假设在实际应用中的前景，我们建议对此类 “薄弱” 层次进行额外培训以提高任务解决的质量。

    Jun, 2024