文本解释中的信息测量
提出了一种基于信息论的度量方法 REV,可以量化自由文本推理中支持给定标签的理由中的新信息,并通过定量比较证明该方法较现有指标能够更敏感地测量文本中新信息的能力,此度量方法还与人类评判的评估结果一致,为模型的推理和预测过程提供更深入的洞见,尤其在与传统性能度量结合使用时表现良好。
Oct, 2022
介绍了一种自我合理化的框架 RExC,旨在提供两种互补类型的解释(NLE 和提取合理),并将其与背景知识结合起来,从而达到了任务最新水平的性能,并大幅度领先于现有模型,同时进行干扰分析表明,解释与预测之间存在高度的关联性。
Jun, 2021
大型语言模型在不同可读性级别下进行自然语言解释任务,发现解释可以适应不同的指导,但请求的可读性经常与传统可读性评估指标不一致。该研究还发现,评估大型语言模型生成的解释时,其对于文本复杂度的评估呈现出与自然语言生成中观察到的类似偏好。最后,人类评估表明在不同可读性级别下的解释总体印象令人满意,其中高中级别的可读性最常见且受欢迎。
Jul, 2024
本篇论文探讨了在自然语言处理和推荐任务中推断高质量执行操作和使解释具有可操作性的两个基本挑战,并通过证明解释性不以在两个应用中展示的卓越表现为代价的框架将人工智能应用实践的承诺变为现实。
May, 2022
我们提出了一种方法,将人类决策的解释性文本注释引入文本分类模型,从而提高模型解释的可信度,并通过多目标优化算法在性能和可信度之间达到平衡,从而显著提高模型解释的质量。
Apr, 2024
本文提出了一种新的框架 LIREx,该框架包含一个基于原因的解释生成器和一个实例选择器,用于选择只与 NLI 模型相关的合理 NLEs。该框架在 SNLI 数据集上达到了 91.87%的准确度,并在多领域数据集上实现了显著提高的性能。
Dec, 2020
研究透明度如何为机器人和人工智能提供自然语言解释,并评估自然语言生成方法的相关度量来生成这些解释,发现基于嵌入的自动自然语言生成评估方法具有更高的相关性,这对于可解释的人工智能和透明的机器人和自主系统具有重要意义。
Mar, 2021
利用深度神经模型进行自然语言指令导航机器人在未知环境中是实现具体化人工智能的关键步骤。本文通过建立定量基准来评估对视觉语言导航模型进行解释的方法,并提出了一种新的基于擦除的评估流程,以测量顺序决策环境中的逐步文本解释。通过实验证实了两个代表性视觉语言导航模型的几种解释方法,并揭示了宝贵的研究结果。
Oct, 2023
通过系统分析自然语言解释、结合归纳和演绎论证、和哲学科学中的科学解释现代观念,探讨可解释 AI(XAI)中的可解释性,并揭示自然语言解释的本质,功能,抽象维度和科学解释的含义。
May, 2022