COLINGMar, 2024

句法跨度偏好在事后解释异议中的作用

PDF
TL;DR通过研究不同解释方法对词汇重要性的选择差异，我们发现选择不同类别的词汇会导致方法的分歧，而与其他方法和人类的最一致的方法更倾向于选择类似的语言偏好，通过在句法范围级别上比较可以减少方法间的差异，通过动态预估最重要的范围而不是依赖于固定的部分，方法间的一致性较高，我们还提出了一种改进的配置来选择重要的词汇。
post-hoc explanation methodsmodel transparencytoken importancelinguistic perspectivesyntactic span level
发现论文，激发创造
  • 解释文本片段之间的交互

    通过 SpanEx 数据集和社区检测方法，研究了自然语言理解中的跨度推理，包括事实核查和机器阅读理解，并与人类推理过程进行了比较。

    Oct, 2023

  • 关于解释在域外环境中的实证研究

    该论文探索了自然语言处理中有关如何在不同领域中提取精准的解释的方法，其中侧重于后续解释和固有的忠诚度模型，并且发现后续解释的忠诚度在许多情况下比在领域内更高，而在跨域设置中，选择后预测模型的预测性能与完整训练模型相当。

    Feb, 2022

  • 结构化跨度选择器

    本研究提出了一种基于语法的结构化跨度选择模型，旨在改进自然语言处理中的跨度选择问题，经测试该模型在两种跨度预测任务中均有显著提升。

    May, 2022

  • 动态 Top-k 估计整合特征归因方法之间的分歧

    从归属度量的序列特性来确认应该显示的最佳 k 个令牌数量。在 NLI 任务中，通过比较多种方法和人类之间的一致性，发现基于扰动的方法和 Vanilla Gradient 在静态 k 的大多数方法 - 方法和方法 - 人类一致性指标上具有最高的一致性，但随着动态 ks 的引入，他们相对于 Integrated Gradient 和 GradientXInput 的优势逐渐消失。据我们所知，这是归属度量序列特性在人类解释方面提供信息的首个证据。

    Oct, 2023

  • 寻找跨度的实证研究

    本文是关于跨度查找的实证研究，着重探讨了可用于训练端到端信息提取系统的方法，并发现在不考虑任务属性的情况下，没有明确的解决方案。观察发现：1）标记方法通常具有更高的精度，而跨度枚举和边界预测提供更高的召回率；2）跨度类型信息对边界预测方法有益；3）在大多数情况下，额外的上下文信息对跨度查找没有帮助。

    Oct, 2022

  • 使用针对语义任务训练的模型评估词汇重要性

    本研究提出一种基于自然语言推理和释义识别的模型训练方法，通过解释预测模型的预测结果，得到每个输入标记的重要性分数，并可以分析其语法特征，可用于识别训练中没有明确标记的句子中的重要单词。

    May, 2023

  • 文本跨任务跨度表示的分析

    本文通过对六种跨度表示方法和八个预训练语言模型在六个任务中的综合实证评估，发现即使有些简单跨度表示在多个任务中相对可靠，但一般来说最优跨度表示方法因任务而异，也可能因不同任务的不同方面而异。同时，我们还发现，与精细调整的编码器相比，跨度表示的选择对于预先训练的编码器具有更大的影响。

    Jun, 2020

  • 通过跨度约束，在远程监督下改进潜在树归纳

    本研究提出了一种使用远程监督形式的跨度约束技术来提高无监督语法分析性能的方法。通过少量跨度约束，可以大大提高无监督分析系统 DIORA 的性能。我们的实验表明，基于实体的跨度约束可以使英语 WSJ Penn Treebank 的组成分析提高超过 5 F1，并将其扩展到任何易于实现跨度约束的领域，同时在生物医学文本方面，该方法的有效性得到了证明。

    Sep, 2021

  • 基于跨度关系表示的自然语言分析泛化

    本文提出一种基于标记跨度和跨度之间关系的统一格式的思想，成功应用于语法、语义、信息内容，情感等多种自然语言处理任务，其结构化的方法能将不同任务转化为相同的格式，同时得到较高的性能表现，并提出多任务学习的优势。最后作者将各数据转换为统一格式来建立一个基准测试，提供了一个综合的测试平台，用于评估未来模型对于通用自然语言处理的表现。

    Nov, 2019

  • SP-10K: 一个用于选择偏好获取的大规模评估集

    通过介绍 SP-10K，提出一种更好的方法评估 SP 模型，并通过评估三种 SP 获取方法，探讨 SP-10K 与常识知识的关系，证明了提出新的 SP 关系对于处理短语代词共指问题的重要性。

    May, 2019