ACLApr, 2020

利用遮蔽和语言建模在 NLP 分类解释中考虑可能性

PDF
TL;DR本文提出一种新的解释方法（OLM），结合 occlusion 和语言模型，以高概率在原始输入的上下文中抽样出有效和语法正确的替换，并证明语言数据的概率分布在 occlusion-based 方法中很重要。
发现论文，激发创造
  • 探究自然语言解释对少样本自然语言推理模型在分布外泛化能力的影响

    本文研究神经模型在少样本学习中的泛化能力，探讨自然语言解释对泛化能力的影响，并借助 HANS 数据集中的模板构建自然语言解释。尽管生成的解释在 BLEU 分数上表现不错，但它们未能改善预测性能，而且经常产生虚假信息和错过指示标签的关键元素。

    Oct, 2021

  • 对大型语言模型的对比解释方法

    通过黑盒 / 查询访问，我们提出了两种对比解释方法：一种是效率较高但需要多次模型调用的近视算法，另一种是主要算法贡献的预算算法。我们展示了这些方法在不同自然语言任务中的有效性，例如开放文本生成、自动红队战术和解释对话衰退。

    Jun, 2024

  • 利用对比解释解读语言模型

    该研究关注对语言模型的对比解释，证明对比解释在验证大型语法现象和改善对相互模拟性上是可量化地更好的，并且可以表征模型在各种语言生成决策中使用的输入令牌。

    Feb, 2022

  • 模型无关 NLP 可解释性中解释的粒度

    通过对复杂的基于 BERT 的分类器使用基于段落的方法，本文改进了当前基于单词采样的黑盒 NLP 可解释性方法的局限性，大大提高了基准分类任务的解释保真度。

    Dec, 2020

  • 有条件语言模型的越界检测和选择性生成

    本文介绍了一种高精度且轻量级的适用于条件语言模型的 OOD 检测方法，并展示了其在抽象摘要和翻译方面的有效性。在分布偏移的情况下，我们的方法可以被用于高质量输出的选择生成，同时自动避免低质量的输出，从而增加自然语言生成模型的安全性。

    Sep, 2022

  • 利用大型语言模型对异常样本曝光进行预测以进行离群检测

    通过利用大型语言模型的专业知识和推理能力，我们提出了一种名为 “Envision potential Outlier Exposure”（EOE）的方法，可以在没有访问任何真实 OOD 数据的情况下，通过视觉相似性生成潜在异常类标签并设计有效的分数函数来区分困难的 OOD 样本，从而实现在不同 OOD 任务上的最先进性能，并能扩展到 ImageNet-1K 数据集。

    Jun, 2024

  • 探索用于多模态离域检测的大型语言模型

    应用世界知识通过选择性生成大型语言模型并利用一致性基准不确定性校正方法来提高过分布检测性能，通过从每个图像提取视觉对象充分利用前述世界知识，充分实验证明本方法始终优于现有技术。

    Oct, 2023

  • 基于损失梯度的可解释方法中的异常行为

    本文使用损失梯度来解释深度学习模型的决策过程，并通过遮盖输入的部分来评估基于损失梯度的归因方法的表现，在一定条件下，遮盖后的输入在测试数据集上表现更好，探索不同的损失梯度归因方法、遮盖水平和替换值来解释遮盖下性能提升现象。

    Jul, 2022

  • 基于潜在概念的自然语言处理模型解释

    通过引入潜在概念归因方法（LACOAT），该研究针对深度学习模型的预测提供了基于潜在概念的解释，解决了由于词语离散性和缺乏语境信息而导致的以往解释的不充分问题。

    Apr, 2024

  • 审视被忽略的内容：自然语言推断中重复单词偏见分析

    本研究发现目前 NLI 模型在处理具有低重叠度的 “假设” 和 “前提” 时，很容易出现双向重叠偏差，当前的去除偏差方法对这种类型的偏差并无效果，探究了重叠偏差产生的原因和在减轻此类偏差方面少数类样例的作用，并发现其并非是源于预训练。

    Nov, 2022