Jan, 2021

关于 BERT 说明解释的实证研究：序列分类

PDF
TL;DR本文对 BERT 在序列分类任务中的决策方法进行解释，并对现有的四种属性方法进行了广泛的分析，以应用于四个不同的情感分析数据集。通过各种消融研究比较了每种方法的可靠性和稳健性，并测试属性方法是否能解释语义上相似的任务的广义语义。
bertpretrained language modelsglue tasksattribution techniquessequence classification tasks
发现论文，激发创造
  • 重新思考用户研究设计以评估模型解释

    该研究通过一个众包实验，探讨解释机器学习模型的预测对人类是否具有帮助，并发现在给定特征系数的情况下，人们能够更有效地对线性词袋模型进行操纵，但解释对 BERT 型分类器并没有显著提高操纵能力，而通过伪造 BERT 模型的线性模型的对全局归属的解释则可以有效地操作 BERT 型模型。

    Dec, 2021

  • 揭示 BERT 的黑暗秘密

    本研究基于自注意力机制进行 BERT 模型的定量及定性分析，发现模型的超参数化导致自注意力机制复用率高，不同自注意力机制对不同 NLP 任务影响不同，针对性关闭某些自注意力机制可以提升模型性能。

    Aug, 2019

  • 探索 BERT Token 表达在句子探测结果中的作用

    本文从 BERT 的表示空间出发，通过一系列探针任务和属性方法探究模型的语言学知识表达方式，发现 BERT 倾向于对语法和语义异常进行编码，并能够明显地区分语法数和时态子空间。

    Apr, 2021

  • 模型无关 NLP 可解释性中解释的粒度

    通过对复杂的基于 BERT 的分类器使用基于段落的方法，本文改进了当前基于单词采样的黑盒 NLP 可解释性方法的局限性，大大提高了基准分类任务的解释保真度。

    Dec, 2020

  • 用语义区间解释关系分类模型

    近年来，大型预训练语言模型（如 BERT 和 GPT）显著改进了各种任务的信息提取系统，包括关系分类。然而，解释性的不足目前是许多实际应用中的一个复杂因素。本文提出了语义范围的概念，用于分析关系分类任务的决策模式，并通过比较人类和模型的语义范围，揭示出模型倾向于从数据中学习快捷模式的问题。我们的方法可以帮助检测和消除模型开发过程中的虚假决策模式，进一步提高自然语言处理系统的可靠性和安全性，并为解释深度学习模型开辟了新的研究方向。

    Aug, 2023

  • ExpBERT: 使用自然语言解释进行表达工程

    本文介绍了一种使用自然语言解释规定归纳偏好的方法，并使用多级别自然语言推理模型 BERT 以及少量标记数据，在三种关系提取任务上提高了基础模型的 F1 分数，并减少了所需标记的数据量。

    May, 2020

  • 解释性人工智能在自然语言处理中的评估评价

    本文在两种 NLP 任务和两种模型上，比较了五种最近的特征归属方法和两种注意力方法之间的等级相关性，并发现注意力方法与其他特征归属方法的关联度较低，建议停止使用等级相关性作为注意力解释的评估指标。

    May, 2022

  • 评估解释：老师的解释在多大程度上有助于学生？

    本文提出了一个框架，通过衡量解释对用于模拟教师模型的学生模型的精确度增益来量化解释的价值，并比较了多种文本分类和问题回答任务的解释方法，观察到了在不同学生模型结构和学习策略中一致的定量差异。

    Dec, 2020

  • 文本处理与检索方法的可解释性：一项关键调查

    本文全面调研了针对词嵌入、序列建模、注意力模块、Transformer、BERT 以及文档排名的机器学习和自然语言处理研究的可解释性和解释性方法，最后提出了未来的研究方向。

    Dec, 2022

  • 神经网络特征评估中的不一致问题探究

    近年来，神经网络展示出了从原始数据中识别复杂模式和关系的卓越能力。然而，理解这些黑盒模型的内部机制仍具挑战性，但对于高风险决策至关重要。我们的研究通过调查解释的基本和分布行为来解决这种困惑。此外，通过全面的模拟研究，我们展示了常见缩放和编码技术对解释质量的影响，评估它们在不同效应大小中的功效，并展示了基于排序的评估指标的不一致性的来源。

    Apr, 2024