EMNLPMay, 2022

通过检查注意力映射的拓扑结构进行可接受性判断

PDF
TL;DR研究了注意机制在编码语言知识中的作用，并探讨了注意头在判断句子的语法可接受性方面的能力，通过拓扑数据分析显示关注图的几何特性可以有效地被用于二元判断和语言最小对的标准做法，并通过 CoLA 上的三种语言（英语，意大利语和瑞典语）提高了 BERT 基于可接受性分类器的得分 8％-24％。在 BLiMP 基准测试中，通过揭示最小对的注意力图之间的拓扑差异，实现了与人类水平相当的性能，在统计和转换器 LM 基线中优于九个基线。
attention mechanismlinguistic knowledgeacceptability judgmentstopological data analysisgeometric properties
发现论文，激发创造
  • 通过检查注意力图的拓扑来检测人工文本

    利用拓扑数据分析（TDA）提取 BERT 模型的可解释的拓扑特征，用于区分人工生成的文本和真实的文本，证明 TDA 对于包含表面和结构信息的 NLP 任务是具有前景的。

    Sep, 2021

  • BERT 与 RuCoLA: 用拓扑数据分析解释

    本文研究如何应用拓扑数据分析在语言模型中识别和提取其对语言特征的表达，提出了基于拓扑数据分析的分类方法，并在 CoLA 和 RuCoLA 两个不同语言数据集上证明了该方法的优势。

    Apr, 2023

  • 拓扑数据分析在语音处理中的应用

    本论文介绍了一种利用拓扑数据分析法（TDA）分析语音的新方法，通过引入一系列从 Transformer 注意力映射和嵌入中得出的拓扑和代数特征，展示了建立在这些特征之上的简单线性分类器优于微调分类头的表现，并展示了拓扑特征能够揭示语音 Transformer 头的功能角色。

    Nov, 2022

  • 拓扑 BERT：将注意力转化为拓扑以用于自然语言处理

    本研究介绍了一种使用拓扑数据分析的文本分类器。我们使用 BERT 的关注映射转换为关注图作为该分类器的唯一输入。该模型可以解决区分邮件的垃圾邮件和普通邮件等任务，并在某些任务上表现出优于 BERT 基线的性能。此外，我们提出了一种新的方法来减少涉及拓扑分类器的 BERT 注意力头的数量。我们的工作还显示，拓扑模型在对抗性攻击方面表现出更高的鲁棒性，这一特性在减少注意力头的过程中保持不变。据我们所知，这项工作是在 NLP 领域中首次使用基于拓扑的模型来应对对抗性攻击。

    Jun, 2022

  • 基于语法的自然语言推理注意力模型

    本文探讨了在自然语言推理的背景下，将注意力机制应用到句法树这种更加丰富的拓扑结构上，不仅可以利用底层的句法信息，还可以使注意力更具可解释性。结果表明，该方法非常有效，并进行了广泛的质量分析，提取出了为什么以及如何工作的见解和直觉。

    Jul, 2016

  • 通过关注矩阵的拓扑分析评估变压器预测的不确定性

    基于 Attentiion 机制的拓扑数据分析方法用于预测深度学习模型的置信度，与传统方法相比，该方法在质量上超越现有方法，开辟了新的应用领域，但需要选择拓扑特征。

    Aug, 2023

  • 注意力图的 Betti 数是你真正需要的一切

    应用拓扑学分析方法于 BERT 模型的 attention 图中，基于该训练神经网络的拓扑特征构建分类器，并在三个文本分类基准测试中证明了这种文本表示方法的相关性。

    Jul, 2022

  • 解析图机器学习中拓扑数据分析的威力

    我们详细测试了拓扑数据分析（TDA）的声称，并验证了其优点。我们的结果证实了 TDA 对异常值的鲁棒性和其解释性，并发现 TDA 在我们的具体实验中并没有显著提高现有方法的预测能力，同时增加了计算成本。我们研究了与图特征相关的现象，如小直径和高聚类系数，以减轻 TDA 计算的计算开销。我们的研究结果为将 TDA 整合到图机器学习任务中提供了宝贵的观点。

    Jan, 2024

  • BERT 中的注意力头是否学会了成分语法？

    本文通过对 BERT 和 RoBERTa 中的 attention heads 进行定量和定性分析，采用句法距离方法从每个头的 attention 权重中提取隐式成分结构语法，发现一些头比基线更好地诱导了一些语法类型，且一些头充当了成分结构语法的代理。此外，本文分析了 Fine-tuning 两种任务后 attention heads 的诱导能力如何改变，结果表明句子意思相似性任务减少了上层的平均 CGI 能力，而自然语言推理任务增加了其能力。最后，我们探讨了 CGI 能力与 QQP 和 MNLI 任务的自然语言理解能力之间的联系。

    Feb, 2021

  • 拓扑深度学习：新兴范式综述

    本文综述了拓扑深度学习领域，回顾了拓扑数据分析的核心概念，探讨了如何将 TDA 技术融入到不同方面的深度学习中，并讨论了拓扑深度学习的挑战和未来前景。

    Feb, 2023