Jun, 2022

拓扑 BERT：将注意力转化为拓扑以用于自然语言处理

PDF
TL;DR本研究介绍了一种使用拓扑数据分析的文本分类器。我们使用 BERT 的关注映射转换为关注图作为该分类器的唯一输入。该模型可以解决区分邮件的垃圾邮件和普通邮件等任务，并在某些任务上表现出优于 BERT 基线的性能。此外，我们提出了一种新的方法来减少涉及拓扑分类器的 BERT 注意力头的数量。我们的工作还显示，拓扑模型在对抗性攻击方面表现出更高的鲁棒性，这一特性在减少注意力头的过程中保持不变。据我们所知，这项工作是在 NLP 领域中首次使用基于拓扑的模型来应对对抗性攻击。
transformer modelsbertnatural language processingtopological data analysisadversarial attacks
发现论文，激发创造
  • 通过检查注意力图的拓扑来检测人工文本

    利用拓扑数据分析（TDA）提取 BERT 模型的可解释的拓扑特征，用于区分人工生成的文本和真实的文本，证明 TDA 对于包含表面和结构信息的 NLP 任务是具有前景的。

    Sep, 2021

  • 注意力图的 Betti 数是你真正需要的一切

    应用拓扑学分析方法于 BERT 模型的 attention 图中，基于该训练神经网络的拓扑特征构建分类器，并在三个文本分类基准测试中证明了这种文本表示方法的相关性。

    Jul, 2022

  • 通过检查注意力映射的拓扑结构进行可接受性判断

    研究了注意机制在编码语言知识中的作用，并探讨了注意头在判断句子的语法可接受性方面的能力，通过拓扑数据分析显示关注图的几何特性可以有效地被用于二元判断和语言最小对的标准做法，并通过 CoLA 上的三种语言（英语，意大利语和瑞典语）提高了 BERT 基于可接受性分类器的得分 8％-24％。在 BLiMP 基准测试中，通过揭示最小对的注意力图之间的拓扑差异，实现了与人类水平相当的性能，在统计和转换器 LM 基线中优于九个基线。

    May, 2022

  • BERT 模型看什么？BERT Attention 机制分析

    本文通过分析 BERT 的注意力机制及其输出结果，提出了新的方法并应用于其内部结构的探究，证明 Bert 的 attention heads 明显与语言的语法和指代有关，其中某些 attention heads 可以高精度地表示动词的直接宾语、名词的限定词和介词的宾语。

    Jun, 2019

  • 通过关注矩阵的拓扑分析评估变压器预测的不确定性

    基于 Attentiion 机制的拓扑数据分析方法用于预测深度学习模型的置信度，与传统方法相比，该方法在质量上超越现有方法，开辟了新的应用领域，但需要选择拓扑特征。

    Aug, 2023

  • 通过注意力值压缩输入长度和生成文本

    本文研究了 BERT 的注意力机制，探究了两个问题：如何使用注意力机制减少输入长度和如何将注意力用作条件文本生成的控制机制，并发现 BERT 的早期层对文本分类任务的关注度更高，其注意力和可以用于过滤给定序列的令牌，一定程度上减少了输入长度同时保持良好的测试准确性。

    Mar, 2023

  • 分析 Transformer 语言模型中的注意力结构

    本文研究了基于注意力机制的 Transformer 模型在自然语言处理中的应用，通过对 GPT-2 模型的注意力结构的可视化和大规模语料库的分析，发现模型在不同层次区分不同词性并在中间层次最强烈地关注依赖关系，最深层次关注最远程的联系，并抽取了展现特定关注头目标的范例句子。

    Jun, 2019

  • BERT 与 RuCoLA: 用拓扑数据分析解释

    本文研究如何应用拓扑数据分析在语言模型中识别和提取其对语言特征的表达，提出了基于拓扑数据分析的分类方法，并在 CoLA 和 RuCoLA 两个不同语言数据集上证明了该方法的优势。

    Apr, 2023

  • 基于语法的自然语言推理注意力模型

    本文探讨了在自然语言推理的背景下，将注意力机制应用到句法树这种更加丰富的拓扑结构上，不仅可以利用底层的句法信息，还可以使注意力更具可解释性。结果表明，该方法非常有效，并进行了广泛的质量分析，提取出了为什么以及如何工作的见解和直觉。

    Jul, 2016

  • 利用语法感知的局部注意力提升 BERT 性能

    本文提出一种基于句法结构的局部语义注意力机制，将其与 BERT 等预训练语言模型相结合，提高对句子中句法相关词的关注度，在单句分类和序列标注等任务中实现了一致性增益。

    Dec, 2020