May, 2023

基于扰动的自监督注意力机制用于文本分类中的注意力偏向

PDF
TL;DR本文提出了一种基于扰动的自监督注意力机制来指导注意力学习，以解决传统模型普遍专注于高频词且需要大量标记数据的问题，在三个文本分类任务上实验结果证明了该方法的有效性。
text classificationattention mechanismself-supervised learningperturbation-based approachnoise
发现论文，激发创造
  • 使用 Transformer 引导自监督学习的注意力机制

    该文提出了一种利用双向 Transformer 实现高效自监督学习的简单而有效的技术，该方法利用辅助损失函数引导注意力头符合自注意力特征，并可以适用于不同的预训练目标，实验证明该方法相对于基线模型更快收敛同时在下游任务中性能更好，在低资源环境中取得了业界领先结果。

    Oct, 2020

  • 词嵌入扰动用于句子分类

    本文提出应用数据增强方法来解决自然语言过拟合问题，尝试通过应用多种噪声扰动输入词嵌入以及在不同类型的噪声上应用几个约束条件，从而改进基线模型在多个句子分类任务上的表现。

    Apr, 2018

  • 基于注意力机制的神经文本分割

    本文提出了一种基于注意力机制的双向 LSTM 模型，使用卷积神经网络学习句子嵌入，利用上下文信息预测文本分段，相比现有的竞争基准方法，在三个基准数据集上的 WinDiff 分数提高了约 7%。

    Aug, 2018

  • 对抗式自注意力用于语言理解

    本研究通过提出对 Transformer 模型的自注意力机制进行改进，提出了 Adversarial Self-Attention（ASA）机制，旨在抑制模型对部分特征的依赖以及探索更广泛的语义，实现更好的泛化性能和鲁棒性。实验结果表明，在预训练和微调阶段中，使用 ASA 的模型相较于普通训练在长远步骤上获得了显著的性能提升，这些模型也能够在泛化性能和鲁棒性方面胜过普通模型。

    Jun, 2022

  • 预训练注意力机制

    通过引导模型关注输入的显著区域，或经过无监督预训练，可以提高循环神经网络在分类任务中的性能，同时可以提高注意力机制本身的效率。

    Dec, 2017

  • 通过自注意力和自监督学习实现对标签噪音容忍的医学图像分类

    本文发明了一种噪声鲁棒训练方法，以应对医学图像分类中不可避免的标签噪声问题，其中包括对比学习和组内注意力 mixup 策略，并通过严格实验验证表明，该方法能够有效地处理标签噪声，并优于现有方法。

    Jun, 2023

  • 面向方面级别情感分析的渐进式自监督注意力学习

    本文提出了一种渐进式自监督注意力学习方法，用于神经网络的方面级情感分类模型，该方法自动从训练语料库中挖掘有用的注意力监督信息来改善注意力机制，实验结果表明，该方法可以提高注意力机制，相对于现有的两个状态 - of-the-art 神经方面级情感分类模型具有明显的优越性。

    Jun, 2019

  • 深度学习文本分类算法对实际输入扰动的敏感性研究

    本文研究基于深度学习的文本分类模型（CNN、LSTM 和 BERT）在面对有意义但与最终性能无关的输入扰动（如标点符号和停用词）时的表现，发现包括 BERT 在内的这类模型都很敏感，特别是对于输入扰动的删除尤其受影响。

    Jan, 2022

  • 注意力遇到扰动：通过对抗训练实现鲁棒性和可解释性的注意力机制

    本文提出对自然语言处理任务进行通用训练的技术，包括关注力对抗训练（Attention AT）和更易于解释的关注力对抗训练（Attention iAT）。该方法通过引入对抗扰动，增强了句子注意力的差异，提高了模型的预测性能和可解释性，并且尤其适用于关注力机制。实验表明，Attention iAT 在十项任务中表现最佳，并且其结果的注意力与基于梯度的单词重要性的相关性更强。此外，该方法不太依赖于对抗扰动的大小。

    Sep, 2020

  • 揭示自注意机制的漏洞

    通过精心设计的注意力掩码，我们提出了强大的扰动技术 “HackAttend”，通过故意扰乱 SA 矩阵中的注意力分数，揭示了当前最先进的预训练语言模型在注意力微扰下的高度脆弱性，以及我们引入的新型平滑技术 “S-Attend” 在面对各种文本攻击时实现了与对抗训练相当的鲁棒性。

    Feb, 2024