EMNLPOct, 2022

RoChBert：针对中文的鲁棒性 BERT 微调

PDF
TL;DR本文介绍 RoChBERT 框架，利用包含中文音节和字形特征的更全面的对抗图，在微调过程中融合到预训练表示中，通过课程学习和对抗数据增广方法提高预训练语言模型的稳健性且不降低在正常文本上的预测准确率。RoChBERT 的性能优于以往方法，并且容易扩展到各种语言模型上，而且无需放弃预训练模型所需的时间和计算资源。
pre-trained language modelsadversarial textsrochbertmodel robustnessdata augmentation
发现论文，激发创造
  • 对比对抗训练改进的文本分类

    该研究提出了一种正则化 Transformer-based 编码器 fine-tuning 用于文本分类任务的通用方法，并通过对干净和对抗性示例的对比学习来实现噪声不变表示，从而得到更好的文本分类效果。

    Jul, 2021

  • BERT-ATTACK: 使用 BERT 对抗 BERT 的对抗攻击

    本文提出了使用 BERT 预训练模型的高质量有效的方法 BERT-Attack，用于生成对抗样本并在对下游任务的深度神经模型进行攻击。在成功率和扰动百分比方面，我们的方法优于最先进的攻击策略，而生成的对抗样本则流畅且在语义上保留，且计算成本低，可用于大规模产生。

    Apr, 2020

  • BERT 强健性的案例！反驳基于同义词的文本分类对抗样本

    本文调查了针对 BERT 的四种基于词汇替换的攻击方法，结合人类评估和概率分析，发现 96% 至 99% 的攻击并不能维护语义，其成功性主要基于将质量较差的数据输入模型中。作者进一步提出了有效的数据增强方案，以防止许多对抗性攻击。最终，通过对词汇更换的约束条件设定更合理的阈值，作者得出结论：BERT 比攻击研究所说的要更加健壮。

    Sep, 2021

  • BERT-Defense: 基于 BERT 的概率模型用于抵御认知启发式正交攻击

    本文研究在深度学习系统中敌对攻击的问题，使用字符级攻击并检验了几种防御方法和模型，表明一种无监督的迭代方法与 BERT 的掩码语言模型相结合可以达到与人类众包工人相当的效果。

    Jun, 2021

  • RoAST：通过选择性训练对语言模型进行对抗性扰动的鲁棒性增强

    RoAST 是一种简单而有效的微调技术，通过在微调期间引入对抗性扰动，并且在相对重要性上选择性地更新模型参数，以提升语言模型的多角度鲁棒性。通过统一评估微调的语言模型在四个代表性的鲁棒性角度下，我们证明了 RoAST 相对于最先进的微调方法在六种不同类型的语言模型上的有效性，表明其在实践中的有用性。

    Dec, 2023

  • InfoBERT: 从信息理论的角度提高语言模型的鲁棒性

    从信息论的角度出发，我们提出了 InfoBERT 框架来增强预训练语言模型的鲁棒性，包含两种基于相互信息的正则化器：信息瓶颈正则化器和鲁棒特征正则化器。实验证明，该方法在 NLI 和 QA 任务上取得了最先进的鲁棒性的结果。

    Oct, 2020

  • 将对抗性知识融入语义表征以增强模型鲁棒性

    AdvGraph 能够增强中文自然语言处理模型的鲁棒性，同时保持模型性能，将有意义的对抗性知识结合到输入的语义表示中，并在两个真实任务上得到更好的性能。

    Feb, 2021

  • 预训练语言模型应如何微调以提高对抗攻击鲁棒性？

    针对预训练语言模型的敌对性攻击，提出了一种基于信息理论的对抗性微调方法（Robust Informative Fine-Tuning），强制模型在整个微调过程中保留预训练模型所学习的特征，并在情感分析和自然语言推理等多种 NLP 任务中的各种攻击中显著优于现有技术。

    Dec, 2021

  • BERT 在自然语言攻击上真的很强吗？文本分类和蕴含的强基准线

    本文提出一种简单却强大的文本对抗生成基准，名为 TextFooler. 在两个自然语言任务中将其应用，成功攻击了三个目标模型，包括强大的预训练 BERT 和广泛使用的卷积和循环神经网络。该框架具备以下三个优点：有效性，实用性和高效性。

    Jul, 2019

  • ChineseBERT: 利用字形和拼音信息加强的中文预训练模型

    本文提出了一种新的预训练语言模型 ChineseBERT，将汉字的字形、拼音信息融合到语言模型预训练中，该模型在多个汉语自然语言处理任务上取得了新的最佳表现。

    Jun, 2021