COLINGApr, 2024

通过图融合增强语言模型对抗变异攻击的鲁棒性

PDF
TL;DR通过引入中文字符变异图，本研究提出了一种新方法 CHANGE，以增强预训练语言模型对中文字符变异攻击的鲁棒性，在多个自然语言处理任务中的实验表明 CHANGE 在对抗攻击方面优于现有的语言模型，为鲁棒性语言模型研究做出了宝贵的贡献，并凸显了基于图导引的预训练策略在实际应用中的巨大潜力。
pre-trained language modelsadversarial attackschinese languagecharacter variationgraph-guided pre-training
发现论文，激发创造
  • 将对抗性知识融入语义表征以增强模型鲁棒性

    AdvGraph 能够增强中文自然语言处理模型的鲁棒性，同时保持模型性能，将有意义的对抗性知识结合到输入的语义表示中，并在两个真实任务上得到更好的性能。

    Feb, 2021

  • 生成具有有效性和自然性的大型语言模型对抗样本

    基于大型语言模型 (LLMs) 的语言理解和生成能力，我们提出了 LLM-Attack，旨在使用 LLMs 生成既有效又自然的对抗性示例。实验结果表明 LLM-Attack 比基线模型在人类和 GPT-4 评估中表现优异，能够生成通常有效、自然，并保留语义意义、语法正确性和人类不可察觉性的对抗性示例。

    Nov, 2023

  • 扩展范围：将英语对抗攻击应用于中文

    本研究通过适当的文本分割和语言约束，将英语自然语言处理领域最先进的对抗性攻击算法适应于中文，并展示了这些攻击方法可以生成高质量的对抗性样本，从而提高了中文自然语言处理领域的对抗鲁棒性。

    Jun, 2023

  • 大型语言模型中的对抗攻击与防御：旧与新的威胁

    过去十年来，人们对神经网络的鲁棒性进行了广泛的研究，但这个问题依然没有得到很好的解决。在这篇论文中，我们提出了改进新方法的鲁棒性评估和减少错误评估的第一组先决条件，同时指出了面向开源模型中恶意内容生成的嵌入空间攻击作为另一个可行的威胁模型。最后，我们通过一个最近提出的防御方法进行演示，展示了在没有针对大型语言模型的最佳实践的情况下，过高估计新方法的鲁棒性的容易性。

    Oct, 2023

  • 探究预训练语言模型在图形生成文本方面的应用

    本文研究了两种先前提出的预训练语言模型（PLMs），分析了不同任务自适应预训练策略对图转文本生成中 PLMs 的影响，发现 PLMs BART 和 T5 实现了新的最先进结果，并且任务适应性预训练策略进一步提高了它们的性能。

    Jul, 2020

  • 适配器与混合层融合增强预训练语言模型对文本分类的对抗性鲁棒性

    该研究通过优化 fine-tuned adapters 并使用混合数据训练神经网络，提出了一种在实践中更实用的对抗训练机制，从而在提高模型的泛化性和预测性能的同时避免了传统对抗训练方法中存在的性能下降和计算成本较高的问题。

    Jan, 2024

  • 通过手工制作的对抗性例子评估预训练语言模型的容易受攻击性

    本文探讨了最新的预训练语言模型（PLMs），包括 GPT-3 和 BERT，存在安全漏洞，使其容易受到对抗性攻击的影响，并提出了一种有效的对抗方法来测试模型的语义相似性并减少其分类质量。

    Sep, 2022

  • 通向多功能图学习方法：基于大型语言模型的视角

    本文提出了一种使用大型语言模型设计多功能图学习方法的新概念原型，重点关注了 “在哪里” 和 “如何” 的角度，总结了四个关键的图学习过程，并探索了大型语言模型在这些过程中的应用场景，最后指出了更好利用大型语言模型的发展方向。

    Feb, 2024

  • 一种基于提示的对抗性样本生成和鲁棒性增强方法

    本研究提出了一种基于 Prompt 的新型对抗攻击和提高自然语言处理模型的鲁棒性的技术，包括恶意 Prompt 构建、对抗样本生成和 Prompt-based 对抗训练方法，并实验验证了攻击成功率的高效性和鲁棒性提高方法的有效性。

    Mar, 2022

  • 上下文感知对命名实体识别的对抗攻击

    我们提出了一种上下文感知对抗攻击方法，通过扰乱识别实体最具信息量的词语来生成自然而可信的对抗样本，实验证明我们的方法在误导模型做出错误预测方面比基准方法更有效。

    Sep, 2023