ACLMay, 2023

从对抗性武器竞赛到模型为中心的评估：推进自动化统一鲁棒性评估框架

PDF
TL;DR本文提出了一种统一的自动鲁棒性评估框架 RobTest，通过针对模型能力建立鲁棒性评估维度、生成不同维度下的对抗样本，最终实现自动鲁棒性评估。实验结果表明，该框架能有效评估 RoBERTa 模型的鲁棒性。
发现论文，激发创造
  • 自然语言模型对抗性评估

    本文提出了一种用于评估自然语言处理模型的新的抽象框架，通过明确研究人员之间的某些对抗角色，这有助于定义不同角色在评估中的贡献，并鼓励更早的错误分析，这个框架可以用多种方式实例化，并模拟一些熟悉的内部和外部评估以及一些新的评估。

    Jul, 2012

  • 精准、可靠、快速的鲁棒性评估

    在神经网络的研究中，我们开发了一种新的梯度基础的对抗攻击方法，相较于已有的攻击方法，它更可靠，可以适应广泛的对抗标准，并且在提高效率的同时，不需要进行超参数调整，这将对神经网络的鲁棒性评估做出有益的贡献。

    Jul, 2019

  • 加强对抗性容错性评估的置信度

    该研究提出了一种测试方法以识别弱攻击和防御评估，为了增强透明和信心，将攻击单元测试作为未来强度评估的重要组成部分。

    Jun, 2022

  • 通过自适应自动攻击实现对对抗鲁棒性的实用评估

    本文提出一种名为自适应自动攻击 (Adaptive Auto Attack) 的对抗攻击防御评估方法，旨在提高测试时训练的效率和可靠性，通过自适应的初始化和在线统计抛弃策略，使其消耗远少于现有方法的迭代数，并在广泛使用的防御模型上表现出更低的鲁棒性。

    Mar, 2022

  • 一个标准的对抗鲁棒性基准测试 RobustBench

    为了建立标准化的对抗性鲁棒性基准，我们考虑了图片分类任务，并引入了允许的模型限制，使用 AutoAttack 进行评估，同时提供 80 多种鲁棒模型的开源库，分析了鲁棒性对分布偏移、平滑性等性能的影响。

    Oct, 2020

  • 评估语义分割模型的对抗鲁棒性

    该研究提出了一种基于梯度的迭代攻击方法来评估在语义图像分割领域中防御对抗扰动的模型的鲁棒性，并发现只有使用对抗样本进行训练才能获得鲁棒性，并分析了鲁棒性和准确性之间的权衡。

    Jun, 2023

  • 大型语言模型中的对抗攻击与防御：旧与新的威胁

    过去十年来，人们对神经网络的鲁棒性进行了广泛的研究，但这个问题依然没有得到很好的解决。在这篇论文中，我们提出了改进新方法的鲁棒性评估和减少错误评估的第一组先决条件，同时指出了面向开源模型中恶意内容生成的嵌入空间攻击作为另一个可行的威胁模型。最后，我们通过一个最近提出的防御方法进行演示，展示了在没有针对大型语言模型的最佳实践的情况下，过高估计新方法的鲁棒性的容易性。

    Oct, 2023

  • 为预训练语言模型重新思考文本对抗防御

    针对预训练语言模型容易受到对抗攻击的问题，提出了一种基于异常检测和随机化的通用防御框架。该框架针对性不强，能够有效地弥补其他防御方法的不足，同时本研究也揭示了文本对抗攻击的本质，并提出了应该加强对谨慎攻击方法的研究。

    Jul, 2022

  • 神经网络鲁棒性解释和评估

    该研究提出了一种定量指标来评估神经网络模型的内在稳健性，并通过损失可视化的方式解释了对抗攻击和防御机制。该指标具有快速生成、结构和参数规模无关、可靠性高的优点，并提供了一种相对于不同测试设置不变的评估方法。

    May, 2019

  • 强壮健身房：统一自然语言处理评估领域

    本文介绍了一个名为 Robustness Gym 的情感模型评估工具，能够对广泛的文本数据和模型进行鲁棒性测试，并允许用户比较和开发各种评估方法，以验证模型的能力和性能。研究表明，在测试现实世界中的文本应用时，深度神经网络常常是脆弱的。与此同时，通过对抗攻击和基于规则的数据转换等多样化的评估方法，我们可以更好地测试这些模型的鲁棒性。使用该工具，我们能够在商业和学术领域中的命名实体链接（NEL）和摘要模型等方面，深入了解最新的研究成果，并检查其性能差异和缺陷。

    Jan, 2021