ICLRFeb, 2020

Transformer 模型健壮性验证

PDF
TL;DR本文提出了一种适用于 Transformer 的鲁棒性验证算法，证明了其结果远优于 Interval Bound Propagation 算法，帮助理解了情感分析中不同单词的重要性。
robustness verificationneural networkstransformersself-attentionsentiment analysis
发现论文，激发创造
  • 通过关注矩阵的拓扑分析评估变压器预测的不确定性

    基于 Attentiion 机制的拓扑数据分析方法用于预测深度学习模型的置信度，与传统方法相比，该方法在质量上超越现有方法，开辟了新的应用领域，但需要选择拓扑特征。

    Aug, 2023

  • 卷积神经网络是否可以比 Transformer 更强大？

    本文通过仔细研究 Transformers 的设计，发现在提高稳健性方面，使用卷积神经网络（CNNs）设计的架构同样有效。具体来说，我们的发现分别是：a）分块输入图像，b）增大卷积核尺寸，以及 c）减少激活层和归一化层的设计。我们的实验结果表明这三种设计的结合可以构建出实现简单，无需 attention-like 操作的卷积神经网络架构，其稳健性与甚至优于 Transformers。

    Jun, 2022

  • LSTMs 在可编程转换下的认证鲁棒性

    该论文提出了一种通过使用字符串转换语言来扩展鲁棒性证明的方法，成功地训练了比现有技术更鲁棒的模型，并且可以高精确度地证明模型的鲁棒性。

    Feb, 2021

  • 值得信赖的视觉语言模型的探险：一项调查

    通过三个基本原则（偏见、鲁棒性和可解释性）对视觉 - 语言变压器进行深入研究，以提高它们的可靠性和可信度。

    Dec, 2023

  • 面向实际分布偏移的认证鲁棒性

    本研究考虑了如何证明深度神经网络对真实世界的分布转化具有鲁棒性，提出了一种基于神经符号学的验证框架，并采用生成模型学习数据扰动，解决了现有验证方法对于许多最先进生成模型的 sigmoid 激活函数的处理问题，实验结果表明，该框架在 MNIST 和 CIFAR-10 数据集上能够显著优于现有方法，可以有效应对各种严峻的分布转化挑战。

    Jun, 2022

  • 神经网络行为验证：电力系统应用的形式保证

    本文提出一种基于混合整数线性规划的框架，首次在电力系统应用中验证神经网络行为，能够确定神经网络分类为安全或不安全的输入范围，并且能够系统地识别对抗性示例，从而提高神经网络在电力系统中的鲁棒性和可靠性。

    Oct, 2019

  • Transformer 模型是否比卷积神经网络更具鲁棒性？

    本文首次提供公平而深入的 Transformer 和 CNNs 的对比，重点关注强度的评估，并表明了 CNNs 可以像 Transformer 一样有效地抵御对抗攻击。同时，我们发现强大的泛化能力主要得益于 Transformer 的自我关注式结构，而不是其他的训练设置。

    Nov, 2021

  • Vision Transformers 对抗样本的鲁棒性

    本文研究了 Vision Transformers 在对抗性样本方面的鲁棒性，分析了其与 CNNs 在攻击和安全方面的不同，并提出了一个简单的混合防御方案以提高鲁棒性和准确性。

    Mar, 2021

  • STR-Cert：深度学习管道与视觉变换器上的深度文本识别的健壮性认证

    我们提出了 STR-Cert，这是一种用于固定、比较 STR 模型的序列预测问题的认证方法，通过扩展 DeepPoly 多面体验证框架来证明 STR 模型的鲁棒性，并针对 Vision Transformer 模型进行了验证。

    Nov, 2023

  • 使用鲁棒核密度估计设计健壮性 Transformer

    该论文研究了如何对 Transformer 架构应用一系列可靠的核密度估计方法，使其具有鲁棒性，实现对于污染数据的稳健性，并在语言模型和图像分类任务中进行了多项实证研究，结果表明该方法在多种场景下具有高鲁棒性。

    Oct, 2022