Jun, 2019

利用最坏情况变换实现不变性正则化，提高准确性和空间稳健性

PDF
TL;DR对标准或对抗训练添加正则化技术，可提高对空间扰动的容忍度，并缩小误差率，同时无需增加额外的计算成本，这种优化策略被证明比专门针对空间等变性的网络更加有效。在无穷大数据条件下，该训练模型也能同时提高 SVHN 数据集的标准准确率。
invariance-inducing regularizersspatial robustnessadversarial trainingcomputational coststandard accuracy
发现论文，激发创造
  • 学习变换以实现个体无关性的普适性

    基于数据的学习预测变换分布以及通过对样本对齐实现对不同类别的普遍不变性和适应不同姿态，从而提高计算机视觉中的准确性和鲁棒性。

    Sep, 2023

  • 局部线性化对抗鲁棒性

    本文介绍了一种新型的正则化方法，该正则化方法鼓励在训练数据附近的损失行为呈线性，从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验，我们展示了使用我们的正则化方法训练的模型避免了梯度混淆，并且比对抗训练能够更快地训练。使用这种正则化方法，我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255 的和 CIFAR-10 同样的表现。

    Jul, 2019

  • 数据增强能提高稳健性

    本文研究减轻对抗训练中的过拟合现象，使用常见的数据增强方案，证明数据增强与模型平均结合可以显著提高鲁棒性，尤其是空间组合技术的效果最佳，最终在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上得到了明显的性能提升。

    Nov, 2021

  • 重新思考对抗训练中的不变性正则化以改善鲁棒性与准确性权衡

    通过非对比自监督学习的启发，我们提出了一种称为 AR-AT 的不对称表示正则化对抗训练方法，结合了梯度冲突解决和解决混合分布问题的方法，显著改善了鲁棒性 - 准确性的平衡，并讨论了这些发现与基于知识蒸馏的防御方法之间的相关性。

    Feb, 2024

  • 提高对比表示学习中的变换不变性

    本文主要介绍了强化对比学习得到的表示的不变性的方法，通过引入新的正则化器、特征平均法和可微分生成过程，对旋转等变性进行限制和控制，提高了表示在后续任务中的表现和鲁棒性。

    Oct, 2020

  • 倾斜你的头：激活分类器的隐藏空间不变性

    通过反转变换树进行推理的逆变换搜索算法（ITS）能够使深度神经网络具备对空间变换输入的零样本伪不变性，并在所有零样本测试场景上优于基准模型。

    May, 2024

  • 在具有随机特征和核模型中学习不变性

    该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

    Feb, 2021

  • 使用因果不变性进行正则化的对抗模仿学习

    使用因果不变性作为对抗训练模型的正则化原则，以缓解模型吸收专家数据中的虚假相关性，并在二维示例环境和高维机器人运动基准任务中展示了正则化公式的有效性。

    Aug, 2023

  • 通过权重尺度不变正则化提高神经网络的泛化性能和鲁棒性

    该研究论文介绍了一种改进神经网络正则化器的方法，该正则化器不仅能对权重衰减，还能考虑权重尺度偏移对正则化的影响，有效地限制神经网络的内在范数，并优化了对抗强度以提高泛化性能。

    Aug, 2020

  • 神经网络中不变性的好处

    本文分析比较了深度学习中两种广泛使用的处理不变性的方法：数据增强和特征平均，并针对其优缺点提出了相关理论结果和实验证明。其中，数据增强训练可以更好地估计风险和其梯度，并提供了 PAC-Bayes 泛化界；而特征平均可以在使用凸损失时降低泛化误差并收紧 PAC-Bayes 界。

    May, 2020