该研究提出了一种简单的过程来通过参数化 augmentations 的分布并优化训练损失一起调整网络和 augmentation 参数，从而从大量的 augmentations 中仅使用训练数据恢复图像分类、回归、分割和分子性质预测的正确不变性集和范围。

Oct, 2020

研究了机器学习模型在处理未见过的样本时对输入的因素变化产生可预测响应的归纳偏差，并发现训练数据本身是形成这种不变性的主要来源。同时，针对数据的变化，研究表明标准数据增强依赖于平移和尺度的精确结合，而其使用的变换方法并不能完全解释真实数据的变化。

Jun, 2021

本文探讨了从训练数据中学习不变性的新方法，该方法使用可学习的增强层直接构建在网络中，具有很高的可塑性、易于训练和快速的优点，可以应用于计算机视觉以外的广泛领域。实验证明，该方法不受模型表达能力的限制，与当前基于双层优化的现代自动数据增强技术相比表现出色。

Feb, 2022

本文介绍了一种自动检测预先训练的视觉分类器中分类错误的技术，该技术是对分类器形式不可知的，并且仅需要访问对一组输入的分类器响应。我们使用由来源于同一输入的多个分类器响应生成的表示的参数二元分类器 (错误 / 正确) 进行训练，每个分类器都受不同的自然图像变换的影响。因此，我们通过分析分类器在各种转换下的不变性来建立分类器决策的置信度的度量。在多个数据集（STL-10、CIFAR-100、ImageNet）和分类器的实验中，我们展示了错误检测任务的新的最先进结果。此外，我们将该技术应用于新颖性检测场景，并展示了最先进的结果。

Apr, 2018

本文研究了自监督学习在图像中表征学习的应用，通过对比实例匹配方法，我们发现不同的视觉任务需要不同的数据扩充策略，并且使用具有互补不变性的表征方法可以提高各种下游任务的表现。

Nov, 2021

对标准或对抗训练添加正则化技术，可提高对空间扰动的容忍度，并缩小误差率，同时无需增加额外的计算成本，这种优化策略被证明比专门针对空间等变性的网络更加有效。在无穷大数据条件下，该训练模型也能同时提高 SVHN 数据集的标准准确率。

Jun, 2019

该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

Feb, 2021

为了在监督学习任务中很好地推广训练数据，我们应该将不变性纳入模型结构中，并使用边际似然进行学习，我们通过高斯过程模型演示了这一点，并提出了一种包含不变性的高斯过程的变分推断方案。

Aug, 2018

本文研究了卷积神经网络在面对微小图像变换时不具有不变性及其成因。作者提出传统的卷积架构不满足传统采样定理及数据增强只适用于与训练集中典型图像相似的图像，且两种解决方案只能部分解决问题。因此，在网络保持高准确率的情况下保证不变性的问题仍未解决。

May, 2018

本文分析比较了深度学习中两种广泛使用的处理不变性的方法：数据增强和特征平均，并针对其优缺点提出了相关理论结果和实验证明。其中，数据增强训练可以更好地估计风险和其梯度，并提供了 PAC-Bayes 泛化界；而特征平均可以在使用凸损失时降低泛化误差并收紧 PAC-Bayes 界。

May, 2020