具有可微扩增层的深不变网络

Feb, 2022

Deep invariant networks with differentiable augmentation layers

Cédric Rommel, Thomas Moreau, Alexandre Gramfort

TL;DR本文探讨了从训练数据中学习不变性的新方法，该方法使用可学习的增强层直接构建在网络中，具有很高的可塑性、易于训练和快速的优点，可以应用于计算机视觉以外的广泛领域。实验证明，该方法不受模型表达能力的限制，与当前基于双层优化的现代自动数据增强技术相比表现出色。

Abstract

Designing learning systems which are invariant to certain data transformations is critical in machine learning. Practitioners can typically enforce a desired invariance on the trained model through the choice of a network architecture, e.g. using convolutions for translations, or using

invariant learning data transformations network architecture data augmentation learnable augmentation layers

发现论文，激发创造

使用可微分的拉普拉斯近似在深度神经网络中实现不变性学习

该研究提出了一种基于贝叶斯模型选择的方便的、基于梯度的方法，用于选择数据增强，该方法被成功应用于图像数据集，以提高深度神经网络的泛化能力和数据效率。

Feb, 2022

神经网络中的不变性学习

该研究提出了一种简单的过程来通过参数化 augmentations 的分布并优化训练损失一起调整网络和 augmentation 参数，从而从大量的 augmentations 中仅使用训练数据恢复图像分类、回归、分割和分子性质预测的正确不变性集和范围。

Oct, 2020

学习变换以实现个体无关性的普适性

基于数据的学习预测变换分布以及通过对样本对齐实现对不同类别的普遍不变性和适应不同姿态，从而提高计算机视觉中的准确性和鲁棒性。

Sep, 2023

神经网络中不变性的好处

本文分析比较了深度学习中两种广泛使用的处理不变性的方法：数据增强和特征平均，并针对其优缺点提出了相关理论结果和实验证明。其中，数据增强训练可以更好地估计风险和其梯度，并提供了 PAC-Bayes 泛化界；而特征平均可以在使用凸损失时降低泛化误差并收紧 PAC-Bayes 界。

May, 2020

在自然图像中建立归纳偏好：不变性源于数据变化

研究了机器学习模型在处理未见过的样本时对输入的因素变化产生可预测响应的归纳偏差，并发现训练数据本身是形成这种不变性的主要来源。同时，针对数据的变化，研究表明标准数据增强依赖于平移和尺度的精确结合，而其使用的变换方法并不能完全解释真实数据的变化。

Jun, 2021

深度神经网络的特征层级增强提高仿射变换鲁棒性

本文提出了在中间神经网络层引入数据增强以改善卷积神经网络不适用于少量像素旋转或平移的问题，并证明该方法比已有的两种方法获得更好的精度和平均翻转比。

Feb, 2022

重新审视数据增强对卷积神经网络旋转不变性的作用

卷积神经网络 (CNN) 在各种计算机视觉任务中提供了最先进的性能。本文研究如何在 CNN 中最佳地包括旋转不变性以进行图像分类，并通过数据增强等方法训练网络以实现旋转不变性。

Oct, 2023

一种贝叶斯方法实现不变深度神经网络

本文提出了一种新颖的贝叶斯神经网络架构，可以通过推断不同权重共享方案的后验分布来仅从数据中学习不变性。当在包含特定不变性的数据集上进行训练时，我们的模型优于其他不变变体的结构。没有进行数据增强时同样成立。

Jul, 2021

通过神经网络修剪揭示不变性

我们提出了一种通过修剪学习到的新型网络架构以捕捉数据依赖的不变性的框架，在视觉和表格数据集上，我们学到的网络架构始终比密集神经网络在效率和效果上表现更好。

Sep, 2023

为什么深度卷积神经网络对小图像变换的泛化性表现很差？

本文研究了卷积神经网络在面对微小图像变换时不具有不变性及其成因。作者提出传统的卷积架构不满足传统采样定理及数据增强只适用于与训练集中典型图像相似的图像，且两种解决方案只能部分解决问题。因此，在网络保持高准确率的情况下保证不变性的问题仍未解决。

May, 2018