该研究提出了一种简单的过程来通过参数化 augmentations 的分布并优化训练损失一起调整网络和 augmentation 参数，从而从大量的 augmentations 中仅使用训练数据恢复图像分类、回归、分割和分子性质预测的正确不变性集和范围。

Oct, 2020

本文探讨了从训练数据中学习不变性的新方法，该方法使用可学习的增强层直接构建在网络中，具有很高的可塑性、易于训练和快速的优点，可以应用于计算机视觉以外的广泛领域。实验证明，该方法不受模型表达能力的限制，与当前基于双层优化的现代自动数据增强技术相比表现出色。

Feb, 2022

本文提出了一种新颖的贝叶斯神经网络架构，可以通过推断不同权重共享方案的后验分布来仅从数据中学习不变性。当在包含特定不变性的数据集上进行训练时，我们的模型优于其他不变变体的结构。没有进行数据增强时同样成立。

Jul, 2021

该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

Feb, 2021

研究了机器学习模型在处理未见过的样本时对输入的因素变化产生可预测响应的归纳偏差，并发现训练数据本身是形成这种不变性的主要来源。同时，针对数据的变化，研究表明标准数据增强依赖于平移和尺度的精确结合，而其使用的变换方法并不能完全解释真实数据的变化。

Jun, 2021

本文分析比较了深度学习中两种广泛使用的处理不变性的方法：数据增强和特征平均，并针对其优缺点提出了相关理论结果和实验证明。其中，数据增强训练可以更好地估计风险和其梯度，并提供了 PAC-Bayes 泛化界；而特征平均可以在使用凸损失时降低泛化误差并收紧 PAC-Bayes 界。

May, 2020

通过研究深度学习模型的架构和数据内在结构之间的关系，本文探讨了深度学习的理论基础，并通过实验和物理启发式玩具模型的结合，揭示了它们的内在工作原理，旨在填补理论与实践之间的鸿沟。

Oct, 2023

通过分析神经网络中的不变性学习，我们研究了从数据中学习的不变性与通过不变性权重绑定实现的真实不变性之间的属性和限制。通过引入不变性错误正则化，我们展示了如何指导不变性学习朝着真实不变性的方向发展，并且显示这种学习的不变性在严重的输入分布偏移下也是可靠的。

Aug, 2023

本文通过提出一种新的方法，证明神经网络剪枝相当于给隐藏层的激活值加入一定量的差分隐私噪音，进而探讨了神经网络剪枝与差分隐私之间的关系以及其实际应用的可行性与效果，发现在某些情况下，神经网络剪枝可能是比差分隐私更为有效的方法。

Mar, 2020

本研究从概率对称性的角度考虑群不变性，建立功能性和概率对称性之间的联系，并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构，可用于模拟此类分布并提供了一般性的计算程序。

Jan, 2019