- 扰动样本揭示语言模型共享的不变性
通过揭示语言处理模型对特定语言能力的可解释的输入扰动具有的共同不变性来比较两个自然语言处理模型，并研究模型的改变如何影响多个明确定义的语言能力，并且大型语言模型具有多种不变性可能是最近大型语言模型取得成功的关键原因之一。
- 神经网络的不变度量
神经网络中的不变性对很多任务来说是有用且必要的，然而大多数神经网络模型的不变性表示尚未被表征。我们提出了用于量化神经网络不变性的测量方法，这些方法在内部表征方面是高效且可解释的，适用于任何神经网络模型。相比先前定义的测量方法，它们对不变性更 - 通过学习不变表示来打破深度神经网络中的维数诅咒
通过研究深度学习模型的架构和数据内在结构之间的关系，本文探讨了深度学习的理论基础，并通过实验和物理启发式玩具模型的结合，揭示了它们的内在工作原理，旨在填补理论与实践之间的鸿沟。
- 从砖头到桥梁：增强潜在空间通信的不变性乘积
直接将一组不变性直接融入表示中，构建一种不变分量的产品空间，旨在解锁合并、拼接和重用不同神经模块的应用，并观察到分类和重建任务中的一致潜在相似性和下游性能改进。
- 基于不变性的视觉 Transformer 微调过程研究
本文旨在研究预训练与微调之间的关系，提出了一系列度量指标，探讨了预训练模型中不变性的传递性、微调过程中对不变性的保留与丢失、以及预训练模型在下游任务中的表现和变化。
- ICLR强健不变表示中的领域通用性
本文研究对象识别中不变表示的泛化性，经过广泛实验，我们证明了不变模型学习到的非结构化潜在表示对分配偏移具有鲁棒性，因此使不变性成为有限资源环境中训练的理想属性。
- ICLR数据增强价值的探究：关于规模定律、不变性和隐式正则化的调查
本文旨在研究数据扩展的机制，通过评估增强数据与额外真实数据之间的交换率发现，多样而不一致的增强数据可以比额外的训练数据更有价值，在小和中型训练集上，鼓励不变性的数据扩展可以比不变性本身更有价值，并证明了增强数据在训练过程中引入额外的随机性， - 研究学习的李群生成器 (LieGG)
提出一种方法来提取神经网络学习的对称性并评估网络对其的不变性程度。结果表明网络的对称性普遍存在于不同的结构中，但学习到的对称性质量取决于深度和参数数量。
- ICLR相对表示使零样本隐空间通信成为可能
本文主要研究利用神经网络将数据流形的几何结构嵌入到潜在表征中，提出了根据潜在表示中样本与预设锚点之间的相对关系来实现所需不变性的方法，并在不同数据集、不同架构、不同任务下进行了验证。
- ICML超不变性：摊销不变性学习
通过使用超网格训练抽取具有不变性的特征提取器的低维流形来将问题的不变性赋值给神经网络模型，使得在处理不同的下游任务时定位相应的不变性描述符和输出头变得迅速高效并且可以获得良好的泛化能力。
- ECCV自监督预训练在三维视觉中的不变性深入剖析
本文针对自监督学习在 3D 视觉中的应用，提出了一个统一的框架，并对各个不变性进行了全面的研究和比较。同时，文章还提出了一个简单而有效的对 3D 编码器和深度图编码器进行联合自对比学习的方法，并在下游任务中取得了显著的性能提升。
- ICML通过共享不变性度量神经网络的表征稳健性
该论文提供了一种新的研究深度学习鲁棒性的方法，使用另一个参考神经网络来定义给定神经网络应该是不变的扰动集，从而使得衡量鲁棒性等于衡量两个神经网络共享的不变。通过提出一种称为 STIR 的新的相似度测量方法，可以获得有关共享不变的见解，并考察 - 策略优化中的不变性和奖励学习中的部分识别性
研究奖励学习中数据来源的可识别性，通过设计和选择数据来源，分析数据来源和后续任务的不变性，从而提高政策优化的性能
- AAAI深度神经网络中的不变性是否与人类感知相一致？
研究如何将深度神经网络通过生成具有相同表现的输入来捕捉感知的不变性，并通过敌对正则化程序与人类感知对齐来评估其安全可靠性。
- Skeleton-Contrastive 3D 行为表示学习
本论文提出了一种基于骨架的行为识别的自监督学习方法，通过噪声对比估计学习骨架表示的不变性以及各种增强策略。该方法在 PKU 和 NTU 数据集上进行了验证，并在多个下游任务中实现了最新水平。
- ICML一种贝叶斯方法实现不变深度神经网络
本文提出了一种新颖的贝叶斯神经网络架构，可以通过推断不同权重共享方案的后验分布来仅从数据中学习不变性。当在包含特定不变性的数据集上进行训练时，我们的模型优于其他不变变体的结构。没有进行数据增强时同样成立。
- ICLRGi 和 Pal 分数：深度神经网络推广统计
本文提出了 Gi-score 和 Pal-score 两个新的度量标准，用于衡量深度神经网络的泛化能力和不变性，这些度量标准可准确预测一些泛化差距。
- 不变风险最小化是否能捕捉不变性？
研究表明，Arjovsky 等人的不变风险最小化 (IRM) 公式在其实际的 “线性” 形式下可能无法捕获 “自然” 的不变性，在非常简单的问题上甚至不能解决 IRL 的动机示例，即使与无限制的 ERM 相比，在新环境下可能导致更糟糕的泛化 - CVPR风格转换和绘画对模型健壮性能有何帮助？
通过对不同图像形式的数据加强方法，从艺术创作与图像风格迁移两方面对模型的鲁棒性进行研究。研究发现，艺术创作可以作为一种形式化数据加强方法，可以提高模型的鲁棒性。而图像风格迁移，虽然可以使模型学习到某些不变性，但其带来的鲁棒性的提升与艺术创作 - 神经网络中的不变性学习
该研究提出了一种简单的过程来通过参数化 augmentations 的分布并优化训练损失一起调整网络和 augmentation 参数，从而从大量的 augmentations 中仅使用训练数据恢复图像分类、回归、分割和分子性质预测的正确不