学习不充足数据的等变性和不变性归纳偏置

ECCVJul, 2022

学习不充足数据的等变性和不变性归纳偏置

Equivariance and Invariance Inductive Bias for Learning from Insufficient Data

Tan Wang, Qianru Sun, Sugiri Pranata, Karlekar Jayashree, Hanwang Zhang

TL;DR论文介绍了如何用新的数据效率学习方法，利用自我监督学习与基础性优化理论，实现了从不充足的数据中学习强健的模型

Abstract

We are interested in learning robust models from insufficient data, without the need for any externally pre-trained checkpoints. First, compared to sufficient data, we show why insufficient data renders the model more easily biased to the limited training environments that are usually different from testing. For example, if all the training swan samples are

data-efficient learning equivariance invariance self-supervised feature learning class-wise invariant risk minimization

发现论文，激发创造

神经网络中的不变性学习

该研究提出了一种简单的过程来通过参数化 augmentations 的分布并优化训练损失一起调整网络和 augmentation 参数，从而从大量的 augmentations 中仅使用训练数据恢复图像分类、回归、分割和分子性质预测的正确不变性集和范围。

Oct, 2020

通过部分不变性学习最佳特征

通过学习来自多个环境的数据，提出在模型学习中，使用部分不变性（Partial Invariance）来放宽 Invariant Risk Minimization（IRM）的假设条件，从而在语言和图像数据上进行实验并得出结论。

Jan, 2023

神经网络中不变性的好处

本文分析比较了深度学习中两种广泛使用的处理不变性的方法：数据增强和特征平均，并针对其优缺点提出了相关理论结果和实验证明。其中，数据增强训练可以更好地估计风险和其梯度，并提供了 PAC-Bayes 泛化界；而特征平均可以在使用凸损失时降低泛化误差并收紧 PAC-Bayes 界。

May, 2020

发现缺失的不变原则 —— 不变风险最小化的互逆孪生

在机器学习中，我们常常希望训练的预测模型可以尽量地具有一致性，以在不同基础上具有良好的预测效果。然而过去的一些技术在解决该问题时会存在局限性。近期，一些学者新提出了一种基于一致性原则的新技术，即 MRI-v1，该技术在多种不同场景下表现良好。

May, 2022

ZIN: 如何在不进行环境分区的情况下学习不变性？

本研究提出了一种新框架可以同时学习环境分区和不变的表示，并在合成和真实数据集上进行了实验证明其改进的性能。

Mar, 2022

在具有随机特征和核模型中学习不变性

该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

Feb, 2021

通过对抗特征学习实现可控的不变性

本文提出了一种通过对抗学习策略学习能够抵抗特定数据因素影响的新型表示学习方法，并通过多个基准测试表明所提出的方法可以获取到不变表示，从而提高模型的泛化能力。

May, 2017

探索不变与等变表征在少样本学习中的互补优势

本论文提出了一种新的训练机制，同时注重等变性和不变性，使得模型能够充分学习具有独立性的特征以及几何变换的结构，进而能够在具有少量数据的情况下很好地推广。通过引入自我监督的蒸馏目标，本文的方法即使不使用知识蒸馏，在五个流行数据集上的表现也能超过目前最先进的 few-shot learning 方法。

Mar, 2021

不变风险最小化博弈

该研究提出使用不变风险最小化方法找到多个环境之间的纳什均衡来训练模型，从而降低伪相关性对模型的影响。通过用最佳反应动态来解决这个问题，该方法使得模型在保证泛化的同时提高了训练的稳定性。该算法为博弈论机器学习算法的成功案例之一。

Feb, 2020

等变对比学习

本文介绍了一种新的自我监督学习框架 E-SSL，它扩展了现有自我监督方法，并提出了一种新的目标函数以实现对输入的等变性要求，旨在提高表示的语义质量。该方法在多个计算机视觉基准数据集上进行验证，并在光子学领域的回归问题中展示了其实用性。

Oct, 2021