基于多头神经网络的环境多样性用于不变性学习

Aug, 2023

基于多头神经网络的环境多样性用于不变性学习

Environment Diversification with Multi-head Neural Network for Invariant Learning

Bo-Wei Huang, Keng-Te Liao, Chang-Sheng Kao, Shou-De Lin

TL;DR提出了一个包含多头神经网络的不变学习框架，名为 EDNIL，用于吸收数据偏差并提高模型对分布转变的鲁棒性。该算法无需先前环境知识或对预训练模型的强假设，并具有与变体和不变特征的性质研究相连接的理论基础。实验证明，使用 EDNIL 训练的模型在分布转变下具有更强的鲁棒性。

Abstract

neural networks are often trained with empirical risk minimization; however, it has been shown that a shift between training and testing distributions can cause unpredictable performance degradation. On this issu

neural networks empirical risk minimization invariant learning data biases distributional shifts

发现论文，激发创造

不变学习环境推理

EIIL 是一种用于域不变学习的通用框架，采用环境推断技术，可以推断出对下游不变学习最有帮助的分区，实现了较好的性能并且可以改进公平预测问题中的准确性和校准度。

Oct, 2020

不变表示学习的特征发现与分离

提出了一种用于训练神经网络的框架，以识别和区分数据的预测和负面因素，并通过学习消除负面因素，从而实现对负面因素的不变性，从而实现对负面因素的不变性，并通过信息论框架和推导出的训练目标，实现了最先进的性能。

Dec, 2019

使用非参数型纳达拉 - 瓦森头获得不变表示的学习

基于 Nadaraya-Watson（NW）头，本论文提出了一种学习不变表示的非参数策略，通过操纵支持集可以编码不同的因果假设，并在计算机视觉领域验证了三个具有挑战性的真实世界域泛化任务。

Sep, 2023

环境动力学变化下的强化模仿学习

本文介绍了一种健壮的模仿学习（IL）框架，可以提高在环境动态发生扰动时的鲁棒性。通过模拟多个不同环境的专家来增强鲁棒性，并通过利用 Jensen-Shannon 散度来最小化风险以提高算法的性能。结果表明，该算法相比于传统的 IL 方法可以显著提高在动态扰动下的鲁棒性。

Jun, 2022

处理图上的分布偏移：一个不变性的视角

本文提出了一种基于不变性学习和风险最小化的方法，实现图神经网络对于图结构数据上的越域通用性问题进行预测和预测不确定性的估计。

Feb, 2022

不变风险最小化博弈

该研究提出使用不变风险最小化方法找到多个环境之间的纳什均衡来训练模型，从而降低伪相关性对模型的影响。通过用最佳反应动态来解决这个问题，该方法使得模型在保证泛化的同时提高了训练的稳定性。该算法为博弈论机器学习算法的成功案例之一。

Feb, 2020

通过部分不变性学习最佳特征

通过学习来自多个环境的数据，提出在模型学习中，使用部分不变性（Partial Invariance）来放宽 Invariant Risk Minimization（IRM）的假设条件，从而在语言和图像数据上进行实验并得出结论。

Jan, 2023

学习不充足数据的等变性和不变性归纳偏置

论文介绍了如何用新的数据效率学习方法，利用自我监督学习与基础性优化理论，实现了从不充足的数据中学习强健的模型

Jul, 2022

过度不变性导致对抗性漏洞

深度神经网络对任务无关的改变过于敏感，对任务相关的改变过于不敏感，导致广泛的输入空间易受到对抗攻击，传统的交叉熵损失函数存在局限性，本文提出了基于信息论分析的目标函数以克服这些问题。

Nov, 2018

朝向上下文感知的领域泛化：用置换不变网络表示环境

输入 $X$ 的上下文信息可以改善深度学习模型在新领域或生产环境中的预测能力。我们提出了上下文的概念，作为一组数据点的排列不变表示，共同学习于标准监督学习目标，为未知结果提供增量信息。我们通过理论分析和实证评估证明了该方法的有效性，并对其鲁棒性进行了探究。此外，我们还展示了一种选择最具预测性和最具鲁棒性模型的方法，从而避免了预测性能和鲁棒性之间的平衡问题。

Dec, 2023