本文介绍了一种基于核化的异构风险最小化算法,实现了潜在特性探索和不变学习,并通过指定不变梯度方向向原始神经网络传递反馈。我们从理论和实践两方面证明了我们的算法的有效性。
Oct, 2021
本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题,并通过实验展示该方法在 Out-of-Distribution(OOD)泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。
Mar, 2021
我们提出了一种用于评估基于不变风险最小化方法的不变性能的新方法,并通过大量的数值研究证明了其有效性。
Apr, 2024
介绍了不变风险最小化 (IRM) 的学习模式,通过学习数据表示来估计多个训练分布之间的不变关系,从而实现在所有训练分布上匹配最优分类器,通过理论和实验表明,IRM 学习到的不变性与控制数据的因果结构相关,并能够实现分布外概括。
Jul, 2019
在机器学习中,我们常常希望训练的预测模型可以尽量地具有一致性,以在不同基础上具有良好的预测效果。然而过去的一些技术在解决该问题时会存在局限性。近期,一些学者新提出了一种基于一致性原则的新技术,即 MRI-v1,该技术在多种不同场景下表现良好。
May, 2022
探讨了在多个领域训练数据集且测试数据集未出现在训练中时深度神经网络在预测 out-of-distribution 问题的可靠性,并提出了在强 lambda 混淆的情况下,结合条件分布匹配的方法来避免特定类型的假相关问题和实验证明了该方法的有效性。
Jan, 2021
通过 ColoredMNIST 实验的扩展,我们发现不变风险最小化在不同训练环境中的表现更好,学习者能够学习尽量不受干扰的预测器,并且可扩展到文本分类领域。
Apr, 2020
基于变分贝叶斯和双层架构的不变风险最小化方法,通过使用交替方向乘子变异的优化问题求解策略,在多个数据集和多个逐次环境中表现优于先前的方法。
Oct, 2023
本文研究了 invariant risk minimization 的最新进展,并解决其训练和评估中的三个实际限制,提出了小批量训练方法、利用多样化的测试时间环境来精确特征描述 IRM 的不变性,以及基于共识约束的双层优化,这些方法证实了 revisiting IRM 训练和评估的实际意义。
Mar, 2023
发展了一种方法来获得无分布预测区域,以描述不同环境下数据的分布差异,应用于机器学习中的无变异风险最小化(IRM)模型,基于加权遵从得分构造自适应遵从区间,并证明其条件平均值在某些条件下,通过模拟实验和实际案例的应用证明方法的有效性。
May, 2023