ZIN: 如何在不进行环境分区的情况下学习不变性?
通过环境增强不可能学习到图中的不变表示,所以提出了一种基于可行假设的不变图学习框架 GALA,利用助手模型来识别不变子图从而成功实现 OOD 泛化。
Oct, 2023
在多个训练环境中给出数据的情况下,如何在未知环境中进行预测是一项具有挑战性的任务。我们从不变性的角度来解决这个问题,着重研究二元分类以揭示一般非线性的数据生成机制。我们发现了一种仅存在于二元情况下的独特不变性形式,使我们能够训练在不同环境中都保持不变的模型。我们提供了这种不变性的充分条件,并证明在环境条件变化很大的情况下它是稳健的。我们的建模方法允许有因果解释,使我们能够将其与各种框架进行比较。最后,我们提出了一种基于启发式的预测方法,并使用真实和合成数据集进行了实验。
Apr, 2024
该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法,其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明,建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低,从而在保持测试误差不变的情况下提高统计效率。此外,研究表明,数据增广与无结构核估计等价于一个不变性核估计,具有相同的统计效率。
Feb, 2021
通过学习来自多个环境的数据,提出在模型学习中,使用部分不变性(Partial Invariance)来放宽 Invariant Risk Minimization(IRM)的假设条件,从而在语言和图像数据上进行实验并得出结论。
Jan, 2023
本文提出了一种基于稀疏机制变化假设的在线学习算法,以实现模型的公平性,并引入长期公平约束的惩罚来评估生成的模型参数序列。在真实世界数据集上的实证评估证明了该方法在模型准确性和公平性方面的先进性。
May, 2023
通过数据驱动的方法,在结构因果模型框架下,提出了一种名为 Focused Adversarial Invariance Regularization (FAIR) 的新框架,用于解决多样环境下的不变性追求问题,并应用 FAIR-NN 估计器实现普适的非参数不变性学习。
May, 2024
该论文提出了一种新的无监督不变感知诱导框架,该框架通过竞争式训练和分解重构任务学习数据的分离表示,以抵抗干扰因素,并且无需任何标签的信息或领域知识。该无监督模型可以有效地使用合成数据增强来学习不变性和领域适应,并在诸如二元 / 多类别分类或回归等任何预测任务中应用。
Sep, 2018