Jan, 2022

学习域不变表示特征的条件熵最小化原则

PDF
TL;DR提出了一种基于条件熵最小化原则的框架，用于过滤混入小说不变特征的不变特征，以增强新算法的泛化能力。
invariance-principle-based methodsinvariant risk minimizationdomain generalizationspurious invariant featuresconditional entropy minimization
发现论文，激发创造
  • 不变信息瓶颈用于域泛化

    本文提出了一种新的不变信息瓶颈（IIB）的域泛化方法，它采用互信息的变分形式来为非线性分类器开发可处理的损失函数，以实现最小化不变风险和减轻伪不变特征和几何偏移对模型的影响。在合成数据集上，IIB 可以显著优于 IRM（不变风险最小化），并且在实际数据集上平均优于 13 个基线方法 0.9％。

    Jun, 2021

  • 不变风险最小化

    介绍了不变风险最小化 (IRM) 的学习模式，通过学习数据表示来估计多个训练分布之间的不变关系，从而实现在所有训练分布上匹配最优分类器，通过理论和实验表明，IRM 学习到的不变性与控制数据的因果结构相关，并能够实现分布外概括。

    Jul, 2019

  • 通过部分不变性学习最佳特征

    通过学习来自多个环境的数据，提出在模型学习中，使用部分不变性（Partial Invariance）来放宽 Invariant Risk Minimization（IRM）的假设条件，从而在语言和图像数据上进行实验并得出结论。

    Jan, 2023

  • 持续不变风险最小化

    基于变分贝叶斯和双层架构的不变风险最小化方法，通过使用交替方向乘子变异的优化问题求解策略，在多个数据集和多个逐次环境中表现优于先前的方法。

    Oct, 2023

  • 领域无关条件不变预测

    通过基于判别风险最小化理论和算法的不变特征捕获来解决领域泛化中没有领域标签的挑战，通过测试真实数据集验证了该方法的有效性。

    Jun, 2024

  • 不变风险最小化的一致性推断

    发展了一种方法来获得无分布预测区域，以描述不同环境下数据的分布差异，应用于机器学习中的无变异风险最小化（IRM）模型，基于加权遵从得分构造自适应遵从区间，并证明其条件平均值在某些条件下，通过模拟实验和实际案例的应用证明方法的有效性。

    May, 2023

  • 不变风险最小化的风险

    在此篇文章中，我们首次针对分类下不变风险最小化 (IRM) 目标以及其最近提出的替代方案，采用自然且广泛的模型进行分析。我们发现在线性情况下，存在简单的条件使最优解成功或更常见的是失败，以至于无法恢复最优的不变预测器。此外，我们还展示了非线性部分的首批结果：除非测试数据与训练分布足够相似，否则 IRM 可能会失败，而这正是它要解决的问题。因此，在这种情况下，我们发现 IRM 及其替代方案从根本上没有改进标准经验风险最小化。

    Oct, 2020

  • 发现缺失的不变原则 —— 不变风险最小化的互逆孪生

    在机器学习中，我们常常希望训练的预测模型可以尽量地具有一致性，以在不同基础上具有良好的预测效果。然而过去的一些技术在解决该问题时会存在局限性。近期，一些学者新提出了一种基于一致性原则的新技术，即 MRI-v1，该技术在多种不同场景下表现良好。

    May, 2022

  • 透过校准视角，走向理解不变风险最小化的变体

    使用期望校准误差（ECE）作为关键指标，比较分析具有分布偏移的数据集的各种近似 IRM 技术，发现信息瓶颈基于 IRM 的方法在提升 ECE 的同时相对保持准确性的平衡，为保持稳健性不牺牲准确性提供了可行的途径，且提示需要系统方法评估超规范化对准确性的影响，以此解决准确性与校准之间微妙相互作用的问题。

    Jan, 2024

  • 不变的语言建模

    提出一种使用不变量风险最小化 (invariant risk minimization) 范式，学习不变表示以实现跨多个环境更好的泛化的方法。实验证明它可以减少有结构的噪声、忽略特定的伪相关性并提高域外泛化性能。

    Oct, 2021