- 应用信息瓶颈解决任务导向通信中的分布偏移问题
在这篇论文中,我们提出了一种基于信息瓶颈原理和不变风险最小化框架的新方法,旨在提取紧凑且信息丰富的特征,以具备对领域转移和语义转移具有强大泛化能力的同时,在传输过程中保持紧凑性。我们在图像分类任务上的大量模拟结果表明,该方案优于当前的最先进 - 不变风险最小化是总变差模型
基于总变差和 L2 范数的不变风险最小化方法被验证为一种数学本质,同时基于 TV-l1 模型的 IRM 框架在去噪和不变特征保留方面具有鲁棒性,并满足一些要求以实现超出分布的泛化能力。实验证明,该框架在多个基准机器学习场景中取得了竞争性能。
- 不变表示的鲁棒评估
我们提出了一种用于评估基于不变风险最小化方法的不变性能的新方法,并通过大量的数值研究证明了其有效性。
- 透过校准视角,走向理解不变风险最小化的变体
使用期望校准误差(ECE)作为关键指标,比较分析具有分布偏移的数据集的各种近似 IRM 技术,发现信息瓶颈基于 IRM 的方法在提升 ECE 的同时相对保持准确性的平衡,为保持稳健性不牺牲准确性提供了可行的途径,且提示需要系统方法评估超规范 - ICLR持续不变风险最小化
基于变分贝叶斯和双层架构的不变风险最小化方法,通过使用交替方向乘子变异的优化问题求解策略,在多个数据集和多个逐次环境中表现优于先前的方法。
- 不变风险最小化的无分布优化性
深度神经网络存在与训练数据中嵌入的虚假相关性,无法泛化到不同分布的未见域,M. Arjovsky 等人引入了域外风险的概念,并将由虚假相关性引起的问题形式化为域外风险的最小化问题。本文旨在为不变风险最小化提供理论上的验证,证明了双层优化问题 - 通过因果表示进行可重构智能表面联合学习游戏
本论文提出了一种基于因果关系学习和不变风险最小化的 Reconfigurable Intelligent Surface 相移配置方法,通过多个神经网络模型在不同环境下预测最佳相位值并实现了 15% 的预测精度提升。
- CVPR重新思考面部防欺诈领域通用性问题:可分性和对齐
本文研究人脸反欺诈(FAS)模型在领域差异上的泛化问题,提出可使不同领域的实况到欺诈的过渡轨迹相同而达到域可分性和域不变分类器的 FAS 策略,即 SA-FAS,并在跨领域 FAS 数据集上展示其卓越性能。
- ICLRIRM 训练和评估中缺少什么?挑战与解决方案
本文研究了 invariant risk minimization 的最新进展,并解决其训练和评估中的三个实际限制,提出了小批量训练方法、利用多样化的测试时间环境来精确特征描述 IRM 的不变性,以及基于共识约束的双层优化,这些方法证实了 - AAAI通过部分不变性学习最佳特征
通过学习来自多个环境的数据,提出在模型学习中,使用部分不变性(Partial Invariance)来放宽 Invariant Risk Minimization(IRM)的假设条件,从而在语言和图像数据上进行实验并得出结论。
- 模型无关样本重新加权用于数据集外学习
提出一种方法(MAPLE),通过样本重新加权,处理机器学习模型的过度拟合问题,特别针对过度参数化的情况,从而有效提高模型的超出分布的泛化能力。
- AAAI关于不变性学习和对抗训练与超出分布泛化的联系
本文探究一种基于对抗训练的深度学习模型方法,称为 Domainwise Adversarial Training (DAT),来解决深度学习模型在广义分布中失败的问题,该方法借鉴了 Invariant Risk Minimization ( - 联合协变量对齐和概念对齐:一种领域泛化框架
本文提出了一种新颖的领域泛化(DG)框架,该框架基于一种新的风险上限,旨在联合最小化在已见域之间的协变量转移和概念转移,以在未见域上获得更好的性能。在本文中,我们使用了分布对齐的常用方法,即最大均值差异(MMD)和协方差对齐(CORAL), - 发现缺失的不变原则 —— 不变风险最小化的互逆孪生
在机器学习中,我们常常希望训练的预测模型可以尽量地具有一致性,以在不同基础上具有良好的预测效果。然而过去的一些技术在解决该问题时会存在局限性。近期,一些学者新提出了一种基于一致性原则的新技术,即 MRI-v1,该技术在多种不同场景下表现良好 - ACL标签级别下时序概念漂移下的改进多标记分类:重新思考标签组鲁棒性算法
本文探讨了针对文档分类中的数据不均衡和概念漂移问题,通过运用不同的优化算法进行处理,发现基于不变风险最小化和谱解耦算法优于现有基于采样的方法,尤其在少数类的情况下表现更加优越。
- 基于局部不变学习的本地不变解释:实现稳定单向解释
提出了一种基于不变风险最小化 (IRM) 原则的模型无关局部解释方法,该方法能够稳定、直观地生成高保真度解释,该方法通过消除黑盒函数梯度在附近范围内突然变化的特征,实现了与实际邻居方法相当甚至更好的解释质量,同时没有必要花费过多时间来学习邻 - 学习域不变表示特征的条件熵最小化原则
提出了一种基于条件熵最小化原则的框架,用于过滤混入小说不变特征的不变特征,以增强新算法的泛化能力。
- EMNLP不变的语言建模
提出一种使用不变量风险最小化 (invariant risk minimization) 范式,学习不变表示以实现跨多个环境更好的泛化的方法。实验证明它可以减少有结构的噪声、忽略特定的伪相关性并提高域外泛化性能。
- 迭代特征匹配:通过对数环境实现可证明的领域泛化
本文研究了如何在有限数量的训练环境中,针对来自未知测试环境的数据进行域推广,并提出了一种迭代特征匹配算法,保证在看到只有 O (log (d_s)) 个环境之后,产生一个具有泛化性能的预测器。
- AAAI不变信息瓶颈用于域泛化
本文提出了一种新的不变信息瓶颈(IIB)的域泛化方法,它采用互信息的变分形式来为非线性分类器开发可处理的损失函数,以实现最小化不变风险和减轻伪不变特征和几何偏移对模型的影响。在合成数据集上,IIB 可以显著优于 IRM(不变风险最小化),并