- ECCV利用神经特征获得增强的组鲁棒性
本文提出了一种基于 Gram 矩阵的特征提取模型对训练数据集进行分组的方法,通过伪分组采用鲁棒优化策略来提高模型的容错性能,在没有真实分组标签的情况下证明其在提高模型鲁棒性方面的优越性,并优于最近的所有基线模型。
- ICML循环环境推理用于不变性学习
本文研究了在环境标签未知的情况下的不变学习问题。我们提出了一种迭代的环境推断方法,结合环境内部的条件概率分布不变性,提高模型对冗余相关性的理解,从而实现更好的不变学习和环境推断表现。在合成和真实数据集上,实验证明了该方法的优越性。
- 少学习捷径:分析和减轻虚假特征 - 标签相关性的学习
本文研究深度神经网络中数据集偏差对任务的影响。通过具体分析特征和标签之间的虚假相关性的来源,本文提出了一种训练策略,即通过量化偏置的程度来调整偏置示例的权重,以减少模型过度依赖数据集偏差的情况,并在 QM 和 NLI 任务上得到了表现的提高 - 通过正则化虚假相关性来改进多任务泛化能力
提出了多任务因果表示学习框架,通过解缠神经模块,学习每个任务的因果关系,从而解决多任务学习中非因果知识的问题,并在 Multi-MNIST、MovieLens、Taskonomy、CityScape 和 NYUv2 数据集上验证了其性能优于 - Correct-N-Contrast: 一种用于提高对伪相关性的鲁棒性的对比方法
提出了一种无需训练预料特征标签的对抗学习方法 Contrast-Correction (CNC),用于改善机器学习中因虚假相关性而导致的误差,通过新引入的表示对齐损失和最差组误差之间的对应关系,CNC 在有些基准数据集上表现优于其他方法。
- 关于伪相关对于未知类别检测的影响
研究表明,在训练集中,假设特征和标签之间的虚假相关性增强,检测模型对于发现野外数据的能力会大幅降低。通过引入 “不变” 的特征来新定义和建模数据转移,提出了新的数据转移形式,并在此基础上深入探究了虚假相关在识别过程中的影响,同时提出了一种降 - ICML子网络结构是否是超出分布泛化的关键?
本文研究了深度模型在无法识别的数据集上的偏见及其缓解策略,提出了一种名为 Modular Risk Minimization 的算法,通过学习子网络结构来提高模型对未知数据的泛化性能。
- 对抗干扰因素的反事实不变性:如何通过压力测试
本文通过对原因推断的工具进行研究,介绍了反事实不变性作为对无关输入部分进行更改时不应改变模型预测的要求的一个形式化。同时,提供了学习(近似)反事实不变预测器的实用方案,并对文本分类进行了实证研究。
- 基于不变风险最小化的区外预测:局限性及有效解决方案
探讨了在多个领域训练数据集且测试数据集未出现在训练中时深度神经网络在预测 out-of-distribution 问题的可靠性,并提出了在强 lambda 混淆的情况下,结合条件分布匹配的方法来避免特定类型的假相关问题和实验证明了该方法的有 - 了解超出分布广义化的失效模式
研究机器学习模型可能与标签具有虚假关联的导致测试准确度不高的基本因素,并通过理论研究和实验构建证明,认为数据中虚假相关性引起的几何偏差和统计偏差是两种互补且相对的失败模式。
- 从有偏分类器训练去偏分类器:从失败中学习
本文利用人类的知识针对神经网络的偏见问题提出了一个基于失败的去偏见训练方法,该方法通过训练两个神经网络同时进行,其思想是:(a) 通过反复放大偏见意图意图有意地训练第一个网络,(b) 重点关注具有对该偏差反对意见的样本以去偏见训练第二个网络 - 选择数据增强以模拟干预措施
本文从因果研究的角度出发,探讨了领域内数据缺失的问题,并提出用数据扩增方法进行干预,以此来解决数据的缺失问题。同时,本文通过理论和实证分析发现,相比其他数据扩增方法,干预模型的数据扩增方法能够更有效地提高模型的泛化性能。
- 利用重配交叉验证进行超高维回归的方差估计
通过数据拆分技术构建的二阶段修复过程可以减弱高虚假相关性的无关变量的影响,进而实现准确的方差估计和变量选择。