- 重新审视领域通用性中的伪相关
建立结构因果模型以避免机器学习模型学习到的伪相关性,对应用场景选择正确的伪相关性机制,通过引入倾向性评分加权估计器控制混杂偏差,有效地进行欠分布外泛化。
- 复杂性的重要性:在伪相关存在的情况下的特征学习动态
我们提出了一个理论框架和相关的合成数据集,以布尔函数分析为基础,允许对虚假特征相对复杂性和与标签相关性的相对强度进行细粒度控制,以研究虚假相关下特征学习的动态。我们的设置揭示了几个有趣的现象:(1)更强的虚假相关或更简单的虚假特征会减缓核心 - 分解与组合:缓解假相关性的一种组合方法
通过将图像的组成元素进行组合,基于经验风险最小化 (Empirical Risk Minimization, ERM) 的训练方法在处理分布偏移时提高了模型的鲁棒性,解决了图像分类中的接近问题和图像成分之间的虚假相关性,提出了一种新的组平衡 - 指导调整的统一因果观
通过引入多个潜在因素,本研究提出了一种结构因果模型 (meta-SCM),以整合不同的 NLP 任务,并只使用与特定任务相关的因果因素来进行预测,从而在提高零样本能力的同时避免了伪相关性的影响。
- 减少数据伪影的自适应上采样算法
通过分析 SNLI 数据集中的虚假关联并提出一种自适应上采样算法,在不需要人工编辑或注释的情况下纠正数据生成的错误,从而显著提高了模型在 SNLI 数据集上的性能。
- ICCV基于损失重采样的无标注群组鲁棒性
训练神经网络的新方法通过估计数据分组,有效解决了图像分类中因冗余属性导致的预测问题,在缺少冗余属性标注的情况下以非常快速且直接的方式提供了群体稳健性。
- 基于 Transformer 的无源领域自适应中非因果因素的对齐
我们提出了一种 Causality-enforcing Source-Free Transformer (C-SFTrans) 框架,通过对非因果因子进行对齐以实现因果因子对齐,我们发现视觉 transformers (ViTs) 在隐私保 - 因果 ATE 减轻有控制的文本生成中的无意偏差
通过因果平均处理效应(因果 ATE)方法,研究语言模型中的属性控制。除去数据集中属性的虚假相关性,该方法减少了模型在推理过程中因对虚假相关变量的干扰而产生属性幻觉,并在分类任务中降低了误判的数量,从而解决了去毒化后对特定群体出现的无意识偏见 - 让 UDA 中的 U 有意义:无监督领域自适应的不变一致性学习
通过提出不变的一致性学习 (ICON) 方法,本研究在领域自适应和无监督领域适应方面取得了最先进的性能,并在具有挑战性的 WILDS 2.0 基准测试上优于传统方法。
- 应对子群体稀缺的分布自适应优化与不变表示学习:机制与局限
通过全面的评估研究,我们首先展示了在医学图像分类中,当偏见不是性能不佳的唯一原因时,对于表现不佳样本的泛化再加权可能存在问题,同时也表明了朴素的不变表示学习在自身存在虚假相关性时也存在问题。然后,我们提出了一种新的方法,利用鲁棒优化来促进在 - 当多得更少:引入额外数据集可能会通过引入虚假关联降低性能
在大规模实证研究中,结合四个不同的开源胸部 X 光数据集和九个不同标签的组合的情况下,通过数据来自两家医院进行训练的模型在两个医院的最差组精度方面甚至比仅使用单家医院的数据进行训练的模型更差。这种出人意料的结果是由于医院特定的图像伪相关性造 - 看到并不意味着信仰:针对虚假相关性的强化学习
本研究考虑了强化学习中因未观测潜在因素引起的虚假相关性所导致的稳健性问题,提出了集成马尔可夫决策过程和状态混淆技术的算法 RSC-MDPs,并在真实的自动驾驶和操作环境中验证了其卓越性能。
- 文本分类中误关联的理解和减缓
本文提出一种邻近分析框架,防止深度学习模型在训练集中利用虚假的相关性,通过 NFL 正则化方法来改进鲁棒性,并在两个文本分类任务中进行实验验证,达到了显著的效果提升。
- 透过虚假相关性的镜头缓解后门污染攻击
该论文研究了当现代自然语言处理模型使用大量不受信任的数据集进行训练时,如何减少后门毒化攻击,提出了利用防止虚假相关的方法进行防范,在与现有防御方法进行比较时,该方法能够显著减少后门攻击的成功率,并且在插入攻击的情况下,提供了近乎完美的防御。
- ACLMGR:基于多发生器的合理化
本文提出了一种新的名为 MGR 的方法来解决文本生成中的两个关键问题 —— 虚假相关性和退化,并通过实验证明,该方法在 F1 分数上超过了现有的最佳方法约 20.9%。
- 基于因果干预的少样本命名实体识别
本文提出一种基于因果干预的少样本 NER 方法,通过背门调整和增量学习干预原型,避免了少样本选择偏差所带来的虚假相关性问题,并在不同基准测试中取得了新的最佳表现。
- 应用变分信息瓶颈和对比学习减少情感分析中的伪相关性
本文提出了一个名为 CVIB 的新型对比变分信息瓶颈框架,用于减少深度模型在输入特征和输出标签之间的虚假关联问题,并通过在原始网络和自剪枝网络之间使用对比学习来同时优化这两个网络。实验表明,该方法在整体预测性能、鲁棒性和泛化性等方面均优于强 - 通过公平干预与校正抽样打破条件生成的错误因果关系
为了解决生成模型中嵌入的虚假因果关系,本研究提出了一种基于两步策略的公平干预方法和校正采样方法,能够成功地解决各种数据集上生成样本中的虚假相关性问题。
- 有条件的文本生成中的奖励游戏
通过使用强化学习和人工注释的奖励函数训练条件文本生成模型,我们发现在学习奖励函数过程中会因为引入的噪声或自然产生的假相关性以及协变量偏移等原因导致错误行为被高估,我们探讨了如何避免自然语言生成领域中的奖励欺骗问题和未来的研究方向。
- 重要性调节:过参数模型的群体鲁棒性
本文探讨了过度参数化模型的精度问题,提出了一种名为 “importance tempering” 的方法来解决分布偏移问题,并在实验中取得了最佳状态分类任务的最佳结果。