通过逻辑斯蒂回归校正避免伪相关性

Dec, 2022

通过逻辑斯蒂回归校正避免伪相关性

Avoiding spurious correlations via logit correction

Sheng Liu, Xu Zhang, Nitesh Sekhar, Yue Wu, Prateek Singhal...

TL;DR本文提出了一种简单而有效的方法 —— 修正逻辑损失，旨在解决当大多数训练数据中存在潜在的虚假相关性时，基于经验风险最小化 (ERM) 训练的机器学习模型在推理时出现性能下降的问题，将最小化修正逻辑损失等同于最大化组平衡准确性，可以缓解虚假相关性的负面影响。实验证明，该方法在多个基准测试平台上的表现优异，平均提高了 5.5％的绝对精度，无需访问虚假属性标签。

Abstract

Empirical studies suggest that machine learning models trained with empirical risk minimization (ERM) often rely on attributes that may be spuriously correlated with the class labels. Such models typically lead to poor performance during inference for data lacking such correlations. In

machine learning empirical risk minimization logit correction loss spurious correlations group-balanced accuracy

发现论文，激发创造

无任何群组信息的群组鲁棒分类

这项研究提出了一个修订的方法来在完全无偏见的情况下进行训练和验证无偏见模型，通过采用预训练的自监督模型可靠地提取偏见信息，并与我们的验证准则结合使用逻辑调整训练损失函数。我们的实证分析证明了我们的方法克服了所发现的挑战，始终提高了鲁棒准确性，达到与或优于依赖偏见标签进行验证的最先进方法的性能。

Oct, 2023

通过逻辑调整实现长尾学习

本文介绍了两种简单的技术对抗现实场景中数据标签分布的不平衡性，包括采用标签频率进行 logistic 校准以及在训练过程中强制实施其中之一或两种技术能够鼓励罕见标签与支配标签之间拥有一个相对较大的罕见标签较大的标签在一些学习情况中具有更好的表现。

Jul, 2020

稳健对数损失分类的公平性

采用最坏情况下的对数损失最小化方法将公平性标准纳入分布鲁棒性的第一原则，并基于此原则推导出一种新的分类器，该方法具有凸性和渐近收敛性，并在三个基准公平数据集上展示了其实践优势。

Mar, 2019

提升虚假相关下的群体鲁棒性需要更精准的群体推理

通过准确推断群体标签，以改善最差群体性能，我们提出了一种新方法 GIC，它通过基于两个关键属性的虚假相关性对其进行分类器训练，多个数据集上的实证研究证明了 GIC 推断群体标签的有效性，并将其与多种下游不变性学习方法结合，提高了最差群体准确性，展示了其强大的灵活性。此外，通过分析 GIC 中的误分类，我们还发现了称为语义一致性的有趣现象，可能有助于解耦虚假属性与标签之间的关联，从而减轻虚假相关性。

Apr, 2024

不平衡学习中加权重和对数调整的统一概化分析

通过对失衡学习的概括分析和数据依赖性收缩等技术，建立了一个精细的不平衡学习泛化界限，进一步揭示了重新加权和逻辑调整的原理，并开发了一个基于理论洞察的原则学习算法。

Oct, 2023

Correct-N-Contrast: 一种用于提高对伪相关性的鲁棒性的对比方法

提出了一种无需训练预料特征标签的对抗学习方法 Contrast-Correction (CNC)，用于改善机器学习中因虚假相关性而导致的误差，通过新引入的表示对齐损失和最差组误差之间的对应关系，CNC 在有些基准数据集上表现优于其他方法。

Mar, 2022

标签分布偏斜下的逻辑回归校准联邦学习

本文研究联邦学习中的标签分布偏斜问题，通过引入 FedLC 方法实现了基于标签分布偏差较小的联邦优化，实验证明该方法可以提高全局模型的准确性和性能。

Sep, 2022

ProSelfLC: 用于培训强健深度神经网络的渐进式自标签修正

该论文探讨了多种训练深度神经网络的方法，提出了一种新的端到端方法 ProSelfLC，通过增加对在训练充分时间后，且预测的熵值较低（高置信度）的标签分布的信任度来解决自我学习 (LC) 中学习者的信任度问题，同时证明重新定义有意义的低熵状态并向其优化是更好的策略，实验结果表明 ProSelfLC 在干净和噪声环境下都具有较好的效果。

May, 2020

可信度排序的学习

通过采用基于边界的损失，研究者展示了上下文编码策略的改进方式，在一系列共享的自然语言理解任务中取得了更好的表现。

Jun, 2019

ZLPR：一种多标签分类的新型损失函数

本文提出了一种基于 zero-bounded log-sum-exp 和 pairwise rank-based 的 loss function -- ZLPR，能够处理目标标签数量不确定，同时考虑标签之间的相关性，使其具有与二进制关联（BR）和标签功率集（LP）相等的能力，并且可以具有与 BR 方法相同的计算复杂性和更综合的能力，我们的试验结果显示，ZLPR 在多个基准数据集和多个评价指标上都具有优良的效果，并且我们提出了软版本和相应的 KL-divergency 计算方法的 ZLPR，使得可以应用一些正则化技巧来增强模型的泛化性能。

Aug, 2022