Jun, 2023

基于置信度的模型选择：何时为子集群转移采取捷径

PDF
TL;DR本文提出 COnfidence-baSed MOdel Selection（CosMoS）方法，基于模型置信度动态选择不同强度的模型来在多数和少数子群体上实现高性能，并使用多个数据集验证其性能。
machine learning modelscorrelative shortcut featuressubpopulationcosmosmodel selection
发现论文，激发创造
  • 变化十分困难：分析亚群体转变

    通过实验测试，我们对机器学习中的次群体转变机制和算法的泛化能力进行了深入分析，并提出了一种基于最差类准确率的简单选择标准，强调了最差组准确率和其他重要指标之间的基本权衡关系。

    Feb, 2023

  • 基因型分群漂移的基线标准

    本文提出一种方法，通过控制数据次群体的训练和测试集来实现对模型对子群体变化的鲁棒性进行评估和测试，并在 ImageNet 数据集上得到了验证。

    Aug, 2020

  • 跨模态去偏倚：利用语言减轻图像中的亚种群转变

    本文通过利用多模态基础模型中的分布鲁棒性，通过参数微调来提高分布鲁棒性，并利用自然语言输入来消除图像特征中的偏见，从而在子群落变化下改善最坏情况性能。大量实证研究表明，通过自然语言进行去偏倚的图像表示能够显著提高性能，并降低在子群体变化下的性能不稳定性。

    Feb, 2024

  • 通过不确定性估计进行最佳样本选择及其在深度学习中的应用

    通过开发一个新的算法 COPS，我们提出了一个理论上最佳的解决方案，以最小化从样本数据训练的模型的预期损失。我们的方法在深度学习任务中可以有效地应用，通过使用模型的对数几率来估计采样比例，并通过低密度样本的降权方法来解决模型对错误规范的敏感性挑战。实证实验表明，COPS 相对于基线方法具有卓越的性能。

    Sep, 2023

  • 使用扩散概率模型的集合多样性减少快速选择偏差

    在这项工作中，我们提出了一种利用扩散概率模型（DPMs）来减轻简洁性偏见的集成多样化框架。我们展示了在特定训练间隔中，DPMs 能够生成具有新颖特征组合的图像，即使在训练时显示相关输入特征的图像。我们利用这一关键属性通过集成差异来生成合成的反事实情景，从而增加模型的多样性。我们展示了 DPM 引导的多样化足以去除对主要简洁性提示的依赖，而无需额外的监督信号。我们进一步通过几个多样化目标进行了实证量化，并最终展示了与依赖辅助数据收集的先前工作相当的改进的泛化和多样化性能。

    Nov, 2023

  • 检测和应对分布偏移下的伪特征

    本文主要探讨机器学习中机器如何学习到能够捕捉输入特征与输出标签之间因果关系的鲁棒性表征，以及在有偏或有限数据集上可能存在的虚假相关性。提出了一种基于最小充分统计量的鲁棒表征和虚假表征的信息理论概念，并基于分组分布式鲁棒优化方法来缓解输入分布偏移的问题，同时通过实验展示该方法在图像和语言任务中具有显著的鲁棒性优势。

    Jun, 2021

  • 分类器中的显著性预测偏差识别

    介绍了一种新颖的子集扫描方法，用于检测统计学显著的偏差或区域，以及识别分类器偏差或预测不良的特征子集，该方法使用基于子集扫描和参数引导的方法处理了指数级可能的子集。

    Nov, 2016

  • 应对流行度分布变动的稳健协同过滤

    该研究提出了一种简单而有效的消除偏见策略 PopGo，该策略通过量化和减少基于流行度表示的互动式快捷方式的程度，而无需对测试数据进行任何假设，在两个高性能的协同过滤模型（MF、LightGCN）上，PopGo 在四个基准数据集上显著超越了现有的消除偏见策略（例如 DICE、MACR）。

    Oct, 2023

  • 基于事后置信度估计的语义分割的选择性预测及其在分布偏移下的性能

    在低资源环境下，本研究通过对预训练模型应用后验置信度估计方法，旨在解决语义分割中的分布偏移问题，并通过对三个医学影像任务进行实验，证明了后验置信度估计方法降低分布偏移影响的有效性。

    Feb, 2024

  • 该模型对所有人都可靠吗？强校准测试

    通过改进的测试程序，我们引入了一种新的基于改变点检测的校准测试方法，可以有效评估风险预测模型的准确性和算法的公平性。

    Jul, 2023