机器学习模型在实际中的稳健性、评估与适应性
本文探讨了在机器学习系统被分布转移影响时,如何通过自适应风险最小化方法 (ARM) 以提高对新领域和分布的分类准确率,在多个图像分类问题中,与其他鲁棒性、不变性和适应性方法相比,ARM 方法提高了 1-4%的测试准确率。
Jul, 2020
本研究探讨了基于域一般化的经验和认证鲁棒性之间的相互影响,并发现两种鲁棒性均适用于未知的数据域。同时我们也证明,在医学应用中,对抗性增强显著提高了鲁棒性的泛化能力,对数据准确性影响不大。
Sep, 2022
本文研究了异变转移对传统机器学习模型性能的影响,通过对概率密度函数域的区域进行分类器性能评估,发现在二维分类问题中,随机森林算法表现最好,在高维实验中,模型主要受到分类函数复杂度的影响,对高密度区域呈现出高偏差的性质。
Apr, 2023
这篇论文探讨了一种特殊的数据集漂移,称为类依赖性领域漂移,提出了使用神经网络解决有信息论约束的优化问题的方法,并在玩具数据集上进行实验,证明了该方法能够学习到健壮分类器并能够推广到未知领域。
Jul, 2020
本篇论文研究机器学习模型在不同测试分布的情况下表现不佳且过度估计它们的表现的问题,并提出一种基于领域不变性预测模型的方法来更好地估计模型在转移学习领域的性能,从而实现了领域自适应和对给定模型在分布转移情况下进行准确的目标误差估计,并可以用于模型选择、决定早期停机和错误检测。
Jul, 2020
探讨了在实际应用中常见的基于配分转移的问题,提出了一种选择性增广的简单混合技术 LISA,通过学习不受限制的内部表示或预测器来学习不变的预测器,并在包括亚种人群转移和领域转移的九个基准测试中验证了 LISA 的有效性。
Jan, 2022
我们的研究探讨了分布偏移程度的更加微妙的评估设置,我们发现模型的稳健性在不同程度的分布偏移下可能相当脆弱和不一致,因此在从有限范围下的评估中得出结论时应更加谨慎。此外,我们观察到大规模预训练模型(如 CLIP)对于新颖下游任务的微小分布偏移也很敏感。这表明,尽管预训练表示可以帮助提高内分布性能,但在某些 OOD 场景中可能对泛化性能产生最小甚至负面影响,如果不正确使用。鉴于这些发现,我们鼓励未来的研究在可能的情况下进行更广泛范围的评估。
Oct, 2023
本文就自然领域转变设置中,fine-tuned model 和 few-shot learning model 的 domain robustness challenge 进行了研究,并提出 Source Drop (SD) 和 Target Drop (TD) 两种观点进行考虑。我们发现 DR challenge 在 fine-tuned model 和 few-shot learning model 中都存在,但在后者中不太显著。此外,本研究还发现增加 fine-tuned model 的大小可以提高模型的性能,特别是在分类方面。
May, 2023