Jul, 2021

在线准确性：关于样本内外泛化的强相关性

PDF
TL;DR通过对 CIFAR-10、ImageNet、FMoW-WILDS 和 iWildCam-WILDS 等模型和数据集的实证研究，我们展示了机器学习系统在未知、分布不同的环境中表现的强相关性，并提供了基于高斯数据模型的理论解释。
machine learningout-of-distribution performancecorrelationmodel architecturedata covariance
发现论文，激发创造
  • 转移学习中的越界泛化测量

    本研究探讨了如何测量和改善模型的鲁棒性，并提供了五个包括准确性、校准误差、对抗攻击、环境不变性和综合污染的数据集对深度学习网络进行了分析与比较，发现鲁棒性的提升与具体数据集相关，且关系更为复杂。

    Jul, 2022

  • 深度稳健学习 - 针对外部分布泛化

    本文主要研究基于深度神经网络的方法在训练数据与测试数据分布不一致时的性能问题，并通过学习训练样本的权重以消除特征之间的依赖关系，从而提高深度模型的性能。通过在多个分布泛化基准测试上的实验，与同类研究相比，我们的方法取得了很好的效果。

    Apr, 2021

  • 提高人脸识别模型在未知数据上的公平性分类

    通过在多个数据集的脸部图像中同时训练，我们研究了异常数据量模型的性能，观察到 Outlier Exposure 方法可以提高模型的准确性和其他度量指标，并通过引入可训练的权重参数以及重新加权不同类别标签的重要性来增强模型的表现。同时，我们还进行了实验，比较了通过图像特征和平均像素值对图像进行排序以及检测异常值的效果，并测试了数据集的逆序是否对模型的准确性产生影响，以期使模型不仅更准确，而且更公平。

    Apr, 2024

  • 机器学习中的越界泛化

    研究探讨了机器学习中的问题，特别是当模型在不同于训练数据的数据上进行测试时，模型很容易出现失败的现象，主要依靠发现数据的因果结构、找到可靠的特征并进行推广算法等方面展开探讨。

    Mar, 2021

  • 稳健性的多重面貌：对于越界泛化的关键分析

    本研究介绍了四个新的现实世界分布变化数据集，重点探讨了先前提出的改进模型鲁棒性方法，并测试了它们的有效性。我们发现使用更大的模型和人工数据增强可以提高真实世界分布变化的鲁棒性，这与之前的研究不同。我们的研究结果表明，未来的研究必须同时研究多个分布变化，因为我们证明评估的方法不能始终提高模型的鲁棒性。

    Jun, 2020

  • 数据子群体间机器学习表现非线性相关性

    研究机器学习模型在不同的数据分布下的性能表现，发现在子人群变化时，性能间的相关性呈现 “月形” 相关性，并且这种非线性相关性受到训练数据中虚假相关的影响，研究结果对机器学习的可靠性和公平性具有应用意义。

    May, 2023

  • 稳健验证：即使分布发生偏移，也能自信地做出预测

    本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

    Aug, 2020

  • 利用高相关特征进行预测

    本文旨在通过考虑在测试期间输入特征的分布发生偏移并表现出低相关性来评估现有的鲁棒特征学习方法和正则化方法的效果，比较它们与设计用于捕捉训练集中高相关特征的基线方法的差异，并在设计的 C-MNIST 数据集上进行了验证。

    Oct, 2019

  • 分布鲁棒模型的元分析

    通过 meta-analysis，我们发现具有良好 OOD 鲁棒性的最佳表现的模型都具有四个共同点，即视觉 - 语言预训练具有巨大的潜力。

    Jun, 2022

  • 马哈拉诺比斯感知训练用于外部分布检测

    在本研究中，我们提出了一种新的损失函数和网络训练方法，以提高密度感知的开放世界环境中对异常和越界样本的检测能力，并在 CIFAR-10 数据集上进行了验证，将相对马氏距离方法在远距离越界任务中的错误正例率降低了 50% 以上。

    Nov, 2023