Jul, 2022

转移学习中的越界泛化测量

PDF
TL;DR本研究探讨了如何测量和改善模型的鲁棒性，并提供了五个包括准确性、校准误差、对抗攻击、环境不变性和综合污染的数据集对深度学习网络进行了分析与比较，发现鲁棒性的提升与具体数据集相关，且关系更为复杂。
out-of-distribution generalizationrobustnesscalibration erroradversarial attacksdataset-dependent
发现论文，激发创造
  • 在线准确性：关于样本内外泛化的强相关性

    通过对 CIFAR-10、ImageNet、FMoW-WILDS 和 iWildCam-WILDS 等模型和数据集的实证研究，我们展示了机器学习系统在未知、分布不同的环境中表现的强相关性，并提供了基于高斯数据模型的理论解释。

    Jul, 2021

  • 深度稳健学习 - 针对外部分布泛化

    本文主要研究基于深度神经网络的方法在训练数据与测试数据分布不一致时的性能问题，并通过学习训练样本的权重以消除特征之间的依赖关系，从而提高深度模型的性能。通过在多个分布泛化基准测试上的实验，与同类研究相比，我们的方法取得了很好的效果。

    Apr, 2021

  • 机器学习中的越界泛化

    研究探讨了机器学习中的问题，特别是当模型在不同于训练数据的数据上进行测试时，模型很容易出现失败的现象，主要依靠发现数据的因果结构、找到可靠的特征并进行推广算法等方面展开探讨。

    Mar, 2021

  • 稳健性的多重面貌：对于越界泛化的关键分析

    本研究介绍了四个新的现实世界分布变化数据集，重点探讨了先前提出的改进模型鲁棒性方法，并测试了它们的有效性。我们发现使用更大的模型和人工数据增强可以提高真实世界分布变化的鲁棒性，这与之前的研究不同。我们的研究结果表明，未来的研究必须同时研究多个分布变化，因为我们证明评估的方法不能始终提高模型的鲁棒性。

    Jun, 2020

  • 预训练转换器提高超出分布鲁棒性

    本文通过构建具有现实分布变化的新的鲁棒性基准，系统地测量了七个 NLP 数据集的预训练 Transformers 的 OOD 泛化能力。研究结果表明，Pretrained Transformers 的性能下降显著较小，在检测异常或 OOD 示例方面更加有效，同时发现更多样化的预训练数据可以增强模型的鲁棒性。

    Apr, 2020

  • 分布鲁棒模型的元分析

    通过 meta-analysis，我们发现具有良好 OOD 鲁棒性的最佳表现的模型都具有四个共同点，即视觉 - 语言预训练具有巨大的潜力。

    Jun, 2022

  • 内外分布上的对抗鲁棒性改进可解释性

    本文提出基于 RATIO 的 Robustness via Adversarial Training on In- and Out-distribution 的训练方法，可用于提高神经网络在图像分类方面的稳健性和可靠性，同时维持更高的干净精度水平。

    Mar, 2020

  • 面向外部分布泛化：一项调查

    该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

    Aug, 2021

  • 马哈拉诺比斯感知训练用于外部分布检测

    在本研究中，我们提出了一种新的损失函数和网络训练方法，以提高密度感知的开放世界环境中对异常和越界样本的检测能力，并在 CIFAR-10 数据集上进行了验证，将相对马氏距离方法在远距离越界任务中的错误正例率降低了 50% 以上。

    Nov, 2023

  • 在不同程度的分布偏移下，鲁棒性可能比我们认为的更脆弱

    我们的研究探讨了分布偏移程度的更加微妙的评估设置，我们发现模型的稳健性在不同程度的分布偏移下可能相当脆弱和不一致，因此在从有限范围下的评估中得出结论时应更加谨慎。此外，我们观察到大规模预训练模型（如 CLIP）对于新颖下游任务的微小分布偏移也很敏感。这表明，尽管预训练表示可以帮助提高内分布性能，但在某些 OOD 场景中可能对泛化性能产生最小甚至负面影响，如果不正确使用。鉴于这些发现，我们鼓励未来的研究在可能的情况下进行更广泛范围的评估。

    Oct, 2023