SIGIRJun, 2023

Do-GOOD：针对预训练视觉文档理解模型的分布转移评估

PDF
TL;DR本研究基于文档图像相关任务，开发了一个名为 Do-GOOD 的 OOD 基准，探究现有预训练 VDU 模型对各种分布转移的鲁棒性及其脆弱性。实验结果发现，在文档图像领域，现有预训练 VDU 模型以及 OOD 泛化算法在分布转移方面表现出较大的性能差距和脆弱性。
visual document understandingpre-training techniquesdistribution shiftsood benchmarkfine-grained analysis
发现论文，激发创造
  • GOOD: 一个图形模型的模型外测试基准

    本研究旨在开发用于图形的 OOD 基准（称为 GOOD），以区分协变和概念变化并设计准确反映不同变化的数据拆分。在 10 个常用的基线方法上提供性能结果，结果表明在分布内和 OOD 设置之间存在显着性能差距，本基准将不断发展并扩大资源的数量和种类。

    Jun, 2022

  • 关于外部分布测试价值的讨论：好哈特定律的一个例证

    这篇研究论文探讨了视觉问答的 OOD 基准测试（VQA-CP）目前存在的问题，指出了现有方法的局限性以及可能带来的负面影响，并提出了一些简单的解决方案，以更准确地评估模型的泛化能力。

    May, 2020

  • 重新思考视觉问答中的评估实践：针对分布外泛化的案例研究

    研究大规模多模态数据上预训练的 Vision-and-Language (V&L) 模型在视觉问答 (VQA) 任务中存在代表训练数据的样本分布偏移所造成的 OOD 性能问题，而模型学习的是解决基准测试而不是高层次的技能。本文通过考虑在不同设置下 (如分类和开放性文本生成) 两种预训练的 V&L 模型性能的全面评估，证明生成模型在大多数情况下对数据分布变化不太敏感，并在测试基准中表现更好。另外，我们发现多模态预训练可以提高大多数设置下的 OOD 性能。最后，本文重新审视了自动 VQA 评估度量的假设，并从经验上证明它们的严格性会反复惩罚模型的正确响应。

    May, 2022

  • 关于外分布泛化评估的调研

    机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

    Mar, 2024

  • GOOD-D: 无监督图形外分布检测

    本研究旨在通过无监督学习的方式，利用图像对 OOD 图像进行检测，提出了一种基于对比学习的 GOOD-D 图像对比学习框架，并使用基于层级对比学习的方法捕捉潜在的 ID 模式，能够在不使用任何 ground truth 标签的情况下准确检测 OOD graphs，并建立了一个综合基准来比较我们的提出的方法和不同的最先进的方法，实验结果证明了我们方法的卓越性。

    Nov, 2022

  • 在不同程度的分布偏移下，鲁棒性可能比我们认为的更脆弱

    我们的研究探讨了分布偏移程度的更加微妙的评估设置，我们发现模型的稳健性在不同程度的分布偏移下可能相当脆弱和不一致，因此在从有限范围下的评估中得出结论时应更加谨慎。此外，我们观察到大规模预训练模型（如 CLIP）对于新颖下游任务的微小分布偏移也很敏感。这表明，尽管预训练表示可以帮助提高内分布性能，但在某些 OOD 场景中可能对泛化性能产生最小甚至负面影响，如果不正确使用。鉴于这些发现，我们鼓励未来的研究在可能的情况下进行更广泛范围的评估。

    Oct, 2023

  • 分布鲁棒模型的元分析

    通过 meta-analysis，我们发现具有良好 OOD 鲁棒性的最佳表现的模型都具有四个共同点，即视觉 - 语言预训练具有巨大的潜力。

    Jun, 2022

  • 分布变化下基于开放词汇的基础对象检测鲁棒性研究

    该研究提供了对三种最新的开放词汇基础目标检测模型（OWL-ViT、YOLO World 和 Grounding DINO）的零样本能力的全面鲁棒性比较，通过在包含分布转移的 COCO-O 和 COCO-C 基准上进行实验揭示了模型鲁棒性的挑战。

    Apr, 2024

  • OoD-Bench: 量化和理解外分布泛化的两个维度

    通过对分布偏移数据的分类和对其相关算法的大量实验比较，对已有数据集和算法进行了分类整合，为未来的迁移学习和数据偏移研究提供了参考。

    Jun, 2021

  • 自然语言处理中的分布外鲁棒性再探：基准、分析和 LLMs 评估

    本文重新审视了自然语言处理领域中关于评估 out-of-distribution 鲁棒性的相关研究，并提出了一个基准套件（BOSS），通过其中包含的 5 项任务和 20 个数据集来评估 pre-trained large language models 和 5 种经典方法在分布转移时的性能，结果发现在 ID 示例中，微调特定领域模型的性能明显优于 LLMs，在 OOD 示例中，优先考虑具有上下文学习的 LLMs 结果更好，但大规模的微调和大型 LLMs 都面临着有效解决下游任务的挑战。

    Jun, 2023