评估文档图像分类器的越界性能

Oct, 2022

Evaluating Out-of-Distribution Performance on Document Image Classifiers

Stefan Larson, Gordon Lim, Yutong Ai, David Kuang, Kevin Leach

TL;DR本文提出了一个新的文档分类器 “out-of-distribution” 测试基准，名为 RVL-CDIP，目的是测试分类器在不同分布的输入上的健壮部署和泛化性能。该基准包括两种类型的文档：不属于任何 16 个领域的 RVL-CDIP-O 类别的文档和来自于与原始数据集不同的分布的 16 个领域内的 RVL-CDIP-N 类别的文档。通过评估，发现模型对于新的 out-of-domain RVL-CDIP-N 测试基准的准确率下降了约 15-30％，而且还很难区分领域内 RVL-CDIP-N 和领域外 RVL-CDIP-O 输入。

Abstract

The ability of a document classifier to handle inputs that are drawn from a distribution different from the training distribution is crucial for robust deployment and generalizability. The rvl-cdip corpus is the

document classifier out-of-distribution benchmark rvl-cdip performance

发现论文，激发创造

使用 RVL-CDIP 评估文档分类

揭示了 RVL-CDIP 标准存在标签误差、多标签问题、测试和训练数据重复、存在敏感信息等问题，并建议建立一个新的文件分类基准。

Jun, 2023

基于框架的分类外分布检测基准及其在 ImageNet 上的应用

本文提出了一种用于评估图像分类器检测类别 - 分布外实例能力的新框架，并将该技术应用于 ImageNet 数据集，分析结果揭示了多个新观察，包括知识蒸馏能够一致提高分布外实例检测性能，ViTs 的子集比任何其他模型都能更好地检测出分布外实例等。

Feb, 2023

在线准确性：关于样本内外泛化的强相关性

通过对 CIFAR-10、ImageNet、FMoW-WILDS 和 iWildCam-WILDS 等模型和数据集的实证研究，我们展示了机器学习系统在未知、分布不同的环境中表现的强相关性，并提供了基于高斯数据模型的理论解释。

Jul, 2021

GVdoc：基于图形的视觉文档分类

GVdoc 是一种基于图的文件分类模型，通过生成文档图并使用图神经网络学习节点和图嵌入，在保持良好性能的同时，比同类模型更好地解决了处理识别图形文档的挑战，能够在识别数据稀疏的情况下表现出色。

May, 2023

基于置信度的越界检测：一项比较研究与分析

通过对比研究和深度分析来评估各种最先进的方法对基于置信度的 OOD 检测的能力，并采用计算机视觉基准来复现和比较多种 OOD 检测方法。评估了它们在使用胸部 X 线进行疾病分类这一具有挑战性任务中的能力，结果表明在计算机视觉任务中高性能不直接转化为医学成像任务中的准确性，因此为开发下一代 OOD 检测方法提供了有用的见解。

Jul, 2021

朝着外部分布检测的现实基准

深度神经网络在各种技术和服务中得到越来越广泛的应用，但其容易受到来自训练集不同分布的样本的干扰，而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准，根据与训练集的语义相似性，将个别类别分为内部分布和外部分布，通过不同的技术确定哪些类别应被视为内部分布，得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明，它们的有效性取决于所选择的评估标准，而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。

Apr, 2024

文本分类任务中传统的外部分布检测方法的基准测试

本文着重介绍了现有方法在处理 NLP 中 OOD 检测时的局限性，对八种常见的 OOD 检测方法进行了评估并分析了其存在的问题，发现现有方法对于各类型分布偏移的检测敏感性不够，在领域内文本中存在令人困惑的测试场景，而需要开发更有效的 OOD 检测方法，本文为未来的研究提供了一个良好的、定义明确的基础。

Jul, 2023

自然语言处理中的分布外鲁棒性再探：基准、分析和 LLMs 评估

本文重新审视了自然语言处理领域中关于评估 out-of-distribution 鲁棒性的相关研究，并提出了一个基准套件（BOSS），通过其中包含的 5 项任务和 20 个数据集来评估 pre-trained large language models 和 5 种经典方法在分布转移时的性能，结果发现在 ID 示例中，微调特定领域模型的性能明显优于 LLMs，在 OOD 示例中，优先考虑具有上下文学习的 LLMs 结果更好，但大规模的微调和大型 LLMs 都面临着有效解决下游任务的挑战。

Jun, 2023

OOD-CV-v2：自然图像中个体模糊的各类变化鲁棒性的扩展基准

我们引入了 OOD-CV-v2 数据集，其中包括了 10 个物体类别的姿态、形状、纹理、上下文和天气条件之外的分布数据，以提高图像分类、物体检测和 3D 姿态估计模型的鲁棒性性能。经过大量的实验，我们发现当前的提高鲁棒性方法只有微小的作用，并且可能会降低鲁棒性；同时，在卷积和 transformer 架构之间没有明显的差异。

Apr, 2023

分布鲁棒模型的元分析

通过 meta-analysis，我们发现具有良好 OOD 鲁棒性的最佳表现的模型都具有四个共同点，即视觉 - 语言预训练具有巨大的潜力。

Jun, 2022