Dec, 2023

Wild-Tab：表格回归的超出分布泛化性能基准

PDF
TL;DR通过 Wild-Tab，一个面向表格回归任务的大规模基准测试集，我们在实际环境中评估了 10 种不同的 out-of-distribution generalization 方法，发现 Empirical Risk Minimization 在所有评估中都表现出强大的鲁棒性，与最先进的方法不相上下，这有望促进对 out-of-distribution generalization 的更多研究并有助于在各种实际场景中部署机器学习模型。
发现论文，激发创造
  • WOODS: 时间序列中的超领域通用基准

    本研究发现，虽然静态计算机视觉任务的 OOD 泛化已被广泛研究，但时间序列任务的 OOD 泛化未被充分探索，作者提出了 WOODS, 包含 8 个挑战性的时间序列基准测试，结果表明在这些数据集上的经验风险最小化和 OOD 泛化算法有很大的改进空间。

    Mar, 2022

  • 关于外分布泛化评估的调研

    机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

    Mar, 2024

  • 关于外部分布测试价值的讨论：好哈特定律的一个例证

    这篇研究论文探讨了视觉问答的 OOD 基准测试（VQA-CP）目前存在的问题，指出了现有方法的局限性以及可能带来的负面影响，并提出了一些简单的解决方案，以更准确地评估模型的泛化能力。

    May, 2020

  • 面向外部分布泛化：一项调查

    该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

    Aug, 2021

  • OoD-Bench: 量化和理解外分布泛化的两个维度

    通过对分布偏移数据的分类和对其相关算法的大量实验比较，对已有数据集和算法进行了分类整合，为未来的迁移学习和数据偏移研究提供了参考。

    Jun, 2021

  • OpenOOD: 广义越界检测基准测试

    本文提出了一个名为 OpenOOD 的统一的、结构化的代码库，该库实现了超过 30 种 ODD 检测方法，并在最近提出的一般化 OOD 检测框架下提供了全面的基准。作者通过对这些方法的全面比较发现，过去几年中，该领域取得了显著进展，其中预处理方法和正交后处理方法显示出很强的潜力。

    Oct, 2022

  • 医疗表格数据中的超出分布检测基准

    机器学习模型在现实世界的医疗系统中可靠地运用和避免在分布之外的数据上产生不准确的预测是非常重要的。该研究提出了一个全面的可复现基准测试，比较了不同方法在接近和远离分布之外的数据上的表现，特别关注医疗表格数据的处理。研究发现对于远离分布之外的数据，问题似乎已经解决，但对于接近分布之外的数据仍然存在挑战。此外，将后处理方法与基于距离的机制结合可以显著改善性能，而 Transformer 架构相对于 MLP 和 ResNet 架构来说更加保守。

    Sep, 2023

  • 关于超出分布泛化的理论框架

    本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

    Jun, 2021

  • 信任问题：不确定性估计不足以在医疗表格数据上实现可靠的 OOD 检测

    本文旨在解决医疗数据的机器学习模型预测不确定性问题，针对混合型数据（例如电子病历）进行大量测试，并对现有的不确定性估计技术进行评测，发现几乎所有技术都无法较好地识别配对之外的病人。

    Nov, 2020

  • 时代分割

    研究中提出了两种新的决策树分裂准则，可以将环境或逐时信息纳入基于树的模型中，以找到在数据的所有不联通时期中都是最优的分裂点，而不是整个数据集的最优设置。

    Sep, 2023