ECCVAug, 2022

类别对于上下文和反之亦然具有不变性：关于学习不变性以实现超出分布的泛化

PDF
TL;DR该研究旨在提高 Out-Of-Distribution generalization 技术的表现，通过协调样本内的相似性来平衡环境数据的重要性，实现了一种简单有效的分类器，达到了最先进的状态。
out-of-distribution generalizationcontext balancecontrastive lossintra-class sample similaritystate-of-the-art performance
发现论文，激发创造
  • 关于超出分布泛化的理论框架

    本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

    Jun, 2021

  • 面向外部分布泛化：一项调查

    该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

    Aug, 2021

  • OODformer: 异常检测变形金刚

    该论文提出了一种名为 OODformer 的新型 OOD 检测架构，利用 transformer 的上下文能力来区分内部分布和 OOD 样本，通过视觉注意力利用上下文嵌入提高了分类的通用性，在 CIFAR-10 /-100 和 ImageNet30 上取得了新的最先进成果。

    Jul, 2021

  • 通过因果干预实现图形的超出分布泛化

    通过因果关系分析揭示了图神经网络在节点分布迁移中一种存在于环境背景潜在混淆偏差，提出一种简明的、有原则性的方法通过因果推断来训练鲁棒的图神经网络，以抵消训练数据中的混淆偏差，并促进学习可泛化的预测关系。实验证明，该模型可以有效提高各类分布迁移情况下的泛化性能，在图的分布迁移基准测试中相比最先进方法最多提高 27.4% 的准确率。

    Feb, 2024

  • EAT：面向长尾领域外检测

    通过引入多个放弃类来扩展内分布类空间并通过虚拟标签训练识别 OOD 数据的检测器，以及通过将图片叠加到具有丰富上下文的 OOD 数据以增强对尾类特征的注意力，我们提出的方法在长尾 OOD 检测任务中表现优于最先进方法，并可作为现有长尾学习方法的附加模块，显著提升 OOD 检测性能。

    Dec, 2023

  • 利用因果不变转换实现对分布外的泛化

    本研究提出了一种针对领域间泛化问题的新方法，通过使用修改非因果特征但不改变因果特征的转换方式，从而获得跨领域的最优模型，并且该方法只需要一个单一领域的数据即可实现，在实验中证明了该方法的有效性。

    Mar, 2022

  • 自适应情境感知：如何推广应用于新的背景和具有模糊性的物体

    本文探讨了视觉模型如何自适应地利用上下文进行分布外泛化，研究发现，具有因子化的表征和适当特征加权的模型可以更好地处理背景不变性和物体消歧，提出了新的数据扩增方法，提高了模型的泛化能力。

    Jun, 2023

  • 关于校准和域外泛化

    本文提出了一种新颖的多域校准机制，该机制使分类器能够在未知领域中实现良好的泛化性能，实验证明通过训练或修改模型实现多域校准可以显著提高模型在未知测试域上的性能。

    Feb, 2021

  • 关于上下文学习的组成泛化差距

    本研究探讨了预训练大型生成语言模型在语义解析任务中在上下文学习时的分布内和分布外表现差异以及模型规模的影响，结果显示随着模型规模的增加，相对泛化差距逐渐减小。

    Nov, 2022

  • 过参数化对于超出分布之外的普适性的益处

    研究了过参数化模型在 Out-of-Distribution 问题下的性能，发现模型容量的增加和模型集成有助于提高 OOD 推广能力。

    Mar, 2024