ICLRFeb, 2024

HYPO：超球形的超出分布泛化

PDF
TL;DR提出了一种名为 HYPO（HYPerspherical OOD generalization）的新颖框架，利用高维球面空间证明性地学习域不变的特征表示，并提供了在类内变异性和类间分离性原则下进行指导的超球面学习算法，优化了域外泛化界限。通过对具有挑战性的域外基准的广泛实验，证明了该方法优于竞争基线并取得了卓越性能。
out-of-distributiongeneralizationhypohyperspherical learning algorithmprototypical learning objective
发现论文，激发创造
  • 关于超出分布泛化的理论框架

    本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

    Jun, 2021

  • 如何利用超球嵌入进行区分不在分布中的检测？

    提出了一种基于超球嵌入的新型表示学习框架 CIDER，该框架共同优化两个损失，以促进强的 ID-OOD 可分离性，并通过分析在超球空间中嵌入特性与 OOD 检测性能之间的关系，演示了离散度和紧凑性的重要性，结果表明 CIDER 表现优异，FPR95 比最新对手高出 19.36 %。

    Mar, 2022

  • 超几何度量学习用于视觉异常检测

    使用双曲几何的度量框架提高超出分布检测的性能，并探索其与嵌入维度的关系，改善在资源受限环境中的实际应用。

    Mar, 2024

  • 面向外部分布泛化：一项调查

    该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

    Aug, 2021

  • 有限数据之外：通过外推实现无数据外域泛化

    利用大型语言模型和文本到图像生成技术，我们介绍了一种领域外推方法，通过合成全新领域的高保真、逼真的图像来显著提高域泛化数据集的训练效果，实现了单一和多领域泛化任务上的显著改进，甚至在没有任何收集数据的条件下，超过了监督设置的表现。

    Mar, 2024

  • 通过分层语义环境改进图形中的分布外泛化

    本研究提出了一种新颖方法，通过生成层次化的语义环境来增强图不变性学习，以应对分布转移，实验证明该方法在真实世界的图数据上取得了显著效果。

    Mar, 2024

  • 在潜在空间中通过领域不变表示学习改善入侵检测

    通过多任务学习，我们引入了一种两阶段表示学习技术，旨在从跨越多个领域的特征中培养一个潜在空间，包括原始和跨领域的特征，以增强在未见过的内部分布和外部分布领域的推理能力。此外，我们试图通过最小化先验和潜在空间之间的互信息来解耦潜在空间，从而有效地消除虚假特征之间的关联性。总体而言，这种联合优化将促进领域无关的特征学习。我们使用标准分类指标在多个网络安全数据集上评估模型的有效性，并将结果与当代领域泛化方法进行对比。

    Dec, 2023

  • 大规模天文调查中的样本外泛化：健壮网络学习相似表示

    机器学习模型在处理来自未来天文调查的离域样本时依然面临挑战，解释性方法通过使用相似性度量来检查预训练卷积神经网络在中心核对齐方面的性能与表示相似性之间的关系，发现当模型对分布变化具有稳健性时，在离域数据上，图像在网络层之间的表示会有较大变化；然而，当模型无法泛化时，在离域数据上，这些表示在网络层之间的变化较小。讨论了这种相似性表示在模型设计、训练策略以及通过在训练过程中加入中心核对齐作为归纳偏差来缓解离域问题方面的潜在应用。

    Nov, 2023

  • 关于校准和域外泛化

    本文提出了一种新颖的多域校准机制，该机制使分类器能够在未知领域中实现良好的泛化性能，实验证明通过训练或修改模型实现多域校准可以显著提高模型在未知测试域上的性能。

    Feb, 2021

  • 图形在分布偏移下的泛化

    通过引入图学习不变领域生成（GLIDER）的新框架，本文在节点级别的属性分布和拓扑结构分布的共同分布转变的情境下，实现了优于基准方法的节点级别 OOD 广义化跨域模型。

    Mar, 2024