Dec, 2023

朝向上下文感知的领域泛化：用置换不变网络表示环境

PDF
TL;DR输入 $X$ 的上下文信息可以改善深度学习模型在新领域或生产环境中的预测能力。我们提出了上下文的概念，作为一组数据点的排列不变表示，共同学习于标准监督学习目标，为未知结果提供增量信息。我们通过理论分析和实证评估证明了该方法的有效性，并对其鲁棒性进行了探究。此外，我们还展示了一种选择最具预测性和最具鲁棒性模型的方法，从而避免了预测性能和鲁棒性之间的平衡问题。
发现论文，激发创造
  • 类别对于上下文和反之亦然具有不变性：关于学习不变性以实现超出分布的泛化

    该研究旨在提高 Out-Of-Distribution generalization 技术的表现，通过协调样本内的相似性来平衡环境数据的重要性，实现了一种简单有效的分类器，达到了最先进的状态。

    Aug, 2022

  • 学习不变表示以进行领域自适应

    本文针对无监督域适应学习中常见的假设提出了简单反例，证明了这些假设并不足以保证域适应的成功；提出了一种基于信息理论的弱化条件，并证明了任何试图学习不变表示的域适应方法的联合误差都存在一种基本的权衡；最后，通过实验验证了理论结果。

    Jan, 2019

  • 在潜在空间中通过领域不变表示学习改善入侵检测

    通过多任务学习，我们引入了一种两阶段表示学习技术，旨在从跨越多个领域的特征中培养一个潜在空间，包括原始和跨领域的特征，以增强在未见过的内部分布和外部分布领域的推理能力。此外，我们试图通过最小化先验和潜在空间之间的互信息来解耦潜在空间，从而有效地消除虚假特征之间的关联性。总体而言，这种联合优化将促进领域无关的特征学习。我们使用标准分类指标在多个网络安全数据集上评估模型的有效性，并将结果与当代领域泛化方法进行对比。

    Dec, 2023

  • 通过域不变表示估计分布转移下的泛化能力

    本篇论文研究机器学习模型在不同测试分布的情况下表现不佳且过度估计它们的表现的问题，并提出一种基于领域不变性预测模型的方法来更好地估计模型在转移学习领域的性能，从而实现了领域自适应和对给定模型在分布转移情况下进行准确的目标误差估计，并可以用于模型选择、决定早期停机和错误检测。

    Jul, 2020

  • 通过分层语义环境改进图形中的分布外泛化

    本研究提出了一种新颖方法，通过生成层次化的语义环境来增强图不变性学习，以应对分布转移，实验证明该方法在真实世界的图数据上取得了显著效果。

    Mar, 2024

  • 领域密度转换的域不变表示学习

    本论文提出了一种基于对抗生成网络的方法，通过学习域间变换的不变性来实现域不变表示的学习，以解决领域泛化问题，并在多个广泛使用的数据集上取得了与最先进模型竞争的结果。

    Feb, 2021

  • 上下文 ≈ 环境

    在 AI 研究中，通过对环境的关注以及在上下文中学习的方法，可以改善领域泛化的效果。

    Sep, 2023

  • 强健不变表示中的领域通用性

    本文研究对象识别中不变表示的泛化性，经过广泛实验，我们证明了不变模型学习到的非结构化潜在表示对分配偏移具有鲁棒性，因此使不变性成为有限资源环境中训练的理想属性。

    Apr, 2023

  • 通过条件不变表示实现域泛化

    本文针对数据集偏差问题，提出一种基于类条件分布的域不变特征表示方法，在合成和实际数据上的实验证明其有效性。

    Jul, 2018

  • 自适应情境感知：如何推广应用于新的背景和具有模糊性的物体

    本文探讨了视觉模型如何自适应地利用上下文进行分布外泛化，研究发现，具有因子化的表征和适当特征加权的模型可以更好地处理背景不变性和物体消歧，提出了新的数据扩增方法，提高了模型的泛化能力。

    Jun, 2023