Jun, 2023

自适应情境感知：如何推广应用于新的背景和具有模糊性的物体

PDF
TL;DR本文探讨了视觉模型如何自适应地利用上下文进行分布外泛化，研究发现，具有因子化的表征和适当特征加权的模型可以更好地处理背景不变性和物体消歧，提出了新的数据扩增方法，提高了模型的泛化能力。
adaptive use of contextout-of-distribution generalizationrepresentational geometry analysisfactorized representationsaugmentation methods
发现论文，激发创造
  • 对比世界模型的泛化性质

    对比世界模型在不同的 OOD（Out-of-Distribution）泛化场景下的泛化性能进行了广泛研究，结果显示对比世界模型在样本 OOD 程度的影响下泛化失效，而且任何对象属性的改变会破坏对象表示的分解，强调了面向对象的表示对泛化的重要性及当前模型在学习所需的表示方面的限制。

    Dec, 2023

  • 类别对于上下文和反之亦然具有不变性：关于学习不变性以实现超出分布的泛化

    该研究旨在提高 Out-Of-Distribution generalization 技术的表现，通过协调样本内的相似性来平衡环境数据的重要性，实现了一种简单有效的分类器，达到了最先进的状态。

    Aug, 2022

  • 克服视觉语言模型微调的问题：针对 OOD 泛化

    在本论文中，我们首先展示了，经过足够时间的微调但没有适当的正则化，视觉 - 语言模型在给定数据集中往往会过度拟合已知类别，导致对未知类别的表现下降。然后，我们提出了一种新颖的方法 OGEN 来解决这个问题，在关注点主要是改进经过微调模型的未知类别（OOD）泛化能力。具体而言，我们引入了一种类条件特征生成器，通过仅使用任何未知类别的类名，合成 OOD 特征。这些合成特征将提供关于未知类别的有用知识，并在联合优化时有助于规范 ID 和 OOD 数据之间的决策边界。同样重要的是，我们的自适应自蒸馏机制用于规范特征生成模型，在联合优化期间自适应地传递模型状态之间的知识，以进一步防止过度拟合。实验证实，我们的方法在不同设置下提供了令人信服的 OOD 泛化性能增益。

    Jan, 2024

  • 将视觉物体识别置于上下文中

    该论文提出了一个生物学上启发的上下文感知对象识别模型，该模型由双流体系结构组成，动态地整合对象和上下文信息，并顺序推理目标对象的类标签，该模型不需要为每个任务重新训练，在各种行为任务中近似人类水平性能，捕捉上下文增强对图像属性的依赖性，并提供了整合场景和对象信息进行视觉识别的初始步骤。

    Nov, 2019

  • 通过分层语义环境改进图形中的分布外泛化

    本研究提出了一种新颖方法，通过生成层次化的语义环境来增强图不变性学习，以应对分布转移，实验证明该方法在真实世界的图数据上取得了显著效果。

    Mar, 2024

  • 关于上下文学习的组成泛化差距

    本研究探讨了预训练大型生成语言模型在语义解析任务中在上下文学习时的分布内和分布外表现差异以及模型规模的影响，结果显示随着模型规模的增加，相对泛化差距逐渐减小。

    Nov, 2022

  • 不要以物品所处环境论其价值：学习克服语境偏见

    通过学习两个特征子空间，分别表示没有上下文环境的类别和同时表示类别和上下文环境的联合特征子空间，以减少上下文偏差，提高分类准确度，适用于目标和属性两项任务。

    Jan, 2020

  • 基于知识图谱的上下文驱动视觉对象识别

    通过将语境知识编码到知识图中，提高深度学习方法的鲁棒性，增强物体识别模型对于跨领域和真实世界场景的表现。

    Oct, 2022

  • ObjectCompose：评估基于视觉的模型对物体与背景组合变化的弹性

    通过利用视觉模型的大规模多模态训练和其广泛适应能力，我们评估当前视觉模型对不同物体与背景环境变化的鲁棒性，并利用生成模型来产生多样化的物体与背景变化，从而量化背景环境对深度神经网络的鲁棒性和泛化能力的影响。

    Mar, 2024

  • 朝向上下文感知的领域泛化：用置换不变网络表示环境

    输入 $X$ 的上下文信息可以改善深度学习模型在新领域或生产环境中的预测能力。我们提出了上下文的概念，作为一组数据点的排列不变表示，共同学习于标准监督学习目标，为未知结果提供增量信息。我们通过理论分析和实证评估证明了该方法的有效性，并对其鲁棒性进行了探究。此外，我们还展示了一种选择最具预测性和最具鲁棒性模型的方法，从而避免了预测性能和鲁棒性之间的平衡问题。

    Dec, 2023