Oct, 2023

SimMMDG: 一个简单而有效的多模态领域泛化框架

PDF
TL;DR通过在多模态情境中将特征分为模态特定和模态共享组件，并运用监督对比学习对模态共享特征施加距离约束，以促进多样性，并引入跨模态转换模块来规范学习特征，以达到领域泛化的目标。
domain generalizationmulti-modal scenariossimmmdgsupervised contrastive learningcross-modal translation
发现论文，激发创造
  • 通用单域推广的模态不可知去偏差

    提出了一种适用于多种不同模态的深度神经网络的单一领域通用性（single-DG）算法，称之为 Modality-Agnostic Debiasing (MAD)，它采用一个新颖的双分支分类器，一支专注于识别特定领域的表层特征，另一个则利用来自前一支的知识来捕获领域通用（语义）特征，在多种领域通用任务中取得了极高的效果。

    Mar, 2023

  • 基于数据中心化方法的无监督领域泛化：来自网络规模多模态数据的检索

    该研究论文探讨了领域泛化和无监督领域泛化问题，提出了一种在多模态场景下构建数据集的新方法，并在不同的基准测试上与其他方法进行了比较，取得了较高的准确性。

    Feb, 2024

  • 面向多模态开放领域泛化和自适应的自监督方法

    本研究提出了一种利用自我监督方法解决多模态开放领域泛化（MM-OSDG）问题的新途径，引入了两个创新的多模态自我监督预训练任务：遮蔽跨模态翻译和多模态拼图。这些任务有助于学习多模态代表性特征，提高泛化和开放类别检测能力，并提出一种新颖的熵权重机制来平衡不同模态的损失。此外，我们还扩展了该方法以解决多模态开放领域自适应（MM-OSDA）问题。实验证明了该方法在多个数据集上的有效性和多样性。

    Jul, 2024

  • 基于语言导向的领域通用医学图像分割

    本文提出了一种基于文本信息的显式对比学习机制，通过使用文本编码器特征来学习更强大的特征表示，以增强模型对数据的理解，从而在不同的分割任务中实现了更强大的性能。

    Apr, 2024

  • MMG-Ego4D: Egocentric 动作识别多模态泛化

    该研究论文探讨了在自心视角动作识别中一个新的问题，即 “多模态推广”，研究了系统在某些模态的数据受限或完全缺失时如何进行推广，并构建了一个包含视频、音频和惯性运动传感器模态的数据集。

    May, 2023

  • MVDG：用于域泛化的统一多视角框架

    本文提出了一种基于多视角的领域泛化框架，利用多任务和多视角的元学习进行模型训练和更新，有效降低模型过拟合和不稳定预测问题，并在三个基准数据集上得到较好的结果，优于目前的一些最先进方法。

    Dec, 2021

  • 基于语义数据增强的距离度量学习用于领域泛化

    该论文研究了如何通过采用特征空间中的隐式语义增强来提高模型的泛化性能，并将距离度量学习（DML）的额外损失函数和无限增强的交叉熵损失的 logits 作为 DML 损失的输入特征。实验表明，该方法在 Digits-DG、PACS 和 Office-Home 三个基准测试数据集上可以实现最先进的性能水平。

    Aug, 2022

  • 重新思考领域泛化：可辨别性与泛化能力

    域泛化的新观点，创造了具有强大可辨别性和鲁棒普适性的特征，通过 Selective Channel Pruning 和 Micro-level Distribution Alignment 两个核心组件，解决了当前域泛化中特征泛化和差异化挑战。

    Sep, 2023

  • TDG: 文本引导的领域泛化

    通过引入额外的文本信息，本文提出了一种新的基于文本引导的域泛化（TDG）范式，其中包括自动词语生成、基于提示学习的文本特征生成以及利用图像特征和生成的文本特征来训练分类器，提高域泛化性能的技术都以一种易于实现的方式融入到 TDG 中。在几个域泛化基准上的实验结果表明，我们提出的框架通过有效利用生成的文本信息在域泛化中取得了卓越的性能。

    Aug, 2023

  • 多领域判别分析实现领域泛化

    本文提出了一种多领域判别分析方法 (MDA) 来处理分类任务中的域泛化问题，通过学习一个域不变的特征变换，旨在实现每个类别之间领域的最小差异、类别之间最大可分性以及整体最大紧凑性，在学习理论分析中提供了过度风险和泛化误差的限制，通过对合成数据集和真实基准数据集的全面实验，证明了 MDA 的有效性。

    Jul, 2019