ECCVAug, 2022

ModSelect: 为合成与真实域通用化自动选择模态

PDF
TL;DR本研究提出了一种无监督模态选择方法，即 ModSelect，通过计算多模态分类器的预测之间的相关性和其嵌入的域差异，从而系统地计算模态选择阈值，选择只具有高相关性和低域差异的模态，从而达到选择正向贡献模态的目的，并在合成到真实领域自适应基准测试中表现出稳健的性能提升。
modality selectionmultimodal systemsactivity recognitionunsupervised methoddomain shift
发现论文，激发创造
  • 基于交叉模态学习的三维语义分割领域自适应

    本文介绍了一种新的领域适应策略 - “交叉模态学习”，在无监督和半监督领域适应设置下，通过两种模式的相互模仿实现模态之间的一致性，在 3D 语义分割任务中证明了该方法的有效性

    Jan, 2021

  • 学习未见过的模态交互

    本文针对多模态学习的完备性假设提出挑战，提出一种基于特征投影模块的解决方案，在推理过程中实现对看不见模态的泛化。同时使用伪监督来指示模态的预测可靠性。实验结果表明，该方法对于各种任务和模态具有很好的效果。

    Jun, 2023

  • 多机构无监督交叉模态域适应中学习特定场地风格

    该研究介绍了一种应对跨模态、多机构的无监督领域自适应问题的解决方案，通过无配对图像转换和自训练等技术，成功应用于医学图像分析的领域。

    Nov, 2023

  • 动态多模式及视角选择用于缺失模态的多模式情感识别

    这项研究的重点是评估两种策略在缺少一个感知模态的情况下的表现和韧性：一种新颖的多模式动态模态和视角选择方法以及一种交叉注意机制。RECOLA 数据集上的结果表明动态选择方法是一种有前景的多模态情感识别方法。在缺失模态的场景下，所有基于动态选择的方法都优于基准测试。研究总结强调了音频和视频模态在情感预测中的复杂相互作用，展示了动态选择方法在处理缺失模态方面的适应性。

    Apr, 2024

  • 多模态范式的归因规范化

    通过提出新的正则化项，促进多模态模型在决策过程中有效利用所有模态的信息，以缓解单模态主导性问题并提高多模态机器学习系统的性能。

    Apr, 2024

  • 缺失模态插值的统一多模态图像合成

    该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。

    Apr, 2023

  • 关于模态偏差的识别和减少

    本文研究了在多模态分类系统中影响模型性能的模态偏差问题，通过构建两个基于 Out-of-Distribution 协议的数据集和提出一种自适应的 plug-and-play 损失函数方法，在彩色数字识别、视频动作识别和视觉问答三个任务上实现了明显的性能改进，证明了该方法在减少模态偏差问题方面的优越性。

    Feb, 2022

  • 基于梯度图引导的自适应领域泛化用于跨模态 MRI 分割

    跨模态 MRI 分割是很有价值的计算机辅助医学诊断方法，但现有方法难以处理领域变化的局部差异，并且通常需要大量数据进行训练，这限制了其实际应用。为解决这些问题，我们提出了一种新颖的自适应领域泛化框架，它将基于图像梯度图的无学习跨领域表示与基于类先验的测试时适应策略相结合，以减轻局部领域变化。我们在两个多模态 MRI 数据集上验证了我们的方法，并进行了六个跨模态分割任务。在所有任务设置中，我们的方法始终优于竞争方法，并且在有限的训练数据下表现稳定。

    Nov, 2023

  • SimMMDG: 一个简单而有效的多模态领域泛化框架

    通过在多模态情境中将特征分为模态特定和模态共享组件，并运用监督对比学习对模态共享特征施加距离约束，以促进多样性，并引入跨模态转换模块来规范学习特征，以达到领域泛化的目标。

    Oct, 2023

  • 通用单域推广的模态不可知去偏差

    提出了一种适用于多种不同模态的深度神经网络的单一领域通用性（single-DG）算法，称之为 Modality-Agnostic Debiasing (MAD)，它采用一个新颖的双分支分类器，一支专注于识别特定领域的表层特征，另一个则利用来自前一支的知识来捕获领域通用（语义）特征，在多种领域通用任务中取得了极高的效果。

    Mar, 2023