Jul, 2023

通过共享特征建模的多模态学习中的缺失模态问题

PDF
TL;DR本文提出了一种叫做 Shared-Specific Feature Modelling (ShaSpec) 的方法，旨在解决多模态任务中遗漏模态问题，并通过学习共享和特定特征来更好地表示输入数据。实验结果表明，ShaSpec 在医学图像分割和计算机视觉分类等多个任务中比竞争方法表现更好。
missing modality issuemulti-modal modelsshared-specific feature modellingauxiliary tasksmedical image segmentation
发现论文，激发创造
  • 自适应交叉模态少样本学习

    本文提出了一种机制，可以根据待学习的新图像类别自适应地从视觉和语义两方面结合信息，通过一系列实验表明，这种自适应组合可以在所有基准和 few-shot 情景上大幅优于当前单模态学习方法和模态对齐方法，特别是在少样本的情况下。

    Feb, 2019

  • 半监督多模式语义分割中的缺失模态稳健性

    提出一种简单且高效的多模态融合机制：线性融合（Linear Fusion），通过半监督学习的方式提高了多模态语义分割的性能，并使模型对现实世界中缺失模态的情况更加健壮。

    Apr, 2023

  • 缺失模态插值的统一多模态图像合成

    该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。

    Apr, 2023

  • 基于多模态基础模型的鲁棒多模态学习

    提出了一种简单而有效的框架 TRML，即利用多模态基础模型进行鲁棒多模态学习，通过生成虚拟模态替代丢失模态，并对生成和丢失模态之间的语义空间进行对齐，从而捕捉缺失模态的语义。在完整模态的情况下，我们的模型通过利用交叉模态语义空间的对齐来捕捉丢失模态的语义。实验证明我们的方法在三个多模态情感分析基准数据集 CMU-MOSI、CMU-MOSEI 和 MELD 上具有优势。

    Jan, 2024

  • 异模态变分编码器 - 解码器用于联合模态完成和分割

    本研究提出了一种新的深度学习方法用于肿瘤分割，特别是在处理数据缺失时具备先进性。首先，将所有观察到的模态独立地嵌入到共享潜在表示中，然后从这个潜在表示中生成缺失数据和肿瘤分割。最后，通过将双方的优点与 3D U-Net 和多模态变分自编码器相结合，提出了一种新的网络结构。

    Jul, 2019

  • 基于特征分离和门控融合的鲁棒多模式脑肿瘤分割

    本研究提出一种新的多模态分割框架，使用特征解缠来将多模态数据分解为特定于每种模态的出现代码和吸收多模态信息的模态不变内容代码，从而通过在不同区域门控不同模态的贡献来融合来自每种模态的解缠内容代码，在各个模态数据缺失的情况下获得了优异的鲁棒性，尤其是在 BRATS 挑战数据集的脑肿瘤分割任务中表现出了优秀的性能。

    Feb, 2020

  • 学习未见过的模态交互

    本文针对多模态学习的完备性假设提出挑战，提出一种基于特征投影模块的解决方案，在推理过程中实现对看不见模态的泛化。同时使用伪监督来指示模态的预测可靠性。实验结果表明，该方法对于各种任务和模态具有很好的效果。

    Jun, 2023

  • 通过潜在的多源相关表示进行缺失模态的脑肿瘤分割

    本文提出了一种新颖的相关性表示块，其可以在缺失模态的情况下发现潜在的多源相关性，并通过注意机制将模态间的相关性表示融合成一个共享表示，从而提高脑肿瘤分割的鲁棒性，并在 BraTS 2018 数据集上取得了最新的最佳表现。

    Mar, 2020

  • 多模导向网络用于缺失模态推断

    提出了一种通过引导网络在训练阶段促进知识共享，利用多模式表示训练用于推理的更好的单模式模型，以解决存在缺失模式的多模态模型应用受限和过高计算成本的问题。通过真实生活中的暴力检测实验证明，所提出的框架训练的单模式模型明显优于传统训练的模型，并且推理成本相同。

    Sep, 2023

  • 多模态脑肿瘤分割的模态感知与平移混合器

    本文介绍了一种新颖的模态感知和位移混合器，用于多模态图像的有效和鲁棒的脑肿瘤分割，通过模态感知模块和模态位移模块，实现了跨尺度和高层次表达的空间和模态信息交换，实验证明其在公共脑肿瘤分割数据集上优于现有方法，并展示了其有效性和鲁棒性。

    Mar, 2024