Dec, 2023

RedCore：相对优势感知的跨模态表示学习：针对不平衡缺失率的情况

PDF
TL;DR我们提出了一种名为 RedCore 的相对优势感知跨模态表示学习方法，用于处理存在缺失模态和具有不平衡缺失率的情况，通过 VIB 方法进行跨模态表示学习并通过双层优化问题自适应调节所有模态的监督，实验证明 RedCore 模型在对大量或不平衡缺失率具有优越的稳健性。
multimodal learningmodality missingcross-modal representation learningrelative advantageredcore
发现论文，激发创造
  • 通过参数高效适应处理缺失模态的鲁棒多模态学习

    使用多模态学习提高下游任务的性能，并通过简单且参数高效的自适应过程针对缺失的模态实现鲁棒性。

    Oct, 2023

  • 基于多模态基础模型的鲁棒多模态学习

    提出了一种简单而有效的框架 TRML，即利用多模态基础模型进行鲁棒多模态学习，通过生成虚拟模态替代丢失模态，并对生成和丢失模态之间的语义空间进行对齐，从而捕捉缺失模态的语义。在完整模态的情况下，我们的模型通过利用交叉模态语义空间的对齐来捕捉丢失模态的语义。实验证明我们的方法在三个多模态情感分析基准数据集 CMU-MOSI、CMU-MOSEI 和 MELD 上具有优势。

    Jan, 2024

  • 借宝于邻：针对多模态学习的上下文学习在缺失模态和数据稀缺情况下的应用

    通过使用检索增强上下文学习来解决多模态机器学习中缺失模态和样本有限的问题，提高分类模型性能和样本效率。

    Mar, 2024

  • M2R2: 迭代数据增强的缺失模态鲁棒情感识别框架

    本文讨论了缺失情感识别对话（ERC）任务中对话级情感识别以及不确定模式下的问题。我们提出了一种基于缺失模态的鲁棒情感识别框架（M2R2），其中通过学习通用表示进行迭代数据增强来训练情感识别模型。该框架采用了 Party Attentive Network（PANet）来跟踪所有发言人的状态和上下文，并通过采用与其他参与者之间的关注机制和对话主题来使对多时间和多方发言的依赖性分散化，从而解决了情感识别中的缺失问题。同时，我们还通过以对抗策略提高了缺失数据插值方法的数据增强效果，从而为缺失模态情感识别问题建立了额外特征。广泛的实验证明了我们的方法比基线更有效，适用于不同数据集的缺失模态情感识别。

    May, 2022

  • 学习用于异质人物再识别的跨模态信息瓶颈表示

    通过互信息和模态一致性网络，提取具有代表性信息的模态不变身份特征，减少冗余，消除模态差异，并对关键部分进行全局 - 局部特征提取，以实现可见 - 红外人物重识别任务。

    Aug, 2023

  • 利用模态不变特征进行鲁棒性多模态情感识别（缺失模态）

    本研究提出了使用不变特征的缺失模态想象网络解决异构模态之间的模态差异问题，改善了缺失模态预测的鲁棒性并提升了多模态情感识别表现。

    Oct, 2022

  • 可见光与红外人员再识别的模态统一网络

    通过引入一个新的模态统一网络（MUN），本研究针对可见光 - 红外人员重识别（VI-ReID）中的大量跨模态差异和类内变异问题，通过动态建模模态特定和模态共享表示来提取判别特征表达，从而使所提出的方法在多个公共数据集上明显超过当前最先进的方法。

    Sep, 2023

  • 学习在存在缺失模态的情况下进行推荐

    本篇论文提出一种基于多模态学习和缺失数据补全的推荐系统框架 LRMM，通过利用 modality dropout 和 multimodal sequential autoencoder 算法可以更好地处理缺失的多模态信息和冷启动问题。实验结果表明，该算法在评分预测任务中表现出最先进的性能，且比现有的方法更具实用性。

    Aug, 2018

  • 处理所有阶段缺失的形式：朝着具有健壮重建和个性化能力的通用模型

    提出了一种具有模态重建和模型个性化的健壮的通用模型，能够在训练和测试阶段有效地处理缺失的模态，通过多模态掩码自编码器重构缺失的模态和掩码补丁，利用创新的分布近似机制充分利用完整和不完整的数据，提出了基于 CLIP 的超网络来个性化模型参数，能够适应不同的缺失模态场景，并在两个脑肿瘤分割基准上得到广泛验证，在不同缺失比例的全阶段缺失模态设置下始终超过先前最先进的方法，代码将可用。

    Jun, 2024

  • 多模态情感分析中的遗漏模态：一种知识迁移方法

    提出了一种新颖的知识传递网络来在不同的感知模式之间进行翻译以重构缺失的音频模式，并且采用了跨模态注意机制以保留重构和观察到的模态的最大信息，用于情感预测。通过对三个公开数据集进行大量实验证明，相较于基线方法实现了显著的改进，并在完全多模态监督方面取得了与之前方法相当的结果。

    Dec, 2023