Nov, 2018

基于模态因子分解的多模态融合

PDF
TL;DR提出了一种新的理解和调节多模推理任务中每种模态相对贡献的技术 —— 基于模态减少冗余的融合（MRRF）方法，并应用它于情感分析、人格特征识别和情感识别等多个数据集上，取得了比现有技术相比 1% 至 4% 的改善效果。
modality-based redundancy reduction fusionmultimodal inference taskstensor factorizationsentiment analysisemotion recognition
发现论文，激发创造
  • 多模态低秩融合与模态特定因子的高效实现

    本文介绍了一种使用低秩张量完成多模态数据融合的新方法，并在多模态情感分析、演讲者特征和情感识别等多个任务中取得了有竞争力的结果且极大地减少了计算复杂度。

    May, 2018

  • 基于低秩融合的多模态序列变换器

    通过对感官信号和情感意图进行建模并使用多种传感器信号进行低秩多模态融合和转换，我们提出了基于 transformer 的跨模态融合架构，该架构允许表示近似的乘性潜在信号交互，并且具有更少的模型参数、更快的训练速度和与其他大型融合模型相当的情感识别性能。

    Jul, 2020

  • 通过多模态多阶因子融合进行抑郁症诊断和分析

    本文提出了一种多模态多阶因素融合 (MMFF) 方法，能够很好地利用不同模态之间的高阶交互作用，从而进行抑郁症的自动诊断，并且能够解释模型的融合机制。在两个最近流行的数据集上进行了广泛的实验证明，相比其他现有方法，我们的方法具有更好的性能。

    Dec, 2022

  • 学习分解的多模式表示

    本文提出一种优化跨多模态数据和标签的联合生成 - 判别目标函数的模型，将表示分解为多模态判别和模态特异性生成两组因子，实验结果表明该模型能够学习到有意义的多模态表示，并取得了领先水平的性能。

    Jun, 2018

  • 循环多阶融合的多模态语言分析

    本研究提出了一种名为 RMFN 的循环多阶段融合网络，该网络以多元信号为输入，通过多个阶段递归地融合特定的信号子集，结合了循环神经网络以建模时间和模态内交互、建模跨模态交互。经实验证明，RMFN 在情感分析、情感识别和说话人特征识别等多模态任务上可以达到最先进的性能，并通过可视化方法证明了每个融合阶段都集中于不同的多模态信号子集上。

    Aug, 2018

  • 因式对比学习：超越多视角冗余

    本文提出了 FactorCL，一种新的多模态表示学习方法，旨在捕获有助于下游任务的共享信息和独特信息，该方法通过将任务相关信息分解为共享和独特表示，并通过最大化 MI 下限来捕获任务相关信息以及通过最小化 MI 上限来消除任务不相关的信息，并使用多模态数据增强来近似任务相关性。实验证明 FactorCL 在六项基准测试上取得了最先进的结果。

    Jun, 2023

  • 基于多模态协作变压器和混合特征重建的强鲁棒情感识别

    多模情感识别是情感计算的重要方面，本文提出了一种统一框架 Modality-Collaborative Transformer with Hybrid Feature Reconstruction (MCT-HFR) 来解决构建不对齐多模特征的联合表示的效率和随机模态特征缺失引起的性能下降的挑战，并在两个广泛应用的基准数据集上获得了优于先进基准模型的结果。

    Dec, 2023

  • 基于多模态基础模型的鲁棒多模态学习

    提出了一种简单而有效的框架 TRML，即利用多模态基础模型进行鲁棒多模态学习，通过生成虚拟模态替代丢失模态，并对生成和丢失模态之间的语义空间进行对齐，从而捕捉缺失模态的语义。在完整模态的情况下，我们的模型通过利用交叉模态语义空间的对齐来捕捉丢失模态的语义。实验证明我们的方法在三个多模态情感分析基准数据集 CMU-MOSI、CMU-MOSEI 和 MELD 上具有优势。

    Jan, 2024

  • 高效双层特征恢复多模态 Transformer 用于鲁棒性多模态情感分析

    本文提出了一种名为 EMT-DLFR 的通用且统一的框架，以解决当前多模态数据建模过程中的两个主要挑战：一是无法进行未对齐的多模态数据中的跨模态交互，而是存在随机模态特征缺失问题，此框架令多模态交互更加高效且应对缺失数据具有更强的鲁棒性。

    Aug, 2022

  • 多维嵌入感知的模态融合变压器用于精神障碍分类

    我们提出了一种基于多维嵌入感知的模态融合变压器（MFFormer）来使用静息状态功能磁共振成像（rs-fMRI）和 T1 加权结构磁共振成像（T1w sMRI）对精神分裂症和双相障碍进行分类，实验结果表明我们的 MFFormer 在精神分裂症和双相障碍诊断上表现优于单一或多模态 MRI。

    Oct, 2023