Oct, 2020

我的多模型是否学习了跨模态交互？比你想象的更难判断！

PDF
TL;DR提出一种名为 EMAP 的诊断工具，用于检测跨模态交互是否提高给定模型在给定任务上的性能，在七个图像 + 文本分类任务中发现，即使具有考虑交互作用的表达模型在表现上优于不太表达的模型，删除跨模态交互也往往不会降低性能。建议多模式机器学习研究人员不仅报告单模基线的性能，而且还要报告最佳性能模型的 EMAP。
发现论文，激发创造
  • 高内容筛查中的弱监督跨模型学习

    介绍了一种新颖的方法，利用图像数据和分子表示学习跨模态表示进行药物发现；提出了两种创新的损失函数 EMM 和 IMM，基于 CLIP 构建，利用弱监督和高内容筛选中的跨站点复制；通过在跨模态检索上对比已知基准线，在学习更好表示并减轻批次效应方面，我们的方法表现更佳；此外，还提出了用于 JUMP-CP 数据集的预处理方法，有效将所需空间从 85Tb 缩减到可用的 7Tb，仍保留所有扰动和大部分信息内容。

    Nov, 2023

  • EffMulti：高效建模复杂多模态交互以进行情感分析

    本文提出了一种多模态情感分析框架 EffMulti，采用三种不同的多模态潜在表示来捕捉不同视角下的复杂情感交互，并提出了一种模态 - 语义层次融合方法来融合这些表示，实验结果表明，EffMulti 在进行情感分析方面表现极佳。

    Dec, 2022

  • 无标注多模态数据下的多模态学习：保证和应用

    本研究通过信息论方法对半监督学习中多模态交互的量化和分析，提出自下界和自上界的措施，并探讨了两个半监督多模态应用

    Jun, 2023

  • 多模态融合交互：人工智能量化的研究

    研究了如何通过人工注释对多模态交互进行分类，提出了信息分解方法，比较了部分标签和反事实标签的机会和限制，并提出了一种自动转换方法以量化多模态数据集中的交互

    Jun, 2023

  • 学习未见过的模态交互

    本文针对多模态学习的完备性假设提出挑战，提出一种基于特征投影模块的解决方案，在推理过程中实现对看不见模态的泛化。同时使用伪监督来指示模态的预测可靠性。实验结果表明，该方法对于各种任务和模态具有很好的效果。

    Jun, 2023

  • 语音情感识别的实证研究与改进

    本文提出了一种通过视角损失来改进的多模态语音情感识别模型，通过融合音频和文本信息来提高多模态任务的性能表现，在 IEMOCAP 数据集上获得了最新的最佳表现。

    Apr, 2023

  • 基于文本为主的分层高阶融合的多视角多模态交互情感分析

    该研究提出了一种基于多模态信息的情感分析框架 ——InterMulti，并利用一种新颖的基于文本的 THHF 模块，将多种交互表现形式融合成综合的多模态交互表示来识别情感，实验结果表明，该方法的表现优于现有技术。

    Dec, 2022

  • 面对缺失模态问题，如何打造强大的多模态模型？

    多模态学习中处理缺失模态的信息论方法，通过引入 Uni-Modal Ensemble with Missing Modality Adaptation 技术，实现了对非缺失模态的特征提取和融合过程中的噪声鲁棒性增强，适用于广泛的模态并可无缝集成大规模预训练编码器，展示了在音频 - 视觉数据集和视觉 - 语言数据集上的有效性。

    Oct, 2023

  • 神经网络交叉模态映射真的能够桥接视觉和语言么？

    该论文提出新的相似度衡量方法和两个实验，揭示了通过神经网络进行模态之间的映射所得到的预测向量的周围结构更像输入向量而不是目标向量，并且没有训练的网络不会显著破坏输入向量的语义结构。

    May, 2018

  • MultiViz: 多模型可视化与理解

    本文介绍了一种名为 MultiViz 的方法，通过四个阶段的解构和分析实现了对多模态机器学习模型的内部机制进行可视化和理解，帮助用户进行模型预测仿真、特征的可解释性赋值、误差分析以及漏洞检测等任务。

    Jun, 2022