Jun, 2023

多模态融合交互：人工智能量化的研究

PDF
TL;DR研究了如何通过人工注释对多模态交互进行分类，提出了信息分解方法，比较了部分标签和反事实标签的机会和限制，并提出了一种自动转换方法以量化多模态数据集中的交互
multimodal fusionannotatorsinformation decompositionmodalitiesinteractions
发现论文，激发创造
  • 无标注多模态数据下的多模态学习：保证和应用

    本研究通过信息论方法对半监督学习中多模态交互的量化和分析，提出自下界和自上界的措施，并探讨了两个半监督多模态应用

    Jun, 2023

  • 低质量数据的多模态融合：全面调查

    基于低质量数据的多模态融合面临四个主要挑战：噪声多模态数据，不完整多模态数据，不平衡多模态数据和质量变化多模态数据。本文通过全面的分类对多模态融合的常见挑战和最新进展进行调研，为研究人员提供了了解该领域现状和发现潜在研究方向的方法。此外，本文还讨论了该领域的开放问题以及有趣的未来研究方向。

    Apr, 2024

  • 深度多模态融合用于手术反馈分类

    通过文本、音频和视频的模态，利用多标签机器学习模型，自动对实时背景外科手术反馈进行分类，从而对外科培训中的技能提升有所帮助。

    Dec, 2023

  • HighMMT: 量化多模态和交互异质性实现高维表示学习

    本文提出了两种信息理论的度量方法，用于量化多模态学习中异构性，并提出了一种可扩展到多个领域的高模态模型 HighMMT，其性能优于以前的方法，并表现出重要的缩放行为。

    Mar, 2022

  • 基于文本为主的分层高阶融合的多视角多模态交互情感分析

    该研究提出了一种基于多模态信息的情感分析框架 ——InterMulti，并利用一种新颖的基于文本的 THHF 模块，将多种交互表现形式融合成综合的多模态交互表示来识别情感，实验结果表明，该方法的表现优于现有技术。

    Dec, 2022

  • 厘清 “半满还是半空” 的问题：多模态容器分类

    本文比较了在 NICOL 机器人的实验环境下，融合视觉、触觉和本体感数据的不同可能性，并演示了多模式解决方案在分类容器及其内容方面的优越性，评估了在不同时间步骤集成数据的三种融合策略，并发现最佳融合策略的准确度比仅使用单一感觉的最佳策略高出 15％。

    Jul, 2023

  • 可证明的低质量多模态数据动态融合

    本研究提供了一种新的质量感知多模态融合方法，旨在从概率推理的角度解决跨模态相关性和交互性的挑战，并在多个基准测试中验证了其分类准确性和模型鲁棒性的提升。

    Jun, 2023

  • 量化与建模特征交互：一种信息分解框架

    该研究提出了一种信息熵方法，可以量化多模态分布中输入特征之间的冗余、独特和协同作用，以帮助模型选择和应用。

    Feb, 2023

  • 多模态视觉融合的解读

    通过提供一个分析框架和新的度量标准，我们研究了多模态视觉社区的解释。通过实验，我们调查了不同模态之间的一致性和特殊性，模态内的演化规则，以及优化多模态模型时使用的协作逻辑，并揭示了一些重要发现，这些发现有助于重新思考流行的多模态视觉融合策略的合理性和必要性，从而为未来设计一个可信赖和通用的多模态融合模型奠定了基础。

    Aug, 2023

  • 多模态数据自适应融合技术

    本研究提出了两种自适应融合网络（Auto-Fusion、GAN-Fusion），通过对不同模态的特征进行有效的上下文建模，在多模态机器翻译和情感识别等任务中取得了比现有方法更好的效果。

    Nov, 2019