May, 2024

多模式学习系统中的互信息分析

PDF
TL;DR本文研究了多模态信号处理和分析的应用，通过利用信息计量的概念和 InfoMeter 系统，分析了自动驾驶的大规模数据集中的多模态 3D 物体检测系统，并提出了低模态间信息量对于检测准确性有益的新见解。
multimodal signal processingmultimodal learning systemsmutual informationinfometermultimodal 3d object detection system
发现论文，激发创造
  • 多模态情感分析中的多层次互信息最大化方法改进多模态融合

    本文提出了一种名为多模态信息最大化的框架，通过提高单模态输入对之间的相互信息和多模态融合结果与单模态输入之间的相互信息，以保留任务相关信息，在下游任务中，与主要任务（MSA）一起进行联合训练，以提高下游任务的性能。实验结果证明了我们方法的有效性。

    Sep, 2021

  • 自我互信息：通过自监督多任务学习和辅助互信息最大化实现高效多模式融合

    通过自监督学习的方式，利用对比预测编码作为辅助技术最大化单模输入对和多模态融合结果之间的互信息，通过最大化互信息，促进多模态融合与单模态之间更好的对齐，从而提高多模态融合的性能。

    Nov, 2023

  • 基于互信息最大化与最小化和身份嵌入的多模态情感分析的多模态表示学习

    本研究提出了一种基于互信息最大化和最小化以及身份嵌入（MMMIE）的多模态表示模型，以更好地应对不同模态之间的异质性差距和上下文动态。实验结果表明，该模型在两个公共数据集上的表现具有有效性。

    Jan, 2022

  • 多模态智能：表示学习、信息融合与应用

    本文综述了多模态智能领域中的各种模型和学习方法。主要关注点是视觉和自然语言模态的组合，涵盖了多模态表示学习、多模态信号融合以及多模态应用等方面，旨在为相关社群未来的研究提供参考。

    Nov, 2019

  • 多模态医学图像分割的互补信息共学习

    这篇论文介绍了一种互补信息相互学习（CIML）框架，通过数学建模和处理跨模态冗余信息的负面影响，它将多模态分割任务分解成多个子任务，并通过信息传递来从其他模态中提取信息，以有效地去除冗余信息，提高验证准确性和分割效果。

    Jan, 2024

  • 相互信息散度：多模态生成模型的统一度量

    采用 CLIP 特征的负高斯交叉互信息度量被提出，用于评估 text-to-image generation 和 image captioning 任务的机器智能水平，与竞争指标相比具有一致性、样本简约性和鲁棒性，并在多模态表示学习中得到了广泛的应用。

    May, 2022

  • 无标注多模态数据下的多模态学习：保证和应用

    本研究通过信息论方法对半监督学习中多模态交互的量化和分析，提出自下界和自上界的措施，并探讨了两个半监督多模态应用

    Jun, 2023

  • 为预训练语言模型整合非语言线索而文本化多模态信息

    本文研究了如何将非语言性特征（例如视觉和听觉）转化为对应的文本描述，并将其与口头文本结合，从而将多模态信息整合到基于文本的预训练大语言模型中。我们称此方法为 TextMI，并在情感、幽默和讽刺检测等多个下游任务中进行了 fine-tune，取得了令人满意的性能，因此提出将 TextMI 作为低资源环境下多模态行为分析任务的通用、有竞争力的基准。

    Mar, 2023

  • 多模态机器学习：概述与分类

    多模态机器学习作为一个充满潜力的多学科领域，在不断发展和完善，其普遍的分类包括：表示、翻译、对齐、融合和协同学习。该研究旨在通过共性的分类方式，综合总结目前该领域的研究进展，以期为未来的研究指明方向。

    May, 2017

  • 多模态相似性学习

    本文提出了一种基于多核学习以及基于图的过滤技术的方法，将多媒体数据中的多种模态融合到单一的相似度空间中，以解决多媒体数据中的主观问题和不一致问题。

    Aug, 2010