Nov, 2023

动态多模态信息瓶颈的多模态分类

PDF
TL;DR利用多模态数据，在医学诊断和预测任务中有效利用各种图像、实验室测试和临床信息的人工智能技术正在发展。本研究通过研究现有方法对数据冗余和噪声的鲁棒性，提出了一种广义的动态多模态信息瓶颈框架，用于获得稳健的融合特征表示。通过大量实验证明，我们的方法超越了现有技术，在存在大规模噪声通道时仍然具有优越性能。
发现论文，激发创造
  • 多模态癌症生存预测的原型信息瓶颈化与解缚

    多模态学习对癌症生存预测有重要影响，尤其是病理图像和基因组数据的整合。本文提出了一种新的框架，用于解决多模态数据中的冗余性问题，并在五个癌症基准数据集上进行了广泛实验，证明其在其他方法上的优越性。

    Jan, 2024

  • 利用互信息最大化进行视频多模态融合的降噪瓶颈

    本论文提出了一种细粒度的视频多模态融合去噪模型（DBF），它使用了瓶颈机制来过滤噪声和冗余信息，并采用互信息最大化模块来调节过滤器以保留不同模态中的关键信息。实验表明，我们的 DBF 模型在多个基准测试中均取得了显着的改进效果，涵盖了多模态情感分析和多模态摘要等任务，证明了该模型可以有效地从嘈杂和冗余的视频，音频和文本输入中捕捉到显著特征。

    May, 2023

  • 多模态融合中的注意力瓶颈

    本篇论文介绍了一种基于 transformer 的新颖架构，使用多层的融合瓶颈来进行多模态融合，实现了在多个音视频分类基准测试上的最新的结果，同时降低了计算成本。

    Jun, 2021

  • 检索增强生成中有效的噪音过滤的信息瓶颈视角

    检索增强生成结合了大语言模型的能力和从广泛语料库检索到的相关信息，但在面对现实世界的噪声数据时面临挑战。本文提出将信息瓶颈理论引入检索增强生成，通过同时最大化压缩和生成结果的互信息，最小化压缩和检索到的内容之间的互信息，实现对噪声的过滤。实验结果表明，我们的方法在各种问答数据集中取得显著的改进，不仅在答案生成的正确性方面，而且在 2.5% 的压缩率下的简洁性方面也有明显提升。

    Jun, 2024

  • 使用不确定性的信息数据选择在多模式物体检测中

    本研究提出了一种基于深度学习的通用不确定性感知多模态融合模型，该模型采用多管道宽松耦合架构将点云和图像特征进行组合，并将不确定性嵌入在边界框生成中，以生成可靠的输出，在 KITTI 2D 物体检测数据集和其衍生的 “脏数据” 中得到了验证。

    Apr, 2023

  • 通过多视角信息瓶颈学习强大的表示

    本文提出了基于信息瓶颈原理的多视角无监督学习方法，通过对同一实体的两个视角进行对比得出冗余信息，进而定义新的多视角模型，在 Sketchy 数据集和 MIR-Flickr 数据集的标签受限版本上取得了最先进的结果；此外还通过数据扩增技术将理论扩展至单视角情况，实验证明更具有良好的泛化能力。

    Feb, 2020

  • 确定性多视角聚类的可微信息瓶颈

    通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。

    Mar, 2024

  • 基于多视角语义一致性的信息瓶颈聚类方法

    提出了一种新的多视角语义一致性信息瓶颈聚类（MSCIB）算法，通过语义空间的多视角映射对多源信息进行对齐，从而获取有价值的一致信息，已取得最先进的性能。

    Feb, 2023

  • 基于门控信息融合网络的鲁棒性深度多模态学习

    本文提出了一种在存在不完善模态的情况下设计稳健的深度多模态学习体系结构的方法 - 通过使用深度融合架构进行目标检测，并使用带有门控信息融合网络调节贡献权重进行构建，以实现具有抗干扰性的性能表现提高，对于 KITTI 数据集的单发探测器（SSD），本文通过数据增强方案和提出的融合网络取得了显著的性能提升。

    Jul, 2018

  • 多尺度瓶颈变形器用于弱监督的多模态暴力检测

    通过利用多种多样性的模态，如 RGB，光流和音频，以及仅具备视频级别注释的多模态暴力检测模型的学习，我们提出了一种新的弱监督多模态暴力检测方法，明确解决了信息冗余，模态不平衡和模态异步性等三个关键挑战，进一步提出了一种时间一致性对比损失来语义对齐成对融合特征。在最大规模的 XD-Violence 数据集上的实验表明，提出的方法实现了最先进的性能。

    May, 2024