Sep, 2023

神经启发的多模态层次学习

PDF
TL;DR通过信息融合和处理各种来源或方式的信息对于获取综合准确的现实世界感知至关重要。我们从神经科学中获得灵感，开发了基于信息瓶颈概念的信息论层次感知（ITHP）模型。与大多数旨在将所有模态作为输入的传统融合模型不同，我们的模型将主模态定为输入，而其余模态则充当信息传递途径中的探测器。我们的感知模型专注于构建有效且紧凑的信息流，通过在潜变量状态与输入模态状态之间最小化互信息并在潜变量状态与其余模态状态之间最大化互信息之间取得平衡。这种方法导致紧凑的潜变量表示，保留相关信息并尽量减少冗余，从而显著提高了下游任务的性能。对 MUStARD 和 CMU-MOSI 数据集的实验评估表明，我们的模型在多模态学习场景中持续提炼关键信息，优于业界最先进的基准。
integrating and processing informationinformation-theoretic hierarchical perceptionmodalitieslatent state representationsmultimodal learning scenarios
发现论文，激发创造
  • 神经启发的信息理论层次感知多模态学习

    通过神经科学的启发，我们开发了信息论层次感知（ITHP）模型，它利用了信息瓶颈的概念。与大多数在神经网络中相同并一致地纳入所有模态的传统融合模型不同，我们的模型将一个主要模态设计为信息路径中的侦测器，以蒸馏信息流。我们提出的感知模型专注于通过在潜在状态与输入模态状态之间最小化互信息，以及在潜在状态与其余模态状态之间最大化互信息来构建一种有效且紧凑的信息流。该方法导致紧凑的潜在状态表示，保留相关信息并最小化冗余，从而大大提高了多模态表示学习的性能。在 MUStARD、CMU-MOSI 和 CMU-MOSEI 数据集上的实验评估表明，我们的模型在多模态学习场景中一贯蒸馏关键信息，优于最先进的基准模型。在 CMU-MOSI 数据集上，ITHP 在多模态情感二分类任务的所有评估指标（二元准确率、F1 分数、平均绝对误差和皮尔逊相关性）上均超过了人类水平的性能。

    Apr, 2024

  • 多模态融合中的注意力瓶颈

    本篇论文介绍了一种基于 transformer 的新颖架构，使用多层的融合瓶颈来进行多模态融合，实现了在多个音视频分类基准测试上的最新的结果，同时降低了计算成本。

    Jun, 2021

  • 多模态癌症生存预测的原型信息瓶颈化与解缚

    多模态学习对癌症生存预测有重要影响，尤其是病理图像和基因组数据的整合。本文提出了一种新的框架，用于解决多模态数据中的冗余性问题，并在五个癌症基准数据集上进行了广泛实验，证明其在其他方法上的优越性。

    Jan, 2024

  • 动态多模态信息瓶颈的多模态分类

    利用多模态数据，在医学诊断和预测任务中有效利用各种图像、实验室测试和临床信息的人工智能技术正在发展。本研究通过研究现有方法对数据冗余和噪声的鲁棒性，提出了一种广义的动态多模态信息瓶颈框架，用于获得稳健的融合特征表示。通过大量实验证明，我们的方法超越了现有技术，在存在大规模噪声通道时仍然具有优越性能。

    Nov, 2023

  • 通过互联融合进行多模式高光谱图像分类

    介绍了一种新的 “互连融合” 框架用于超光谱图像和激光雷达数据的特征融合，包括从多个视角中利用 HIS-LiDAR 信号的上下文信息和内部特征，可以提高分类准确性。

    Apr, 2023

  • 基于文本为主的分层高阶融合的多视角多模态交互情感分析

    该研究提出了一种基于多模态信息的情感分析框架 ——InterMulti，并利用一种新颖的基于文本的 THHF 模块，将多种交互表现形式融合成综合的多模态交互表示来识别情感，实验结果表明，该方法的表现优于现有技术。

    Dec, 2022

  • 一阶段模态蒸馏用于不完整多模态学习

    基于多模态数据的学习近年来引起了越来越多的关注。尽管可以采集各种感官模态进行训练，但并不总是能在开发场景中获得所有的模态，这给基于不完整模态的推断带来了挑战。为了解决这个问题，本文提出了一个一阶段模态蒸馏框架，通过多任务学习将特权知识传递和模态信息融合统一为一个优化过程。与独立执行它们的传统模态蒸馏相比，这有助于直接捕捉有助于最终模型推断的有价值表征。本文具体介绍了模态转换任务的联合适应网络，以保留特权信息。通过联合分布适应解决由输入差异引起的表示异质性。然后，我们介绍了模态融合任务的交叉翻译网络，以聚合恢复和可用的模态特征。它利用参数共享策略明确捕捉跨模态线索。在 RGB-D 分类和分割任务上的大量实验证明，提出的多模态继承框架可以克服各种场景中不完整模态输入的问题，并实现最先进的性能。

    Sep, 2023

  • IMF：交互式多模态融合模型用于链接预测

    该研究提出了一种交互式多模态融合技术，可在保留各自模态特征的同时，更好地融合来自不同模态的知识，以实现更好的链接预测效果，并在多个真实世界数据集上进行了实证评估。

    Mar, 2023

  • 协同信息支持神经网络解决多任务时的模态集成和灵活学习

    通过解析神经元系统参与不同模式的信息处理，一个信息分解框架被应用以研究简单的人工神经网络在不同的学习模式下执行各种认知任务的信息处理策略。结果表明，协同作用随着神经网络学习多样任务而增加，并且在需要整合信息来源的任务中发挥关键作用。

    Oct, 2022

  • 多模态表示学习中早期融合的好处

    该篇论文通过创建卷积 LSTM 网络结构，研究了多模态表示学习中视听融合的早期处理，结果表明，在初始 C-LSTM 层中立即融合音频和视觉输入可以提高网络的性能，使其更能够抵抗白噪声的干扰。

    Nov, 2020