Apr, 2024
神经启发的信息理论层次感知多模态学习
Neuro-Inspired Information-Theoretic Hierarchical Perception for Multimodal Learning
Xiongye Xiao, Gengshuo Liu, Gaurav Gupta, Defu Cao, Shixuan Li...
TL;DR通过神经科学的启发，我们开发了信息论层次感知（ITHP）模型，它利用了信息瓶颈的概念。与大多数在神经网络中相同并一致地纳入所有模态的传统融合模型不同，我们的模型将一个主要模态设计为信息路径中的侦测器，以蒸馏信息流。我们提出的感知模型专注于通过在潜在状态与输入模态状态之间最小化互信息，以及在潜在状态与其余模态状态之间最大化互信息来构建一种有效且紧凑的信息流。该方法导致紧凑的潜在状态表示，保留相关信息并最小化冗余，从而大大提高了多模态表示学习的性能。在 MUStARD、CMU-MOSI 和 CMU-MOSEI 数据集上的实验评估表明，我们的模型在多模态学习场景中一贯蒸馏关键信息，优于最先进的基准模型。在 CMU-MOSI 数据集上，ITHP 在多模态情感二分类任务的所有评估指标（二元准确率、F1 分数、平均绝对误差和皮尔逊相关性）上均超过了人类水平的性能。