通过训练一个基于认知科学的 ' 全局工作空间 '，我们探索了这样一个受大脑启发的多模态表示是否有助于增强强化学习代理的泛化能力及跨模态转移，在两个不同环境和任务中实验结果表明，该模型能够进行零 - shot 跨模态转移，在图像和属性向量之间进行泛化。

Mar, 2024

研究探讨了在深度学习中引入全局工作空间架构的方法，借鉴认知科学中的观点，为不同的专家模块建立共享的通信渠道，并探讨了通信带宽限制的合理性和作用。

Mar, 2021

研究发现，模型的中间层能够更好地编码全局语义信息，表征向量在视觉 - 语言蕴含任务中表现更好，而最顶层的模型可能过于关注局部信息，导致对全局信息编码能力减弱。

Feb, 2024

本文提出了一种新方法来将视觉信息作为协助信号用于 NLP 任务，使用 Transformer 编码器和卷积神经网络来对文本和图像进行编码，通过注意力层将两种模态的表征进行融合，实验结果表明，该方法在不同的任务和语言中都具有很好的效果。

Jan, 2023

本文介绍了一种新的跨模态场景数据集，并研究了如何学习跨模态场景的表示。通过正则化跨模态卷积神经网络，我们提出了一种共享表示方法，可以帮助跨模态检索表征。此外，我们的可视化结果表明，共享表示中出现了单元，它们倾向于独立于模态激活的一致概念。

Jul, 2016

提出了一种无监督多模态语言表示提取方法，利用卷积自编码器将单词级对齐的多模态序列映射到 2-D 矩阵中，证明其在情感分析和情绪识别领域可以达到接近最先进性能的结果。

Oct, 2021

本文提出了一个结合多模态学习嵌入与持续学习的框架，研究了新任务导致了的困扰与不同因素造成的遗忘，发现索引阶段对任务效果有显著影响，并提出缓解遗忘的工具。在两个图像 - 文本检索数据集中证明了我们的方法的显著提高。

Apr, 2021

提出了一种自适应动态融合多模态语义分割框架，采用自监督模型的融合机制来优化融合多模态特征，在物体类别、空间位置和场景上下文方面增强鲁棒性，同时提出了一种计算高效的 AdapNet ++ 单模分割体系结构，并获得了最新的性能。

Aug, 2018

本文总结了一些具有里程碑意义的研究论文，直接或间接地构建了当今多模态自我监督学习的基础。该文章回顾了过去几年中用于每种模态的表示学习的发展情况，以及它们如何组合成多模态智能体。

Nov, 2022

本文介绍了一种利用视频中存在的三种模态（视觉、音频和语言），通过自监督学习来学习表示的方法，并引入了多模态多功能网络的概念 —— 一种可以吸收多种模态，其表示方法可以在多种模态下用于下游任务。通过这种方法，我们可以在多个具有挑战性的基准测试中获得最先进的性能。

Jun, 2020