本文旨在探讨多模态机器学习的计算与理论基础，定义了三个关键原则和六个核心技术挑战，并提出多个未来研究的开放性问题。

Sep, 2022

LoReTTa 是一种自我监督框架，它通过自动学习不同模态之间的可转移和可交换特性，使得在具有三个匹配模态的情况下进行数据集的组合和整合变得简单。该方法不同于传统预训练方法，并在生成任务的复杂度和新的模态组合分类任务中展示出良好的性能。

May, 2023

提出了一种通过引导网络在训练阶段促进知识共享，利用多模式表示训练用于推理的更好的单模式模型，以解决存在缺失模式的多模态模型应用受限和过高计算成本的问题。通过真实生活中的暴力检测实验证明，所提出的框架训练的单模式模型明显优于传统训练的模型，并且推理成本相同。

Sep, 2023

利用多模式生物信号的多模式信息对人的身体和心理状态进行全面建模具有重要意义，但多模式生物信号往往在预训练和推断数据集之间存在明显的分布变化，我们提出了一种频率感知的掩码自编码器（bioFAME），它在频率空间中学习参数化生物信号的表示，并利用固定大小的基于傅里叶的操作符进行全局的分词混合，通过在潜在空间中进行掩码自编码以维持每个输入通道中的频率分量，实现了在预训练过程中对多模态信息的有效利用，并且可以在测试阶段无缝适应不同任务和模态，无论其输入长短和采样率如何，我们在一系列单模态时间序列的迁移实验中评估了我们的方法，在分类准确度上相较于之前的最先进方法平均提升了5.5％，此外，我们还证明了我们的架构在模态不匹配的情况下具有稳健性，包括未预测的模态丢失或替换，证明了它在实际应用中的实用性。

Sep, 2023

本研究提出了一种多模式学习方法，用于压力检测，该方法结合了面部标记和生物特征信号。我们测试了这种多模式集成的各种早期融合和后期融合技术，以整合来自生物特征信号的一维卷积神经网络模型和使用面部标记的二维卷积神经网络。研究结果表明，后期融合的准确率达到94.39％，而早期融合的准确率达到98.38％。该研究通过多模式方法提供了提高压力检测的有价值的见解。

Nov, 2023

提出了一种基于Transformer的架构，用于识别情绪的正性和负性，即使输入模态缺失，该模型通过交叉关注和自关注机制强调模态之间的关系，提高了对弱显著输入的学习过程，并在Ul-TSST数据集上实验，与后期融合基准方法相比，预测唤醒值的一致性相关系数的评估提高了37％，预测价值的一致性相关系数的评估提高了30%。

Nov, 2023

我们提出了一种名为多模态路径的方法，通过利用其他模态的无关数据来改进特定模态的transformers，从而实现了显著且一致的性能提升。

Jan, 2024

通过使用检索增强上下文学习来解决多模态机器学习中缺失模态和样本有限的问题，提高分类模型性能和样本效率。

Mar, 2024

通过结合统计相关性和以人为中心的方法，本研究解决了融合异构数据进行特定行为识别在疼痛识别领域的挑战，利用多样化的深度学习架构突出了方法的适应性和有效性，在各种复杂环境中提高模型性能。通过战略性的加入统计相关性权重和以人为中心的多模态数据分割，改进了模型精度，并提供了可解释的多模态数据分析，从而超越了传统的模态融合技术，突出了数据多样性和定制模态分割在疼痛行为分析中的作用。引入了根据统计显著性匹配每种模态的适当分类器的框架，标志着朝着定制化和准确性更强的多模态融合策略迈进。本研究不仅在疼痛识别领域作出了贡献，还为模态融合和以人为中心的计算应用提供了新的见解，为可解释的人工智能和强化以患者为中心的医疗干预作出了贡献。因此，我们填补了有效和可解释的多模态数据融合中的一个重要空白，为疼痛行为识别和相关领域的未来研究建立了新的标准。

Mar, 2024

通过学习多种模态（如音频和视频）可以利用互补信息，提高模型性能，本文提出了一种多损失目标和改进的平衡过程，通过动态调整不同模态的学习速度来实现更好的结果。

May, 2024