通过特征对齐的方法，在联合特征空间中通过模态之间的特征迁移和特征扩展实现了多模态信息的完全整合，从而可靠地捕获来自不同模态的特征之间的高级相互作用，并在多模态学习性能上取得了显著的提升。对包含时间序列、图像和文本的多模态数据集进行了广泛的实验评估，证明了我们的方法在性能上超越了其他流行的多模态融合方案，达到了最先进的水平。

Jun, 2024

通过系统调查多模态推荐中的对齐问题，本文提出了一种名为 AlignRec 的解决方案，由内容内部对齐、内容与分类 ID 之间的对齐，以及用户与项目之间的对齐这三个目标函数组成，将其融入到我们的多模态推荐框架中，并通过实验证明了 AlignRec 相对于其他九种基线方法的优越性。

Mar, 2024

该论文介绍了一种新的参数高效的视听变压器 MA-AVT，采用深度模态对齐来实现对应的多模态语义特征的对齐，通过联合单模态和多模态令牌学习，引入冻结的模态共享变压器，使模型能够学习到每种模态的独立表示，并关注它们之间的跨模态关系。此外，在编码阶段引入块对齐性学习以对齐粗粒、细粒的层次特征，并引入鲁棒的判别前景挖掘机制以抑制每种模态中的背景特征。通过在 benchmark AVE、VGGSound 和 CREMA-D 数据集上进行的大量实验，该方法在性能上取得了显著的改进。

Jun, 2024

该研究论文提出了一种基于聚类表示学习的多模态信号对齐方法，使用字典聚类编码将图像和文本编码到一个共同的编码空间中，并采用师生蒸馏的方法进一步优化学习过程，在多种视觉语言基准测试中取得了最新的最佳结果。

Feb, 2022

我们的研究提出了一种创新方法，通过对齐和绑定不同模态的时间序列表示，以引导神经编码器揭示这些多模态特征之间的潜在模式关联，从而解决了由于复杂的特征融合方法和对异质特征的依赖导致的扩展性问题，并在多个应用领域的不同时间序列数据集上验证了该方法的有效性。

Dec, 2023

本文讨论了跨模态对齐的效果和问题，提出了通过梯度调整和基于梯度的课程学习解决梯度冲突的方法，并将其应用于视频音频文本模态的预训练中以提高性能。

Nov, 2022

研究多模态数据，重要的因素是了解各个模态之间的关系和相互作用，通过对齐各个模态数据可以提高预测质量、跨模态查询以及解决模型解释性问题。通过分析德国议员如何对待极右派 AfD 成员的演讲，以及在 2020 年美国总统竞选中预测视频广告的气氛，我们对有效分析多模态数据提供了重要见解。

May, 2024

该研究论文针对多模态学习中的模态不匹配问题，提出了一种创新方法，即文本为中心的多模态学习对齐（TAMML）方法。通过利用文本的独特特性作为统一的语义空间，TAMML 在处理未见过的、多样化的和不可预测的模态组合时取得了显著改进。TAMML 不仅适应不同的模态，还保持了强大的性能，展示了基于基本模型的潜力，克服了传统固定模态框架中嵌入表示的局限性。该研究为领域做出了贡献，为模态可用性动态和不确定性的实际应用提供了灵活有效的解决方案。

Feb, 2024

本文介绍一种名为 MM-Align 的新方法，利用最优传输理论中的对齐动力学学习模块和去噪训练算法，针对缺失多模态数据进行推断。通过在覆盖两个多模态任务的三个数据集上进行全面实验，结果表明我们的方法可以在各种缺失条件下执行更精确和更快的推断，并减轻过度拟合问题。

Oct, 2022

本研究中，我们利用自监督学习范式 (SSL) 来学习未标记数据的深层次特征表达，提出了一种用于人类活动识别的动态时间规整 (DTW) 算法，强制特征在时间维度上对齐。我们的实验结果显示，该方法对于单一模态和多模态的情况均具有学习稳健特征表达的潜力，并在半监督学习中明显优于监督模型。

Oct, 2022