无标注多模态数据下的多模态学习：保证和应用

Jun, 2023

无标注多模态数据下的多模态学习：保证和应用

Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications

Paul Pu Liang, Chun Kai Ling, Yun Cheng, Alex Obolenskiy, Yudong Liu...

TL;DR本研究通过信息论方法对半监督学习中多模态交互的量化和分析，提出自下界和自上界的措施，并探讨了两个半监督多模态应用

Abstract

In many machine learning systems that jointly learn from multiple modalities, a core research question is to understand the nature of multimodal interactions: the emergence of new task-relevant information during learning from both modalities that was not present in either alone. We st

machine learning multimodal interactions semi-supervised learning information-theoretic definition self-supervised learning

发现论文，激发创造

学习未见过的模态交互

本文针对多模态学习的完备性假设提出挑战，提出一种基于特征投影模块的解决方案，在推理过程中实现对看不见模态的泛化。同时使用伪监督来指示模态的预测可靠性。实验结果表明，该方法对于各种任务和模态具有很好的效果。

Jun, 2023

多模态融合交互：人工智能量化的研究

研究了如何通过人工注释对多模态交互进行分类，提出了信息分解方法，比较了部分标签和反事实标签的机会和限制，并提出了一种自动转换方法以量化多模态数据集中的交互

Jun, 2023

多模式协同学习：挑战、数据集应用、最新进展与未来方向

该研究对于多模态联合学习进行了全面系统的综述，介绍了多种技术和应用，讨论了存在的挑战和未来的研究方向。

Jul, 2021

关于多模态与单模态机器学习之间更强的计算分离