Sep, 2023
多模式学习的计算优势
On the Computational Benefit of Multimodal Learning
Zhou Lu
TL;DR人类感知本身具有多模态特性。同样地，当机器对经验世界进行解读时，它们的学习过程也应该是多模态的。最近在实证多模态学习方面取得的显著成功突显了理解这一范式的重要性。然而，多模态学习的坚实的理论基础长期以来一直困扰着该领域。本研究基于 Lu (2023) 近期的研究结果，展示了多模态学习相对于单模态学习在样本复杂性上的优势，但还存在一个基本问题：多模态学习是否也在计算上具备优势？本文开始对多模态学习的计算益处进行研究。我们证明，在特定条件下，多模态学习在计算方面能够以指数级超越单模态学习。具体地，我们提出了一个对单模态学习而言是 NP-hard 的学习任务，但可以由多模态算法在多项式时间内解决。我们的构建基于对两个半空间交点问题的新颖修改。