ACLNov, 2023
自我互信息:通过自监督多任务学习和辅助互信息最大化实现高效多模式融合
Self-MI: Efficient Multimodal Fusion via Self-Supervised Multi-Task Learning with Auxiliary Mutual Information Maximization
Cam-Van Thi Nguyen, Ngoc-Hoa Thi Nguyen, Duc-Trong Le, Quang-Thuy Ha
TL;DR通过自监督学习的方式,利用对比预测编码作为辅助技术最大化单模输入对和多模态融合结果之间的互信息,通过最大化互信息,促进多模态融合与单模态之间更好的对齐,从而提高多模态融合的性能。