Feb, 2024

用偏好模态量化和增强多模态稳健性

TL;DR多模态模型容易受到单模态攻击和缺失条件的干扰,为了克服这些干扰,需要具备鲁棒的多模态表示。本文通过理论研究发现,较大的单模态表示边界和更可靠的模态融合是实现更高鲁棒性的重要组成部分。基于这一发现,引入了一种训练过程称为可证明鲁棒的多模态训练 (Certifiable Robust Multi-modal Training,CRMT),该方法可以明显提高鲁棒性的可信度和灵活性。