Jun, 2023

多模态学习的校准

PDF
TL;DR该文介绍了多模态机器学习在可靠性方面的问题，通过对当前分类方法进行实证研究发现算法的可靠预测能力存在问题，因此提出了一个新的正则化技术：Calibrating Multimodal Learning 来解决问题并提高性能.
multimodal machine learningpredictive confidencecalibrating multimodal learningregularization techniquemodel robustness
发现论文，激发创造
  • LLMs 的置信度评分多重校准

    通过使用 “多校准” 技术，本文提出为大型语言模型生成可解释和可靠的置信度分数。通过在各种数据交叉组合上同时校准，可以显著提高校准和准确性。

    Apr, 2024

  • 预训练 Transformer 内部分布校准的技巧

    本文探讨了针对预训练语言模型（PLMs）的置信度校准，提出了一种 Calibrated PLM（CALL）的组合方法，包括置信度惩罚损失、数据增强和集成方法，CALL 能够弥补对单独使用校准方法可能产生的缺陷，提高了分类和校准精度。

    Feb, 2023

  • 多模态范式的归因规范化

    通过提出新的正则化项，促进多模态模型在决策过程中有效利用所有模态的信息，以缓解单模态主导性问题并提高多模态机器学习系统的性能。

    Apr, 2024

  • 基于多模态基础模型的鲁棒多模态学习

    提出了一种简单而有效的框架 TRML，即利用多模态基础模型进行鲁棒多模态学习，通过生成虚拟模态替代丢失模态，并对生成和丢失模态之间的语义空间进行对齐，从而捕捉缺失模态的语义。在完整模态的情况下，我们的模型通过利用交叉模态语义空间的对齐来捕捉丢失模态的语义。实验证明我们的方法在三个多模态情感分析基准数据集 CMU-MOSI、CMU-MOSEI 和 MELD 上具有优势。

    Jan, 2024

  • 面向眼科疾病筛查的知识可感知多模态学习

    我们提出了一种新颖的多模态证据融合管道，针对眼科疾病筛查，在不同模态的信息融合中提供置信度测量，并通过多分布融合角度优雅地集成多模态信息。实验证明，我们的模型在健壮性方面表现出色，特别是在涉及高斯噪声和模态缺失条件的挑战性场景中。此外，我们的模型展示了强大的泛化能力，对于分布之外的数据，突显其作为多模态眼病筛查的有希望的解决方案的潜力。

    May, 2024

  • 用偏好模态量化和增强多模态稳健性

    多模态模型容易受到单模态攻击和缺失条件的干扰，为了克服这些干扰，需要具备鲁棒的多模态表示。本文通过理论研究发现，较大的单模态表示边界和更可靠的模态融合是实现更高鲁棒性的重要组成部分。基于这一发现，引入了一种训练过程称为可证明鲁棒的多模态训练 (Certifiable Robust Multi-modal Training，CRMT)，该方法可以明显提高鲁棒性的可信度和灵活性。

    Feb, 2024

  • 提高置信度估计的可靠性

    本研究提出了一种基于元学习的框架来同时提高置信度估计模型在不均衡数据和各种数据输入情况下的表现，并在单目深度估计和图像分类任务中进行了验证。

    Oct, 2022

  • 多模态情感分析中的单模编码和跨模态预测的多模态对比学习

    本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

    Oct, 2022

  • 学习未见过的模态交互

    本文针对多模态学习的完备性假设提出挑战，提出一种基于特征投影模块的解决方案，在推理过程中实现对看不见模态的泛化。同时使用伪监督来指示模态的预测可靠性。实验结果表明，该方法对于各种任务和模态具有很好的效果。

    Jun, 2023

  • 多模式学习理论

    研究多模态学习算法的泛化性质，发现与单一模态学习相比，多模态学习可以达到更好的泛化界限，最多可以提高到 O (√n) 倍，其中 n 代表样本大小。

    Sep, 2023