Mar, 2024

基于概率电路的可信度感知多模态融合

PDF
TL;DR通过使用概率电路来进行预测分布的多模态融合，我们提出了一种可靠地推断可信度的融合方法，并在实验评估中证明了其与最先进方法在性能上的竞争力。
late multi-modal fusiondiscriminative learningcredibilityprobabilistic circuitsfusion method
发现论文，激发创造
  • 预测动态融合

    提出了一种用于多模态学习的预测动态融合（PDF）框架，通过从泛化角度揭示多模态融合，理论上推导出可预测的合作信念（Co-Belief）与单一和整体置信的关系，并进一步提出相对校准策略以校准潜在的不确定性，通过在多个基准测试上的大量实验证实了其优越性。

    Jun, 2024

  • 深度证据融合下的多模态医学图像分割与不确定性量化及上下文折扣

    基于深度学习和 Dempster-Shafer 理论的多模式医学图像分割的融合框架，在考虑了每个单模态图像在分割不同对象时的可靠性的情况下，通过背景折扣操作对每个模态的证据进行合并，从而达到最终决策。与现有方法相比，实验结果表明我们的方法在准确性和可靠性方面表现优异。

    Sep, 2023

  • 基于概率先验信息集成的多模态对象检测

    通过将上下文二进制信息转化为概率图，并提出一种早期融合结构，在 DOTA 数据集上进行了广泛实验证实，本文研究了仅有一种模态包含目标物体且其他模态提供关键上下文信息的多模式目标检测中的对齐问题。

    May, 2024

  • 可证明的低质量多模态数据动态融合

    本研究提供了一种新的质量感知多模态融合方法，旨在从概率推理的角度解决跨模态相关性和交互性的挑战，并在多个基准测试中验证了其分类准确性和模型鲁棒性的提升。

    Jun, 2023

  • 多模态学习的校准

    该文介绍了多模态机器学习在可靠性方面的问题，通过对当前分类方法进行实证研究发现算法的可靠预测能力存在问题，因此提出了一个新的正则化技术：Calibrating Multimodal Learning 来解决问题并提高性能.

    Jun, 2023

  • 跨模态检索的概率嵌入

    本研究提出了一种基于概率交叉模态嵌入的跨模态检索方法，该方法能够捕捉到一个图像或者一句话与多个相应图像或句子间的一对多关系。我们通过在 CUB 数据集上测试，证明了该方法不仅能提高检索性能，而且可以提供可解释性和不确定性的嵌入表示。

    Jan, 2021

  • 面向眼科疾病筛查的知识可感知多模态学习

    我们提出了一种新颖的多模态证据融合管道，针对眼科疾病筛查，在不同模态的信息融合中提供置信度测量，并通过多分布融合角度优雅地集成多模态信息。实验证明，我们的模型在健壮性方面表现出色，特别是在涉及高斯噪声和模态缺失条件的挑战性场景中。此外，我们的模型展示了强大的泛化能力，对于分布之外的数据，突显其作为多模态眼病筛查的有希望的解决方案的潜力。

    May, 2024

  • 通过概率集成进行多模态物体检测

    探讨如何使用 RGB 和热成像相机实现多模态目标检测，并提出了一种概率集成技术 ——ProbEn, 该方法基于贝叶斯定理和条件独立性假设，即使条件独立性假设不成立，ProbEn 也能明显改善多模态检测，并在两个基准测试中取得了超过 13% 的相对性能提升。

    Apr, 2021

  • 多模态数据自适应融合技术

    本研究提出了两种自适应融合网络（Auto-Fusion、GAN-Fusion），通过对不同模态的特征进行有效的上下文建模，在多模态机器翻译和情感识别等任务中取得了比现有方法更好的效果。

    Nov, 2019

  • 融合还是失去：多模态基于仿真推理的深度融合

    通过多模态神经后验估计（MultiNPE）方法，我们整合来自不同来源的异构数据，利用神经网络进行基于模拟的推断。通过受到注意力机制深度融合学习的启发，研究人员能够分析来自不同领域的数据，通过增加精确性来推断复杂数学模型的参数。我们为 MultiNPE 提出了不同的多模态融合方法（早期、晚期和混合），并在三个具有挑战性的数值实验中评估其性能。MultiNPE 不仅在基准模型上优于基准方法，而且在神经科学和心脏病学的代表性科学模型中实现了更好的推断。此外，我们还系统地研究了部分数据缺失对不同融合策略的影响。在不同的实验中，晚期和混合融合技术成为多模态基于模拟的推断的实际应用的首选方法。

    Nov, 2023