Jul, 2023

自动驾驶中鲁棒目标检测的不确定性编码多模态融合

PDF
TL;DRMulti-modal fusion technique incorporating uncertainties through Uncertainty-Encoded Mixture-of-Experts (UMoE) improves object detection performance in extreme weather, adversarial, and blinding attack scenarios for autonomous driving.
multi-modal fusionuncertaintyumoeobject detectionautonomous driving
发现论文，激发创造
  • 使用不确定性的信息数据选择在多模式物体检测中

    本研究提出了一种基于深度学习的通用不确定性感知多模态融合模型，该模型采用多管道宽松耦合架构将点云和图像特征进行组合，并将不确定性嵌入在边界框生成中，以生成可靠的输出，在 KITTI 2D 物体检测数据集和其衍生的 “脏数据” 中得到了验证。

    Apr, 2023

  • 神经网络训练与不确定数据的专家混合方法

    该研究提出了 “不确定性感知的专家混合”（uMoE）方法，该方法通过将不确定性直接集成到训练过程中来解决基于神经网络的预测模型中的 aleatoric 不确定性问题。结果表明，uMoE 在处理数据不确定性方面显著优于基线方法，并展示了其适应不同不确定性水平并提供最佳阈值参数的能力。该创新方法可在包括生物医学信号处理、自动驾驶和生产质量控制在内的各种数据驱动领域广泛应用。

    Dec, 2023

  • FuseMoE: 灵活模态融合的专家混合变压器

    通过混合专家框架和创新的门控函数，本研究介绍了 FuseMoE 模型，该模型可以有效地处理多模态数据、缺失模态以及时间上的不规则和稀疏采样数据，从而改善模型预测性能。通过临床风险预测任务的验证，证实了 FuseMoE 在实际应用中的实用性。

    Feb, 2024

  • 顺应化的多模态不确定性回归和推理

    本研究介绍了一种轻量级的不确定性估计器，通过将符合预测与深度学习回归器相结合，能够预测多模态（不相交）的不确定性界限。我们特别讨论了它在视觉里程计中的应用，该应用中环境特征，如飞行领域的对称性和模糊和遮挡下的传感器测量，可能导致多模态不确定性。我们的模拟结果显示，在我们的框架中，不确定性估计根据具有挑战性的操作条件自适应地调整每个样本，例如明显的噪声、有限的训练数据和有限的预测模型参数大小。我们还开发了一种推理框架，利用这些稳健的不确定性估计并结合基于光流的推理来提高预测准确性。因此，通过恰当地考虑数据驱动学习的预测不确定性，并通过基于规则的推理关闭其估计循环，我们的方法在所有这些具有挑战性的场景中始终优于传统的深度学习方法，通过减少预测误差 2-3 倍。

    Sep, 2023

  • 高密度、遮挡和大规模事件中的地理车辆检测多模态协作网络

    在大规模灾难事件中，构建最优救援路径的规划依赖于在灾难现场的目标检测能力，其中主要挑战之一是存在密集和遮挡的目标。该研究提出了一种多模态协作网络（MuDet）用于密集和遮挡的车辆检测，通过构建多模态数据集并采用三个主要模块来增强不同模态的特征，并通过定义和阈值化置信度值来有效分离复杂背景中密集遮挡的车辆目标。实验结果表明 MuDet 的鲁棒性和通用性。

    May, 2024

  • 使用混合随机专家建模分割中的多模态混沌不确定性

    该研究提出一种基于 MoSE 模型的分割不确定性计算方法，利用多个专家网络对图像进行不确定性判别，同时提出一种新颖的 Wasserstein-like 损失函数，可对模型进行有效训练和优化。研究表明，在 LIDC-IDRI 数据集和多模态 Cityscapes 数据集上，该方法表现出优越的性能。

    Dec, 2022

  • 基于数据不确定性引导的半监督目标检测多阶段学习

    本文提出了基于数据不确定性引导的多阶段学习方法和图像不确定性引导简单数据选择和感兴趣区域重新加权方法，能够充分考虑不同类型的未标记图像并将不同阶段的模型集成在一起，从而使半监督目标检测器更加聚焦于更可靠的知识，实验结果表明，该方法与基线方法相比具有显著的优势。

    Mar, 2021

  • UA-Track: 不确定性感知的端到端三维多目标跟踪

    提出了 UA-Track，一种能够解决 3D 多目标跟踪中存在的不确定性问题的框架，包括不确定性感知解码器、不确定性引导的查询去噪策略以及借助不确定性降低查询不确定性的方法。在 nuScenes 数据集上，UA-Track 在测试集上取得了 66.3% 的 AMOTA，超过了之前最佳的端到端解决方案 8.9% 的 AMOTA。

    Jun, 2024

  • 联合语义分割与单目深度估计的高效多任务不确定性

    通过结合不同的不确定性量化方法与联合语义分割和单眼深度估计，我们评估它们相对于彼此的性能，同时揭示了多任务学习在不确定性质量方面相对于分别解决两个任务的优势。基于这些认识，我们引入了 EMUFormer，这是一种新颖的学生 - 教师蒸馏方法，用于联合语义分割和单眼深度估计以及高效的多任务不确定性量化，它通过隐式利用教师的预测不确定性，在 Cityscapes 和 NYUv2 上取得了新的最先进结果，并且对于两个任务都估计了与 Deep Ensemble 相当或更优的高质量预测不确定性，尽管其效率是 Deep Ensemble 的一个数量级。

    Feb, 2024

  • Uni-MoE：使用专家混合方法扩展统一多模态 LLMs

    开发一种用于多模态大型语言模型的混合专家 (Uni-MoE) 架构，具有一致的多模态表示，通过稀疏的模态级数据并行和专家级模型并行实现高效的训练和推理，进一步减少性能偏差，并提高多专家的协作和泛化能力。

    May, 2024