Jun, 2023

多任务视觉感知的动态特征交互框架

PDF
TL;DR本研究提出了一种高效的统一框架 D2BNet，该框架可以同时解决多个常见的感知任务，如实例分割、语义分割、单目 3D 检测和深度估计，并在 nuScenes 和 Cityscapes 等数据集中实现了与以往作品相当的结果和最佳结果。
multi-task visual perceptionunified frameworkinstance segmentationsemantic segmentationmonocular 3d detection
发现论文，激发创造
  • 联合多模态图像融合及其它应用的二层动态学习

    本文描述了一种层次双任务驱动的深度模型，用于多模态场景感知，包括图像融合和场景理解。该模型不仅能够产生视觉良好的融合结果，而且比现有技术实现了显著的检测和分割优势。

    May, 2023

  • 动态特征整合技术在显著目标、边缘和骨架同时检测中的应用

    本文提出了一种基于统一框架的低级像素视觉问题解决方法，通过选择性整合模块和任务自适应注意力模块实现，经实验验证不同的任务可以在同一个框架下进行训练，并在多个代表性数据集上证明了该方法的有效性。

    Apr, 2020

  • 3M3D: 多视角、多路径、多表征 3D 目标检测

    提出了一种基于多视图轴自注意力和局部 ROI 自注意力的多路径多表示 3D 物体检测方法，通过稀疏浮动查询和密集 BEV 查询的多重表示进一步提高了性能，对于自动驾驶系统具有重要意义。

    Feb, 2023

  • 密集预测的多任务学习中特征交互的重新思考

    通过学习综合的中间特征，将任务通用特征和任务特定特征相结合，提出了一种新的桥特征中心交互方法，通过桥特征生成器生成强桥特征，利用任务模式传播确保高质量的任务交互参与者，再利用任务特征细化器从桥特征中提炼知识来改进最终的任务预测结果。在实验中，通过在 NYUD-v2 和 PASCAL Context 基准数据集上进行大量实验，表明所提出的架构在同时推动不同的密集预测任务方面具有效力和能力。

    Dec, 2023

  • HENet: 混合编码的多视角相机端到端多任务三维感知

    本文提出了一种名为 HENet 的多任务三维感知的端到端框架，通过使用大图像编码器和小图像编码器以及基于注意机制的时间特征集成模块，融合不同框架提取的特征，并根据每个感知任务的特性利用不同网格大小的 BEV 特征、独立的 BEV 编码器和任务解码器，实现了最先进的端到端多任务三维感知。

    Apr, 2024

  • EffiPerception：各种感知任务的高效框架

    EffiPerception 框架通过高效的特征提取器和层插拔机制，以及 8 位优化器 EffiOptim，在多个感知任务中实现了卓越的精度 - 速度性能提升，并在 KITTI、semantic-KITTI 和 COCO 数据集上得到广泛验证。

    Mar, 2024

  • FULLER: 统一的多模态多任务三维感知通过多级梯度校准

    多模态融合与多任务学习在三维自动驾驶场景中变得流行，然而，将现有框架扩展到多模态多任务学习领域仍然是无效的甚至有害的，由于恶名昭彰的模态偏差和任务冲突。本研究提出了一个新颖而简单的多层梯度校准学习框架，通过任务和模态之间的优化在任务和模态之间进行优化。实验证明了该方法的有效性。

    Jul, 2023

  • 一个用于密集视觉预测解决方案的香草式多任务框架 —— 第一届 VCL 挑战赛 —— 多任务鲁棒性分科

    我们提出的 UniNet 框架可以将 DETR3D、Mask2Former 和 BinsFormer 无缝地结合到一个多任务模型中，实现多任务鲁棒性，并在 1st Visual Continual Learning（VCL）挑战的多任务鲁棒性领域取得了显著性能。

    Feb, 2024

  • 驾驶场景感知网络：实时联合检测、深度估计和语义分割

    本文提出一种名为 DSPNet 的模型，利用共享卷积架构实现在单张图片中同时进行物体检测、深度估计和像素级语义分割，达到了较高的精度和效率，适用于自动驾驶等领域。

    Mar, 2018

  • 多交互特征学习和全时多模态图像融合与分割基准

    提出了一种用于图像融合和分割的多交互特征学习架构，名为 SegMiF，利用双任务相关性促进两个任务的性能表现。

    Aug, 2023