CVPRApr, 2019

MultiNet++：多任务学习的多流特征聚合和几何损失策略

PDF
TL;DR本研究提出了基于多流多任务网络的技术来解决自动驾驶领域中的多个视觉感知任务，通过利用先前帧的特征表示实现深度学习的联合分割、深度和运动预测，并采用几何平均数作为任务损失的替代方案，可以更好地处理不同任务收敛速度之间的差异，实验结果表明，这种方法优于现有的多任务学习解决方案。
multi-task learningautonomous drivingvisual perceptionmulti-stream multi-task networkgeometric mean
发现论文，激发创造
  • 利用不确定性来加权损失的多任务学习，用于场景几何和语义

    本文提出了一种基于系统中每个任务的均方差误差的权重的深度学习多任务学习方法，可以同时处理分类和回归任务，并在主管深度估计、语义和实例分割方面展示了比独立训练的模型更好的表现。

    May, 2017

  • 基于图的多任务学习：一种分布式、流式机器学习方法

    本文是多任务学习的一篇综述，主要介绍了在分布式数据和网络系统上学习多个相关任务的新策略以及合作规则如何促进不同任务相关性模型，同时也解释了如何和何时合作的方式比非合作的策略更有效。

    Jan, 2020

  • 自主驾驶系统中多任务网络的动态任务加权方法

    本文评估了九种任务加权策略，提出了一种结合进化元学习和基于任务的选择反向传播的新方法，用于计算任务权重以实现可靠网络训练，改进了现有方法的性能。

    Jan, 2020

  • MultiNet：面向自动驾驶的多模态多任务学习

    本研究使用多模态多任务学习技术来学习自主驾驶中的多个行为模式。研究表明，该方法比单个模式训练的神经网络表现更好，而且参数数量更少。

    Sep, 2017

  • 密集型多任务学习的跨任务注意机制

    该研究介绍了一种多任务学习架构，通过相关性引导的注意力和自我关注增强平均表示学习，以通过 2D 语义分割和几何相关的任务来综合理解复杂场景，并在室内和室外数据集上展示了其好处。

    Jun, 2022

  • 利用任务适应性注意力生成器的实时自主驾驶多任务学习

    本文介绍了一种新的实时多任务网络，包括单目三维物体检测、语义分割和密集深度估计，通过引入任务自适应注意力生成器来解决多任务学习中普遍存在的负迁移问题，并利用硬参数共享方法提高效率，能够同时处理多个任务，尤其是三维物体检测，并保持实时处理速度。经过在 Cityscapes-3D 数据集上的严格优化和深入剖析研究，我们的网络始终优于各种基准模型。

    Mar, 2024

  • 一种面向空中场景解释和地理定位的多阶段多任务神经网络

    本文提出了一种新的多任务、多阶段神经网络，能够在单次前向传递中同时处理语义分割和基于视觉的航拍图像地理定位两个问题，并在卫星图像中实现商用 GPS 级别的本地化精度以及在 Inria Aerial Image Labeling 数据集和 Massachusetts Buildings 数据集上达到领先水平的分割效果。

    Apr, 2018

  • MultiNet: 自主驾驶实时联合语义推理

    本文提出了一种联合分类、检测和语义分割的方法，其中编码器在三个任务之间共享。该方法非常简单，可以端到端训练，在具有挑战性的 KITTI 数据集中表现良好，在道路分割任务中优于现有技术。而且，我们的方法非常高效，执行所有任务只需要不到 100 毫秒。

    Dec, 2016

  • AssembleNet: 在视频网络中搜索多流神经连接

    本文提出一种名为 AssembleNet 的方法，通过进化算法自动发现连接更好、时空交互更强的神经网络结构，以达到更好的视频理解效果。该方法在公共视频数据集上优于以往的方法，尤其是在 Charades 数据集上，58.6% 的 mAP 表现尤为出色。

    May, 2019

  • 融合多路深度网络进行视频分类

    本研究提出了一种多流深度网络架构，用于解决视频分类问题。通过训练三种卷积神经网络来建模视频中的空间、短期动态和音频线索，并采用长短期记忆网络来探索长期时间动态，最终通过自适应融合方法生成预测结果，将多模态信息充分利用。实验证明，该方法的性能明显优于现有的方法。

    Sep, 2015