ICCVSep, 2023

视频任务百项全能：在自动驾驶中统一图像和视频任务

PDF
TL;DR通过设计统一模型 VTDNet 和挑战集 Video Task Decathlon (VTD)，并且采用 Curriculum training, Pseudo-labeling 和 Fine-tuning (CPF) 训练方案，本研究在自动驾驶中的图像和视频识别任务取得了突破性的进展，显著提高了性能并减少了计算量。
multiple heterogeneous visual tasksrepresentation learningautonomous drivingunified modelvideo task decathlon
发现论文，激发创造
  • 一个用于密集视觉预测解决方案的香草式多任务框架 —— 第一届 VCL 挑战赛 —— 多任务鲁棒性分科

    我们提出的 UniNet 框架可以将 DETR3D、Mask2Former 和 BinsFormer 无缝地结合到一个多任务模型中，实现多任务鲁棒性，并在 1st Visual Continual Learning（VCL）挑战的多任务鲁棒性领域取得了显著性能。

    Feb, 2024

  • 自动驾驶统一感知中基于视觉样本的任务提示

    本文通过对四项常见自动驾驶感知任务（物体检测，语义分割，可行驶区域分割和车道检测）的大规模驾驶数据集的广泛分析，提出了一种有效的多任务学习框架，即 VE-Prompt，该框架通过特定于任务的提示引入视觉示例来指导模型向学习高质量的任务特定表示方向发展，并在视觉上提高了目标类别的精度和性能优越于单任务模型。

    Mar, 2023

  • 利用任务适应性注意力生成器的实时自主驾驶多任务学习

    本文介绍了一种新的实时多任务网络，包括单目三维物体检测、语义分割和密集深度估计，通过引入任务自适应注意力生成器来解决多任务学习中普遍存在的负迁移问题，并利用硬参数共享方法提高效率，能够同时处理多个任务，尤其是三维物体检测，并保持实时处理速度。经过在 Cityscapes-3D 数据集上的严格优化和深入剖析研究，我们的网络始终优于各种基准模型。

    Mar, 2024

  • 通用视觉分解器：简化长时控制

    通过提出 Universal Visual Decomposer (UVD) 作为一种针对视觉长时程操作的通用任务分解器，该方法基于预训练的视觉表示，通过检测嵌入空间中的相位变化来发现子目标，并在零附加训练成本的情况下在标准视觉运动策略训练上有效提取视频中的视觉子目标，进而在未知任务上展示了显著的组合泛化性能，并且可以用于构建基于目标的奖励塑形以加速强化学习中的时间扩展探索。

    Oct, 2023

  • 任务驱动的探索：解耦和任务间反馈用于联合时刻检索和亮点检测

    提出了一个基于任务驱动的自上而下框架 TaskWeave，用于联合视频片段检索和精彩时刻检测，通过任务解耦单元、任务特定共享表示以及任务之间的反馈机制实现了任务间的协同。实验验证了该框架的有效性和灵活性。

    Apr, 2024

  • 大规模整体视频理解

    本文介绍了一个基于语义分类的大规模 Holistic 视频理解数据集 HVU，它实现了对多标签、多任务视频理解的全面考虑，以及介绍了一种新的综合外观和时间神经网络体系结构 HATNet，本文拓展了视频识别范畴，验证了 Holistic 表示学习在许多实际应用程序中的重要作用。

    Apr, 2019

  • 野外视频中的表示学习：以对象为中心的方法

    该篇论文提出了一种从未加工过的视频中学习图像表示的方法，该方法将来自现成物体检测器的监督损失和自我监督损失相结合，取得了在 19 个迁移学习任务中有竞争力的结果，其中包括 18/19 的少样本学习任务和 8/8 的数据集泛化任务。

    Oct, 2020

  • 分解任务：基于单元级别的混合训练框架用于视觉和语言决策

    本研究提出了一种基于 Unit-Transformer 的混合训练框架，将 Vision language decision making 任务分解为可管理的单元，并通过活跃的环境探索和内部循环状态来改进模型，最终取得优于现有方法的成果。

    Jul, 2023

  • 通过任务蒸馏进行领域适应

    使用图像识别数据集作为源域和目标域之间的桥梁，通过任务蒸馏框架，在不同仿真器之间成功地传输导航策略，并在传统领域适应基准上展现出有前途的结果。

    Aug, 2020

  • 基于强化学习的任务驱动语义编码

    本文介绍了一种基于深度神经网络编解码器的任务驱动语义编码方案，通过使用强化学习和马尔科夫决策过程实现了基于任务的语义编码，实验结果表明与 H.265/HEVC 相比，该方案可以节省 34.39% 到 52.62% 的比特率。

    Jun, 2021