深度强化学习的自适应流媒体感知

Jun, 2021

深度强化学习的自适应流媒体感知

Adaptive Streaming Perception using Deep Reinforcement Learning

Anurag Ghosh, Akshay Nambi, Aditya Singh, Harish YVS, Tanuja Ganu

TL;DR通过深度强化学习来最大化考虑到精度和延迟之间的权衡，从而为流式感知提供一种新的方法。我们的代理可以跨多个决策维度学习一种竞争策略，在公共数据集上胜过最先进的策略。

Abstract

Executing computer vision models on streaming visual data, or streaming perception is an emerging problem, with applications in self-driving, embodied agents, and augmented/virtual reality. The development of such systems is largely governed by the accuracy and latency of the processin

streaming perception computer vision deep reinforcement learning tradeoff optimization latency and accuracy

发现论文，激发创造

走向流式感知

本文提出了一种名为 “流式准确性” 的方法，该方法将感知延迟和准确性相结合，可用于任何单帧任务变成流式感知任务的系统性 meta-benchmark，以及在城市视频流中的物体检测和实例分割等任务上做出了令人惊讶的结论。

May, 2020

流式感知的实时目标检测

这篇论文研究自动驾驶中的实时视频物体检测问题，提出了一种基于流式预测的新型深度学习方法，该方法使用双流动态静态感知模块（DFP）来捕捉运动趋势和基本检测特征，并引入趋势感知损失（TAL）和趋势因子来产生适应性权重，进而优化移动车辆物体的检测结果。

Mar, 2022

动态环境下的上下文感知流式处理

本文提出了一种新方法，Octopus，根据场景难度和障碍物位移等因素来选择配置，以最大化流媒体环境下的跟踪精度 (S-MOTA)，进一步提高离线准确性的同时，将跟踪性能提高了 7.4％。

Aug, 2022

DAMO-StreamNet：自动驾驶流式感知优化

通过结合 YOLO 系列的最新进展与空间和时间感知机制的综合分析，我们提出了 DAMO-StreamNet 优化框架，以实现实时感知，融合了四个关键创新点，超越了现有的前沿方法，不仅为实时感知设置了新的基准，而且也为未来的研究提供了宝贵的见解。

Mar, 2023

LongShortNet：流式感知中的时间和语义特征融合探索

提出了 LongShortNet 模型，该模型能够在流处理中捕捉长期时间运动模式、整合短期空间信息，实现空时特征融合，具有较强的检测效果。

Oct, 2022

借助时间预测损失在感知中利用时间属性进行基于流的主动学习

我们通过利用时间性质和引入一种新的方法，即时预测损失方法 (TPL)，在移动设备和机器人上实现了流媒体主导的主动学习方法。我们还通过比较基于池的方法和基于流媒体的方法，证明了 TPL 方法在感知应用中的高性能，能够显著提高数据选择的多样性和准确性。

Sep, 2023

流式感知在移动生态系统中的认知智能代理

通过流式代理感知方法，利用传感器数据在智能手机上实现对有意义情境的感知，以应对挑战性感知数据的低抽象级和多时间空间模式的检测。

Jan, 2024

以在线决策为跟踪基础：通过强化学习从实时视频中学习策略

本文提出了一种基于 POMDP 模型的跟踪算法，该算法使用强化学习算法进行决策，并以稀疏奖励信号为辅助训练，旨在解决跟踪过程中图像模糊和计算资源受限等问题。同时，該算法使用互联网视频数据源进行跟踪器的训练和评估，从而逐步解决跟踪数据不足等问题。

Jul, 2017

感知、想象、行动：多模态感知改进基于模型的自主竞赛强化学习

该研究提出了一种自监督传感器融合技术，将自身视觉 LiDAR 和 RGB 相机观测数据相结合，应用于模型驱动的强化学习领域，通过提高状态估计来改善其准确性，并在零样本场景下验证了其有效性。

May, 2023

基于导航提议的深度主动感知目标检测

深度学习已经在机器人视觉任务中取得了显著进展，但大多数现有的深度学习方法依赖于传统的计算机视觉流水线中固有的静态推理范例。最近的研究发现，积极感知通过超越这些静态模式来改善各种模型的感知能力。本文提出了一个通用的监督式积极感知流水线，用于目标检测，可以使用现有的现成目标检测器进行训练，同时利用仿真环境的进展。为此，所提出的方法采用了额外的神经网络架构，在目标检测器置信度不足时估计更好的视点。所提出的方法在 Webots 机器人模拟器构建的合成数据集上进行了评估，展示了在两种目标检测情况下其有效性。

Dec, 2023