该研究提出了一种空间 - 时间多层次关联框架，以解决现有半监督视频对象分割方法在空间特征匹配和时空特征建模方面的限制，并通过空间 - 时间记忆库实现充分的目标交互和高效的并行处理，从而提高视频对象分割的效果。

Apr, 2024

在自动驾驶和机器人技术中，利用短期历史数据增强多摄像头 3D 物体检测的兴趣日益增长，通过利用输入视频流的连续且相关性质来实现。最近的研究集中在基于 BEV（鸟瞰图）的特征在时间步内的空间对齐上。然而，由于长期过去的观测没有良好的扩展效果，这方面的工作通常受限。为了解决这个问题，我们提出了一种名为 DAP（预测后检测）的模型，包括两个分支网络：（一）一个分支负责根据过去的观测预测当前物体的位置，（二）另一个分支基于当前和过去的观测来检测物体。从分支（一）预测当前物体的特征被融合到分支（二）中以传递预测性知识。我们在大规模的 nuScenes 数据集上进行了广泛的实验，并观察到利用这种预测信息显著提高了整体检测性能。我们的模型可以即插即用，表现出一致的性能提升。

Apr, 2024

本文探索在改进的 AdaFocusV3 框架上，统一时空动态计算的形式，通过在一些信息丰富的三维视频块上激活高性能网络以降低计算成本，并通过自适应轻量的策略网络在每个样本上根据测试时间的需求动态配置视频块数量，模型经过在 ActivityNet，FCVID，Mini-Kinetics，Something-Something V1&V2 和 Diving48 六个基准数据集上的广泛实验结果证明其显著比竞争算法更有效率。

Sep, 2022

通过深度神经网络强大的目标理解，同时处理精确几何建模的一致轨迹估计，提出了一种基于联合时空优化的立体 3D 对象跟踪方法，在 KITTI 跟踪数据集上取得显著优于先前方法的定量评估结果，并在多个类别和大型数据集（KITTI 原始和 Argoverse 跟踪）上进行了广泛的结果报告以供未来基准测试。

Apr, 2020

该研究针对长时间监控视频提出了基于内容的检索方法，并使用局部时空特征进行轻量级处理，最终实现通过动态规划将局部匹配汇集成与用户指定事件相关的完整视频段的目的。该方法克服了施工路线漫长、视频内容对比度低以及物体遮挡等难题，并可用于计数、移动模式识别和遗留物品检测等应用。

May, 2014

本文提出了一种基于 (2.5+1) D 场景图表示的视频问答方法，将视频帧转成伪 - 3D 视图并保持语义，然后基于此表示应用 transformer 模型进行推理，实验证明，该方法在视频问答任务中具有优异的性能。

Feb, 2022

该研究在 Ego4D dataset 基础上提出了针对 2D 视觉图像中的目标检测与跟踪问题的效率更高、效果更好的 baseline 解决方案，并在公共排行榜上表现出色。

Aug, 2022

采用关键点为基础的表征在各种视觉和机器人任务中证明了优势。然而，现有的二维和三维关键点检测方法主要依赖几何一致性实现空间对齐，忽视了时间一致性。为了解决这个问题，介绍了用于二维数据的传输器方法，从源帧重构目标帧以包含空间和时间信息。然而，将传输器直接应用于三维点云由于其与二维图像的结构差异而不可行。因此，我们提出了第一个三维版本的传输器，它利用混合三维表示、交叉关注和隐式重构。我们将这个新的学习系统应用于三维关节对象和非刚性动物（人类和啮齿动物），并展示了学到的关键点在时空上的一致性。此外，我们提出了一种闭环控制策略，利用学到的关键点进行三维物体操作，并展示了其卓越性能。代码可在此 https URL 获取。

Sep, 2023

该论文提出了一种端到端可训练的方法，结合物体检测和跟踪，并引入了序列记忆模块，使其更好地处理多物体跟踪，尤其是遮挡的情况。经过大规模的合成数据和实际测试，在 KITTI 和 MOT17 数据集上取得了最先进的性能表现。

Mar, 2021

通过利用连续平滑的运动，我们在三个方面进行了改进：1）通过将对象运动作为额外的监督来源，从静态关键帧中预测对象位置来提高准确性。2）通过仅在少量帧中进行昂贵的特征计算来提高效率。3）通过仅注释关键帧并利用关键帧之间的平滑伪运动来减少注释成本。我们在四个数据集上展示了计算效率、注释效率和改进的均值平均精度，分别是 ImageNet VID，EPIC KITCHENS-55，YouTube-BoundingBoxes 和 Waymo Open dataset。我们的源代码可在此 https URL 找到。

Aug, 2023