Mar, 2022

探索基于光流引导的运动和检测的外观在长时句子理解中的应用

PDF
TL;DR本文提出了一种运用运动和外观引导的三维语义推理网络（MA3SRN）实现时序句子定位，该网络能准确地建模相邻帧之间的活动，并获得在三个具有挑战性的数据集上的最新最好成果。
temporal sentence groundingvideo semantic localizationmotion and appearance-guided 3d semantic reasoning networkobject-level featuresstate-of-the-art
发现论文，激发创造
  • 探索动作和外貌信息用于时间性语句定位

    本篇文章提出了一种 Motion-Appearance Reasoning Network 模型，结合了时间感知和外观感知的对象特征来更好地推理连续帧之间的活动关系，用于解决时间语句概括问题，实验证明其明显优于现有方法。

    Jan, 2022

  • 端到端多模式视频时间定位

    本文提出了一种基于多模态框架的文本指导视频时间地基方法，采用 RGB 图像、光流和深度图来提取视频的补充信息并通过 transformers 设计动态融合方案进行交互学习，在 Charades-STA 和 ActivityNet Captions 数据集上实验表明，该方法表现优越。

    Jul, 2021

  • 基于多模态特征的文本视频分割运动建模

    本文提出了一种多模态视频分割方法，通过语言引导的特征融合模块和多模态对齐损失函数，将视觉外观、运动信息和语言特征融合，实现了精准的文本视频分割。在 A2D Sentences 和 J-HMDB Sentences 数据集上的实验表明，该方法与现有方法相比具有更好的性能和泛化能力。

    Apr, 2022

  • 基于外貌的目标中心运动分割优化

    通过引入外观优化方法和视频流的时间一致性，我们提出了一种能够独立发现、分割和跟踪复杂视觉场景中独立移动物体的方法。该方法通过简单的选择机制识别准确的光流预测掩码，并基于示例信息优化有问题的掩码。我们的模型在多个视频分割基准上的性能表现验证了其在单个物体分割上的竞争力，并在更具挑战性的多物体分割问题上明显优于现有模型。最后，我们研究了将我们的模型用作逐帧 Segment Anything 模型的提示的好处。

    Dec, 2023

  • 蒸馏粗粒到精粒语义匹配知识用于弱监督的三维视觉接地

    利用弱监督注释学习 3D 视觉定位模型，通过分析对象提案和句子之间的语义相似性，我们构建了一个语义匹配模型，将粗粒度的场景 - 句子对应关系用于学习目标 - 句子链接。同时，我们将粗精度的语义匹配知识融入经典的两阶段 3D 视觉定位模型，以减少推理成本并提高性能。通过在 ScanRefer、Nr3D 和 Sr3D 上进行广泛实验证明了我们提出方法的有效性。

    Jul, 2023

  • 基于 LiDAR 的在线三维视频物体检测：图形消息传递和时空转换关注

    本文提出了一个端到端的在线三维视频物体检测器，该模型由空间特征编码组件和时空特征聚合组件组成。在空间特征编码组件中，提出了一种新的 Pillar Message Passing Network（PMPNet）模型，用于对离散点云帧进行编码。在时空特征聚合组件中，提出了一种注意力时空变换门控循环神经网络（AST-GRU），它通过注意力机制强调了前景物体并对动态物体进行了对齐。实验结果表明，该模型在大规模 nuScenes 基准测试中实现了最先进的性能。

    Apr, 2020

  • D3G: 利用高斯先验探索具有注视标注的时间句子定位

    通过减少标注成本并保持与全监督方法相竞争的性能，我们提出了一种基于动态高斯先验的望注释视图的时间句子定位框架，该框架在关键词之间进行了深入调研，并通过 Semantic Alignment Group Contrastive Learning 模块和 Dynamic Gaussian prior Adjustment 模块来提高性能。

    Aug, 2023

  • 学习语义感知动态视频预测

    该研究提出了一种架构和训练方案，通过显式地建模去除和捕捉视频中语义一致的区域的演变来预测视频帧。

    Apr, 2021

  • 基于动态指引的视频显著目标检测注意力模型

    本文提出了一种基于多任务学习的运动引导视频显著对象检测网络，并利用运动注意力算法引导静态图像检测子网络，实现对视频显著对象的准确检测。实验结果表明，该算法在多个基准测试数据集上的性能都显著优于现有的基于运动的视频显著对象检测算法。

    Sep, 2019

  • 基于逐帧运动和外观的实时多目标跟踪

    本文提出了一种高效的深度神经网络方法 ——FMA，计算两个视频帧之间的 Framewise Motion Fields，并对大量对象的边界框进行快速可靠匹配，同时实现 Frame-wise Appearance Features 的学习，以达到实时多目标跟踪并取得与现有最先进方法相竞争的结果。

    May, 2019