Jul, 2015

多场景视频查询和概述的共享语义空间发现

PDF
TL;DR公共空间 CCTV 安装的增长率导致了对自动化利用视频监控数据的方法的需求，包括场景理解、查询、行为注释和摘要。本文提出了一种分布式多场景全局理解的新框架，将监视场景按其解释彼此行为的能力进行聚类，并进一步发现每个聚类中共享与场景特定的活动的子集。在此基础上，我们展示了如何利用多场景结构化表示来改进常见的监控任务，包括场景活动理解、跨场景按示例查询、行为分类和视频摘要。
public space cctv installationsvideo surveillance datasurveillance scene understanding and analysissemantic similarity between different scenesdistributed multiple-scene global understanding
发现论文，激发创造
  • 一种多模态电影场景分割的从局部到全局的方法

    为了对电影进行语义理解，提出了一种局部到全局的场景分割框架，其中包含来自三个级别的多模态信息。通过预先训练 MovieScenes 数据集，该框架能够从长片的分层时间结构中提取复杂语义，提供自上而下的场景分割指导，并在实验中取得了高精度的场景分割表现。

    Apr, 2020

  • 场景摘要：将场景视频聚类为空间多样帧

    我们提出了场景摘要作为一项新的基于视频的场景理解任务，旨在将一个长视频场景的漫游摘要为一小组在场景中空间多样的帧，它有许多重要的应用场景，如监视、房地产和机器人。我们提出的解决方案是一个由两个阶段组成的自监督流程，名为 SceneSum，第一阶段使用聚类来分割视频序列，结合视觉地点识别（VPR）促进空间多样性，而第二阶段需要从每个簇中选择一个代表性关键帧作为摘要，同时考虑到资源限制，如内存和磁盘空间的限制，另外，如果有基准图像轨迹可用，我们的方法可以轻松增强聚类和关键帧选择的监督损失。在真实世界和模拟数据集上进行的大量实验证明，我们的方法的性能超过了普通视频摘要基线的 50%。

    Nov, 2023

  • 语义嵌入相似性原型用于场景识别

    本论文通过引入统计策略，利用类别级别的语义表示来探索场景内不同类别之间的关联，进而构建一个相似性原型，从梯度标签软化和批级对比损失的角度提出了两种使用相似性原型来支持网络训练的方法，对多个基准进行了全面评估，结果表明我们的相似性原型能够提高现有网络的性能而不增加计算负担。

    Aug, 2023

  • 我们有许多共同点：建模视频中的语义关系集合抽象

    本研究提出了一种学习基于视频的语义关系集合抽象的方法，将视觉特征与自然语言监督相结合，实现视频系列中的相似性高级表示，可用于识别智能决策中的共同概念，视频添加问题以及异常检测，在 Kinetics 和 Multi-Moments in Time 两个数据集上的实验证明了该方法的鲁棒性和多功能性，相比于基线算法，显式地学习具有语义监督的关系抽象可获得显着的提高

    Aug, 2020

  • 基于知识增强的多角度视频表示学习，用于场景识别

    我们提出了一种新颖的双流框架，从多个角度（即时间和非时间角度）建模视频表示，并通过自蒸馏方式将两个角度融合在一起，在视频场景识别任务中自然引入知识。我们的实验结果表明，我们提出的方法是有效的。

    Jan, 2024

  • 走向全面的场景理解：语义分割与更多

    本论文介绍了视觉场景理解的各方面研究，特别是通过使用语义分割网络在不同数据集上进行训练来提高分割性能和泛化性以及训练效率，以及通过多种方法来实现弱监督学习和部分感知全景分割等新任务，为实现全面、丰富、可持续的视觉场景理解铺平了道路。

    Jan, 2022

  • 交通场景相似度：基于图形对比学习的方法

    通过使用图形来构建一个有意义的嵌入空间，我们的方法展示了场景的连续映射以及基于嵌入结果形成主题相似群集，从而在后续测试过程中识别相似场景，从而减少冗余测试运行。

    Sep, 2023

  • 关于视音频检索中的语义相似度

    本文提出了一种基于语义相似性的视频检索方法，它允许多个视频和标题被视为同等相关，并且排名的顺序不影响检索性能比较，同时，它还提出了多种估计语义相似性的方法，以适应大规模检索数据集。本文在三个常用视频检索数据集上分析了该方法的表现。

    Mar, 2021

  • 时空事件图像用于动态场景理解

    该论文介绍了关于动态场景理解的研究，主要涉及自动驾驶、道路事件检测、视频活动检测、持续学习等内容。

    Dec, 2023

  • 基于场景的跨视角视频联合解析

    本文研究跨视角视频理解的联合分析框架，将视角为中心的建议集成到场景为中心的解析图中，以表示跨视角场景的连贯场景为中心的理解，生成语义场景为中心的解析图。定量实验表明，解析图中的场景为中心的预测优于视角为中心的预测。

    Sep, 2017