Dec, 2019

学习视频实例分割的时空嵌入

PDF
TL;DR本研究提出了一种新颖的视频实例分割嵌入式方法，该方法通过融合外观、运动和几何等多种线索来学习时空嵌入，其中，运动由 3D 因果卷积网络模拟，几何由单目自监督深度损失模拟。在这种嵌入空间中，同一实例的视频像素被聚类在一起，同时与其他实例分离，从而自然地跟踪实例而不需要任何复杂的后处理，而且实时性能良好。研究结果表明，该模型在 KITTI 多物体和跟踪数据集上可以准确地跟踪和分割实例，即使存在遮挡和遗漏检测等问题，也能推进同类算法的发展。
发现论文，激发创造
  • STEm-Seg：视频中的时空嵌入实例分割

    该论文提出了一种新的视频实例分割方法，基于单阶段的 3D 空间 - 时间体积建模，使用时空嵌入技术聚类像素特征，通过单阶段网络实现端到端训练和推理，取得了多项最先进结果。

    Mar, 2020

  • 从视频学习时空一致性以提高语义分割

    利用无监督学习深度、自我运动和相机内在参数，通过在视频帧之间施加三维几何和时间一致性，从而提高单图像语义分割性能。

    Apr, 2020

  • 无监督视频目标分割中的实例嵌入迁移

    提出一种用于无监督视频目标分割的方法，通过转移图像实例嵌入网络中封装的知识。通过将实例嵌入与物体性和光流特征相结合，无需模型重新训练或在线微调，即可将物体链接起来。该方法在 DAVIS 数据集和 FBMS 数据集上优于最先进的无监督分割方法。

    Jan, 2018

  • 基于时空图神经网络的端到端视频实例分割

    本文提出了基于图神经网络（GNN）的视频目标实例分割方法，使用图中的节点表示实例特征来进行检测和分割，而使用表示实例关系的图中的边来进行跟踪，有效地传播和共享帧内外信息，同时优化检测、分割和跟踪三个问题，取得了优于现有方法的表现。

    Mar, 2022

  • 时间嵌入：基于时空数据的可扩展无监督时序表征学习，用于多模态计算机视觉

    地理空间活动与土地利用类型之间存在相关性。提出一种新颖的自监督方法，基于运动活动时间序列对景观进行分层。时间序列信号首先转换到频域，然后通过压缩自编码器转换为与任务无关的时间嵌入，该方法保留了时间序列中观察到的循环时间模式。通过深度语义分割，将像素级嵌入转换为类似图像的通道，可用于基于任务的异模态建模和下游地理空间任务的建模。实验证明，时间嵌入是时间序列数据的语义有意义的表示方法，并且在不同的任务中如分类住宅区和商业区等有着良好的效果。时间嵌入将时空运动轨迹数据转换为语义有意义的类似图像的张量表示，可以与其他数据模态（如 RBG 图像、道路网络的图嵌入、被动采集的 SAR 图像等）相结合进行多模态学习，从而促进地理空间计算机视觉中的多模态学习。多模态计算机视觉对于训练地理空间特征检测的机器学习模型以保持地理空间映射服务实时更新是至关重要的，可以显著提高用户体验和用户安全。

    Oct, 2023

  • 视频实例分割的时空对比学习

    本文提出了一种基于 CondInst 方法和单阶段的跟踪头的简单高效的视频实例分割框架，利用新颖的双向时空对比学习策略和实例级别的时间一致性方案来提高实例关联性准确性，在 YouTube-VIS-2019，YouTube-VIS-2021 和 OVIS-2021 数据集上验证了该方法的有效性和效率。

    Feb, 2022

  • 通过预测动态和外观统计信息进行视频自监督时空表示学习

    在没有人工标注标签的前提下，本文提出了一种自我监督学习方法来学习视频的时空特征，通过回归时空维度上的外观和运动统计量来提取视觉特征，并在视频分类任务中验证了其有效性。

    Apr, 2019

  • 利用时空记忆网络进行视频对象分割

    提出了一种用于半监督视频对象分割的新型解决方案，通过利用内存网络中的可用线索和遍历所有可用源中的相关信息来实现更好的处理外观变化和遮挡等挑战，从而实现了最先进的性能。

    Apr, 2019

  • 自监督视频表示学习的时间连续嵌入

    TCE 是一种自监督学习方法，利用无标签视频数据的内在结构在嵌入空间中明确强制执行时间上的连贯性，以便从大量无标签视频数据中学习出稳健的表示，该方法经过了对多个数据集的评估，能够继续改进视频动作识别的性能。

    Mar, 2020

  • 通过发掘时空统计信息进行自监督视频表示学习

    本文旨在提出一种自监督视频表示学习的新型先验任务，通过计算一系列时空统计摘要信息，利用神经网络训练来产生摘要信息，采用多种空间分区模式进行粗略的空间位置编码方法来缓解学习难度，在四个 3D 骨干网络上的实验结果表明，该方法优于现有方法在视频分析任务上的性能表现包括动作识别、视频检索、动态场景识别和动作相似性标签。

    Aug, 2020