Mar, 2024

纠正运动的移动平均：包含事后时间信息以改善视频分割

PDF
TL;DR本论文提出一种在任何分割模型中引入时间信息的方法，从而提高视频分割性能，无需训练过程中的改动或额外标注，并通过使用光流计算进行运动校正的移动平均方法，在公开数据集和内部内窥镜数据集上展示了改进。
real-time computational speedhigh degree of precisionsegmentation networktemporal informationvideo segmentation performance
发现论文，激发创造
  • 基于外貌的目标中心运动分割优化

    通过引入外观优化方法和视频流的时间一致性，我们提出了一种能够独立发现、分割和跟踪复杂视觉场景中独立移动物体的方法。该方法通过简单的选择机制识别准确的光流预测掩码，并基于示例信息优化有问题的掩码。我们的模型在多个视频分割基准上的性能表现验证了其在单个物体分割上的竞争力，并在更具挑战性的多物体分割问题上明显优于现有模型。最后，我们研究了将我们的模型用作逐帧 Segment Anything 模型的提示的好处。

    Dec, 2023

  • 一个概率模型：基于因果关系的移动相机视频运动分割

    本研究基于第一原理推导出新的似然函数，使用角度和光流大小的新组合来最大化关于物体真实运动的信息，开发了一种运动分割算法，比当前最先进的方法提高了很大的准确率，并在两个已建立的基准测试和一个新的伪装动物数据集上进行了对比。

    Apr, 2016

  • 基于 EM 算法的非监督学习在高效运动分割中的应用

    本文提出了一种基于卷积神经网络 (CNN) 的完全无监督的运动分割方法，借鉴了期望最大化算法 (EM) 框架用于设计不需要地面真值或手动标注的运动分割神经网络的损失函数和训练过程，能够通过单一推断步骤为任何看不见的光流场提供分割，并能有效地处理多个运动。

    Jan, 2022

  • 联合光流和时间一致性语义分割

    本文提出了一种同时估计光流和时间连续的语义分割的方法，将这两个问题领域紧密相连并相互利用，从而使场景理解的重要性和需求与自主系统的积极发展不断增加，并对 KITTI 基准测试中的性能进行了演示。

    Jul, 2016

  • 一次性进行的无监督运动分割：对视频进行平滑长期建模

    提出了一种基于长期时空模型的运动分割方法，该方法通过处理光流场序列，以无监督学习的方式提供视频中一致运动的分段，为计算机视觉任务和无监督视频表示学习提供了先决条件。

    Oct, 2023

  • 利用基于块运动的特征插值进行视频快速语义分割

    本文提出了一种新的加速视频推理的方法 —— 使用基于块运动向量和特征传播技术实现的快速特征传播技术以及基于周围帧传播得到的特征的特征插值技术，能够在保持精度的前提下，将图像分割的速度从单帧基线的 30ms 提高到每秒 20 帧，实现了几乎 6 倍的改进。

    Mar, 2018

  • ProFlow: 光流预测学习

    本文提出了一种基于卷积神经网络（CNN）的无监督在线学习方法，用于为每帧单独估计运动模型，通过前后向的运动关系实现运动信息的推导，并能够解决非刚性运动估计的主要限制，与没有运动预测的基线相比，在 KITTI 2012、KITTI 2015 和 MPI Sintel 三项基准测试中表现出了长达 27％的一致性改进。

    Jun, 2018

  • 移动单目相机的运动分割

    本研究讨论了利用点轨迹和光流等方法相互融合，在移动的单目摄像头中识别和分割运动物体，实现对复杂场景中不同对象运动的模拟，最终取得了最先进的效果。

    Sep, 2023

  • 小规模视频识别的运动增强自训练

    本文介绍了一种称为 MotionFit 的自训练方法，采用 3D 卷积神经网络、运动模型和假标签来提高视频下游任务的效果。该方法在小规模视频数据集中表现优异，远超其他知识迁移算法、半监督学习和仅使用视频的自我监督学习。

    May, 2021

  • 视频阴影检测的时间特征扭曲

    本文提出了一种基于光流变形模块和深度网络层的信息检索方法，来更好地聚合时间信息，以提高视频阴影检测的性能，在 ViSha 数据集上测试表明模型的 BER 从 16.7 降低到 12.0，且优于当前最先进的视频阴影检测方法 28％。

    Jul, 2021