Jun, 2020

无监督视频分解基于时空迭代推理

PDF
TL;DR该研究提出了一种新的时空迭代推理框架，用于联合建模复杂的多物体表示和帧间的显式时间依赖关系，在后验精化中利用 2D-LSTM 和时间条件推理和生成，以提高场景分解、分割和预测的能力，即使没有颜色信息也有高准确度。
unsupervisedmulti-objectscene decompositionspatio-temporal inferenceiterative amortized inference
发现论文，激发创造
  • SIMONe：通过无监督视频分解实现视角不变、时间抽象的物体表示

    通过无监督变分方法，我们提出了一种模型 ——SIMONe，能够抽取场景的组成结构，学习并表示场景中各个物体的不依赖于视角的属性，并且可以实现视角合成和实例分割。

    Jun, 2021

  • 基于空间分解和时间融合的基于学习的视频压缩的帧间预测

    本文提出了基于空间分解和时间融合的学习视频压缩的帧间预测方法，通过处理运动不一致性和遮挡现象，结合长短时时间上下文融合，提高了视频压缩的帧间预测准确性。实验证明，所提出的编码器在所有常见测试数据集上的 PSNR 和 MS-SSIM 上优于 H.266 / VVC 的参考软件。

    Jan, 2024

  • 无监督的对象导向场景表示：基于空间注意力和分解的方法

    本文提出了一种称为 SPACE 的生成潜变量模型，通过并行的空间注意力可以同时实现前景物体的因式分解表示以及解析复杂形态的背景细节，解决了以往模型中可扩展性有限的问题，从而更好地模拟真实场景。

    Jan, 2020

  • 基于逐帧推理的高效语义视频分割

    本文提出了一种有效的语义视频分割方法，借鉴于现有方法中将结果传播到相邻帧或使用其他帧提取帧表示时可能会导致不准确的结果或不平衡的延迟问题，我们在推理过程中采用逐帧方式处理，其中显式考虑帧与帧之间的时间一致性，并将此一致性嵌入到语义分割网络中。通过新的知识蒸馏方法，我们成功地缩小了紧凑型模型与大型模型之间的性能差距。我们的结果在 Cityscapes 和 Camvid 等流行基准测试中优于先前的基于关键帧的方法，并提高了与独立训练每帧的对应基线的时间一致性。

    Feb, 2020

  • 基于工作记忆的分层视频分解与转化表示

    本研究介绍了一种灵活的视觉工作存储模型用于视频分解任务，该模型提供了可解释和高性能的分层深度体系结构，有效地恢复了运动目标的强度和几何形状，通过分解视频中的结构正则化模拟移动前景对象，创新性地分离出噪声和复杂背景中的运动对比度 - 填充血管。

    Apr, 2022

  • 从观察世界中学习内在图像分解

    本文尝试用图像序列的方法学习单视角内在图像分解，并利用多图像信息进行训练，未使用任何基准数据集。我们提出了一个基于此想法的新的学习框架，并介绍了新的 loss 函数，该方法在多个数据集上具有良好的泛化性能。

    Apr, 2018

  • 利用时间性进行半监督视频分割

    本文提出了一种端到端可训练的深度学习模型，利用时间信息来利用易于获取的未标记数据，从而解决了视频分割中标签稀缺的问题。实验结果表明，该模型能够显著优于基线方法和逐帧图像分割。

    Aug, 2019

  • 运用知识蒸馏的时空图像处理技术进行视频字幕生成

    本文提出一种基于时空图模型的视频字幕生成算法，利用物体间相互作用关系提供显式的视觉表征，通过一种对象感知的知识蒸馏机制，可以在不稳定的性能中实现对象的稳定预测。经过对两个基准测试的广泛实验，展示了我们方法的有效性和可解释性预测的竞争性能。

    Mar, 2020

  • 利用多视角图像集进行无监督本征图分解和高光分离

    本文提出了一种基于多视角真实图像训练的无监督方法，将物体外观分解为高光、阴影和漫反射层，使用局部颜色分布的图像表示进行训练，在高亮度分离和内在图像分解两种任务上取得了最新的成果。

    Nov, 2019

  • 通过联合学习时空结构和空间细节进行视频修复

    本文提出了一种新的基于数据驱动的视频修复方法，采用了深度学习的网络结构，包含了两个子网络，一个是基于 3D 完全卷积的时间结构推断网络，另一个是二维全卷积网络的空间细节修复网络，该方法能够更好的恢复缺失的区域，并且其效果优于以往的视频修复方法。

    Jun, 2018