SegVAE 是一个基于变分自编码器的条件图像生成网络，快速合成逼真的语义地图，为各种图像处理、编辑应用提供了良好的基础。

Jul, 2020

本文提出一种叫做 GVS 的方法，可基于输入的语义地图，综合出多个真实感的场景视角，还可进行风格操作和图像编辑操作，如通过简单处理输入的风格图像和语义映射来添加或删除对象等。

Aug, 2020

该论文研究了视频生成，并着重简化生成条件。作者使用单个帧对象布局作为唯一条件，通过隐式神经表示和布局动态自我推理，提出了一种新的视频生成框架，能够合成全局场景和局部对象，实验结果表明，该模型比基准模型更加有效。

May, 2023

本文介绍了一种新的语义视图综合问题，通过使用语义标签图作为输入生成合成场景的自由视角渲染，在现有图像 / 视图综合方法的基础上，提出了一个两步方法，第一步合成可见表面的颜色和深度，第二步将它们用于在多平面图像 (MPI) 中减轻部分影像的影响，该方法在室内外场景中得到了良好的效果。

Aug, 2020

该研究提出了一种架构和训练方案，通过显式地建模去除和捕捉视频中语义一致的区域的演变来预测视频帧。

Apr, 2021

本文提出了一种基于生成对抗学习框架、伴随有空间–时间对抗性目标的视频生成方法，可高效地从语义分割掩膜、素描和姿势等多种输入格式生成 2K 分辨率、30 秒长的逼真视觉效果的视频，此方法成功优化了视频生成技术的最新发展状态，并被应用于未来视频预测。

Aug, 2018

本文提出了一种利用未标记数据改进的视频语义分割训练模型，该模型结合了卷积架构和时空转换器循环层，并能够通过光流适应性地门控使时间上的标记信息传递，模型通过未标记帧来改善视频分割准确性，并在基于多个深度架构中进行了广泛实验。

Dec, 2016

该研究提出了一种网络架构，利用标题执行可变长度的语义视频生成。网络能够区分视频中的对象，动作和交互，并将它们与长期和短期依赖结合起来，以增量方式生成视频。网络通过学习潜在表示对视频进行无监督生成，并在执行其他任务时表现出了良好的能力，如动作识别和空时样式转移。

Aug, 2017

本文中，我们提出了 Semantic Flow，一种从单 ocular videos 中学习动态场景的神经语义表示。与以往的 NeRF 方法不同，它通过包含丰富的三维运动信息的连续流来学习语义。我们考虑从二维视频帧中提取三维流特征时视线方向上的二维到三维模糊问题，将体积密度视为描述流特征对帧语义贡献的不透明度先验。我们首先学习流网络预测动态场景中的流，并提出流特征聚合模块从视频帧中提取流特征。然后，我们提出流注意模块从流特征中提取运动信息，随后是语义网络输出流的语义 logits。我们将 logits 与视线方向上的体积密度相结合，以在视频帧上监督流特征与语义标签的学习。实验结果表明，我们的模型能够学习多个动态场景，并支持一系列新任务，如实例级场景编辑、语义补全、动态场景跟踪和对新场景的语义适应。可在此 https URL 获取代码。

Apr, 2024

提出一种新的框架以实现视频语义分割和光流估计的联合训练，通过联合训练利用视频中已标记和未标记的帧，使视频语义分割和光流估计更加稳健并在相应任务中表现优异。

Nov, 2019