未来分割

Apr, 2019

Segmenting the Future

Hsu-kuang Chiu, Ehsan Adeli, Juan Carlos Niebles

TL;DR提出了一种基于编码器 - 解码器网络的视频未来语义分割预测方法，使用先前的视频帧，仅利用 RGB 数据，利用知识蒸馏的训练框架预测未来场景的语义分割，并在 Cityscapes 和 Apolloscape 上取得了比基线和现有最先进方法更好的结果。

Abstract

Predicting the future is an important aspect for decision-making in robotics or autonomous driving systems, which heavily rely upon visual scene understanding. While prior work attempts to predict future video pixels, anticipate activities or forecast future scene semantic segments from segmentation of the preceding frames, methods that predict future semant

future prediction visual scene understanding semantic segmentation encoder-decoder network knowledge distillation

发现论文，激发创造

深入预测语义分割的未来

本文介绍了一种新的任务，即预测未来帧的语义分割，并研发了一种基于自回归卷积神经网络的方法。该方法针对城市街景数据集进行了试验，结果表明，直接预测未来的分割比预测并分割未来的 RGB 帧要好得多，并且可信度更高。

Mar, 2017

视频场景理解的概率未来预测

本文提出了一种新颖的深度学习架构，用于从视频中进行概率未来预测。该模型可以预测城市场景中的未来语义、几何和运动，并将此表示用于控制自动驾驶车辆。

Mar, 2020

循环流引导的语义预测

本研究为了实现自主系统对未来的实时预测，将挑战性的语义预测任务分解为两个子任务：当前帧的分割和未来光流的预测，并通过引入流预测网络和特征 - 流聚合 LSTM 层以及可端到端学习的扭曲层来构建高效、有效、低开销的模型，最终实现在短期和移动对象语义预测方面的最新精度，并将模型参数降低了高达 95%，效率提高了 40 倍以上。

Sep, 2018

通过预测卷积特征预测未来实例分割

研究了使用 Mask R-CNN 模型在语义级别预测未来视频实例分割的方法，相对于使用光流和实例分割方法，该方法表现更好。

Mar, 2018

卷积编解码神经网络实现一步时变视频未来帧预测

本文讨论了使用卷积神经网络预测自主汽车，无人机和其他机器人的未来出现，实现了可以在任意时间预测未来外观的功能。

Feb, 2017

基于几何和时间条件的长期期货预测

该研究旨在通过预测编码的概念以及诸如自动驾驶车辆之类的机器人应用，探索基于过去条件下生成未来传感器观测的任务。研究重点在于解决多模态未来视频建模的挑战，并利用图像扩散模型的大规模预训练来处理计算代价昂贵的视频处理问题。通过时间戳条件生成更好的采样计划，实验结果证明了学习以时间戳为条件和预测使用不变模态的重要性。

Apr, 2024

全景分割预测

通过场景分解，从背景和前景分别预测背景的运动和物体的运动，我们提出了全景分割预测，可以在已有模型的基础上实现背景与物体的双重预测，比现有的基线模型性能更好。

Apr, 2021

基于卷积 LSTM 的未来语义分割

本文提出了一种新的模型，使用 ConvLSTM 编码观察到的视频帧的时空信息来预测未观察到的未来帧的语义分割图，并扩展了双向 ConvLSTM 来捕获双向的时间信息，该方法在基准数据集上优于其他最先进的方法，为实时决策制定提供了可靠的解决方案。

Jul, 2018

利用时间性进行半监督视频分割

本文提出了一种端到端可训练的深度学习模型，利用时间信息来利用易于获取的未标记数据，从而解决了视频分割中标签稀缺的问题。实验结果表明，该模型能够显著优于基线方法和逐帧图像分割。

Aug, 2019

组合式视频预测

本研究提出了一种基于场景物体的运动特征的像素级未来预测方法，采用隐式预测物体的未来状态并考虑它们之间的相互作用，通过全局轨迹水平的潜在随机变量对任务多模态进行克服，并在两个数据集上进行了实证验证。

Aug, 2019