Jun, 2016

用变分自编码器从静态图像中预测不确定的未来

PDF
TL;DR该研究使用条件变分自编码器解决了计算机视觉系统中像素级别预测未来事件的问题，并通过训练多样的真实视频数据成功预测了大量场景中的行为，并且可应用于语义视觉任务。
pixel-level anticipationdense trajectoryconditional variational autoencodernon-semantic action predictionsemantic vision tasks
发现论文，激发创造
  • 视频场景理解的概率未来预测

    本文提出了一种新颖的深度学习架构，用于从视频中进行概率未来预测。该模型可以预测城市场景中的未来语义、几何和运动，并将此表示用于控制自动驾驶车辆。

    Mar, 2020

  • 改进的条件性 VRNNs 用于视频预测

    本文提出了一种基于层次结构的潜变量模型来提高模型表达能力，减少模糊预测，用于视频序列的未来帧预测任务，经过实验证明本方法在不同数据集上优于现有的潜变量模型。

    Apr, 2019

  • 姿态决定一切：通过生成姿态预测实现视频预测

    该论文提出了一种基于高层抽象建模视频预测问题的方法，利用人体姿态探测器作为监督信号，将视频预测问题分解为两个离散步骤，明确建模场景中的高层次结构，使用变分自编码器 (VAE) 建模场景中活动对象的潜在未来运动，并将生成的未来姿势作为条件输入给生成对抗网络 (GAN) 预测未来视频帧，该方法通过呈现的定量和定性评估表明，其优于时下流行的视频预测方法。

    Apr, 2017

  • 利用 VQVAE 模型预测视频

    本文提出了一种基于 VQ-VAE 的视频预测方法，将高分辨率视频压缩为一组分层多尺度离散潜在变量，然后应用可扩展自回归生成模型，相对于先前的工作，更关注大规模多样化的数据集，并使用人工评估验证了其效果。

    Mar, 2021

  • 基于预测性变分自编码器的时间序列数据鲁棒表示学习

    利用预测时间下一节点以及基于时间平滑性的模型选择度量，我们提出了一种能够减轻 VAE 学习虚假特征，并能在合成数据集中准确恢复潜在因素的 VAE 架构。

    Dec, 2023

  • 有条件流变分自编码器用于结构化序列预测

    介绍了一种新的结构化序列预测方法 —— 有条件流变分自编码器 (CF-VAE)，使用新的条件归一化流先验捕获复杂的多模态条件分布；同时，提出两种新的正则化方案，使训练更加稳定。在 MNIST 序列、斯坦福无人机和 HighD 三个数据集上的实验证明，该方法在不同评估指标方面均取得了最新的结果。

    Aug, 2019

  • 基于解缠识别和非线性动力学模型的无监督学习

    本文介绍了一种用于无人监督学习序列数据的框架 ——Kalman 变分自编码器，该框架在描述视频中的动态变化时不使用构成其帧的像素空间，而是用一个描述其物体非线性动态的隐藏空间。该模型在各种模拟的物理系统视频中进行端到端训练，在生成和缺失数据输入任务方面优于竞争方法。

    Oct, 2017

  • 具任意条件的变分自编码器

    本研究提出了一种基于变分自编码器的神经概率模型，可以在任意观测特征子集的条件下生成其余特征的 “一次性” 样本，并通过随机变分贝叶斯进行训练。实验结果表明该方法在合成数据、特征填补和图像修复问题上非常有效且生成样本多样。

    Jun, 2018

  • 未来分割

    提出了一种基于编码器 - 解码器网络的视频未来语义分割预测方法，使用先前的视频帧，仅利用 RGB 数据，利用知识蒸馏的训练框架预测未来场景的语义分割，并在 Cityscapes 和 Apolloscape 上取得了比基线和现有最先进方法更好的结果。

    Apr, 2019

  • 优化用于视觉任务的变分自编码器潜在表示中的不确定性

    深度学习方法在计算神经科学中作为建模工具变得越来越重要，本文系统地研究了变分自编码器的不确定性表示，提出了一种新的方法解释偏离变分自编码器 (EA-VAEs)，并发现它在各种情况下能够产生有意义的不确定性报告，可在计算神经科学的感知模型和计算机视觉的推理工具中发挥作用。

    Apr, 2024