May, 2017

在条件随机网络下进行多模式运动预测

PDF
TL;DR本文提出一种基于随机神经网络架构来处理多样性数据分布的方法，并通过实验验证应用于处理物体轨迹、人体关节轨迹和视频预测等问题中，取得了较好的实验效果。
multimodalitystochastic neural networkobject trajectory predictionhuman body joint trajectory predictionvideo prediction
发现论文，激发创造
  • 随机潜在残差视频预测

    介绍了一种基于残差更新规则的新型随机时间模型，可用于视频预测，并在复杂数据集上胜过先前的最先进方法。

    Feb, 2020

  • 随机变分视频预测

    本文的目的在于提出一种名为 SV2P 的模型，该模型在真实世界的视频数据中获得了可靠的、有多个可行未来的预测结果，相比于传统的视频预测模型，我们的模型明显提升了预测效果。

    Oct, 2017

  • 视觉动力学：基于分层交叉卷积网络的随机未来生成

    该研究提出采用概率建模的方法，基于图像和动态信息，使用交叉卷积网络结构来合成多个可能的未来帧，并能够实现物体运动的真实感合成和学习出物体的外观与运动的紧凑编码。同时，提出了可视类比和视频外推等应用方案。

    Jul, 2018

  • VideoFlow: 用于随机视频生成的条件流模型

    我们提出了一种基于归一化流的多帧视频预测方法，可以直接优化数据可能性并生成高质量的随机预测，该方法可以实现对于视频生成建模的可行且竞争性的方法。

    Mar, 2019

  • 多元未来预测

    为了预测智能与健壮的复杂动态环境下未来的多个目标路径，该论文提出了基于概率的框架来学习表示语义多模态未来的潜在变量，其中利用动态基于注意力的状态编码器学习编码智能体之间的交互，可被用于车辆轨迹预测。

    Nov, 2019

  • 视频场景理解的概率未来预测

    本文提出了一种新颖的深度学习架构，用于从视频中进行概率未来预测。该模型可以预测城市场景中的未来语义、几何和运动，并将此表示用于控制自动驾驶车辆。

    Mar, 2020

  • 基于堆叠 Transformer 的多模态动作预测

    该论文提出了一种新的基于 transformer 的系统 ——mmTransformer，它使用独立提案集生成和选择提案，并使用基于区域的训练策略诱导所生成提案的多样性。实验表明，该模型在运动预测方面具有最先进的性能，大大提高了预测轨迹的多样性和准确性。

    Mar, 2021

  • 随机对抗视频预测

    本文探讨了两种机器学习模型用于生成视频未来帧预测的方法，并将它们相结合得到更真实、多样性更好的预测结果。

    Apr, 2018

  • 基于几何和时间条件的长期期货预测

    该研究旨在通过预测编码的概念以及诸如自动驾驶车辆之类的机器人应用，探索基于过去条件下生成未来传感器观测的任务。研究重点在于解决多模态未来视频建模的挑战，并利用图像扩散模型的大规模预训练来处理计算代价昂贵的视频处理问题。通过时间戳条件生成更好的采样计划，实验结果证明了学习以时间戳为条件和预测使用不变模态的重要性。

    Apr, 2024

  • 从确定性到生成性：用多模态随机循环神经网络实现视频字幕生成

    本文提出了一种基于多模态随机递归神经网络（MS-RNN）的生成式视频字幕方法，利用基于拉丁超立方采样（LHS）的随机采样方法解决给定视频的不确定性问题，支持不同的句子生成，实验结果显示该方法优于现有技术，并提高了视频字幕的性能。

    Aug, 2017