Dec, 2018

通过交替反向传播时间来学习动态生成器模型

PDF
TL;DR本研究研究了动态生成模型的空间 - 时间过程，如视频数据中的动态纹理和动作序列，模型通过一个生成模型产生视频序列中的每个时间帧，生成模型是潜在状态向量的非线性转换，并由自回归模型控制。
发现论文，激发创造
  • 使用时间本地规则学习循环模型

    生成模型对顺序数据的拟合通常涉及两个循环计算，一个向前，一个向后。本文探讨了一种不同的解决方法：要求生成模型学习当前状态和前一个状态之间的联合分布，而不仅仅是转移概率。在玩具数据集上展示了不同架构使用这一原则能够学习通常需要向后传递的数据方面的内容。

    Oct, 2023

  • 学习基于能量的时空生成性卷积神经网络以获取动态模式

    使用能量基础的时空生成 ConvNet 建立一个概率分布模型，可用于学习和合成存在于视频序列中的动态纹理和运动模式，该模型可从不完整的训练序列中学习和完成动态模式，并具有较好的生成能力。

    Sep, 2019

  • 通过交替反向传播学习特征对特征的翻译器，用于生成式零样本学习

    该论文提出了一种基于生成模型的零样本学习框架，在该框架中采用特征到特征翻译网络和条件生成器，通过交替反向传播学习，进一步提高了在不完整视觉特征条件下的零样本学习性能。

    Apr, 2019

  • 使用时间段模型的预测与控制

    介绍了一种基于深度生成模型的学习方法，能对非线性系统的动态进行变化预测，针对碰撞、感官噪声和动作延迟进行了建模，并用于基于模型的策略优化。

    Mar, 2017

  • 双向时间扩散模型 —— 用于保持时间连续的人物动画

    本文提出了一种通过使用双向时间建模的去噪扩散模型生成与真实人类动画高度相似的方法。

    Jul, 2023

  • 生成图像动力学

    我们提出了一种对场景动态进行图像空间先验建模的方法，该先验是从包含自然振动运动（如树木、花朵、蜡烛和风中的衣物）的真实视频序列中提取的一系列运动轨迹学习得到的。通过一个经过训练的模型，我们使用一种频率协调扩散抽样过程来预测傅里叶域中每个像素长期运动表示，我们称之为神经随机运动纹理。这种表示可以转换为跨越整个视频的密集运动轨迹。结合基于图像的渲染模块，这些轨迹可以用于许多下游应用，例如将静止图像转换为无缝循环的动态视频，或者允许用户在真实图片中与物体进行真实交互。

    Sep, 2023

  • 利用多阶段动态生成对抗网络学习生成时间变换视频

    该研究基于 GAN，介绍了一种生成逼真的高分辨率时间流视频的方法，第一阶段生成真实内容的视频，第二阶段利用 Gram 矩阵提高了运动动态和最后生成视频的逼真性。实验证明，该方法优于现有的最新模型。

    Sep, 2017

  • 生成具有场景动态的视频

    利用大量未标记的视频来学习场景动态的模型，提出了一种具有时空卷积结构的生成对抗网络来生成视频，该模型能够更好地预测静态图像的合理未来，并且能够识别动作的有用特征，这表明场景动态是表示学习的一个有前途的信号。

    Sep, 2016

  • 通过学习平滑的潜在转换学习多样化的随机人形动作生成器

    本文提出了一种基于骨架的动作生成方法，采用潜在动作序列的低维潜在空间来构建平滑多样的状态转移模型，并在逐帧解码器的支持下生成动作序列，在生成多样性方面表现优异，同时在同一模型中实现了动作序列分类。

    Dec, 2019

  • 潜在视频变换器

    本文提出了一种使用潜在空间进行视频生成的方法，采用自回归技术预测未来帧的潜在表示，经实验证明其相较于以前的方法在减少计算资源需求的同时，生成质量也得到了保证。

    Jun, 2020