NIPSOct, 2017

基于解缠识别和非线性动力学模型的无监督学习

PDF
TL;DR本文介绍了一种用于无人监督学习序列数据的框架 ——Kalman 变分自编码器，该框架在描述视频中的动态变化时不使用构成其帧的像素空间，而是用一个描述其物体非线性动态的隐藏空间。该模型在各种模拟的物理系统视频中进行端到端训练，在生成和缺失数据输入任务方面优于竞争方法。
发现论文，激发创造
  • 基于分层变分自编码器的视频时空解耦

    本文提出了一种基于概率的方法，通过无监督视频数据学习可分离目标身份和姿态信息的表示。该方法利用具有因子化先验分布的深度生成模型来编码隐藏特征集中的时间不变性属性，并通过变化推理实现学习。实验结果表明，该模型成功分解其表示，并在转移学习任务中取得了改善的性能。

    Dec, 2016

  • 视频自编码器：静态三维结构和运动的自我监督解缠

    本论文提出了一个自监督学习的视频自编码器，能够从视频中学习出 3D 结构和相机姿态的解耦表示，通过重组这些表示来实现诸如新视角合成、相机姿态估计以及运动跟踪的任务。

    Oct, 2021

  • 非线性动力系统中的潜在状态转变识别

    本文旨在通过恢复底层的低维潜在状态及其时间演化来改进动力系统的泛化能力和解释能力。我们提出了一种基于变分自编码器的实用算法，并在逼真的合成环境中进行了实证研究，证明我们能够高准确性地恢复潜在状态动力学，相应地实现高未来预测准确性，并且能够快速适应新环境。

    Jun, 2024

  • 无监督学习序列数据的分离和可解释表示

    本文提出一种分解的分层变分自动编码器，能够在无监督的情况下从序列数据中学习分离和可解释的表征。该模型基于多尺度信息的分层结构，实现了针对不同潜变量集合的序列依赖先验和序列无关先验。通过在两个语音语料库上的实验，表明该模型能够通过操纵不同的潜变量集合来转换说话人或语言内容，并在说话人验证和自动语音识别任务中优于基线模型。

    Sep, 2017

  • 自然数据中的时态稀疏编码非线性解缠

    该论文介绍了一种基于 SlowVAE 的非监督学习模型， 可以在自然视频中实现底层变化因素的非线性分离， 并证明该模型在多个测试数据集上都超过了目前的最先进水平，并成功应用于其他具有自然动态的视频数据集。

    Jul, 2020

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • 可解释运动预测的解缠关系神经推理

    本文提出了一种变分自动编码器框架，通过整合基于图表示和时间序列模型，有效捕捉交互式动态代理之间的时空关系并预测其动态行为，进而增强模型的可解释性和在分布外泛化的能力。经过大量的仿真和现实世界数据集的实验证明，与现有方法相比，本方法在建模时空关系、运动预测和识别时间不变的潜在特征方面表现出卓越的性能。

    Jan, 2024

  • 基于运动的生成模型：无监督分离动态模式中的外观、可跟踪和不可跟踪运动

    研究提出了一种基于状态空间模型和发射模型的无监督学习动态模式的方法，该方法可以将运动分解为可追踪和不可追踪的部分，并通过学习 latent vectors 对运动进行描述，可以用于动态图案的合成和转移，同时定义并测量动态图案的内在可追踪性。

    Nov, 2019

  • 视频的无监督学习长期运动动态

    本文提出了一种无监督表征学习方法，可以紧凑地编码视频中的运动依赖。利用 RNN Encoder-Decoder 框架预测序列化的原子级 3D 流，以有效地减少学习框架的复杂性。该方法可以用于运动分类和识别等多种应用。

    Jan, 2017

  • 用变分自编码器从静态图像中预测不确定的未来

    该研究使用条件变分自编码器解决了计算机视觉系统中像素级别预测未来事件的问题，并通过训练多样的真实视频数据成功预测了大量场景中的行为，并且可应用于语义视觉任务。

    Jun, 2016