多源轨迹建模与分离的动态变分自编码器混合

Dec, 2023

多源轨迹建模与分离的动态变分自编码器混合

Mixture of Dynamical Variational Autoencoders for Multi-Source Trajectory Modeling and Separation

Xiaoyu Lin, Laurent Girin, Xavier Alameda-Pineda

TL;DR本文中，我们提出了一种称为混合动态变分自编码器（MixDVAE）的潜在变量生成模型，用于建模由多个移动源组成的系统的动态。通过在单源数据集上预训练 DVAE 模型来捕捉源的动态，然后将多个预训练 DVAE 模型的实例集成到一个多源混合模型中，带有离散观测 - 源分配潜变量。使用变分期望最大化算法估计离散的观测 - 源分配变量和表示源内容 / 位置的连续 DVAE 变量的后验分布，从而得到多源轨迹估计。我们在计算机视觉任务（多目标跟踪）和音频处理任务（单声道音频源分离）上展示了所提出的 MixDVAE 模型的多功能性。实验结果表明，该方法在这两个任务上表现良好，并超过了几种基准方法。

Abstract

In this paper, we propose a latent-variable generative model called mixture of dynamical variational autoencoders (MixDVAE) to model the dynamics of a system composed of multiple moving sources. A DVAE model is pre-trained on a single-source dataset to capture the source dynamics. Then

latent-variable generative model mixture of dynamical variational autoencoders multi-source trajectories estimation multi-object tracking single-channel audio source separation

发现论文，激发创造

多模式深度生成模型的变分混合专家自编码器

本文阐述了成功学习多模态生成模型的四个判定标准，提出了一种混合专家多模态变分自编码器（MMVAE）来学习不同模态的生成模型，并展示了其在具有挑战性的图像 - 语言数据集上实现四个标准的能力，从质量和数量两方面进行了定性和定量。

Nov, 2019

多源神经变分推断

本文提出了一个基于可变自编码器的多源学习框架，其中每个自编码器都是在不同的信息源的条件下进行的。我们在小数据集上展示了其学习效果，并在结构化输出预测方面进行了评估，同时证明了在多源情况下冲突检测和冗余可以增强推断的鲁棒性。

Nov, 2018

一种多模态动态变分自编码器用于音视频语音表征学习

本文介绍了一个多模态和动态 VAE（MDVAE），应用于无监督学习音频 - 视觉语音表示。实施时，结构化的潜在空间旨在将共享于两种模态之间的动态潜在因素与各自模态的动态和静态信息分离，采用两阶段训练方法，并通过对音频 - 视觉数据集进行实验来证明此模型在音频 - 视觉信息的无监督学习中具有良好的性能。

May, 2023

动态变分自编码器：综述

本文对可变自编码器 (VAE) 拓展至处理序列数据的方法进行了综述，提出并讨论了动态变分自编码器 (DVAEs) 这一类模型，详细介绍了七种 DVAE 模型，并通过语音分析 - 重构任务的实验基准进行了验证，最后探讨了 DVAE 模型的重要问题和未来的研究方向。

Aug, 2020

基于变分自编码器的图扩散源定位用于图反问题

本文提出了一种基于概率模型的通用框架：SL-VAE 来定位任意扩散模式下的扩散源。SL-VAE 利用前向扩散估计模型和深度生成模型，近似扩散源分布并量化不确定性。最后，通过导出一个统一的目标函数，强制模型在任意扩散模式下进行泛化。在 7 个真实世界的数据集上进行的广泛实验表明了 SL-VAE 在重建扩散源方面的优越性。

Jun, 2022

无限变分自编码器用于半监督学习

本文提出了一种基于混合模型和狄利克雷过程的无限变分自编码器，其容量能够适应输入数据，从而使得自动编码器数量能够根据数据自动变化，实验结果表明该方法在半监督学习中具有很高的灵活性。

Nov, 2016

狄利克雷变分自编码器

本文提出了使用 Dirichlet 优先的 DirVAE 模型，利用随机梯度法来推论模型参数，解决了潜变量坍塌问题，并在 MNIST，OMNIGLOT，和 SVHN 等数据集上进行了半监督和监督分类任务的实验，结果表明 DirVAE 模型在生成的潜在表达方面与其它基线模型相比具有最佳的对数似然，并且没有出现基线模型出现的坍塌问题，同时，对比基线模型，利用 DirVAE 模型学到的潜在表达还能够实现更好的半监督和监督分类性能。

Jan, 2019

异质性时间和纵向数据的变分自编码器

本文提出了用于处理异构数据的异构纵向变分自编码器，该模型通过建立生成模型和推断网络实现了高维数据的有效推断和处理，并使用连续、计数、分类和序数数据的似然模型来处理缺失值和实现预测。通过模拟和临床数据的实验验证了模型的有效性和预测精度。

Apr, 2022

潜在自回归源分离

本论文介绍了一种名为 LASS 的矢量量化潜在自回归源分离方法，通过贝叶斯公式和构建离散概率密度函数来实现无需额外微调和修改现有模型即可将输入信号分离成其成分源，该方法在图像和音频分离方面表现出具有竞争力的结果。

Jan, 2023

离散序列自编码器

这篇论文介绍了一种针对高维时序数据（如视频或音频）的 VAE 模型架构，学习了数据的潜在表示，可以近似地分解潜在的时间相关特征（动态）和随时间保持不变的特征（内容），从而进行内容和动态的部分控制，并给出了在人工生成的卡通视频片段和声音记录上的实验证据，进一步论证了随机 RNN 模型相对于确定性 RNN 对长序列的压缩与生成的效率更高的假设。

Mar, 2018