May, 2024

离散潜在码的低秩适应轨迹预测

PDF
TL;DR运用矢量量化变分自编码器（VQ-VAEs）和基于扩散的预测模型，通过离散潜在空间和实例级编码矢量的动态调整，实现轨迹预测的准确性和多样性，达到了三个标准基准测试的最新性能水平。
trajectory forecastingvideo surveillance analyticsdeep generative modelsvector quantized variational autoencodersdiffusion-based predictive model
发现论文，激发创造
  • 状态空间模型的变分量化

    使用离散状态空间隐马尔可夫模型、最新的神经网络架构和受向量量化变分自动编码器启发的训练过程，结合大数据集中成千上万个异构时间序列的预测任务是众多领域的一个关键统计问题。我们提出了一种新的预测模型，引入了离散后验分布和两阶段训练过程，从而提供了对潜在状态和发射分布参数的交替训练。通过学习多个发射规律和根据隐藏过程动力学临时激活它们，所提出的方法能够探索大数据集和利用可用的外部信号。我们使用多个数据集评估了该方法的性能，并展示它优于其他最先进的解决方案。

    Apr, 2024

  • 利用 VQVAE 模型预测视频

    本文提出了一种基于 VQ-VAE 的视频预测方法，将高分辨率视频压缩为一组分层多尺度离散潜在变量，然后应用可扩展自回归生成模型，相对于先前的工作，更关注大规模多样化的数据集，并使用人工评估验证了其效果。

    Mar, 2021

  • 神经离散表征学习

    本文提出了一种简单而强大的生成模型，学习离散表示，可以生成高质量的图像、视频和语音，同时进行说话人转换和音素无监督学习。

    Nov, 2017

  • 多模态车辆轨迹预测的分层潜在结构

    利用层级潜在结构和车道级上下文向量，提升了变分自编码器在基于轨迹预测模型中的性能，生成复杂的多模态轨迹分布，并在预测准确度方面优于现有模型。

    Jul, 2022

  • 向量量化自编码器的理论与实验

    该研究利用基于期望最大化算法的训练技术提高 VQ-VAE 模型在 CIFAR-10 数据集上的图像生成结果，并通过知识蒸馏技术，开发出一种非自回归机器翻译模型，其准确性几乎与强贪婪自回归基线变压器相当，但在推理速度上快 3.3 倍。

    May, 2018

  • SVQ: 稀疏向量量化用于时空预测

    通过开发稀疏量化方法，我们的研究在多个领域中不断提升了基准模型的性能，实现了最先进的结果。

    Dec, 2023

  • Topic-VQ-VAE: 基于潜在码书的灵活话题引导文档生成

    该论文介绍了一种利用隐变量量化自动编码器 (VQ-VAE) 从语言预训练模型中离散地提取丰富信息的新颖主题建模方法，并提出了一种新的生成主题模型 Topic-VQ-VAE (TVQ-VAE)，可以逆向生成与相应隐变量量化编码书相关的原始文档。实验证明，TVQ-VAE 可以有效地捕捉主题上下文，揭示数据集的潜在结构，并支持灵活的文档生成形式。

    Dec, 2023

  • 利用向量量化变分自编码器恢复潜空间进行异常检测

    通过使用 VQ-VAEs 结合密度和基于恢复的方法，我们提出一种识别实现无监督异常检测的新方法，该方法通过对图像进行编码将概率分布建模，并将不常见的编码替换为从先验分布中采样的编码集合，通过对生成的恢复图像和原始图像之间的平均 L1 距离度量像素级的异常得分，我们对 MOOD 挑战数据集进行了测试，相比具有 VAEs 的标准重建方法，我们的方法具有更高的准确性。

    Dec, 2020

  • 具有动态向量量化的自适应离散通信瓶颈

    本研究提出了一种基于动态选择离散化紧密度的方法，通过调整 VQ 方法中的码本大小和离散码数来实现，以应对数据中的复杂性差异，这种方法可在视觉推理和强化学习任务中提高模型性能。

    Feb, 2022

  • VQ-AR: 向量量化自回归概率时间序列预测

    该论文介绍了一种新颖的自回归模型 VQ-AR，使用离散表示来预测未来，并在多个时间序列数据集上展示了其能够取得先进的性能。

    May, 2022