May, 2024

BeamVQ: 基于物理感知度量的空时预测模型自训练对齐

PDF
TL;DR基于自动生成的样本和物理感知指标，我们提出了一种被称为矢量量化束搜索（BeamVQ）的方法，以增强数据驱动时空预测模型的物理对齐性。经过综合实验，BeamVQ 不仅为十个骨干网络在五个数据集上提供了平均统计技能评分超过 32% 的提升，还显著增强了物理感知指标。
data-driven deep learningphysical adherencebeam search by vector quantizationself-generated samplesphysics-aware metrics
发现论文，激发创造
  • SVQ: 稀疏向量量化用于时空预测

    通过开发稀疏量化方法，我们的研究在多个领域中不断提升了基准模型的性能，实现了最先进的结果。

    Dec, 2023

  • 状态空间模型的变分量化

    使用离散状态空间隐马尔可夫模型、最新的神经网络架构和受向量量化变分自动编码器启发的训练过程，结合大数据集中成千上万个异构时间序列的预测任务是众多领域的一个关键统计问题。我们提出了一种新的预测模型，引入了离散后验分布和两阶段训练过程，从而提供了对潜在状态和发射分布参数的交替训练。通过学习多个发射规律和根据隐藏过程动力学临时激活它们，所提出的方法能够探索大数据集和利用可用的外部信号。我们使用多个数据集评估了该方法的性能，并展示它优于其他最先进的解决方案。

    Apr, 2024

  • 具有双向先验模型的矢量量化时间序列生成

    提出了一种名为 TimeVQVAE 的新模型，它使用矢量量化技术解决时间序列生成（TSG）问题，通过在时频域中分离出低频和高频来保留时间序列的重要特征，并使用双向转换模型学习离散潜在空间的先验知识，使其具有更好的全局时间一致性和更好的质量。

    Mar, 2023

  • HyperVQ: 基于 MLR 的双曲空间向量量化

    利用超 bolic 空间进行向量量化 (HyperVQ)，通过对比 VQVAE 中的欧几里得 K-Means 聚类，形成了超 bolic 多项式逻辑回归问题的 VQ 操作。通过广泛的实验，我们证明 hyperVQ 在重建和生成任务中的性能相当，而在判别任务中胜过 VQ，并学习高度独立的潜在空间。

    Mar, 2024

  • 毫米波波束跟踪和训练的学习和适应性：双时间尺度变分框架

    本文提出了一个学习和适应框架，使用长期和短期两种时间尺度学习和优化自适应波束跟踪和训练，利用深度递归变分自编码器和部分可观察马尔可夫决策过程生成一种概率预测的最强波束对，从而在毫米波车载网络中实现低开销，近乎最优的频谱效益。

    Jun, 2021

  • LongVQ: 基于结构化记忆的长序列建模与向量量化

    长序列模型中，使用了 LongVQ 方法以更有效地利用向量量化技术来压缩全局抽象，并以线性时间计算注意力矩阵，有效地解决长距离依赖问题。

    Apr, 2024

  • 离散潜在码的低秩适应轨迹预测

    运用矢量量化变分自编码器（VQ-VAEs）和基于扩散的预测模型，通过离散潜在空间和实例级编码矢量的动态调整，实现轨迹预测的准确性和多样性，达到了三个标准基准测试的最新性能水平。

    May, 2024

  • 鲁棒量化向量变分自编码器

    本文提出了一种基于 VQ-VAE 的鲁棒生成模型（RVQ-VAE），使用两个分离的码本进行训练以处理数据集中可能的异常值，并采用加权欧几里得距离来量化数据点以确保正确的匹配，实验证明此模型能够在大量数据点受到污染时从内固定集合中生成例子。

    Feb, 2022

  • 基于深度学习的海量 MIMO 系统中的矢量量化 CSI 反馈

    通过有限速率的深度学习通道状态信息反馈方法，本文提出了在大规模多输入多输出系统中，基于矢量量化变分自动编码器框架实现有限位表示的潜在矢量，同时利用形状增益的矢量量化减少计算复杂性。该方法通过适当的变换函数，将潜在矢量的幅度用非均匀标量码书量化，同时使用可训练的 Grassmann 码书量化潜在矢量的方向。同时，引入码字选取规则和损失函数设计，开发了一种多速率码书设计策略。仿真结果表明，所提出的方法在给定的反馈开销下，减少了与 VQ-VAE 相关的计算复杂性，同时改善了通道状态信息重建性能。

    Mar, 2024

  • Transformer-VQ: 基于向量量化的线性时间 Transformer

    Transformer-VQ 是一种仅有解码器的 Transformer 模型，通过向量量化的键和新颖的缓存机制实现了线性时间内的高效 softmax 密集自注意力计算。在大规模实验中，Transformer-VQ 在质量方面表现出强大的竞争力，在 Enwik8（0.99 bpb）、PG-19（26.6 ppl）和 ImageNet64（3.16 bpb）上取得了优秀的结果。

    Sep, 2023