Mar, 2024

HyperVQ: 基于 MLR 的双曲空间向量量化

PDF
TL;DR利用超 bolic 空间进行向量量化 (HyperVQ)，通过对比 VQVAE 中的欧几里得 K-Means 聚类，形成了超 bolic 多项式逻辑回归问题的 VQ 操作。通过广泛的实验，我们证明 hyperVQ 在重建和生成任务中的性能相当，而在判别任务中胜过 VQ，并学习高度独立的潜在空间。
发现论文，激发创造
  • HQ-VAE：具有变分贝叶斯的分层离散表示学习

    基于变分贝叶斯框架，提出一种新颖的统一框架，即分层量化变分自动编码器（HQ-VAE），其以离散表示形式随机学习层次化的离散特征，并解决了分层 VQ-VAE 中的代码本 / 层级坍塌问题，从而提高重建性能。

    Dec, 2023

  • VQGraph：用于连接 GNNs 和 MLPs 的图向量量化

    通过使用结构感知的图标记器和基于软标记分配的基于令牌的蒸馏目标函数，VQGraph 构建了一个功能强大的图表示空间，从而在 GNN 和 MLP 之间进行了知识传递，并在多个图数据集上实现了新的最好性能，分别提高了 828 倍的推理速度和 3.90% 和 28.05% 的准确率。

    Aug, 2023

  • 向量量化自编码器的理论与实验

    该研究利用基于期望最大化算法的训练技术提高 VQ-VAE 模型在 CIFAR-10 数据集上的图像生成结果，并通过知识蒸馏技术，开发出一种非自回归机器翻译模型，其准确性几乎与强贪婪自回归基线变压器相当，但在推理速度上快 3.3 倍。

    May, 2018

  • 神经离散表征学习

    本文提出了一种简单而强大的生成模型，学习离散表示，可以生成高质量的图像、视频和语音，同时进行说话人转换和音素无监督学习。

    Nov, 2017

  • LL-VQ-VAE：可学习的格点向量量化用于高效表示

    本文介绍了一种可学习的格矢量量化方法 (LL-VQ-VAE)，并证明其对于学习离散表示的有效性。与 VQ-VAE 相比，在相同的训练条件下，我们的方法在重建误差方面较低，训练时间更短，并且具有恒定的参数数量（等于嵌入维度 D），使其成为一种具有可伸缩性的方法。我们在 FFHQ-1024 数据集、FashionMNIST 和 Celeb-A 数据集上展示了这些结果。

    Oct, 2023

  • 在线聚类码本

    参考文献通过在线聚类学习方法 Clustering VQ-VAE（CVQ-VAE）解决了向量量化（VQ）中的代码书坍塌问题，提高了在复杂的计算机视觉任务中学习更大的代码书的效果。

    Jul, 2023

  • 软凸量化：用凸优化重新审视向量量化

    通过使用可微分的凸优化方法，Soft Convex Quantization (SCQ) 成为对传统的 Vector Quantization (VQ) 的替代品，并在图像重构和编码速度等方面取得了显著的改进。

    Oct, 2023

  • 分层量化自编码器

    该研究使用层次 VQ-VAE 近似压缩图像，同时保持感知质量和抽象特征。在 CelebA 和 MNIST 数据集上进行了定性和定量评估。

    Feb, 2020

  • 双曲神经网络

    通过将 M"obius gyrovector 空间的形式主义与 Poincarе模型的 Riemannian 几何相结合，我们提出了重要深度学习工具的超几何版本：多项式逻辑回归、前馈和循环神经网络。这样可以在超几何空间中嵌入序列数据并进行分类。实验证明，即使超几何优化工具受限，超几何句子嵌入在文本蕴含和噪声前缀识别任务中的表现要么优于，要么与欧几里得变体相当。

    May, 2018

  • 在双曲空间中的鲁棒大间隔学习

    本文针对数据具有分层结构的情况，提出了一个算法，通过对抗性示例注入的方式，有效地学习了一个能够在如下情况下使用的大边际超平面：数据具有分层结构，嵌入到双曲空间的性能不劣，且直接在双曲空间中学习分类器时的维度较低。

    Apr, 2020