WWWOct, 2022

可转移的序列推荐学习向量量化物品表示

PDF
TL;DR本文提出了一个新的方法 VQ-Rec，使用基于向量量化的项目表示方法作为可转移的顺序推荐系统，并使用半合成和混合域代码表示作为硬负面来增强对比预训练方法。在六个公共基准测试中进行的广泛实验证明了这种方法在跨领域和跨平台设置中的有效性。
transferable recommender systemspre-trained language modelsvector-quantized item representationssemi-synthetic and mixed-domain code representationscross-domain fine-tuning method
发现论文，激发创造
  • 推荐系统的通用序列表示学习

    提出了一种名为 UniSRec 的序列表示学习方法，利用与物品相关的描述文本来学习跨不同场景或平台的可转移表示，其中包括轻量级物品编码体系结构和多域负数采样的对比预训练任务。通过预训练的模型将有效地转移到新的推荐领域或平台，在真实世界的数据集上进行的广泛实验表明了该方法的有效性。

    Jun, 2022

  • 为推荐系统学习大词汇类别特征的多粒度量化嵌入

    本论文旨在为大型 vocab 稀疏特征的推荐系统学习高度紧凑的嵌入。我们提出了不同可微的产品量化（DPQ）方法，并提出了一种多粒度量化嵌入（MGQE）技术，以更好地处理推荐系统中常见的幂律数据分布。实验结果表明，我们只需要使用原始模型大小的大约 20％，即可实现与原始模型大小相当或更好的性能。

    Feb, 2020

  • LG-VQ：语言导向的代码本学习

    本文提出了一种新颖的语言引导的码书学习框架 (LG-VQ)，旨在学习与文本对齐的码书，以提高多模态下游任务的性能。实验结果表明，我们的方法在重构和各种多模态下游任务上取得了优越的性能。

    May, 2024

  • 利用词性的码书迁移在矢量量化图像建模中的应用

    通过预训练语言模型中的先前训练的编码簿以及词性知识作为先验，构建一个视觉相关的编码簿，通过新的编码簿传递网络来实现鲁棒的 VQIM 编码簿学习，实验证明我们的 VQCT 方法在四个数据集上取得了优于现有最先进方法的性能。

    Mar, 2024

  • 跨模态离散表示学习

    本文提出了一种自监督学习框架，借助向量量化创建的离散嵌入空间，实现了跨不同视图（模态）之间的表征学习和匹配，从而提升了模态检索任务的性能。实验表明，所提出的多模态精细离散化表征能够为高层次摘要表征提供补充，有效改善了跨模态检索的表现。

    Jun, 2021

  • 向量量化图像转换

    本文提出一种使用矢量量化技术的图像转换框架，使得图像之间能够无条件地共享分布，结合解耦的样式表示，该方法不仅能实现图像翻译，而且具有在所有领域内和领域之间的高度灵活性，在图像转换、无条件生成和图像扩展的应用中具有广泛的实用性。

    Jul, 2022

  • 具有动态向量量化的自适应离散通信瓶颈

    本研究提出了一种基于动态选择离散化紧密度的方法，通过调整 VQ 方法中的码本大小和离散码数来实现，以应对数据中的复杂性差异，这种方法可在视觉推理和强化学习任务中提高模型性能。

    Feb, 2022

  • 通过语义量化实现结构化世界建模

    我们提出了一种语义神经离散表示学习的新方法，称为 Semantic Vector-Quantized Variational Autoencoder (SVQ)，通过从底层离散概念模式到对象表示的层次化构建场景表示，并通过训练这些表示上的先验模型来生成图像，并且我们的模型在生成性能和场景理解任务方面表现优于其他非语义向量量化方法。

    Feb, 2024

  • 基于模板的音乐生成的矢量量化对比预测编码

    本文提出了一种灵活的方法，用于在离散序列中生成具有基本单元（例如文本中的句子或音乐中的小节）分组的变化。我们的方法依赖自监督编码技术和 Transformer 架构，通过学习有意义的分配和压缩表示，在不需要任何注释的情况下生成新的序列。实验展示了在巴赫合唱曲集中使用该方法能够生成连贯而高质量的曲目变化。

    Apr, 2020

  • 改进 VQGAN 的向量量化图像建模

    使用预训练 Transformers 模型，结合 VQGAN 模型实现离散图像向量量化，进一步提高了图像生成和无监督表示学习的效率和准确性。同时，该模型还在 ImageNet 数据集上的线性探针准确性方面的表现优于同等规模的 Image GPT-L 和 Image GPT-XL 模型。

    Oct, 2021