Apr, 2020

基于模板的音乐生成的矢量量化对比预测编码

PDF
TL;DR本文提出了一种灵活的方法，用于在离散序列中生成具有基本单元（例如文本中的句子或音乐中的小节）分组的变化。我们的方法依赖自监督编码技术和 Transformer 架构，通过学习有意义的分配和压缩表示，在不需要任何注释的情况下生成新的序列。实验展示了在巴赫合唱曲集中使用该方法能够生成连贯而高质量的曲目变化。
discrete sequencesself-supervised encodingvector quantized contrastive predictive codingtransformer architecturej.s. bach chorales
发现论文，激发创造
  • 零语音 2020 挑战中基于向量量化的神经网络用于语音单元发现

    本文提出两种神经模型，均使用向量量化技术将连续特征映射为有限的编码，旨在利用无标签数据学习将语音的音素内容与说话人特定细节分离的离散表述。在 Zero Speech 2020 挑战赛的英语和印度尼西亚语数据上，我们的两个模型都优于 2019 年和 2020 年挑战赛的所有提交，相对提高超过 30%。

    May, 2020

  • 使用向量量化离散扩散模型进行特定作曲家风格的符号音乐生成

    通过将矢量量化变分自编码器（VQ-VAE）与离散扩散模型结合，我们提出了一种生成具有目标作曲家风格的符号音乐的方法，结果表明，我们的模型在满足给定条件的情况下以 72.36% 的高准确率生成符号音乐。

    Oct, 2023

  • 音乐作曲的循环潜变量模型再思考

    本文提出了使用卷积变分递归神经网络对音乐进行特征捕捉和创作新音乐序列的模型，通过编码器 - 解码器架构和概率连接捕获音乐的隐藏结构，并使用 Variable Markov Oracle 方法对不同神经网络类型的性能进行比较，结果表明所提出的模型具有更好的统计相似性和更好地保留了原始音乐的风格。

    Oct, 2018

  • 向量量化自回归预测编码

    本文提出了一种新颖的 VQ-APC 模型，通过探究逐渐受限的模型序列，明确了学习表示的成分，同时发现存在将音素和说话者信息最大化以优化自监督目标的点。

    May, 2020

  • 基于正则化向量量化的分词图像合成

    本文提出一种正则化的向量量化框架，通过两种正则化方法有效缓解确定性量化和随机量化所存在的问题，并设计出一种概率对比损失作为更进一步缓解扰动重构目标的标准度量，实验表明该框架在不同的生成模型中表现都比现有的向量量化方法更优。

    Mar, 2023

  • 对比预测编码的表示学习

    本研究提出了一种普适的无监督学习方法 Contrastive Predictive Coding，通过使用强大的自回归模型在潜在空间中预测未来来提取高维数据的有用表示，以此学习有用的表示并在语音，图像，文本和三维环境中的强化学习中实现了强大的表现。

    Jul, 2018

  • 主题变换器：带主题条件的符号音乐生成器

    本文提出了一种基于主题的条件控制机制，通过深度学习的对比学习和聚类技术自动提取音乐片段中的主题材料，并在序列到序列编码器 / 解码器结构中使用了一种新的门控并行注意力模块来更有效地考虑给定的感应主题材料，以生成具有重复和合理变化的多声部流行钢琴音乐。

    Nov, 2021

  • 神经离散表征学习

    本文提出了一种简单而强大的生成模型，学习离散表示，可以生成高质量的图像、视频和语音，同时进行说话人转换和音素无监督学习。

    Nov, 2017

  • 通过主题感知离散潜变量学习语义文本相似度

    本文提出了一种基于主题的离散潜变量模型，通过向量量化学习句子对表示的共享潜空间，进一步将量化表示注入基于语义驱动的注意力机制变压器语言模型，以提高语义相似性的性能。

    Nov, 2022

  • 跨模态离散表示学习

    本文提出了一种自监督学习框架，借助向量量化创建的离散嵌入空间，实现了跨不同视图（模态）之间的表征学习和匹配，从而提升了模态检索任务的性能。实验表明，所提出的多模态精细离散化表征能够为高层次摘要表征提供补充，有效改善了跨模态检索的表现。

    Jun, 2021