Nov, 2023

利用变分自动编码器探索调性音乐的潜在空间

PDF
TL;DR我们评估了在 371 首巴赫合唱曲中对音乐认知的音乐语料库进行训练的变分自编码器（Variational Autoencoders）对于代表五度音程和音乐认知中的每个关键组件音高的等级关系定义潜在空间的程度，结果表明，音高离散傅里叶变换（Pitch DFT）的潜空间最好地与认知空间对齐，并提供一个包含模糊聚类的共同音空间，在其中，关键字内重叠的对象强加了一种良好定义的结构重要性或稳定性的顺序 - 即音程层次结构。不同关键的音调层次结构可以用来测量关键的距离及其音符和和弦在多个层次（例如，笔记和和弦）上的关系。
发现论文，激发创造
  • 使用深度学习架构进行潜在音频空间探索的声音设计策略

    本研究探讨了 Variational Autoencoders（VAEs）在将原始音频数据中生成潜在音频空间时的应用，提出了三种探索潜在音频空间和音色的策略以应用于声音设计，在为声音和音乐实践中利用潜在音频空间的艺术方法和策略方面开展了初步探索。

    May, 2023

  • 探索生成式人工智能对音乐的解读

    我们使用 Google 的 MusicVAE，一个具有 512 维潜在空间的变分自动编码器来表示几小节的音乐，并根据描述音乐的相关性组织潜在维度。我们发现，平均而言，大多数潜在神经元在输入真实音乐曲目时保持沉默：我们称这些为 “噪声” 神经元。剩下的几十个激活的潜在神经元被称为 “音乐” 神经元。我们探究哪些神经元携带音乐信息以及它们编码的音乐信息种类，即是否可以识别为音高、节奏或旋律。我们发现大部分关于音高和节奏的信息都编码在最开始的几个音乐神经元中：神经网络因此构建了一些非线性编码许多用于描述音高和节奏的人工定义变量的变量。旋律的概念似乎仅在较长的音乐序列中出现独立的神经元中。

    Jul, 2023

  • 生成音色空间：利用感知度量规则化变分自编码器

    本文介绍如何使用 VAE 构建生成性音质空间，可以分析新的乐器，同时能够从该空间的任何点合成音频，并介绍了一种基于描述符的综合方法。

    May, 2018

  • 探索用于生成音乐可解释人工智能的变分自动编码器结构、配置和数据集

    这篇论文通过对不同组合的 Variational Auto-Encoder 模型、AI 模型的潜在空间配置和训练数据集进行系统研究，表明 MeasureVAE 在音乐生成性能方面具有更好的重构表现，AdversarialVAE 在音乐属性独立性方面表现更好。结果展示了 MeasureVAE 能够通过可解释的音乐控制维度生成跨音乐流派的音乐，并且在生成简单的流行和摇滚音乐时表现最佳。建议在使用 MeasureVAE 生成跨流派音乐时，4 个正则化维度的 32 或 64 个潜在空间尺寸是最佳选择。这些结果是关于音乐生成的最详细的现代生成 AI 模型配置的比较，并可用于选择和配置 AI 模型、音乐特征和数据集以实现更易理解的音乐生成。

    Nov, 2023

  • 一种用于学习音乐长期结构的分层潜变量模型

    本文介绍了一种新的变分自编码器模型 MusicVAE，利用层次化解码器结构用于序列数据建模，解决了长程序列结构状态建模的问题，并实现了更好的采样、插值和重构表现。

    Mar, 2018

  • PIANOTREE VAE：多声部音乐的结构化表示学习

    本文提出了一种名为 PianoTree VAE 的新型树结构扩展 VAE 用于拟合多声部音乐学习，并通过实验验证了其（一）适用于多声部片段的语义有意义的潜在编码；（二）除了可接受的几何形状学习外，更具有令人满意的重构性能；（三）对下游音乐生成的多样性有益。

    Aug, 2020

  • 基于情感条件的谐声旋律编制与分层变分自编码器

    提出了新型的 LSTM 分层变分自编码器，以研究情感条件对旋律和声化的影响，提高生成的和声质量并捕获和弦进程的丰富变化。

    Jun, 2023

  • 变分自编码器中学习潜在子空间

    本文提出了一种基于变分自编码器的生成模型，使用互信息最小化学习与每个标签相关的低维潜空间，并展示了其在特征操作上的实用性。

    Dec, 2018

  • Poincaré 变分自编码器实现连续的分层表示

    本文利用 Poincaré 球模型的超几何结构作为潜变量空间，研究了 VAE 在这个空间的运用，该方法在嵌套数据结构下表现出色，并展现了超几何结构对于 VAE 的优越性。

    Jan, 2019

  • 变分自编码器中潜空间的自适应压缩

    这篇文章介绍了一种对变分自动编码器 (VAEs) 进行简单扩展的方法，通过渐进性减小潜空间大小来自动确定训练过程中的最佳潜空间大小，并将该方法与传统的超参数网格搜索进行比较，结果表明其速度显著更快，且在四个图像数据集上实现了最佳的维度。此外，还证明了我们方法的最终性能与从头开始训练的最佳潜空间大小相当，因此可能作为一种便利的替代方法。

    Dec, 2023