音乐作曲的循环潜变量模型再思考

MMOct, 2018

音乐作曲的循环潜变量模型再思考

Rethinking Recurrent Latent Variable Model for Music Composition

Eunjeong Stella Koh, Shlomo Dubnov, Dustin Wright

TL;DR本文提出了使用卷积变分递归神经网络对音乐进行特征捕捉和创作新音乐序列的模型，通过编码器 - 解码器架构和概率连接捕获音乐的隐藏结构，并使用 Variable Markov Oracle 方法对不同神经网络类型的性能进行比较，结果表明所提出的模型具有更好的统计相似性和更好地保留了原始音乐的风格。

Abstract

We present a model for capturing musical features and creating novel sequences of music, called the Convolutional Variational Recurrent Neural Network. To generate sequential data, the model uses an encoder-decoder architecture with latent probabilistic connections to capture the hidde

convolutional variational recurrent neural network encoder-decoder architecture latent probabilistic connections information rate musical structure

发现论文，激发创造

一种用于时序数据的循环潜变量模型

本文研究了将潜在随机变量引入到循环神经网络（RNN）的动态隐藏状态中，结合变分自编码器，通过高级潜在随机变量建立了变分循环神经网络（VRNN），可以很好地建模结构化序列数据，如自然语音。通过对四个语音数据集和一个手写数据集的实证评估，证明了潜在随机变量在 RNN 动态隐藏状态中的重要作用。

Jun, 2015

一种用于学习音乐长期结构的分层潜变量模型

本文介绍了一种新的变分自编码器模型 MusicVAE，利用层次化解码器结构用于序列数据建模，解决了长程序列结构状态建模的问题，并实现了更好的采样、插值和重构表现。

Mar, 2018

探索生成式人工智能对音乐的解读

我们使用 Google 的 MusicVAE，一个具有 512 维潜在空间的变分自动编码器来表示几小节的音乐，并根据描述音乐的相关性组织潜在维度。我们发现，平均而言，大多数潜在神经元在输入真实音乐曲目时保持沉默：我们称这些为 “噪声” 神经元。剩下的几十个激活的潜在神经元被称为 “音乐” 神经元。我们探究哪些神经元携带音乐信息以及它们编码的音乐信息种类，即是否可以识别为音高、节奏或旋律。我们发现大部分关于音高和节奏的信息都编码在最开始的几个音乐神经元中：神经网络因此构建了一些非线性编码许多用于描述音高和节奏的人工定义变量的变量。旋律的概念似乎仅在较长的音乐序列中出现独立的神经元中。

Jul, 2023

文本序列匹配的解卷积潜变量模型

本文介绍一种潜变量模型，用于文本匹配，通过联合优化生成目标和判别目标来推断句子表示，采用反卷积网络作为序列解码器以缓解潜变量模型中的典型优化挑战，提供更多语义信息和更好的泛化性能；在无监督方式下训练的模型比基于 LSTM 的解码器具有更强的实证预测性能，参数更少，训练速度更快；进一步应用于文本序列匹配问题，在半监督设置下，所提出的模型显著优于几个强的句子编码基线。

Sep, 2017

改进的条件性 VRNNs 用于视频预测

本文提出了一种基于层次结构的潜变量模型来提高模型表达能力，减少模糊预测，用于视频序列的未来帧预测任务，经过实验证明本方法在不同数据集上优于现有的潜变量模型。

Apr, 2019

变分循环神经机器翻译

本文提出了一种新颖的变分递归神经机器翻译（VRNMT）模型，该模型引入了一系列潜在随机变量以发挥生成效果，这些变量是通过变分自编码器获得的，并且在 NMT 解码器的隐藏状态中包含。使用神经后验近似器和重参数化技术，该模型在汉英和英德翻译任务上实验，取得显着的性能提升。

Jan, 2018

2014 年的巴赫：用循环神经网络进行音乐创作

提出了一种计算机音乐作曲框架，利用鲁棒传播 (RProp) 和长短期记忆 (LSTM) 循环神经网络，成功展示 LSTM 网络适当学习音乐的结构和特征，同时显示利用 RProp 预测现有音乐的结果优于 BPTT。

Dec, 2014

深度神经网络明确结构编码对符号音乐生成的影响

本研究探讨了在给定和弦进行约束下解决旋律生成问题的方法，并比较了 LSTM（一种 RNN）和 WaveNet（扩张时间 - CNN）两种序列生成模型，结果显示使用扩张卷积层更显式地编码结构可以显著提高性能，而将基础和弦进行全局编码则更有提升效果。

Nov, 2018

使用深度神经网络进行音乐生成的单元选取方法

该研究探索了利用单位选择和连接作为生成音乐的手段，结合深度结构语义模型和 LSTM 预测下一个单位的生成模型，使用客观指标和专业音乐人听辨测试进行评估。

Dec, 2016

音乐的深度学习

本研究尝试使用深度神经网络建立生成模型，以生成既有和声和旋律，并且足以通过人类作曲的音乐，并利用端到端学习和生成的方法。

Jun, 2016