基于情感条件的谐声旋律编制与分层变分自编码器

Jun, 2023

基于情感条件的谐声旋律编制与分层变分自编码器

Emotion-Conditioned Melody Harmonization with Hierarchical Variational Autoencoder

Shulei Ji, Xinyu Yang

TL;DR提出了新型的 LSTM 分层变分自编码器，以研究情感条件对旋律和声化的影响，提高生成的和声质量并捕获和弦进程的丰富变化。

Abstract

Existing melody harmonization models have made great progress in improving the quality of generated harmonies, but most of them ignored the emotions beneath the music. Meanwhile, the variability of harmonies generated by previous methods is insufficient. To solve these problems, we pro

melody harmonization lstm-based hierarchical variational auto-encoder emotional conditions chord progressions attention-based melody context vector

发现论文，激发创造

一种用于学习音乐长期结构的分层潜变量模型

本文介绍了一种新的变分自编码器模型 MusicVAE，利用层次化解码器结构用于序列数据建模，解决了长程序列结构状态建模的问题，并实现了更好的采样、插值和重构表现。

Mar, 2018

变分自编码器用于学习语音情感的潜在表示：初步研究

该研究提出对于语音情感识别任务，在深度生成模型 VAE 的启发下，使用 VAEs 学习语音信号的潜在表征，并使用这种表征来分类情感，证明通过 VAEs 学习到的特征可产生情感分类的最佳结果。

Dec, 2017

利用变分自动编码器探索调性音乐的潜在空间

我们评估了在 371 首巴赫合唱曲中对音乐认知的音乐语料库进行训练的变分自编码器（Variational Autoencoders）对于代表五度音程和音乐认知中的每个关键组件音高的等级关系定义潜在空间的程度，结果表明，音高离散傅里叶变换（Pitch DFT）的潜空间最好地与认知空间对齐，并提供一个包含模糊聚类的共同音空间，在其中，关键字内重叠的对象强加了一种良好定义的结构重要性或稳定性的顺序 - 即音程层次结构。不同关键的音调层次结构可以用来测量关键的距离及其音符和和弦在多个层次（例如，笔记和和弦）上的关系。

Nov, 2023

基于分层条件变分自编码器的声学异常检测

该研究旨在开发一种基于声学信号的无监督异常检测方法，提出了一种名为 HCVAE 的新方法，利用可用的分类层次知识来完善潜空间表示，提高异常检测性能，并在不同领域进行实证研究，其性能優于基线系统 15％的 AUC 得分。

Jun, 2022

可扩展的分解层次变分自编码器训练

本文介绍一种基于变分推断的分层生成过程的因式分解分层变分自编码器（FHVAE）模型，该模型在许多语音应用方面已被证明可行，但其原始论文中提出的训练算法不适用于规模更大的数据集。本文提出了一种分层采样训练算法来解决这一问题，并对不同类型的数据集进行了全面评估，证明了我们提出的算法对所有数据集都表现出所需的特性。

Apr, 2018

通过变分自编码器对表情进行建模的表达性语音合成

本文提出一种将自回归语音合成模型 VoiceLoop 与变分自编码器 VAE 相结合的方法，通过在语音生成过程中显式建模全局特征，控制生成语音的表达方式从而提高语音合成的表现力。

Apr, 2018

异质性时间和纵向数据的变分自编码器

本文提出了用于处理异构数据的异构纵向变分自编码器，该模型通过建立生成模型和推断网络实现了高维数据的有效推断和处理，并使用连续、计数、分类和序数数据的似然模型来处理缺失值和实现预测。通过模拟和临床数据的实验验证了模型的有效性和预测精度。

Apr, 2022

探索生成式人工智能对音乐的解读

我们使用 Google 的 MusicVAE，一个具有 512 维潜在空间的变分自动编码器来表示几小节的音乐，并根据描述音乐的相关性组织潜在维度。我们发现，平均而言，大多数潜在神经元在输入真实音乐曲目时保持沉默：我们称这些为 “噪声” 神经元。剩下的几十个激活的潜在神经元被称为 “音乐” 神经元。我们探究哪些神经元携带音乐信息以及它们编码的音乐信息种类，即是否可以识别为音高、节奏或旋律。我们发现大部分关于音高和节奏的信息都编码在最开始的几个音乐神经元中：神经网络因此构建了一些非线性编码许多用于描述音高和节奏的人工定义变量的变量。旋律的概念似乎仅在较长的音乐序列中出现独立的神经元中。

Jul, 2023

对话情感识别的解缠变分自编码器

本研究提出了一种基于 VAD-disentangled Variational AutoEncoder（VAD-VAE）的 ERC 模型，通过引入情感词汇表的 VAD 监督信号，最小化 VAD 分布之间的互信息来增强消解表示，并在两个数据集上优于现有模型。

May, 2023

学习可解释的控制式复调音乐生成的表示

本文提出了一种基于 VAE 的音乐分离模型，用于将和弦和纹理这两个可解释的因子分离出来，从而实现音乐生成过程的可控，在生成音乐时具有广泛的应用，包括作曲风格转换、纹理变化和伴奏编排，并通过客观和主观评价证明了该方法的成功分离和高质量的音乐生成。

Aug, 2020