IJCAIApr, 2023

将音乐声音分离视为关联预测问题：将一个音乐感知任务建模为多轨迹跟踪问题

PDF
TL;DR这篇论文采用图神经网络，将声音分离问题建模为多轨迹跟踪问题，利用离散观察中的多音符信息实现对音乐的分解处理，使用新的正则化损失函数得到了最新的分离结果。
发现论文，激发创造
  • VoViT: 基于图论的低延迟音视频语音分离 Transformer

    本文提出了一种音频 - 视觉声音分离方案，在两种不同场景（语音和唱歌）中实现了低时延的最新成果。该模型基于两级网络，采用轻量级图卷积网络从面部标记中提取运动线索，然后将视觉和音频特征输入到音频 - 视觉转换器中，为目标源的隔离估计提供相当不错的结果。在第二阶段，利用音频网络增强了主要的声音。我们进行了不同的消融研究和与最先进的方法比较。最后，我们探讨了在唱声分离任务中训练语音分离模型的可转移性。

    Mar, 2022

  • 基于图的多音轨音乐生成

    该论文在音乐生成的深度学习系统中引入了一种新颖的图表示方法和深度变分自编码器，将音乐的结构和内容分开生成，实现了更具层次结构的人机交互音乐创作方式。

    Jul, 2023

  • 联合检测和分离歌声：一种多任务方法

    本文探讨了利用多任务学习中的歌声活动检测作为额外任务来稳定和提高语音分离性能的方法，并提出了对于每个数据集特定的问题偏差的解决方法，最终实验表明与单任务相比，该方法在分离和歌声检测方面均有较大改进。

    Apr, 2018

  • 基于音素的神经网络模型，用于音符级别的唱歌转录

    本文中，我们提出了一种使用唱歌语言特征的方法，通过使用 mel-scaled spectrogram 和 phonetic posteriorgram（PPG）来更准确地检测唱歌声音的音符起始点。我们的方法显著提高了唱歌转录的性能，并强调了语言特征在唱歌分析中的重要性。

    Apr, 2023

  • 零样本音乐源分离、转录和合成的统一模型

    通过一个三合一的统一模型来对音频进行分离、转录和综合，采用一种 pitch-timbre 分离模块来更好地计算音源之间的关系，从而实现零样本学习。

    Aug, 2021

  • 多轨音乐变换器

    提出了一种新型的多轨音乐表示方式，可以同时包含多种不同类型的乐器，并实现了基于音乐自注意力的实时即兴演奏，该方法在速度和内存占用方面都具有优势。

    Jul, 2022

  • 感知启发的图卷积在音乐理解任务中的应用

    我们提出了一种新的图卷积块，称为 MusGConv，专门为高效处理音乐乐谱数据而设计，并根据一般感知原理进行了激发。它关注音乐的两个基本维度，音高和节奏，并考虑了这些组成部分的相对和绝对表示。我们在四个不同的音乐理解问题上评估了我们的方法：单声部分离、和声分析、乐句检测和作曲家识别，这在抽象术语中转化为不同的图学习问题，即节点分类、链接预测和图分类。我们的实验证明了 MusGConv 在以上三个任务上改善了性能，同时概念上非常简单和高效。我们解释这一结果是证据表明，在开发音乐乐谱数据的图网络应用时，包括基本音乐概念的感知驱动处理是有益的。

    May, 2024

  • 歌声的频谱绘制：U-Net 辅助的人声分割

    该研究通过使用短时傅里叶变换（STFT）和 UNet 神经网络，实现了从音乐频谱图中准确分离人声元素，取得了令人瞩目的音频源分离结果。

    May, 2024

  • 多模态声道建模的分割

    利用实时磁共振成像技术进行声道建模时的挑战和解决方案，通过视觉分割和多模态算法提高 MR 图像中声道部分的分割准确性，并释放了一个包含 75 个说话人的 RT-MRI 数据集的标注，增加了 9 倍以上的公共 RT-MRI 声道数据数量。

    Jun, 2024

  • 资源受限立体声唱声消除

    该研究通过调整模型参数和扩展训练集，通过引入一种新的度量指标来改进分离网络，从而实现了与大型最先进的分离网络的类似性能。

    Jan, 2024