生成音乐混搭的音轨兼容性建模

AAAIMar, 2021

Modeling the Compatibility of Stem Tracks to Generate Music Mashups

Jiawen Huang, Ju-Chiang Wang, Jordan B. L. Smith, Xuchen Song, Yuxuan Wang

TL;DR研究利用隔离的乐音基础上进行音乐混音创作，提出了一种基于自监督和半监督学习的混音兼容性预测方法，并通过实验评估与基于规则的系统相比，确实可以提高音乐混音的质量。

Abstract

A music mashup combines audio elements from two or more songs to create a new work. To reduce the time and effort required to make them, researchers have developed algorithms that predict the compatibility of aud

music mashup algorithms source separation self-supervised learning semi-supervised learning

发现论文，激发创造

相关节奏：发现你可能喜欢的音乐的推荐系统

通过使用机器学习模型及百万曲目数据集，本文提出了一个音乐推荐系统，旨在优化为用户推荐喜欢的歌曲。

Sep, 2023

2021 音乐分离挑战赛

该论文探讨了音乐分离的研究现状和挑战，并提出了一种基于机器学习竞赛平台的音乐分离比赛，该比赛提供了更广泛的音乐流派和更多的混音工程师，并包括基线，评价度量，评估结果和技术挑战。

Aug, 2021

零样本音乐源分离、转录和合成的统一模型

通过一个三合一的统一模型来对音频进行分离、转录和综合，采用一种 pitch-timbre 分离模块来更好地计算音源之间的关系，从而实现零样本学习。

Aug, 2021

研究训练数据质量和数量对音乐源分离的影响的数据集：Slakh

该论文提出 Slakh 数据集作为音乐源分离研究的新工具，针对有限的训练数据进行数据增强，从而有效提高音乐源分离的性能。Slakh2100 数据集中包含 2100 首曲目，是目前同领域标准数据集 MUSDB18 数据的一个数量级。

Sep, 2019

采用时间段的时序对齐进行视频 - 音乐推荐

研究视频配乐中的跨模式推荐问题，使用自我监督系统学习音乐和视频间的内容关联，提出了结构感知推荐方法，在训练与推断过程中，使用语义片段和不同的排序指标和分割方法来显著提高系统性能。

Jun, 2023

MusicLDM: 使用节奏同步混合策略增强文本生成音乐中的新颖性

通过构建一种文本到音乐模型，并利用分布式扩散模型和音频广义线性模型来进行训练以生成新音乐，解决了音乐生成过程中的数据不足、版权和抄袭等问题。同时通过节拍跟踪和两种不同的数据增强策略，即拍子同步音频混合和拍子同步潜在混合，实现对训练数据的重组，从而生成多样化且保持风格一致的音乐。最终，通过基于对比语音 - 音频预训练模型的评估指标，进一步证明了所提出的音乐生成模型和拍子同步混合策略能够提高生成音乐的质量、创新性和与输入文本的对应关系。

Aug, 2023

STEMM：基于语音文本流形混合的自学习语音翻译

本研究提出了一种名为 STEMM 的方法来解决语音 - 文本翻译时，因跨模态表示不匹配导致数据标注不足的问题。该方法通过混合不同模态的表示序列，利用自学习框架来规范预测输出，能够有效地减轻跨模态表示不匹配并在 8 个翻译方向上达到了显著提高。

Mar, 2022

声音分离任务的基准测试和排行榜

本文旨在介绍音乐分离的任务以及该任务的两个新的基准数据集，比较流行模型的表现并提供评估排名，同时提供可下载的基准数据集。作者提出了一种使用不同模型进行集成的新方法，并在音乐分离挑战赛中取得了最佳结果，该方法的代码和技术细节已在 GitHub 上公开。

May, 2023

跨模态音乐视频推荐：设计选择研究

本研究在音乐 / 视频跨模态推荐方面采用自监督学习范式，并利用预训练的 MuSimNet，OpenL3，MusicCNN 或 AudioSet 等音频嵌入来大幅改善推荐效果。其中，通过跨模态三元组损失进行学习比通常自监督学习采用的二元交叉熵损失具有更好的效果，验证了 VM-NET 的有效性。

Apr, 2021

MixMatch: 半监督学习的整体方法

本研究提出了一种半监督学习算法 MixMatch，采用猜测低熵标签的方法，通过使用 MixUp 混合标记和未标记的数据来处理扩充后的未标注样例。实验结果表明，MixMatch 在许多数据集和标记数据量上都取得了大幅度的优越结果，同时也证明了 MixMatch 如何帮助实现更好的准确性和隐私权的权衡。最终，我们进行了消融研究来分离 MixMatch 的哪些组件对其成功最为重要。

May, 2019