Mar, 2024

基于频谱图的自动调谐声音在音乐录音中的检测

PDF
TL;DR该研究介绍了一种基于三元组网络的数据驱动方法，用于检测 Auto-Tune 音乐的自动调音效果，通过创建一个由原始和自动调音音频剪辑组成的数据集。实验结果表明，与针对其他音频取证任务广泛使用的端到端模型 Rawnet2 相比，提出的方法在准确性和鲁棒性上均具有优势。
music productionautomatic pitch correctionauto-tuneauthenticitytriplet networks
发现论文，激发创造
  • Deep Autotuner: 用于歌唱表演的音高校准网络

    本论文介绍了一种基于数据驱动的自动音高校正方法，该方法利用歌唱声音和伴奏音频相应的频谱图之间的关系来预测音符级别的音高变化。该方法通过神经网络模型进行训练，包括卷积层和门控循环单元，可适用于自由即兴和协调音乐演唱。

    Feb, 2020

  • 重访唱歌声音检测：定量回顾与未来展望

    该论文对三个现有歌声识别系统进行了误差分析，并设计了新的测试方法来进一步检查存在于当前数据集中尚未清楚揭示的缺陷，最终以实验结果为基础提出了构建更为稳健的歌声识别系统的方向。

    Jun, 2018

  • SingFake: 唱歌声深度伪造检测

    提出了歌声深度伪造检测任务，创建了第一个真实数据集 SingFake，包含 40 位歌手 5 种语言的 28.93 小时真实歌曲和 29.40 小时深度伪造歌曲片段，评估了四个最先进的口语对抗系统，发现在 SingFake 上训练相对于在口语测试数据上训练有显著改进，但也提出了未知歌手、通信编解码器、语言和音乐背景等挑战。

    Sep, 2023

  • 检测虚假音频的声码器指纹初步研究

    提出一种检测假音频的方法，通过实验得出不同的 vocoder 生成不同的指纹，探讨了特征和模型结构，并可应用于音频取证。

    Aug, 2022

  • 联合检测和分离歌声：一种多任务方法

    本文探讨了利用多任务学习中的歌声活动检测作为额外任务来稳定和提高语音分离性能的方法，并提出了对于每个数据集特定的问题偏差的解决方法，最终实验表明与单任务相比，该方法在分离和歌声检测方面均有较大改进。

    Apr, 2018

  • 歌声的频谱绘制：U-Net 辅助的人声分割

    该研究通过使用短时傅里叶变换（STFT）和 UNet 神经网络，实现了从音乐频谱图中准确分离人声元素，取得了令人瞩目的音频源分离结果。

    May, 2024

  • 基于音素的神经网络模型，用于音符级别的唱歌转录

    本文中，我们提出了一种使用唱歌语言特征的方法，通过使用 mel-scaled spectrogram 和 phonetic posteriorgram（PPG）来更准确地检测唱歌声音的音符起始点。我们的方法显著提高了唱歌转录的性能，并强调了语言特征在唱歌分析中的重要性。

    Apr, 2023

  • PitchNet: 一种用于音高估计的全卷积神经网络

    在音乐和声音处理领域中，音高提取起着关键作用。本研究介绍了 “PitchNet”，一种专为从人类歌唱声音中提取音高而量身定制的卷积神经网络，包括 a cappella 演唱。将自相关与深度学习技术融合，PitchNet 旨在优化音高检测的准确性。通过对包含合成声音、歌剧录音和时间拉伸元音的数据集进行评估，证明了其有效性。这项工作为音乐和语音环境中的音高提取铺平了道路。

    Aug, 2023

  • 自动歌词与音频对齐的声学建模

    该研究提出使用额外的语音和音乐相关特征，通过对大量独唱人声进行训练的声学模型来适应少量领域数据中的复调音乐，并利用常规声学特征一起实现鲁棒性，该策略在词汇边界对准错误的显著降低中取得了成效，特别是在具有长时间音乐插曲的复调数据上。

    Jun, 2019

  • 实现全自监督多音高估计

    多音高估计中的多音高估计，监督式学习技术，自监督式学习目标，多声乐曲数据集，卷积自编码器

    Feb, 2024