Jun, 2023

FALL-E: 佛利音效合成模型与策略

PDF
TL;DR本文介绍了 FALL-E—— 一个 foley 合成系统及其训练 / 推理策略，FALL-E 采用级联方法，由低分辨率谱图生成、谱图超分辨率和声码器组成，利用数据集训练每个与声音相关的模型，并利用预训练的语言模型，通过数据集特定的文本对模型进行条件设定。在 DCASE 2023 挑战任务 7 的客观测试和听辨测试中，FALL-E 取得了第二名的好成绩，在多样性得分上排名第一，在音质上排名第二，在分类适应度上排名第三。
发现论文，激发创造
  • EGOFALLS：一种使用视听数据集和基准的自我中心相机跌倒检测

    通过从自拍相机拍摄的视频中提取的多模态描述符，采用后期决策融合层建立了一种检测跌倒的方法，并通过新的数据集评估了该方法的效果，结果表明音频和视觉信息的融合通过后期决策融合可以提高检测性能，成为预防和减缓跌倒的有希望的工具。

    Sep, 2023

  • 一份关于佛利音效合成挑战的提案

    本文旨在探索利用机器辅助技术进行 Foley 音效合成的新方法并提出了一个详细的 Foley 合成挑战，包括任务定义、数据集需求和评估标准。

    Jul, 2022

  • 基于潜在扩散模型的文本驱动 Foley 声音生成

    本研究提出了一种基于扩散模型的 Foley 声音生成系统，该系统使用文本条件进行预测。通过使用 CLAP 技术的迁移学习，将该模型初始化地进行了预训练，以缓解数据不足问题。实验结果表明，该方法显着提高了声音生成性能，使得该系统在 DCASE Challenge 2023 任务 7 中排名第一。

    Jun, 2023

  • SC VALL-E：风格可控的零样本文本到语音合成器

    本研究提出了基于神经编解码语言模型（VALL-E）的风格控制（SC）VALL-E 模型，用以生成具有可控属性的表达性语音，并通过与其他模型的比较实验评估其性能。

    Jul, 2023

  • T-FOLEY：一种可控的波形领域扩散模型用于时间事件引导的福利音合成

    T-Foley 是一种基于时间事件引导的波形生成模型，用于合成弗雷音效。该模型利用声音类别和时间事件特征生成高质量的音频，并且在客观和主观评估指标上显示出卓越的性能，能够与时间事件很好地同步生成 Foley 音效。

    Jan, 2024

  • 神经编解码语言模型是零样本文本到语音合成器

    本文介绍了一种基于语言模型的文本到语音合成方法，使用名为 Vall-E 的神经编解码器语言模型，通过在预训练阶段将 60K 小时的英语语音数据进行规模扩大，可以使用仅三秒的不同说话人的注册录音作为语音提示来合成高质量的个性化语音，并能够在保持发言人情感和声学环境的前提下，提高声音自然度和发言人相似度。

    Jan, 2023

  • 有效增强机制改进终端到终端模型的发音错误检测

    本研究提出两种模型策略以加强 E2E MD 模型的区分能力 —— 输入增强和标签增强，经实验证明较传统的 DNN-HMM 声学模型效果更佳，可以用于 L2 学习者语音纠错。

    Oct, 2021

  • FoleyCrafter: 用真实且同步的声音赋予无声视频生机

    通过使用 FoleyCrafter 框架，结合语义对齐和音视频同步，实现高质量音效与视频的同步生成，满足用户意图。

    Jul, 2024

  • VIFS：端到端的变分推断在复利声音合成中的应用

    使用 VITS 等语音技术，提出了用于不同语音类别的端到端 Foley 音效合成的 VIFS 方法。

    Jun, 2023

  • GRASS: 语音语义理解统一生成模型

    该论文通过引入统一的端到端（E2E）框架，对语音语义理解任务进行了指令微调技术的探索，该框架在语音数据上生成与任务相关提示条件下的语义标签。实验证明，我们提出的模型在微调下游任务后显著优于最先进的模型，并且在零样本和少样本情况下取得了有竞争力的性能。为了促进未来对语音到语义任务的指令微调工作，我们发布了我们的指令数据集和代码。

    Sep, 2023