AutoFoley 是一种应用于视频的全自动深度学习工具，它采用了多种技术以识别关键情节并提供与画面同步的渲染音轨，实现了高度逼真和可信的声音合成效果。

Feb, 2020

本文提出了针对视频的音效创建挑战的条件 Foley 问题，通过一种先决条件任务和一种生成模型，成功实现了在保证内容遵循用户提供的音频示例的前提下生成音效。

Apr, 2023

本研究提出了一种基于深度学习的视听生成模型，通过使用时间上的视觉信息来引导生成模型输出音频，以适应视听模态之间的同步性，该模型能够生成逼真的视听同步音轨，并且在人员调查和统计实验中的表现优于其他基线模型和已有的视听数据集。

Jul, 2021

使用序列到序列模型和 3D 向量量化可变自编码器来从视频生成音频，以改进与音频视觉媒体的交互，包括 CCTV 镜头分析、历史视频恢复和视频生成模型。

Apr, 2024

通过使用 FoleyCrafter 框架，结合语义对齐和音视频同步，实现高质量音效与视频的同步生成，满足用户意图。

Jul, 2024

本研究提出了一种基于扩散模型的 Foley 声音生成系统，该系统使用文本条件进行预测。通过使用 CLAP 技术的迁移学习，将该模型初始化地进行了预训练，以缓解数据不足问题。实验结果表明，该方法显着提高了声音生成性能，使得该系统在 DCASE Challenge 2023 任务 7 中排名第一。

Jun, 2023

本文介绍了 Foley Music 系统，该系统能够为视频生成逼真的音乐。该系统将视频转换为基于运动的 MIDI 事件，然后利用 Graph-Transformer 框架精确地预测 MIDI 事件序列并转换为逼真的音乐，同时还具有完全可解释和透明的 MIDI 表示形式，可以实现灵活的音乐编辑。实验结果表明，该系统在生成宜人的音乐方面优于现有的几个系统。

Jul, 2020

本文介绍了一些用于分析音频信号的常见信号处理技术。我们提供了一个新的数据集，并采用了两个基线模型，以便进一步研究深层次的生成建模在音频信号领域的应用。

Nov, 2021

本文综述了音频生成中深度学习模型开发所使用的典型技术，包括音频表示、深度学习架构变体及其实际应用，以及常用的评估指标。该文章旨在为音频生成领域的初学者和新手提供对当前最先进的音频生成方法及相关研究的全面理解，以供未来研究探索。

May, 2024

本文提出了一种基于生成式对抗网络（GANs）的、直接从无声视频中合成自然语音的端到端模型，能够根据视频内容生成与其同步的语音，并在 GRID 数据集上进行了性能评估，实现了从视频到裸音频的首次直接映射，并能够识别新演讲者的语音，并在音质和准确性方面对生成的音频进行评价。

Jun, 2019