May, 2023
使用合成字幕和迁移学习训练的音频字幕的 Whisper 变形器
A Whisper transformer for audio captioning trained with synthetic captions and transfer learning
Marek Kadlčík, Adam Hájek, Jürgen Kieslich, Radosław Winiecki
TL;DR本技术报告介绍了我们在音频字幕领域的研究，重点关注了预训练语音转文字的 Whisper 模型和合成字幕的预训练使用。我们探讨了我们的训练过程，并呈现了我们实验的结果，包括模型大小变化、数据集混合和其他超参数。我们的发现证明了不同训练策略对音频字幕模型性能的影响。我们的代码和训练模型在 GitHub 和 Hugging Face Hub 上公开可用。