Sep, 2023

BiSinger: 双语歌唱声音合成

TL;DR设计了一个双语 SVS 系统用于英语和汉语普通话的人声合成,并通过使用 CMU 词典与映射规则实现中文和英语歌声之间的共享表示,融合了单语歌唱数据集和已建立的歌声转换技术来生成双语歌声,并探索了双语语音数据的潜在用途。通过实验证实,我们的语言独立表示和相关数据集的融合使得单一模型在英语和 code-switch SVS 中获得了强化的性能,同时保持了中文歌曲的表现。