speaker embedding | BriefGPT

关键词speaker embedding

搜索结果 - 10

ICCVDiffV2S：基于扩散的带视觉引导的视频语音合成
本文提出了一种新颖的视觉导向说话者嵌入提取器，使用自监督预训练模型和提示调整技术，从输入的视觉信息中仅生成丰富的说话者嵌入信息，并在推断时间不需要额外的音频信息。利用提取的视觉导向说话者嵌入表示，我们进一步开发了一种基于扩散的视频到语音合成
PDFa year ago
MM稀疏 LDA 转换的说话人嵌入在目标说话人提取中的应用
本文提出了一种基于简化说话人提示的目标说话人提取方法，通过在 SepFormer 模型中加入 X-vector、Xi-vector 和 LDA-transform 方法产生的新的说话人嵌入，显著提高了模型的性能。在 WSJ0-2mix 数据
PDFa year ago
使用深度学习嵌入表示法进行自动司法语音比对时语言不匹配的影响
本研究旨在探讨在语言不匹配的情况下，预先在英语语料库上训练的模型是否适用于使用匈牙利语的目标低资源语言的嫌疑人语音识别，并发现在对嫌疑人的语音样本越长，预训练模型的性能越好。
PDF2 years ago
零样本多说话人文本语音中的准确声调复制
本论文采用 utterance 级别的规范化和发音人嵌入，在提取精细的韵律特征的同时，成功实现了音频发音人与其语调的克隆。通过客观评估和人工试验，结果表明可以在不降低质量的条件下，成功实现语音的克隆。
PDF2 years ago
ICASSP 2022 多通道多方会议转录挑战赛的 Royalflush 演讲者分离系统
该研究提出将多通道和 U 型网络模型相结合，利用并行和远场声学的优势，在说话人识别系统中实现远场重叠语音检测，并探索了三种说话人嵌入方法，最终取得了最佳性能。
PDF2 years ago
MMStarGAN-ZSVC：低资源环境下的零样本语音转换
本文提出了一个基于生成性对抗网络的语音转换模型，该模型可以在零阶设置下使用未见过的讲话者，并且在实时或更快的速度下运行，与其他语音转换技术相比，该模型在小量数据的零阶设置下表现优异。
PDF3 years ago
使用非平行训练数据从语音合成到语音转换的迁移学习
本文提出了一种基于 TTS-VC 转移学习的语音转换框架，采用多说话人语音合成系统和编码器 - 解码器架构等技术，实现任意语音转换且在语音质量、自然度和说话人相似度等方面均优于竞争方法。
PDF4 years ago
自注意力编码与池化在说话人识别中的应用
本文提出了 Tandem 自注意编码和池化（SAEP）机制来获取短语音说话人的辨别性 embedding，该方法利用了自注意力和位置编码，证明了该方法的有效性是比 ResNet-34，ResNet-50 和 x-vector 更高效的。
PDF4 years ago
ICLR高效自适应文本转语音
采用元学习方法对自适应文本到语音合成进行研究，通过共享 WaveNet 核和独立学习的扬声器嵌入来学习多讲话者模型，该方法能够成功地将多扬声器神经网络进行快速适应并获得最新演讲者的自然音质和语音相似度的最新结果。
PDF6 years ago
通过对抗学习分离音频表示进行无平行数据的多目标语音转换
该研究提出了一种使用循环一致性对抗网络（Cycle-GAN）和自编码器的声音转换和身份识别方法，可将声音转换为多种不同的说话者，同时实现了说话人特征和语言内容的分离。初步实验结果表明，在没有平行数据的情况下，可取得非常好的语音质量。
PDF6 years ago