acoustic units | BriefGPT - AI 论文速递

关键词acoustic units

搜索结果 - 5

使用离散单元进行信任的旁遮普语到英语的直接翻译
我们的研究旨在为低资源语言提供直接的语音 - 语音翻译模型，并探索使用离散的语音单位作为 Transformer 翻译模型输入的性能。结果显示，该模型比语音 - 单位翻译模型的 BLEU 分数高出 3.69。
PDF4 months ago
使用声学单元的直接文本转语音翻译系统
本研究提出了一种使用离散声学单元的直接文本到语音翻译系统，该系统能够将不同源语言的文本作为输入，生成目标语言的语音，无需该语言的文本转录。通过使用语音编码器与聚类算法相结合来提取声学单元，利用先前工作中在直接语音到语音翻译系统中成功运用的声
PDF10 months ago
ICML自监督神经因子分析用于解开话语级语音表示的混杂信息
通过聚类方法和因子分析模型，使用自监督学习的特征对 SSL 模型进行有监督微调，可用于说话人、情感和语言识别等级别任务，并提供更具有区分性的音频特征表示，此方法在 SUPERB 基准测试中表现良好。
PDFa year ago
UnitY：使用离散单元进行两阶段直接语音翻译
本文提出了一种名为 UnitY 的新型两遍直接 S2ST 架构，通过子词预测、先进的两遍解码器架构设计和搜索策略以及更好的训练规则等技术实现模型性能的提升，其在多个基准数据集上表现出比单遍语音转换模型高 2.5-4.2 ASR-BLEU 分
PDF2 years ago
解析 wav2vec 特征编码的黑盒
本文研究了自监督模型 Wav2vec 及其变体在语音领域的各种下游任务中的应用。通过对其卷积特征编码器进行分析，发现该模型可以表示离散的声学单元，从而实现更加高效的语音识别。
PDF2 years ago