ACLOct, 2020

fairseq S2T: 使用 fairseq 进行快速语音转文本建模

PDF
TL;DRFairseq S2T 是一款扩展 fairseq 的语音转文本建模工具，具备可扩展和可扩展性设计，提供端到端的工作流程，支持 RNN-based, Transformer-based 和 Conformer-based 模型，并可以无缝集成多任务学习或迁移学习中的机器翻译模型和语言模型。
fairseqs2tspeech-to-textmodelingtransformer
发现论文，激发创造
  • fairseq S^2: 一种可扩展且可集成的语音合成工具包

    本文介绍了 fairseq S^2，它是为语音合成设计的 fairseq 扩展，具备多种自回归和非自回归文本到语音模型及其多说话人变体。此外，还构建了多种预处理工具，以便使训练语音合成模型所需的数据更易获取。这篇论文还展示了一套自动度量标准，以方便进行快速的开发和分析。fairseq S^2 不仅具有为此扩展添加的特点，还受益于 fairseq 提供的可扩展性，并可以轻松地与该框架中提供的其他最先进的系统集成。

    Sep, 2021

  • fairseq: 一个快速、可扩展的序列模型开发工具包

    fairseq 是一个开源的序列建模工具包，基于 PyTorch，支持在多个 GPU 和多台机器上训练自定义模型以进行翻译、摘要、语言建模和其他文本生成任务。

    Apr, 2019

  • Seq2Seq 模型的深度语音合成系统

    本研究介绍对 Seq2seq 架构的修改，以提高神经网络基础的文本到语音 / 语音合成流程的训练速度和模型的性能，同时保证合成语音的音质。

    Mar, 2019

  • 使用离散单元进行直接语音到语音翻译

    本研究提出一种直接语音到语音的翻译模型，它可以在不依赖中间文本生成的情况下将一种语言的语音翻译成另一种语言的语音，并且结合了自我监督离散语音编码和序列到序列的语音到单位翻译，以预测目标语音的离散表示，并在同一推断通过实现同步生成双重模态输出（语音和文本）。在 Fisher 西班牙语 - 英语数据集上，我们的模型较基线直接 S2ST 模型改进了 6.7 BLEU。由于能够支持未书写语言的翻译，当没有文本转录时，我们的模型表现与训练有文本监督的谱图预测模型相当。

    Jul, 2021

  • S2S-FT: Fine-Tuning 预训练的 Transformer 编码器用于序列到序列学习

    本文介绍了一个序列到序列微调工具 s2s-ft，采用预训练的双向 Transformer 进行条件生成任务，实现了三种序列到序列微调算法，替代计算昂贵的传统方法，实验结果表明，在多项抽象概括和问题生成基准测试中，s2s-ft 实现了强大的性能，并支持单语和多语自然语言生成任务。

    Oct, 2021

  • 走向端到端的语音转文本摘要

    将语音文字（S2T）摘要分为级联和端到端两种模型，并使用预训练的 T2T 摘要提取器进行迁移学习，进而将其应用于在线上传的广播新闻中。结果表明，端到端模型要略逊于级联模型，但都优于提取式基线模型。

    Jun, 2023

  • 真实数据上的无字幕语音翻译

    我们提出了一种无需文本数据即可构建的无文本语音到语音翻译系统，采用了自监督单元级别的语音标准化技术来优化多说话者语音的模型，仅使用了 10 分钟的数据训练该技术，可在 VoxPopuli S2ST 数据集上实现平均 3.2 BLEU 分数的增益，是首次建立了可用于多种语言对的无文本 S2ST 技术。

    Dec, 2021

  • FastSpeech 2: 快速高質量的端到端文本轉語音

    提出了 FastSpeech 2，直接使用语音波形从文本中生成语音，并且通过使用更多的变化信息作为条件输入，解决了非自回归文本到语音模型中的一对多映射问题，从而实现更高的语音质量。

    Jun, 2020

  • 结合语音和双语文本的联合预训练，用于直接语音翻译

    本文提出了一种基于不对称数据的语音到语音模型 Speech2S，利用双语文本数据训练模型可以有效地模拟跨语言的语音转换，实验结果显示，Speech2S 的表现比现有的最先进模型更好。

    Oct, 2022

  • 使用自监督预训练和数据增强增强的直接语音翻译

    本文讨论了直接语音到语音翻译模型面临的数据稀缺性问题，探索了自监督预训练和数据增强技术来解决此问题，实验表明自监督预训练可以提高模型性能，结合数据增强技术可以进一步提高模型性能。

    Apr, 2022