本研究提出一种直接语音到语音的翻译模型，它可以在不依赖中间文本生成的情况下将一种语言的语音翻译成另一种语言的语音，并且结合了自我监督离散语音编码和序列到序列的语音到单位翻译，以预测目标语音的离散表示，并在同一推断通过实现同步生成双重模态输出（语音和文本）。在 Fisher 西班牙语 - 英语数据集上，我们的模型较基线直接 S2ST 模型改进了 6.7 BLEU。由于能够支持未书写语言的翻译，当没有文本转录时，我们的模型表现与训练有文本监督的谱图预测模型相当。

Jul, 2021

通过对离散单元在端到端语音处理模型中应用的系统和全面的探索，实验证明离散单元在几乎所有设置中都可以取得相当好的结果。

Sep, 2023

本文提出了一种基于自动发现独立单元的无监督语音到语音翻译系统，使用三步训练过程，避免使用自动语音识别和文本转语音模型，在合成语音上的实验结果表明该方法可行。

May, 2023

采用自监督离散单元并将目标语言数据转化为人工翻译的语言模拟数据的 back translation for speech-to-text translation（BT4ST）方法，可有效解决资源不足情境下进行端到端语音转文本翻译的问题。

May, 2023

直接语音到语音翻译（S2ST）结合了离散的自监督表示，取得了显著的准确性，但无法在翻译过程中保留源语音的说话人音色。我们提出了一个基于自监督模型的离散单元和神经编解码器的 S2ST 框架，用于样式转换。声学语言模型利用自监督的上下文学习，获得了样式转换的能力，无需依赖任何说话人平行数据，从而克服了数据稀缺的问题。通过使用大量的训练数据，我们的模型可以在之前未见过的源语言上进行零 - shot 跨语言样式转换。实验证明，我们的模型生成的翻译语音在高保真度和样式相似性上表现出色。音频样本可在此网址获取。

Sep, 2023

本文提出了一种名为 UnitY 的新型两遍直接 S2ST 架构，通过子词预测、先进的两遍解码器架构设计和搜索策略以及更好的训练规则等技术实现模型性能的提升，其在多个基准数据集上表现出比单遍语音转换模型高 2.5-4.2 ASR-BLEU 分数且同时具有 2.83 倍的解码速度提速。

Dec, 2022

我们的研究旨在为低资源语言提供直接的语音 - 语音翻译模型，并探索使用离散的语音单位作为 Transformer 翻译模型输入的性能。结果显示，该模型比语音 - 单位翻译模型的 BLEU 分数高出 3.69。

Feb, 2024

本文提出了一种基于单语音频和文本语料库的语音翻译系统框架，使用交叉模态双语词典将每个源语音片段对应到目标文本翻译，通过使用语言模型和序列去噪自编码器，对每个音频片段进行逐字翻译来提高翻译质量，实验结果表明，我们的无监督系统尽管没有监督，但达到了与监督方法相比可比的 BLEU 分数。

Nov, 2018

本研究提出了一种使用离散声学单元的直接文本到语音翻译系统，该系统能够将不同源语言的文本作为输入，生成目标语言的语音，无需该语言的文本转录。通过使用语音编码器与聚类算法相结合来提取声学单元，利用先前工作中在直接语音到语音翻译系统中成功运用的声学单元，构建了该框架。通过训练编码器 - 解码器架构来预测声学单元，然后使用声码器从单元生成语音。我们在新的 CVSS 语料库上测试了直接文本到语音翻译的方法，使用了两个不同的初始模型（mBART）。所提出的系统在大多数评估的语言对上表现出竞争性能。此外，结果显示，使用预先训练了更多语言的模型初始化我们提出的架构，能够取得显著的改进。

Sep, 2023

通过将预训练的基于文本的大型语言模型（LLM）与语音输入集成，我们提出使用离散语音单元（DSU）代替连续值语音编码器输出，通过语音适配器将其转换为 LLM 的标记嵌入空间。我们使用自监督语音编码器后跟 k-means 聚类生成 DSU。所提出的模型在来自可见 / 不可见领域的语音输入上表现出强大的性能，并具有口语问答指令遵循能力。我们还探索了来自自监督语音编码器的不同层以及 Mel 频率倒谱系数（MFCC）提取的各种类型的 DSU。我们的发现表明，在口语问答任务的指令调优中，ASR 任务和数据集并不关键。

Jun, 2024