提出了一个基于语音活动投影（VAP）模型的实时连续交替预测系统演示。该系统基于对话立体声音频直接预测未来语音活动。VAP 模型包括对比预测编码（CPC）和自注意力变换器，之后是交叉注意力变换器。我们考察了输入上下文音频长度的影响，并演示了该系统可以在 CPU 设置下以实时方式运行，并具有最小的性能降低。

Jan, 2024

我们提出了一种通过将神经声学模型与大型语言模型（LLM）融合的方法，连续预测口语对话中的交替和回应位置。在 Switchboard 人人对话数据集上的实验证明，我们的方法始终优于单模态的基线模型。我们还开发了一种新颖的多任务指令微调策略，以进一步从 LLM 编码的知识中获益，以理解任务和对话语境，从而带来额外的改进。我们的方法展示了结合 LLM 和声学模型在人类和语音启用的 AI 代理之间实现更自然和对话式交互的潜力。

Jan, 2024

该研究提出了一个跨语言语音合成框架，包括上游声码转换模型和下游文本转语音模型。通过在四个阶段中使用声码转换模型将目标语音转换为目标说话人的声音、联合目标语言的语言特征和持续时间进行单一说话人声学模型的训练以及设计一种与地区无关的波形合成器等方法，我们的评估表明这种方法优于现有的基于多语言训练模型的方法，并在不同的模型结构、语言、说话人和数据量方面展现出其鲁棒性，尤其适用于资源匮乏环境。

Sep, 2023

本研究提出了一种 MultiLingual Acquisition（MLA）框架，该框架可以将单语言视觉语言预训练模型轻松推广到多语言环境中，并采用两阶段训练策略来优化语言获取编码器。通过更少的数据和计算资源，我们的模型在多语言图像文本和视频文本检索基准上实现了最先进的性能。

May, 2022

该论文介绍了一种端到端的跨语言文字转语音方法，使用基于非注意力 Tacotron 架构的模型，并通过使用条件为说话人身份的归一化流网络，实现 TTS 和语音转换（VC）的可同时进行，该方法可以在低资源情景下获得良好效果。

Oct, 2022

使用预训练的 wav2vec 2.0 和 MBART50 模型，结合自适应权重技术，显著提高公共数据集上多语言语音识别的准确性，比纯监督学习提高 44%。同时我们还探索了如何通过微调结构以获得最佳模型。

May, 2022

这篇论文介绍了一种包含 115 多种不同语系的细粒度音素转录的大规模多语言语音语料库。基于这个多语言数据集，我们提出了 CLAP-IPA，这是一种能够在语音信号和音素转录的关键词或任意短语之间进行开放词汇匹配的多语言音素语音对比嵌入模型。所提出的模型已在 97 种未见过的语言中的两个实地语音语料库上进行了测试，展示了跨语言的强大泛化能力。与基于文本的模型相比，使用音素作为建模单位比正字文本具有更好的跨语言泛化能力。

Nov, 2023

本文研究提出了一种通用多语言模型的框架，该框架利用深度学习架构实现语音助手设备的自然语言理解，显著减少了单独开发每种语言模型所需要的努力和维护成本，并在多语种环境下取得了比单语种环境下更好的研究成果。

Dec, 2020

提出了一种多尺度 RNN 架构，用于在不同的时间尺度上模拟交谈中多个模态的特征，模拟语言和声音特征在不同的时间尺度上对于对话期间的特性建模是有益的，同时我们的方法还能够将凝视特征纳入到对话模型中。

Aug, 2018

本文提出一种语音到语音的情感保留翻译方法，利用多语言情感嵌入技术来捕捉情感信息，并在英语和法语语音信号中验证了该方法的有效性。

Jun, 2023