本文主要研究了语音基础的语言生成在诸如绕口令等领域的应用，提出了 TwistList 数据集以及多个适用于绕口令生成的 benchmark 系统，经过自动和人工评估，发现模型在无特定训练和数据、无显式语音知识的情况下，生成绕口令的表现仍需提升。

Jun, 2023

通过生成大量具备语音学信息的绕口令，本研究提出了 TwisterLister 生成管道，该管道利用大型语言模型（LLMs）生成了到目前为止最大的带有语音学标注的绕口令数据集 TwistList 2.0。此外，我们还引入了一种 Phoneme-Aware Constrained Decoding 模块（PACD），它可以与任何因果语言模型集成，演示了该方法在不进行底层语言模型微调的情况下生成高质量的绕口令。

Mar, 2024

本文提出了一种基于语义感知的生成文本到语音模型 Dict-TTS，该模型结合在线网站词典通过 S2PA 处理 module，实现了对多音字消除（polyphone disambiguation）的有效解决，同时提高了 TTS 系统的发音准确性及韵律建模，该模型在三种语言的实验结果显示优于其他基线模型。

Jun, 2022

该研究提出了一种全自动的方法来识别语音记录中的语音异常，以帮助评估语音障碍。结合连续时间分类（CTC）和基于编码器 - 解码器的自动语音识别模型，生成丰富的声学和干净的转录本。然后，应用几种自然语言处理方法从这些转录本中提取特征，以产生健康语音的原型。利用这些原型的基本距离度量作为标准机器学习分类器的输入特征，可以实现与人类水平相当的准确性来区分患有失语症的人与健康对照组的记录。此外，可以以 90% 的准确性区分最常见的失语症类型。该流程可直接应用于其他疾病和语言，并显示出从语音诊断标志提取的强大前景。

Aug, 2023

该研究提出了一个新的任务 —— 跨语言定义生成（TLDG），并发现 fine-tuning 多语言机器翻译模型时方法被显著优化，并得到了更高质量的跨语言定义生成。

Jun, 2023

本研究提出了一种针对 TTS 语音合成任务中的发音错误检测和校正的高精度、适用于 PDA 的发音学习框架，同时还提出了一种基于动态时间规整技术和度量学习的发音错误检测模型 DTW-SiameseNet。结果表明，与基于音素和音频的基线相比，我们的方法平均提高了～6％ 的发音准确率，并且此方法不受语言和隐私问题的影响。

Mar, 2023

我们发现 DALLE-2 似乎有一个隐藏的词汇表，可以用于生成荒谬的提示图像，我们使用黑盒方法发现了这些随机单词与视觉概念之间的某种对应关系，这会带来重要的安全性和可解释性挑战。

Jun, 2022

本研究提出了基于音素到音素转换、文本到语音转换和语音到语音转换三个方法来生成正确发音和发音错误的合成语音，将语音生成作为检测语音发音错误的一流方法，并在检测发音和词汇强调错误的任务中评估了这些技术，证明这些技术不仅提高了三个机器学习模型检测发音错误的准确性，而且还有助于建立该领域的新的技术标准。

Jul, 2022

本文提出了一种简单而有效的方法来生成双关语句子，该方法不需要训练现有双关语。我们的方法受到幽默理论的启发，即歧义来自于上下文而不是双关词本身，我们的模型首先通过反向字典生成与双关词相关概念的列表，然后利用一次性 GPT3 生成上下文单词，最后将从两个概念中的上下文词语生成双关语。人类评估表明，我们的方法成功地生成 52％的双关语，远远优于其他精心制作的基线和最先进的模型。

May, 2022

通过为失语症患者建立仿真数据集并将预先训练的 T5 transformer fine-tuned 到这些数据上，我们提出了一种可以帮助这类患者改善交流障碍的辅助技术方法。结果证明，这种基于小规模数据的仿真数据集可以用于开发有效的辅助技术。

Nov, 2022