ACLJul, 2023

BiPhone: 文本中模拟跨语言语音影响力

PDF
TL;DR使用技术不对称导致很多人被迫在他们文化水平较低的语言环境中使用网络。我们提出了一种挖掘语音音素混淆的方法，然后将这些混淆应用于一个生成模型，从而合成损坏的第二语言文本，在人员评估中得出了合理的损坏结果，该方法还应用于流行的语言理解基准 SuperGLUE，并揭示了现有技术的不足之处。我们还引入了一项新的音素预测预训练任务，使得字节模型的性能接近 SuperGLUE，并 release 了 FunGLUE 基准，以促进更多关于音素鲁棒性语言模型的研究。据我们所知，FunGLUE 是第一个在文本中引入 L1-L2 交互的基准测试。
webphoneme confusionsgenerative modellanguage understanding benchmarkphonetically robust language models
发现论文，激发创造
  • 基于多语言上下文的语音合成中文字发学习

    该研究提出了一个多语种统一的前端系统，通过建模语音信息和语言知识，在处理发音相关任务时取得了有竞争力的结果。

    Jul, 2023

  • 低资源语音合成中输入类型和发音字典使用对迁移学习的影响

    比较不同输入方式（咬字标签和口腔运动特征）在跨语言转移学习文本转语音系统中的表现，发现使用口腔运动特征可以提高语音生成的自然度和可懂度，并提出两种新方法来解决没有发音词典的低资源语言。

    Jun, 2023

  • 多语言异音字系统的通用手机识别

    本研究中，通过建立联合模型来处理语言独立性的音位和语言相关性的音素的分布，改进了语音识别性能，同时可以建立一种 (几乎) 通用的音位识别器，当与 PHOIBLE 大型手动编辑的音位库相结合时，可定制为 2,000 个语言相关的识别器，此识别器可在低资源状况下实现语音识别。

    Feb, 2020

  • 低资源语音合成中的迁移学习策略：音素映射、特征输入和源语言选择

    本论文通过比较使用基于 PHOIBLE 的电话映射方法和使用语音学特征输入的迁移学习来进行低资源语言的 TTS，并且使用多种源语言和目标语言进行测试，结果表明特征输入方法可产生更好的输出质量，但这些效果也取决于具体的语言组合。同时，本论文还比较了近期提出的基于角度相似度的频率电话（ASPF）与另一家族基于树的距离度量作为选择源语言的标准，结果表明 ASPF 在标签输入电话的情况下有效，而语言距离并不起作用。

    Jun, 2023

  • 多语言神经语言模型：跨语言音标表示学习案例研究

    通过应用多语言情境下的共用符号表示和语言的语言信息来训练递归神经网络模型，我们介绍了多语言模型的思想，以解决建模音序列的问题，该问题中具有普遍符号发明和跨语言共享特征表示。实验结果表明，多语言模型比单语言模型具有更好的泛化性能和更高质量的语音特征表示。

    May, 2016

  • 使用 ByT5 模型进行大规模多语言字素到音素转换

    使用 ByT5 模型，我们从不同来源中整理出覆盖 100 种语言的 G2P 数据集，并训练了大规模的多语种 G2P 模型。与单语模型相比，多语种 ByT5 模型通过同时学习多种语言降低了电话错误率，可进一步通过无监督预测或微调，帮助低资源语言的写作转音。

    Apr, 2022

  • 汉语多音字消歧的回译式数据增强

    本文提出了一种基于回译的数据增强方法，采用大量未标注的文本数据来解决中文多音字消歧问题，并设计了一种数据平衡策略来提高训练集中某些典型的多音字字符的识别准确性。

    Nov, 2022

  • 基于字符和语音的 LSTM 模型的孟加拉 - 英文混合代码文本语言识别

    本文提出一种基于深度长短期记忆 (LSTM) 模型的有监督学习方法，针对社交媒体上的低资源孟加拉语 - 英语混合数据的单词级别语言识别问题，采用字符编码和词根编码两种方法训练模型，并使用堆叠和阈值技术创建两个集成模型，在测试数据上分别获得了 91.78% 和 92.35% 的准确率。

    Mar, 2018

  • 利用大语言模型实现低资源双语方言词典归纳

    本文分析了使用双语词汇词典进行多语言自然语言理解和机器翻译任务的关键步骤：双语词汇识别（BLI）。研究了在德国及其两个方言，巴伐利亚语和阿勒曼尼亚语中进行 BLI 的挑战，使用预训练的大型语言模型（LLMs）的双语文本挖掘和词对齐。最终提供了两个评估数据集和结果分析。

    Apr, 2023

  • T5lephone：基于音素级 T5 模型的语音与文本自监督模型桥接技术来实现口语理解

    本文研究使用不同分词策略的预训练语言模型对口语语言理解任务的影响，特别是在语音问答和语音翻译方面。通过使用音素文本进行预训练，创建了一个名为 T5lephone 的变种，并取得了 NMSQA 的最新成果，同时在端到端问答和翻译中超越了其他类型单元的 T5 模型。

    Nov, 2022