g2pW：一种有条件的加权 Softmax BERT，用于汉语多音字消歧

Mar, 2022

g2pW：一种有条件的加权 Softmax BERT，用于汉语多音字消歧

g2pW: A Conditional Weighted Softmax BERT for Polyphone Disambiguation in Mandarin

Yi-Chang Chen, Yu-Chuan Chang, Yen-Cheng Chang, Yi-Ren Yeh

TL;DR提出了一种新的 g2pW 方法，使用可学习的 softmax 权重将 BERT 的输出与所需的多音字字符及其 POS 标记进行条件转化，无需使用额外的 POS 标记预训练模型。该方法在公共 CPP 数据集上的表现优于现有方法。

Abstract

polyphone disambiguation is the most crucial task in mandarin grapheme-to-phoneme (g2p) conversion. Previous studies have approached this problem using pre-trained language models, restricted output, and extra in

polyphone disambiguation mandarin grapheme-to-phoneme conversion learnable softmax-weights bert

发现论文，激发创造

汉语多音字消歧的多音字 BERT

本文提出一种中文多音字 BERT 模型，通过从 354 个原中文多音字生成 741 个新的中文单音字，再将其添加到预训练的中文 BERT 中，使得多音字消岐任务能够转化为中文多音字 BERT 语言模型的预训练任务。实验结果验证了该模型的有效性，与基于 BERT 的分类器模型相比，该多音字 BERT 模型获得了 2% 的平均准确率提升（从 92.1% 到 94.1%）

Jul, 2022

汉语多音字消歧的回译式数据增强

本文提出了一种基于回译的数据增强方法，采用大量未标注的文本数据来解决中文多音字消歧问题，并设计了一种数据平衡策略来提高训练集中某些典型的多音字字符的识别准确性。

Nov, 2022

外部知识增强的多音字消歧方法利用大规模语言模型

提出一种解决汉语多音字消歧问题的新方法，该方法基于大型语言模型和提示学习，包括三个模块：检索模块、生成模块和后处理模块。实验结果表明该方法在公共数据集 CPP 上优于现有方法，并对提示模板、训练数据规模和是否引入外部知识进行了实证研究。

Dec, 2023

使用预训练字素模型的神经音素转换

本文提出了一种预训练的字形模型 GBERT，通过两种方法将其融合到基于 Transformer 的 G2P 模型中，实验证明了该模型在 SIGMORPHON 2021 G2P 任务的中低资源数据情况下的有效性。

Jan, 2022

高度多语言神经音素转写

本文提出了使用神经序列到序列模型进行语音转换的方法，这个方法可以用在多种语言上，并且相比于基于高资源单语言模型适应低资源语言的方法，我们的方法在语音识别上的表现有显著提升，同时我们的模型更加紧凑。

Aug, 2017

PnG BERT：基于音素和字素的增强型 BERT 用于神经语音合成

介绍了 PnG BERT，它是一种新的神经 TTS 编码器模型，使用输入的音素和字素表示以及它们之间的单词级对齐来增强原始的 BERT 模型。该模型可以进行自我监督的大型文本语料库的预训练，并通过 TTS 任务进行微调。实验结果表明，使用 PnG BERT 作为编码器进行预训练的神经 TTS 模型产生的语音韵律更自然，发音更准确，比仅使用音素输入而不预训练的基线模型表现更好。主观音频偏好评估表明，听者对使用 PnG BERT 合成的语音和专业演讲者的真实录音之间没有显着的统计差异。

Mar, 2021

基于多语言上下文的语音合成中文字发学习

该研究提出了一个多语种统一的前端系统，通过建模语音信息和语言知识，在处理发音相关任务时取得了有竞争力的结果。

Jul, 2023

使用 ByT5 模型进行大规模多语言字素到音素转换

使用 ByT5 模型，我们从不同来源中整理出覆盖 100 种语言的 G2P 数据集，并训练了大规模的多语种 G2P 模型。与单语模型相比，多语种 ByT5 模型通过同时学习多种语言降低了电话错误率，可进一步通过无监督预测或微调，帮助低资源语言的写作转音。

Apr, 2022

基于 Phoneme 级别的 BERT 和 Grapheme 预测增强文本转语音的韵律

本研究提出了预训练的基于音素级别的 BERT 编码器，通过预测对应的字母表顺序来提高生成语音的自然度，并在主观评估中证明其在未知范围的文本中相比基于状态的 TTS 模型有显著提高的平均意见评分。

Jan, 2023

基于标记层集成蒸馏的字素到音素的转换

本研究提出了一种基于 token 级别的集成蒸馏方式，使用 Transformer 模型以提高语音识别系统中的字素到音素转换的精度，并针对如何利用额外的未标记数据来提高模型精度、减小在线部署的模型大小等实际问题进行了研究，实验结果表明我们的方法可以改善转换效果，使 CMUDict 数据集上的字素到音素转换错误率减少 4.22% 以上，成为新的最优性能。

Apr, 2019