使用预训练的 Whisper ASR 模型和基于 transformer 的音标恢复模型，从口语数据中生成粗略音标化的转录文本，作为额外输入，提高了自动音标恢复的性能。通过在同一领域和两个领域外测试集上进行实验证明，该模型相较于仅使用文本的等效模型，至少可以降低 5% 的音标错误率。这些结果凸显了当前基于文本的音标恢复模型在口语数据集上的不足，并为基于口语的音标恢复提供了新的基准。

Nov, 2023

本研究使用 transformer 架构构建一个适用于具有古老特征的立陶宛语的语法错误纠正模型，并比较了子词和字节级方法，公开了 F$_{0.5}$=0.92 的最佳模型及其代码。

Mar, 2022

本文提出了一种基于上下文化嵌入（BERT）的新型变音符号恢复体系结构，并在 12 种带有变音符号的语言上进行了评估。此外，我们对捷克语进行了详细的错误分析，最终我们对真实错误进行了分类。

May, 2021

本研究提出了一种基于一维膨胀卷积的字符级别方法，用于重建拉丁字母为基础、英语为主导的互联网语言环境中的发音符号。该方法比基于递归神经网络或语言建模的方法表现更佳，且适用于 Web 浏览器，尤其适用于匈牙利语等语言的应用。

Jan, 2022

本论文提出了两种不同的基于注意力机制的序列到序列神经网络模型来处理未带变音符的约鲁巴语文本，将自动变音符恢复重新定位为机器翻译任务。在评估数据集上，这种方法产生少于 5％的变音符错误率，并开源了预训练模型、数据集和源代码项目，以推进约鲁巴语言技术的努力。

Apr, 2018

该研究展示了使用我们提出的基于损失的采样方法可以缓解自回归生成模型中的曝光偏差，从而改善句级别和段落级别的 G2P 转换性能。

Aug, 2023

使用 ByT5 模型，我们从不同来源中整理出覆盖 100 种语言的 G2P 数据集，并训练了大规模的多语种 G2P 模型。与单语模型相比，多语种 ByT5 模型通过同时学习多种语言降低了电话错误率，可进一步通过无监督预测或微调，帮助低资源语言的写作转音。

Apr, 2022

本文提出了一种自动标记一部分词汇以进行音标恢复的方法，从而实现有选择性的同形词消除，并将其在神经机器翻译、词性标注和语义文本相似度等下游应用中进行了评估。

Dec, 2019

使用 Transformer 语言模型进行字符预测可以很大程度上加快 BCI 打字速度，本文针对几种基于 wordpiece 级别的 Transformer 语言模型进行了评估，并发现 GPT-2 可以在干净的文本上取得最佳效果，同时分析了字符位置和上下文长度对打字速度的影响。

May, 2023

本文介绍了一种新型的体系结构，专注于标准化语音打字变体，在某些情况下还可用于反向音译和单词识别，在测试数据上达到了 90.27% 的准确率，解决了与社交媒体情境相关的困难同时应对语法不一致和拼写变化的挑战。

May, 2018