外部知识增强的多音字消歧方法利用大规模语言模型
本文提出了一种基于回译的数据增强方法,采用大量未标注的文本数据来解决中文多音字消歧问题,并设计了一种数据平衡策略来提高训练集中某些典型的多音字字符的识别准确性。
Nov, 2022
本文提出一种中文多音字 BERT 模型,通过从 354 个原中文多音字生成 741 个新的中文单音字,再将其添加到预训练的中文 BERT 中,使得多音字消岐任务能够转化为中文多音字 BERT 语言模型的预训练任务。实验结果验证了该模型的有效性,与基于 BERT 的分类器模型相比,该多音字 BERT 模型获得了 2% 的平均准确率提升(从 92.1% 到 94.1%)
Jul, 2022
提出了一种新的 g2pW 方法,使用可学习的 softmax 权重将 BERT 的输出与所需的多音字字符及其 POS 标记进行条件转化,无需使用额外的 POS 标记预训练模型。该方法在公共 CPP 数据集上的表现优于现有方法。
Mar, 2022
本文提出了一种基于语义感知的生成文本到语音模型 Dict-TTS,该模型结合在线网站词典通过 S2PA 处理 module,实现了对多音字消除(polyphone disambiguation)的有效解决,同时提高了 TTS 系统的发音准确性及韵律建模,该模型在三种语言的实验结果显示优于其他基线模型。
Jun, 2022
本研究提出了一种 LLm-Augmenter 系统,它通过使用存储在特定任务数据库中的外部知识和迭代地根据效用函数生成的反馈来改善 LLM 的提示,从而使其生成基于外部知识的响应,实现了应用到任务导向对话和问题回答的实际场景中,显著减少 ChatGPT 模型的幻觉。
Feb, 2023
通过基于生成型大型语言模型(LLM)的通用文本到文本学习架构和提示调优,解决主要的临床自然语言处理(NLP)任务,并提供了最新的性能。
Dec, 2023
我们提出了 PolyVoice,这是一个基于语言模型的语音 - 语音翻译(S2ST)系统,利用离散化语音单元实现对未书写语言的翻译。在语音合成方面,我们采用现有的 VALL-E X 方法构建基于单元的音频语言模型来保留原始语音的音色特征和语音风格。实验结果表明,我们的系统可以生成高质量翻译和音频质量的语音。
Jun, 2023
本文旨在为多语言学习提供潜在的架构改进,通过开发一种名为 Polyglot Prompting 的学习框架,利用提示方法为不同的语言和任务学习一个统一的语义空间进行多语言多任务基于提示的学习,以实现跨语言的互助和更全面的实验评估,开创了未来多语言研究的新方向。
Apr, 2022
利用大型语言模型的丰富语言知识和强大的推理能力,我们提出了一种新的生成式翻译范式 ——“GenTranslate”,可以从 N 个候选译文中生成更高质量的翻译结果,并且在各种语音和机器翻译基准测试中明显优于现有模型。
Feb, 2024