利用预训练语言模型评估 ESL 演讲的词组断点

Oct, 2022

利用预训练语言模型评估 ESL 演讲的词组断点

Assessing Phrase Break of ESL speech with Pre-trained Language Models

Zhiyi Wang, Shaoguang Mao, Wenshan Wu, Yan Xia

TL;DR本文介绍了一种通过预训练语言模型来评估 ESL 学习者语音中短语断点的方法，该方法首先将语音转换为标记序列，再利用预先训练的模型进行分析，同时通过预先训练和微调管道来优化整体和细分表现，有效减少了对有标记训练数据的依赖，并提高了性能。

Abstract

This work introduces an approach to assessing phrase break in esl learners' speech with pre-trained language models (PLMs). Different with traditional methods, this proposal converts speech to token sequences, an

esl learners language models phrase break assessment pre-training fine-tuning

发现论文，激发创造

使用预训练语言模型和大型语言模型评估 ESL 语音的短语断点

本文介绍了使用预训练语言模型（PLMs）和大型语言模型（LLMs）评估 ESL 学习者语音短语分割的方法，并展示了通过使用 PLMs 减少标注数据依赖并提高性能，以及验证 ChatGPT 在这个领域有进一步提高的潜力。

Jun, 2023

多语言语言模型的跨语言短语断点预测迁移学习

本文采用跨语言迁移学习的方式，使用预训练的多语言语言模型，在少量标注数据的情况下，研究了短语断点预测的效果，发现跨语言迁移可以是一种有效的方法，尤其是在低资源语言中，因此建议使用跨语言迁移来改善语音合成前端。

Jun, 2023

端到端 TTS 系统中对说话者无关语调断句模型的研究

该论文研究了在端到端 TTS 系统的上下文中的短语断句预测问题，并评估了在儿童故事合成中使用预测短语断句的实用性和有效性，结果表明使用训练好的短语模型预测短语断句的故事比直接合成的故事更受听众理解。

Apr, 2023

大规模语言模型的拆分和再表述

使用大型语言模型，通过训练样本和模型参数的相对较小数量，显著改进了 Split and Rephrase 任务的性能，并证明了大语言模型在该任务中的潜力。

Dec, 2023

FreeLM：无微调语言模型

本文提出了一种新颖的无微调的自然语言处理模型 Fine-tuning-free strategy，通过使用语言和强任务感知的 teacher signal 进行交互式训练，提高了该模型在多项任务中的泛化性和鲁棒性，并且相对于大型模型如 GPT-3 和 InstructGPT 而言，该模型较小，只有 0.3B 的参数。

May, 2023

基于词组的统计机器翻译语言模型

本文研究了基于短语的语言模型，针对机器翻译使用引入了全面的基于短语的语言模型，并通过初步实验结果表明，相比于基于单词的语言模型，我们的方法在困惑度和翻译质量方面表现更好。

Jan, 2015

研究面向仇恨言论检测的 PLM 关键学习动态

调查预训练语言模型对恶意言论检测性能的影响，比较不同的预训练模型，评估其鲁棒性及微调设置，并探究预训练数据收集时间的影响。分析结果显示预训练阶段对后期任务有早期的峰值，使用最新的预训练语料库的效益有限，微调阶段会受特定层的影响。对于恶意言论检测，领域特定模型的使用被质疑，并强调需要动态数据集进行评估比较。

Feb, 2024

使用预训练语言模型的时长感知暂停插入多说话人文本转语音

本文提出一种基于预训练语言模型的更加高效的暂停插入框架，运用双向变压器编码器表示来注入演讲者嵌入以捕捉不同演讲者的特点，并使用持续时间感知的暂停插入以获得更自然的多人演讲，测试结果表明该模型提高了合成语音的节奏性、暂停插入的精度和召回率。

Feb, 2023

预训练如何改善基于语篇的翻译？

本研究探讨了预训练语言模型在捕捉篇章关系上的能力，并通过探究任务验证了不同架构和层数的 PLMs 的表现，得出了对于不同 NMT 任务在何种情况下使用不同层的 PLMs 是最好的决策。

May, 2023

文本转语音的预训练语言模型的比较分析

本研究旨在比较分析不同的预训练语言模型在文本转语音任务中的影响，包括韵律预测和停顿预测，并发现模型大小与质量之间存在对数关系，以及中性和表达韵律之间的显著性能差异。此外，还发现任务对较小模型不太敏感，并且我们的实证结果与这些语言模型的 GLUE 分数之间存在强相关性。据我们所知，这是第一项研究探究不同预训练语言模型对文本转语音影响的研究。

Sep, 2023