Jun, 2023

使用预训练语言模型和大型语言模型评估 ESL 语音的短语断点

PDF
TL;DR本文介绍了使用预训练语言模型（PLMs）和大型语言模型（LLMs）评估 ESL 学习者语音短语分割的方法，并展示了通过使用 PLMs 减少标注数据依赖并提高性能，以及验证 ChatGPT 在这个领域有进一步提高的潜力。
esl learnerspre-trained language modelsnlp modelsfine-tuning pipelinechatgpt
发现论文，激发创造
  • 利用预训练语言模型评估 ESL 演讲的词组断点

    本文介绍了一种通过预训练语言模型来评估 ESL 学习者语音中短语断点的方法，该方法首先将语音转换为标记序列，再利用预先训练的模型进行分析，同时通过预先训练和微调管道来优化整体和细分表现，有效减少了对有标记训练数据的依赖，并提高了性能。

    Oct, 2022

  • 多语言语言模型的跨语言短语断点预测迁移学习

    本文采用跨语言迁移学习的方式，使用预训练的多语言语言模型，在少量标注数据的情况下，研究了短语断点预测的效果，发现跨语言迁移可以是一种有效的方法，尤其是在低资源语言中，因此建议使用跨语言迁移来改善语音合成前端。

    Jun, 2023

  • 端到端 TTS 系统中对说话者无关语调断句模型的研究

    该论文研究了在端到端 TTS 系统的上下文中的短语断句预测问题，并评估了在儿童故事合成中使用预测短语断句的实用性和有效性，结果表明使用训练好的短语模型预测短语断句的故事比直接合成的故事更受听众理解。

    Apr, 2023

  • 大规模语言模型的拆分和再表述

    使用大型语言模型，通过训练样本和模型参数的相对较小数量，显著改进了 Split and Rephrase 任务的性能，并证明了大语言模型在该任务中的潜力。

    Dec, 2023

  • 文本转语音的预训练语言模型的比较分析

    本研究旨在比较分析不同的预训练语言模型在文本转语音任务中的影响，包括韵律预测和停顿预测，并发现模型大小与质量之间存在对数关系，以及中性和表达韵律之间的显著性能差异。此外，还发现任务对较小模型不太敏感，并且我们的实证结果与这些语言模型的 GLUE 分数之间存在强相关性。据我们所知，这是第一项研究探究不同预训练语言模型对文本转语音影响的研究。

    Sep, 2023

  • 预训练如何改善基于语篇的翻译？

    本研究探讨了预训练语言模型在捕捉篇章关系上的能力，并通过探究任务验证了不同架构和层数的 PLMs 的表现，得出了对于不同 NMT 任务在何种情况下使用不同层的 PLMs 是最好的决策。

    May, 2023

  • 基于词组的统计机器翻译语言模型

    本文研究了基于短语的语言模型，针对机器翻译使用引入了全面的基于短语的语言模型，并通过初步实验结果表明，相比于基于单词的语言模型，我们的方法在困惑度和翻译质量方面表现更好。

    Jan, 2015

  • 通过外部引导对预训练语言模型进行噪声抗干扰微调

    使用嘈杂标签，通过引导大型语言模型来提高预训练语言模型（PLM）的微调过程，以区分干净样本和嘈杂样本，并提供嘈杂标签之外的辅助信息，从而增强学习过程。

    Nov, 2023

  • 预训练语言模型是否能识别短语？语法归纳的简单但强大的基准线

    介绍了一种利用预训练语言模型提取短语结构树的方法，并发现预训练语言模型在正确划分句子中的副词短语方面表现优异，从而有助于进一步理解预训练语言模型的内部机制。

    Jan, 2020

  • 研究面向仇恨言论检测的 PLM 关键学习动态

    调查预训练语言模型对恶意言论检测性能的影响，比较不同的预训练模型，评估其鲁棒性及微调设置，并探究预训练数据收集时间的影响。分析结果显示预训练阶段对后期任务有早期的峰值，使用最新的预训练语料库的效益有限，微调阶段会受特定层的影响。对于恶意言论检测，领域特定模型的使用被质疑，并强调需要动态数据集进行评估比较。

    Feb, 2024