ACLOct, 2020

基于元学习的中文分词预训练

PDF
TL;DR本研究发现，先前使用的预训练模型往往采用语言建模作为预训练任务，缺少任务特定的分词先验知识并忽略预训练任务与下游分词任务之间的差异。为此，我们提出了一种 CWS 特定的预训练模型 METASEG，它采用统一架构并将元学习算法结合到多标准预训练任务中。实验证明，METASEG 可以利用不同现有标准的常见分词先验知识，并减轻预训练模型与下游 CWS 任务之间的差异。此外，METASEG 可以在 12 个广泛使用的 CWS 数据集上实现新的最佳性能，并显著提高低资源环境下的模型性能。
pre-trained modelschinese word segmentationmetasegmeta learninglow-resource settings
发现论文，激发创造
  • 预训练模型：过去、现在和未来

    本文全面介绍了预训练模型的历史、最新成果以及未来的研究方向，旨在推进预训练模型应用于下游任务的发展。

    Jun, 2021

  • 预训练是否真的比元学习更好？

    本文通过深入地实证研究多个数据集，比较了在 few-shot learning 背景下进行微调的预训练模型和标准元学习算法，研究结果表明，预训练模型在数据集形式多样性较低时表现优秀，而当形式多样性较高时，元学习算法表现更优。

    Jun, 2023

  • 大规模多模态预训练模型：综述

    本文综述了预训练大型多模态模型的背景、任务定义、挑战、优势以及验证方式，并重点讨论了数据、目标、网络结构、知识增强等方面。此外，文章还给出了模型参数和结果的可视化和分析，并指出了未来的可能研究方向。

    Feb, 2023

  • 显式跨语言预训练用于无监督机器翻译

    本文提出了一种新的跨语言预训练方法，通过融合显式的跨语言训练信号，从交叉语境中获取受益的跨语言信息并使用 CMLM 预训练模型大幅提高了无监督机器翻译的性能.

    Aug, 2019

  • 针对无监督神经机器翻译，提升预训练语言模型的词汇能力

    本文介绍了一种基于子词嵌入的双语掩码语言模型预训练方法，应用于无监督神经机器翻译和双语词汇归纳任务中均取得了较好的性能表现。

    Mar, 2021

  • 用于跨领域时间序列分析任务的大型预训练时间序列模型

    将多个不同动态和领域的时间序列分割为片段作为输入，我们提出了一种新颖的模型 LPTM 来进行预训练，自动识别最佳的数据集特定分段策略，并在多个不同领域的时间序列分析任务中实现达到甚至超过领域特定最先进模型的性能，并且数据和计算效率明显提高，使用的数据量减少了 40％，训练时间减少了 50％。

    Nov, 2023

  • 自然语言处理的预训练模型：一项调查

    本文主要介绍了预训练模型在自然语言处理领域的应用。首先简要介绍了语言表示学习及其研究进展，然后系统地从四个角度分类现有的预训练模型，接下来介绍如何将预训练模型的知识应用于下游任务，并提出了一些未来研究的潜在方向。该综述旨在成为一个操作性指南，帮助理解、使用和开发各种自然语言处理任务的预训练模型。

    Mar, 2020

  • 视觉 - 语言预训练模型综述

    本文综述了视觉 - 语言预训练模型在多模态学习上的进展，介绍了编码图像、文本信息的方法，分析了模型中处理文本与图像交互的主流架构以及已有的预训练任务和下游任务，并提出了未来的研究方向。

    Feb, 2022

  • 利用单词嵌入正则化进行语言模型的任务自适应预训练

    该论文提出了一种名为 TAPTER 的新型 fine-tuning 方法，该方法可以通过调整 PTLM 的静态词嵌入来实现领域自适应，无需额外的语料库，并且能提高标准 fine-tuning 和任务自适应预训练在生物医学和维基百科领域的性能。

    Sep, 2021

  • ST-BERT：跨模态语言模型预训练用于端到端口语理解

    本文介绍了一种跨模态预训练语言模型 ——Speech-Text BERT（ST-BERT），通过两种预训练任务（Cross-modal Masked Language Modeling and Cross-modal Conditioned Language Modeling）学习上下文跨模态对齐，对端到端的口语语言理解任务进行了解决，实验结果证明，该方法有效。同时，我们的方法通过使用特定于域的语音文本对数据进行域自适应预训练来提高 SLU 性能的表现。

    Oct, 2020