稀疏潜在类型语言模型预训练

EMNLPOct, 2022

Language Model Pre-Training with Sparse Latent Typing

Liliang Ren, Zixuan Zhang, Han Wang, Clare R. Voss, Chengxiang Zhai...

TL;DR该研究提出一种新的预训练目标 Sparse Latent Typing，让模型能够从文本中提取具有多样化潜在类型的稀疏关键词，实现对句子的深层理解，结果表明该模型通过自监督学习能够学习到可解释的潜在类型分类，同时显著提高了有监督和少样本信息抽取任务的效果。

Abstract

Modern large-scale pre-trained language models (PLMs) have achieved tremendous success on a wide range of downstream tasks. However, most of the LM pre-training objectives only focus on text reconstruction, but have not sought to learn latent-level interpretable representations of sent

pre-trained language models latent-level representations sparse latent typing interpretable latent type categories information extraction

发现论文，激发创造

语言模型教给你的句法知识比翻译多：通过辅助任务分析所学到的教训

该研究比较了四种不同的预训练目标（语言模型、翻译、跳跃思考和自编码）对模型学习语言信息和句法信息的影响，结果表明语言模型对于转移学习和需要句法信息的应用最为适合。

Sep, 2018

使用预训练语言模型生成数据集

本文介绍了一种利用预训练语言模型生成标注文本数据集的方法，从而实现高质量的无监督学习得到的句子嵌入。实验结果表明，这种方法在多个语义文本相似性测试数据上实现了比较好的性能表现。

Apr, 2021

预训练语言模型表示的潜空间聚类进行主题发现

本文提出了一种基于 PLM 嵌入的联合潜在空间学习和聚类框架，通过联合建模主题 - 单词和文档 - 主题分布，有效地利用 PLMs 在主题发现方面的强大表示能力和出色语言特征，并在两个基准数据集上生成了比强劲的主题模型更加连贯、多样的主题，并提供更好的基于主题的文档表达形式。

Feb, 2022

利用预训练语言模型进行短文本主题建模

在本论文中，我们采取了一种新的方法来解决短文本主题建模中的数据稀疏问题，通过利用现有的预训练语言模型将短文本扩展为更长的序列。此外，我们提供了一种简单的解决方案，通过扩展神经主题模型来减少预训练语言模型生成的与主题无关的噪声文本的影响。我们观察到我们的模型能够显著改善短文本主题建模的性能。在极度数据稀疏的情况下，对多个真实数据集进行的大量实验证明了我们的模型可以生成优质主题，胜过现有最先进的模型。

Oct, 2023

LERT: 一种基于语言学动机的预训练语言模型

本论文提出了一种名为 LERT 的预训练语言模型，通过使用一种称为语言信息预训练策略，使用三种类型的语言特征以及原始的 MLM 预训练任务来训练，对于十种汉语 NLU 任务，LERT 能够带来显着的改进。

Nov, 2022

对话理解的结构预训练

本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。

May, 2021

探究预训练语言模型的词汇语义

本研究针对 6 种不同语言和 5 种不同词汇任务，对单语和多语言源 LM、无上下文编码和有上下文编码、特殊标记的包含和分层平均等不同词汇知识提取策略的影响进行了系统的实证分析，并验证了较低变压器层携带更多类型级词汇知识的主张。

Oct, 2020

预训练的语言模型是否学习到了法人实体类型？

研究了语言模型在领域特定知识的获取和法律知识评估任务，比较了不同类型、长度和语义或语法信号的实体，不同语言模型预训练语料库和架构对于实体类型的性能影响，并发现 Llama2 在优化提示模板后表现良好，法律导向的语言模型显示性能不一致，存在的问题包括多令牌实体以及法律子领域实体的识别，此外 Llama2 在识别句法信号上存在缺陷，相较于基于 BERT 的架构缺陷更为显著。

Oct, 2023

知识增强预训练语言模型综述

本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

Nov, 2022

使用监督学习发现潜在结构的句法类型学细粒度预测

本研究展示了如何通过部分语音序列对一个新语言的基本语序事实进行预测，并且通过大量的合成语言训练数据，将这个通常被认为是无监督学习的问题转化成了有监督学习，从而成功地识别了一个语言的 POS 序列的表面特征（手工特征或神经特征）与其更深层次的结构（潜在树）相关性。该系统在该任务上表现出色，比语法归纳基线高出一个很大的优势。

Oct, 2017