使用语言模型的自回归结构预测

EMNLPOct, 2022

Autoregressive Structured Prediction with Language Models

Tianyu Liu, Yuchen Jiang, Nicholas Monath, Ryan Cotterell, Mrinmaya Sachan

TL;DR本文研究 NLP 中使用预训练语言模型（PLM）的结构化预测问题，描述了一种基于 PLMs 的结构建模方法，在命名实体识别、端到端关系提取和指代消解三个任务上实现了最新的最优性能。

Abstract

Recent years have seen a paradigm shift in nlp towards using pretrained language models ({PLM}) for a wide range of tasks. However, there are many difficult design decisions to represent structures (e.g. tagged text, coreference chains) in a way such that they can be captured by PLMs.

nlp pretrained language models structured prediction autoregressive modeling state-of-the-art

发现论文，激发创造

促使语言模型理解语言结构

使用结构化提示技术，我们证明了预先训练的语言模型（PLMs）可以在零或少量样本情况下执行标记任务，而不是仅靠表面级别的词汇模式，这表明 PLMs 包含了一种通用的语言学知识表示方式。

Nov, 2022

DeepStruct: 为结构预测预训练语言模型

介绍了一种提高语言模型结构理解能力的方法，它通过预训练语言模型生成的结构来替代以往的基于任务数据的微调方式，并且在包含 28 个数据集的 10 个预测任务上实现了零样本迁移和超越了 21 个数据集的最新成果。

May, 2022

预训练语言模型中用于 AMR 转文本生成的结构性适配器

本文提出了一种新的适配器方法 StructAdapt，能够快速而高效的嵌入图形结构到预训练语言模型（PLM）中，以解决在 PLMs 中编码结构化数据的挑战，并在仅使用 5.1％的 PLM 参数进行训练的情况下，在两个 AMR-to-text 数据集上优于现有技术。

Mar, 2021

用于稳健结构预测的结构化语言生成模型

我们提出了结构化语言生成模型（SLGM），这是一种结合新的损失函数和推理方法，以更好地泛化结构化输出的混合模型。

Feb, 2024

使用语义锚点揭示 PLMs 的黑匣子：走向可解释的神经语义解析

通过引入分层解码器网络与中间监督任务，结合目前的 PLMs 构建了一种在语义解析任务中实现更好的性能与内在可解释性的方法。

Oct, 2022

语言模型概述：最新发展与展望

本文从语言单位、结构、训练方法、评估方法和应用等五个方面，介绍了传统语言模型和预训练语言模型，讨论了二者的关系和语言模型在预训练时代的未来发展方向。

Mar, 2023

AMR 解析和生成的图形预训练

本文研究了利用图形自监督训练来提高 PLMs 模型在 AMR 图结构上的结构意识；它同时介绍了两种图形自编码策略，四个任务以及一个统一的框架来缩小预训练和微调任务之间的差距。实验结果表明了这种方法在 AMR 分析和 AMR-to-text 生成方面的优越性。

Mar, 2022

对话理解的结构预训练

本文提出了结构化预训练对话阅读器 SPIDER，通过两个训练目标相结合以捕获对话独有的特征，即复原语音顺序和句子骨干规则化，实现了从对话文本中有效地捕获任务相关知识，并在广泛使用的对话基准测试中取得了显著的实验结果。

May, 2021

结构化预测模型的对抗攻击和防御

本文研究了自然语言处理结构化预测任务中的攻击与防御。我们提出了一种使用来自同一结构化预测任务的多个参考模型的反馈的序列到序列模型来攻击结构化预测模型的新颖统一框架，并通过对抗训练进一步加强了受害模型的预测，使其更加鲁棒和准确。在依赖分析和词性标注中验证了该框架。

Oct, 2020

基于结构的排序：依赖探测的语言模型排名

通过衡量语言模型上下文嵌入中恢复标记树的程度，我们提出使用考察探测来对语言模型进行排序，从而确定适合特定语言的最佳模型选择。在 46 种不同类型和结构的语言模型 - 语言对中，我们的探测方法预测最佳语言模型选择的准确率为 79％，比训练完整解析器需要更少的计算量。在本研究中，我们发现 RemBERT 是一个最近提出的解耦合语言模型，它显著包含较少的固有依赖信息，但通常在完全微调后可以产生最佳的解析器结果。在排除这个异常值后，我们的方法在 89％的情况下确定最佳的语言模型选择。

Jun, 2022