利用预测编码增强 BERT 模型以提高语篇级别表征

EMNLPSep, 2021

利用预测编码增强 BERT 模型以提高语篇级别表征

Augmenting BERT-style Models with Predictive Coding to Improve Discourse-level Representations

Vladimir Araujo, Andrés Villa, Marcelo Mendoza, Marie-Francine Moens, Alvaro Soto

TL;DR本文将预测编码理论引入 BERT 风格语言模型，以学习适当的语篇水平表示，实现了通过中间层进行顶部到底部的明显连接预测未来的句子，从而在语篇相关知识的基准测试中提高性能，特别是在语篇关系检测方面。

Abstract

Current language models are usually trained using a self-supervised scheme, where the main focus is learning representations at the word or sentence level. However, there has been limited progress in generating u

language models self-supervised scheme predictive coding theory discourse-level representations bert-style language models

发现论文，激发创造

使用上下文表示改进话语依存分析

本研究提出了一种基于 transformers 的新方法，通过对不同级别单元的上下文化表示进行编码，动态捕捉对话依赖分析所需的信息，并将对话关系识别视为序列标记任务

May, 2022

针对预训练和微调语言模型的大规模语篇结构理解

本文针对预训练和微调语言模型中的语篇信息进行了深入分析，提出了一种新颖的推断语篇结构的方法，探讨了 BERT 和 BART 模型中内在语篇理解的精确性，同时评估了生成的结构与多种基准模型的相似性以及它们在模型内部和模型之间的分布。

Apr, 2022

预训练语言模型的话语探测

本文使用七种预训练语言模型，运用七种篇章探测任务，将研究重点从句子级别上升到文档级别上，最终发现 BART 是捕获篇章信息能力最好的模型，但只有其编码器部分表现最佳，BERT 作为基准模型也出奇地表现良好，并且不同层次的模型对篇章信息的刻画效果，以及模型之间的差距巨大。

Apr, 2021

DisSent: 显式语篇关系的句子表征学习

利用依存分析和基于规则的指标，我们能够通过利用显式的篇章关系来筛选高质量的句子关系任务，从而得出高质量的句子嵌入向量及用作 BERT 等更大型模型的监督微调数据集。

Oct, 2017

讲话标记可以增强情感分析语言模型

本文研究使用情感搭载的话语标记产生大规模弱标记数据并利用此数据训练与情感分析更好契合的连续预训练模型，以提高零标记和少样本情况下的性能表现，并在多项基准数据集上进行了广泛的实验，包括金融领域。

Jan, 2022

预训练的语句嵌入用于隐式语篇关系分类

本文针对隐含的语篇关系进行了意义预测，利用预训练的句子嵌入作为神经网络基础表示，分别使用监督学习和预训练编码技术 - SkipThought，Sent2vec 和 Infersent 进行实验，并证实两种方法可以相互补充，结合模型可以显著提高模型性能。

Oct, 2022

预训练如何改善基于语篇的翻译？

本研究探讨了预训练语言模型在捕捉篇章关系上的能力，并通过探究任务验证了不同架构和层数的 PLMs 的表现，得出了对于不同 NMT 任务在何种情况下使用不同层的 PLMs 是最好的决策。

May, 2023

通过话语增强从情感注释到情感预测

研究新架构用于情感分析的任务，结合了大规模的 MEGA-DT treebank 以及基于混合 TreeLSTM 分层注意模型的神经架构，通过情感相关的话语增强情感预测性能，实验结果显示，性能优于使用先前基于人类注释数据训练的良好建立的话语解析器的方法，同时演示了一个简单的组合方法如何进一步增强性能。

Nov, 2020

激发隐式言论关系注释

对于 ChatGPT 而言，在隐性话语关系分类任务中，使用标准的多项选择问题提示尚不令人满意，且远远不及最先进的有监督方法。本研究通过尝试多种证实的提示技术来提高 ChatGPT 对话语关系的识别能力，但实验结果表明，即使使用复杂的提示工程，推理准确性几乎没有改变，暗示隐性话语关系分类在零样本或少样本情况下尚未得到解决。

Feb, 2024

DEPTH：分层预训练的议程教育

深度是一个编码器 - 解码器模型，通过在预训练过程中引入面向语篇的目标来提高语言模型在语篇层面上的理解能力。通过结合层次化的句子表示和两个目标：句子重排和跨度破坏，深度能够更快地学习语义和语篇级别的表示，从而拓展了 T5 在语篇能力方面的表现。

May, 2024