一种简单且强大的端到端神经 RST 风格篇章分析基线

EMNLPOct, 2022

一种简单且强大的端到端神经 RST 风格篇章分析基线

A Simple and Strong Baseline for End-to-End Neural RST-style Discourse Parsing

Naoki Kobayashi, Tsutomu Hirao, Hidetaka Kamigaito, Manabu Okumura, Masaaki Nagata

TL;DR本篇论文探讨了一种强有力的基准线，通过将现有的简单解析策略（自上而下和自下而上）与各种基于 Transformer 的预先训练的语言模型进行集成，实现了 RST 风格的话语解析模型的推广和进一步发展。实验结果表明，解析性能强烈依赖预先训练的语言模型，尤其是 DeBERTa 对自下而上解析器表现的大幅提升。此外，我们还发现具有跨度屏蔽方案的语言模型特别能提高解析性能。

Abstract

To promote and further develop rst-style discourse parsing models, we need a strong baseline that can be regarded as a reference for reporting reliable experimental results. This paper explores a strong baseline by integrating existing simple parsing strategies, top-down and bottom-up,

rst-style discourse parsing models pre-trained language models bottom-up parser span-masking scheme nuclearity prediction

发现论文，激发创造

多语言神经 RST 话语分析

研究了通过利用多语言向量表示和采用源内容的分段级别翻译建立神经交叉语言篇章分析器的两种方法，并表明这两种方法即使在有限的训练数据下也有效，并且在所有子任务上实现了跨语言、文档级的篇章分析性能。

Dec, 2020

发掘神经言语解析器的能力 —— 使用大规模预训练的上下文和结构感知方法

这篇论文提出了一个简单但高精度的 RST 语篇分析器，采用最近的上下文语言模型，表现出两个重要数据集，RST-DT 和 Instr-DT 的最新技术性能。研究人员还表明，在最近可用的大规模 “银标准” 话语树库 MEGA-DT 上预训练我们的分析器可以提供更大的性能改进，这为话语分析领域提供了一种新的有前途的研究方向。

Nov, 2020

从零开始的 RST 语法分析

本文提出了一种基于分裂决策的顶级自上而下的端到端文档级修辞结构理论（RST）框架下的论述解析方式，并采用 seq2seq 网络建模分离决策，无需依赖分段，融合高分树搜索算法得到最佳树结构，实验结果表明该解析器在端对端解析和使用黄金分段分析方面表现出色，且无需使用手工特征，速度更快，易于适应新的语言和领域。

May, 2021

基于序列标注的自顶向下篇章分析

本研究介绍了一种自上而下的话语分析方法，该方法的目标是将文档迭代地分段成个体话语单元，这种方法不仅消除了解码器，而且减少了划分点的搜索空间，同时使用了 LSTM 模型，在全指标下达到了最新的 RST 分析结果。

Feb, 2021

跨语言 RST 篇章分析

本文针对英语 RST 话语树库，提出了跨语言话语分析方法，并在西班牙语、德语、巴斯克语、荷兰语和巴西葡萄牙语中实验。该方法简单易行且有效，可以帮助更好地理解文件中的信息流和论证结构。

Jan, 2017

一种自上而下的神经结构，用于文本级别的议论语言结构分析

本文提出一种基于自上而下的神经网络结构，将话语的分层结构解析为分裂点排序任务，并在英文 RST-DT 语料库和中文 CDTB 语料库上进行实验，证明了该方法在文本级语篇分析中的高效性。

May, 2020

通过使用大型语言模型，在 RST 篇章分析中能否取得显著成功？

本文研究了具有数十亿参数的解码器预训练大型语言模型（LLMs）对修辞结构理论（RST）的语篇分析的影响，并且在基于自上而下和自下而上策略的语篇解析过程中，将此解析过程转化为 LLMs 可以处理的提示，并通过 Llama 2 进行了微调。实验结果表明，具有 700 亿参数的 Llama 2 在自下而上策略上获得了领先的成绩，相较于现有的 RST-DT 训练的解析器具有显著的差异。此外，在 RST-DT 上评估时，我们的解析器表现出了一定的泛化能力，尽管是使用 GUM 语料库进行训练，但获得了与使用 RST-DT 训练的现有解析器类似的性能。

Mar, 2024

神经生成修辞结构分析

本文提出了第一个用生成模型进行 RST 解析的文档级 RNN 语法，通过一种新的 beam search 算法，在而不展示左分支的偏差下，在未标注和标注的 F1 值上分别提高 6.8 和 2.9，超越了所有不使用额外训练数据的最新复制研究中发布的解析器，并且优于具有相同特征的判别模型 2.6F1 分。

Sep, 2019

一种用于句子级别语篇解析的统一线性时间框架

使用神经框架和指针网络，基于 Rhetorical Structure Theory (RST) 的句子级别的语篇分析提出了一种高效的分析方法。基于分段器和分析器的性能表现显示出此方法具有优势且逼近人类认知水平。

May, 2019

DMRST：面向文档级多语言 RST 篇章分割和解析的联合框架

本文提出一个基于文档级别的多语言 RST 话语分析框架，该框架将 EDU 分割和话语树解析结合在一起，并且引入了跨语言翻译增强策略，以支持多语言解析并改善其领域通用性，实验结果表明，该模型在所有子任务中实现了文档级别多语言 RST 解析的最新性能。

Oct, 2021