COLINGNov, 2020

发掘神经言语解析器的能力 —— 使用大规模预训练的上下文和结构感知方法

PDF
TL;DR这篇论文提出了一个简单但高精度的 RST 语篇分析器，采用最近的上下文语言模型，表现出两个重要数据集，RST-DT 和 Instr-DT 的最新技术性能。研究人员还表明，在最近可用的大规模 “银标准” 话语树库 MEGA-DT 上预训练我们的分析器可以提供更大的性能改进，这为话语分析领域提供了一种新的有前途的研究方向。
rst-based discourse parsingnlpcontextual language modelssilver-standard discourse treebankdiscourse analysis
发现论文，激发创造
  • 可扩展遥感情感监督数据生成的具有结构和核心性的 MEGA RST 话语树库

    本研究提出了一种新的可扩展的方法用于自动生成论述树库，同时发布了一个新的大规模的语料库 MEGA-DT，通过多个数据集的实验表明，在 MEGA-DT 树库训练出的论述解析器相对于训练在人工注释语料库上的解析器表现得到了显著提升。

    Nov, 2020

  • 多语言神经 RST 话语分析

    研究了通过利用多语言向量表示和采用源内容的分段级别翻译建立神经交叉语言篇章分析器的两种方法，并表明这两种方法即使在有限的训练数据下也有效，并且在所有子任务上实现了跨语言、文档级的篇章分析性能。

    Dec, 2020

  • 一种简单且强大的端到端神经 RST 风格篇章分析基线

    本篇论文探讨了一种强有力的基准线，通过将现有的简单解析策略（自上而下和自下而上）与各种基于 Transformer 的预先训练的语言模型进行集成，实现了 RST 风格的话语解析模型的推广和进一步发展。实验结果表明，解析性能强烈依赖预先训练的语言模型，尤其是 DeBERTa 对自下而上解析器表现的大幅提升。此外，我们还发现具有跨度屏蔽方案的语言模型特别能提高解析性能。

    Oct, 2022

  • 利用来自情感的远程监督来预测话语结构

    本研究提出了一种新方法，使用情感分类的远程监督来生成丰富数据进行 RST 风格讨论结构预测，该方法结合了一种基于神经网络的多实例学习和一种 CKY-style 树生成算法，结果表明该解析器在跨领域讨论结构预测方面表现出色。

    Oct, 2019

  • 可扩展远程监督的大型话语树库

    本研究提出了一种使用情感分析辅助任务的 “银标准” 话语树框架，从而允许更大、更多样化和独立于领域的数据集训练话语解析器，以实现自然语言处理的上游任务，并在许多实际应用中具有强大的影响力。

    Oct, 2022

  • 跨语言 RST 篇章分析

    本文针对英语 RST 话语树库，提出了跨语言话语分析方法，并在西班牙语、德语、巴斯克语、荷兰语和巴西葡萄牙语中实验。该方法简单易行且有效，可以帮助更好地理解文件中的信息流和论证结构。

    Jan, 2017

  • 一种用于句子级别语篇解析的统一线性时间框架

    使用神经框架和指针网络，基于 Rhetorical Structure Theory (RST) 的句子级别的语篇分析提出了一种高效的分析方法。基于分段器和分析器的性能表现显示出此方法具有优势且逼近人类认知水平。

    May, 2019

  • 文本分类的神经话语结构

    本文研究利用 Rhetorical Structure Theory 和递归神经网络（使用新提出的 attention 机制）来加强文本分类的方法，实验结果表明其优势和劣势。

    Feb, 2017

  • 从零开始的 RST 语法分析

    本文提出了一种基于分裂决策的顶级自上而下的端到端文档级修辞结构理论（RST）框架下的论述解析方式，并采用 seq2seq 网络建模分离决策，无需依赖分段，融合高分树搜索算法得到最佳树结构，实验结果表明该解析器在端对端解析和使用黄金分段分析方面表现出色，且无需使用手工特征，速度更快，易于适应新的语言和领域。

    May, 2021

  • 以文档级内容结构为导向的 RST 风格的篇章解析

    基于修辞结构理论的话语解析（RST-DP）探索了子句、句子和大文本跨度如何组成整个话语，并将修辞结构呈现为一个分层树。现有的 RST 解析流水线在构建修辞结构时缺乏对文档级内容结构的了解，导致在预测大文本跨度的话语关系时性能相对较低。为了识别高级内容相关信息在促进话语关系识别方面的价值，我们提出了一种新颖的 RST-DP 流水线，该流水线结合了从新闻话语建模任务中得出的具有结构意识的新闻内容句子表示。通过仅添加了少量的附加层，这个增强的流水线在各种 RST 解析指标上表现出了很有前景的性能。

    Sep, 2023