ACLJun, 2019

结构化文本表示中的话语评估

PDF
TL;DR通过结构化的注意力机制来获得文本的 RST 语篇树结构是一种学习蕴含语篇结构的潜在表示的有吸引力的替代方法。通过评估其他与语篇相关的任务和数据集后，我们发现这种方法并不能很好地捕捉文本的语篇结构，即使模型做了一些结构性的改进，也不能和基于现有语篇分析器的语篇依存树相提并论。最后，消融研究表明，结构化的注意力机制甚至有时会损害性能。
discourse structurenlplatent representationsstructured attention mechanismtext classification
发现论文，激发创造
  • 文本分类的神经话语结构

    本文研究利用 Rhetorical Structure Theory 和递归神经网络（使用新提出的 attention 机制）来加强文本分类的方法，实验结果表明其优势和劣势。

    Feb, 2017

  • 学习结构化文本表示

    本文提出一种可以在没有语篇分析器或额外注释的情况下，从数据中学习具有结构感知能力的文档表示的模型，该模型通过将可微分非项目句法分析算法嵌入神经模型，使用注意机制来结合结构偏置，从而产生具有解释性和意义的中间结构，并在不同任务和数据集上实验验证表明，该模型在文档建模任务中取得了最先进的结果。

    May, 2017

  • 使用树形自编码器进行话语结构的非监督学习

    通过无监督学习的隐式树归纳框架，提出了一种新的策略来生成结构化的文本，例如语法分析、话语分析等，以及更倍覆盖的话语树库，并在多个领域中展示了具有前景的结果。

    Dec, 2020

  • 非监督对话结构归纳的结构化注意力

    本论文通过在变分循环神经网络模型中引入结构化注意力层，以无监督学习的方式学习对话结构，并对多方对话数据集进行了实验，展示了模型区分发言人或地址、自动脱钩对话的能力。

    Sep, 2020

  • 结构化对话篇章分析

    该篇论文介绍了一种基于结构化编码和矩阵树学习算法的对话语篇分析方法，该方法通过编码和解码进行分析，不依赖手工特征，并在实验中达到了新的最优效果。

    Jun, 2023

  • 通过学习潜在的话语结构及其排名实现评论的非监督式神经单篇摘要

    通过递归估计父句子与子句子之间的关系，组成一个无须外部解析器的潜在篇章树，以此进行无监督的单篇产品评论的纯摘要，并介绍了一种句子重要性排序的架构来生成集中在主要评论点的摘要。研究结果表明，该模型在相对长的评论中表现竞争或超越受监督模型的表现，其生成的摘要抽象了整个评论。

    Jun, 2019

  • 基于预训练和微调语言模型的对话中的话语结构提取

    本文研究基于 Pre-trained Language Models (PLMs) 的注意力矩阵构建对话结构的方法，提出了一种无监督和半监督的方法来定位和利用 PLMs 中的语篇信息，并在 STAC 语料库上获得了令人鼓舞的结果。

    Feb, 2023

  • 以文档级内容结构为导向的 RST 风格的篇章解析

    基于修辞结构理论的话语解析（RST-DP）探索了子句、句子和大文本跨度如何组成整个话语，并将修辞结构呈现为一个分层树。现有的 RST 解析流水线在构建修辞结构时缺乏对文档级内容结构的了解，导致在预测大文本跨度的话语关系时性能相对较低。为了识别高级内容相关信息在促进话语关系识别方面的价值，我们提出了一种新颖的 RST-DP 流水线，该流水线结合了从新闻话语建模任务中得出的具有结构意识的新闻内容句子表示。通过仅添加了少量的附加层，这个增强的流水线在各种 RST 解析指标上表现出了很有前景的性能。

    Sep, 2023

  • 使用远程监督预测句子上文结构：以主题分割为例

    该研究提出了一种利用主题分割技术进行远程监督的方法来解决现代话语解析中由于数据稀缺问题所面临的困境，实验结果表明该方法能够有效地产生准确的树状结构并较之前的方法取得了更高的得分。

    Dec, 2021

  • 基于 Transformer 神经摘要模型的篇章树预测

    使用预训练的神经网络提取文档级别的语篇树，研究发现总结中存在依存和从属语篇信息，这种信息通常被编码为单个头部，覆盖长距离和短距离的语篇依赖性。实验结果表明，学习到的语篇信息具有普适性和领域之间的可传递性。

    Apr, 2021