基于 Transformer 神经摘要模型的篇章树预测
本文提出了一个新型的文本摘要模型,RSTformer,综合考虑了修辞关系的类型和不确定性,采用基于文档级修辞结构的 RST-attention 机制,取得了显著的性能优势。
May, 2023
使用 Discobert 模型从已修剪的子句中提取文本,通过基于结构的话语图来捕获在 BERT 中不能很好捕获的长程依赖关系,该模型在流行的摘要基准测试中表现出显着的优越性。
Oct, 2019
该研究提出了一种基于文档级语篇信息的参数轻量级自我关注机制,相比原始转换器模型在参数数量上实现了显著减少,并在提取性摘要任务上实现了有竞争力的 ROUGE 分数。
Dec, 2020
通过无监督学习的隐式树归纳框架,提出了一种新的策略来生成结构化的文本,例如语法分析、话语分析等,以及更倍覆盖的话语树库,并在多个领域中展示了具有前景的结果。
Dec, 2020
该研究提出了一种利用主题分割技术进行远程监督的方法来解决现代话语解析中由于数据稀缺问题所面临的困境,实验结果表明该方法能够有效地产生准确的树状结构并较之前的方法取得了更高的得分。
Dec, 2021
通过递归估计父句子与子句子之间的关系,组成一个无须外部解析器的潜在篇章树,以此进行无监督的单篇产品评论的纯摘要,并介绍了一种句子重要性排序的架构来生成集中在主要评论点的摘要。研究结果表明,该模型在相对长的评论中表现竞争或超越受监督模型的表现,其生成的摘要抽象了整个评论。
Jun, 2019
本文提出了一种神经网络归纳模型,能够有效地处理多个输入文档,并利用 Transformers 架构对文档进行层次编码,通过注意力机制来表示跨文档之间的关系,并学习文本单元之间的潜在依赖关系,在 Wikisum 数据集上的实验证明,所提出的架构比数个强基线模型都有明显的改进。
May, 2019
研究新架构用于情感分析的任务,结合了大规模的 MEGA-DT treebank 以及基于混合 TreeLSTM 分层注意模型的神经架构,通过情感相关的话语增强情感预测性能,实验结果显示,性能优于使用先前基于人类注释数据训练的良好建立的话语解析器的方法,同时演示了一个简单的组合方法如何进一步增强性能。
Nov, 2020
本研究提出了一种新方法,使用情感分类的远程监督来生成丰富数据进行 RST 风格讨论结构预测,该方法结合了一种基于神经网络的多实例学习和一种 CKY-style 树生成算法,结果表明该解析器在跨领域讨论结构预测方面表现出色。
Oct, 2019
这篇论文提出了一个简单但高精度的 RST 语篇分析器,采用最近的上下文语言模型,表现出两个重要数据集,RST-DT 和 Instr-DT 的最新技术性能。研究人员还表明,在最近可用的大规模 “银标准” 话语树库 MEGA-DT 上预训练我们的分析器可以提供更大的性能改进,这为话语分析领域提供了一种新的有前途的研究方向。
Nov, 2020