RSTGen: 为长文本生成器注入细粒度可解释控制
本文提出了一个新型的文本摘要模型,RSTformer,综合考虑了修辞关系的类型和不确定性,采用基于文档级修辞结构的 RST-attention 机制,取得了显著的性能优势。
May, 2023
本文研究 GPT-2 在生成长度较长的文档时缺乏结构性的问题,提出了一种新的控制文本生成任务 — 顺序控制文本生成,并确定了一个数据集 NewsDiscourse 作为该任务的起点。通过测试不同程度的结构意识,表明具有更高的结构意识可以提高控制准确性、语法合理性、连贯性和主题性,并接近于人类的写作业绩。
Jan, 2023
本文提出了第一个用生成模型进行 RST 解析的文档级 RNN 语法,通过一种新的 beam search 算法,在而不展示左分支的偏差下,在未标注和标注的 F1 值上分别提高 6.8 和 2.9,超越了所有不使用额外训练数据的最新复制研究中发布的解析器,并且优于具有相同特征的判别模型 2.6F1 分。
Sep, 2019
利用 Rhetorical Structure Theory (RST) 树和关系对话语连贯性进行评估,表明在分类连贯性方面增加银标准 RST 特征可以提高准确性,我们开发了一个 tree-recursive neural model,即 RST-Recursive,利用了由最先进的 RST 解析器产生的文本 RST 特征。在 Grammarly Corpus for Discourse Coherence (GCDC) 上评估我们的方法,并展示了当与现有先进技术结合使用时,我们可以在此基准测试中实现新的技术水平的准确性。此外,单独部署时,RST-Recursive 具有竞争性的准确性,同时参数减少了 62%。
Sep, 2020
本文提出了一种基于分裂决策的顶级自上而下的端到端文档级修辞结构理论(RST)框架下的论述解析方式,并采用 seq2seq 网络建模分离决策,无需依赖分段,融合高分树搜索算法得到最佳树结构,实验结果表明该解析器在端对端解析和使用黄金分段分析方面表现出色,且无需使用手工特征,速度更快,易于适应新的语言和领域。
May, 2021
本文引入 RST-LoRA,提出了四种 RST 感知的变体,明确将 RST 融入 LoRA 模型,评估结果表明,引入修辞关系的类型和不确定性可以有效增强 LoRA 在摘要任务中的性能,最佳性能的变体优于普通的 LoRA 和全参数微调模型,并超过以往最先进的方法。
May, 2024
本文介绍了 Instruct-SCTG 框架,利用调谐指令的语言模型在精细调整和零 - shot 设置中生成结构连贯的文章,通过自然语言指令对生成的文本进行段落层次的控制,并引入了一种模糊度量衡来衡量篇章发散程度。实验结果验证了该框架在新闻和食谱等领域中建立篇章结构的的卓越性能,即通过自动化和人工评估的双重验证。
Dec, 2023
该研究提出了一个基于自然语言的控制生成任务,可将一系列事实扩展为更长的叙述,并通过引入人类评估指标和大型训练数据集的方法评估了三种方法,证明了自回归的单向语言模型如 GPT2 的生成流畅度更好,但很难遵循所请求的事实,提出了一个基于计划和填空模型的解决方案(使用精细调整的 XLNet),其生成流畅度有竞争力,同时遵循所请求的内容。
Dec, 2020
本文描述了一种 RST 分割和解析系统,该系统可以快速、稳健地处理新闻文章或文章等短文档,并将各种先前工作的模型和特征集进行了适应,其准确性接近于最先进的水平。
May, 2015
研究了通过利用多语言向量表示和采用源内容的分段级别翻译建立神经交叉语言篇章分析器的两种方法,并表明这两种方法即使在有限的训练数据下也有效,并且在所有子任务上实现了跨语言、文档级的篇章分析性能。
Dec, 2020