- 基于课程指导的抽象摘要
本文提出两个方法以弥补 Transformer-based summarization 模型在内容选择方面表现不佳和训练策略效率不高的缺陷,使得模型可以更好的理解要点,同时引入课程学习的方法提高了训练速度和质量,并用 Reddit TIFU - HunSum-1:匈牙利文抽象摘要数据集
介绍 HunSum-1: 一个用于匈牙利摘要生成的数据集,包含 114 万条新闻文章;该数据集是通过 CommonCrawl 从 9 个主要的匈牙利新闻网站收集,清理和去重而构建的;使用该数据集,我们基于 huBERT 和 mT5 构建抽象 - 基于 Transformer 的自动文摘实现
文章旨在利用基于 Transformer 的技术提高文章章节摘要的生成效率和质量。
- OpineSum: 基于蕴含的自训练方法用于抽象意见摘要
本文提出了一种基于自我训练的抽象化意见摘要方法 OpineSum,该方法使用文本蕴涵的新颖应用程序来捕捉一个项目的各种评论中的意见共识,从而在大规模上获得银标准摘要并训练无监督和少量样本的摘要系统,而在结构中实现了最先进的性能。
- mFACE: 多语言事实一致性评估自动摘要
本文探讨了利用基于事实一致性评估模型的数据过滤和控制生成两种方法来改善跨语言自动摘要的结果,针对语义幻觉生成的问题在提高多语言自动摘要性能方面取得了较好的结果。
- 通过检测和消除输入噪音来提高摘要模型的鲁棒性
本文介绍了一个大型实证研究,量化了不同类型噪声的严重性损失,以及提出的一种轻量级方法,用于检测和消除模型推理中的输入噪声,有效地缓解了性能降低。
- AAAICoP: 控制好偏好的事实不一致检测
该研究介绍了一种无监督的框架 CoP,通过使用文本提示,控制 Summarization 模型的偏好,从而检测出摘要与源文档之间的一致性问题,并在监督学习中进一步优化这个过程。
- Wasserstein 空间中的无监督意见摘要
本文提出了使用 Wasserstein 距离的无监督抽象摘要模型 WassOS,结合变分自编码器,把语义和句法空间分离并使用他们的 Wasserstein barycenter 得到摘要分布。实验表明,该模型在 ROUGE 指标上表现卓越且 - EMNLP由潜在分层文档结构引导的抽象摘要
提出使用层次感知图神经网络(HierGNN)实现文档结构层次分析的自动摘要模型,在 CNN / DM 和 XSum 数据集上分别取得了平均 ROUGE-1/2/L 为 0.55 和 0.75,在人工评估中也证明了其比基线具有更高的内容相关性 - ED-FAITH: 评估对话摘要的忠实度
本文提出系统研究 faithfulness metrics 在对话摘要任务上的应用,发现对于绝大部分度量方法而言,在对话数据上的表现与人类判断的相关性较差。为了提高 faithfulness metrics 在对话摘要任务上的性能,我们还采 - EMNLP强大长文摘要化还有多远?
本文通过对长文档的人工精细注释对抽象大纲概述系统进行了评估,并显示了 ROUGE 在长文档摘要内容相关性评估方面的优越性,并提出了发展事实一致性度量的方向。最后,我们发布了我们注释的长文档数据集,希望能为更广泛的概述设置开发度量做出贡献。
- EMNLP能量排名提升抽象化摘要
本文提出了一种基于能量的模型,利用自动评估指标和重排机制对生成的摘要进行排序,以解决当前抽象摘要系统存在的问题。我们的实验结果表明,这种方式可以提高生成摘要的得分,但对高度抽象的摘要的应用要小心,因为现有的指标还不足够可靠。
- CrisisLTLSum: 本地危机事件时间线提取和总结的基准
本文提出了目前为止最大的本地危机事件时间轴数据集 CrisisLTLSum,它包含了 1000 个危机事件时间轴数据,可用于基准测试时间轴拓展和抽象摘要技术的任务。该数据集是通过采用半自动化集群 - 精化方法从公共推特数据流中收集数据构建的 - EMNLP通过后期编辑和语言模型填充纠正抽象摘要中的多样化事实错误
本文提出使用语言模型生产更加具有代表性的无事实描述样例,训练出更加强大和鲁棒的基于事实更正的模型对生成的摘要进行错误更正提高摘要的事实一致性。
- EMNLP基于突显分配的生成式摘要指导方法
本文提出了一种新的自由灵活的关键信息指引式文本摘要方法 SEASON,通过利用关键信息的分配来指导抽象文本摘要并适用于不同抽象程度的文章,从而证明 SEASON 方法在两个基准数据集上表现优越,并在一百万篇新闻文章上证明了一个自然的十五五十 - EMNLP走向摘要候选项融合
使用 SummaFusion 作为第二阶段抽象化摘要的方法,可以融合多个摘要候选人,达到更好的摘要效果。
- ACL基于问答的真实性框架在错误定位方面的缺陷
本文分析了以往的研究结果,发现 QA 基础框架在生成摘要时无法正确标定错误位置,并且由于 QG 模块生成的问题中存在非事实性错误,使问题进一步扩散。尽管进行人类辅助的问题生成也并不能轻易地解决这些问题。因此,实验结果表明,QA 框架在错误的 - EMNLPJust ClozE! 在抽象化摘要里评估事实一致性的快速简单方法
本研究提出了一种名为 ClozE 的新方法,采用基于掩码语言模型(MLM)实例化的填空模型来评估抽象化摘要与原始文本之间的事实一致性,并通过六个人工注释数据集和元评估基准 GO FIGURE 的实验表明 ClozE 相对于 QA_metri - 校准序列似然改进条件语言生成
本文介绍了序列可能性校准(SLiC)的方法,在序列生成过程中较大束搜索大小时生成质量会下降,通过使用 SLiC 可以不用启用启发式方法,从而显著提高候选解的生成质量。与传统的 MLE 模型相比,我们在许多生成任务中都获得了更好的结果。
- ICLR有条件语言模型的越界检测和选择性生成
本文介绍了一种高精度且轻量级的适用于条件语言模型的 OOD 检测方法,并展示了其在抽象摘要和翻译方面的有效性。在分布偏移的情况下,我们的方法可以被用于高质量输出的选择生成,同时自动避免低质量的输出,从而增加自然语言生成模型的安全性。