Mar, 2019

微调 BERT 用于抽取式摘要

PDF
TL;DR本文提出了 BERTSUM，即 BERT 的摘要变体，通过在 CNN / Dailymail 数据集上的评估证明其在提取性摘要方面超越了现有的最佳系统。
发现论文，激发创造
  • 使用预训练编码器进行文本摘要

    本研究展示了 BERT 如何在文本摘要中有用地应用，并提出了一种通用的框架，包括抽取式模型和生成式模型。在此框架下，我们引入了一种新的基于 BERT 的文档级编码器，该编码器能够表达文档的语义并获取其句子的表示，通过堆叠多个 Transformer 层来构建我们的抽取式模型，对于生成式摘要，我们提出一种新的微调策略，以解决编码器和解码器之间的不匹配问题，并演示了两阶段微调方法可以进一步提高生成摘要的质量。在三个数据集上的实验表明，我们的模型不仅在抽取式设置下，在生成式设置下也达到了最先进的水平。

    Aug, 2019

  • SciBERTSUM: 面向科学文档的提取式摘要

    SciBERTSUM 是一种针对科学论文的摘要框架，通过增加节嵌入层和应用稀疏注意力机制，在长文本（超过 500 句）中表现出更好的 ROUGE 分数。

    Jan, 2022

  • 利用 BERT 进行讲座文本抽取式摘要

    本篇论文介绍了使用 Python 的 RESTful 服务 Lecture Summarization Service，利用 BERT 模型和 KMeans 聚类算法对课程内容进行自动摘要，以提供学生便捷的学习方式。该方法虽然有待进一步改进，但是已经取得了令人满意的效果。

    Jun, 2019

  • 基于 Transformer 模型的新闻标题生成技术进展

    本文通过对 mBART 和 BertSumAbs 两种基于预训练 Transformer 模型的微调，在俄语新闻 RIA 和 Lenta 数据集上获得了新的最优结果，其中 BertSumAbs 分别将 ROUGE 提高了 2.9 和 2.0 个百分点。

    Jul, 2020

  • 阿拉伯文本摘要的 BERT 微调

    本文介绍了一种使用 fine-tuning 方法构建阿拉伯语文本摘要模型的方法，并且展示了该模型在抽取式和文本生成式摘要任务中的性能，同时还展示了该模型在多语种语料库上的性能表现。

    Mar, 2020

  • San-BERT: 使用 BERT 及其变体进行梵文文档的摘要提取

    研究人员使用 Sanskrit 语文本语料库开发了 Sanskrit 语言模型 BERT、ALBERT 和 RoBERTa，并从中提取特征，应用维度降低和聚类技术生成了给定文本的摘要，并公开了一个 Sanskrit Devanagari 文本语料库。

    Apr, 2023

  • 基于 BERT 的分层图掩蔽的事实级提取式摘要

    通过提取基于事实的语义单元，并将多级粒度的文本信息结合到模型中，并使用层次图表结合 BERT 模型，我们在 CNN/DailyMail 数据集上获得了最好的结果。

    Nov, 2020

  • 使用预训练模型的抽象文本摘要分析

    本文评估了不同预训练模型在不同数据集上的文本摘要效果，通过 ROUGE 和 BLEU 指标比较了三种不同预训练模型在 CNN-dailymail、SAMSum 和 BillSum 三个数据集上的性能表现。

    Feb, 2023

  • 语境感知神经提取式文本摘要

    使用 Discobert 模型从已修剪的子句中提取文本，通过基于结构的话语图来捕获在 BERT 中不能很好捕获的长程依赖关系，该模型在流行的摘要基准测试中表现出显着的优越性。

    Oct, 2019

  • Continual BERT: COVID-19 文献自适应抽取式摘要的持续学习

    为了帮助科学界更好地理解与 COVID-19 相关的文献，我们提出了一种新颖的 BERT 架构，该架构能够提供长度较长的论文的简洁而原创的摘要，并通过在线学习最小化灾难性遗忘以适应社群需求。基准测试和手动检查显示，该模型可以提供新的科学文献的良好概要。

    Jul, 2020