Jun, 2019

利用 BERT 进行讲座文本抽取式摘要

PDF
TL;DR本篇论文介绍了使用 Python 的 RESTful 服务 Lecture Summarization Service，利用 BERT 模型和 KMeans 聚类算法对课程内容进行自动摘要，以提供学生便捷的学习方式。该方法虽然有待进一步改进，但是已经取得了令人满意的效果。
automatic extractive text summarizationmachine learningbert modelkmeans clusteringlecture content
发现论文，激发创造
  • 微调 BERT 用于抽取式摘要

    本文提出了 BERTSUM，即 BERT 的摘要变体，通过在 CNN / Dailymail 数据集上的评估证明其在提取性摘要方面超越了现有的最佳系统。

    Mar, 2019

  • 使用预训练编码器进行文本摘要

    本研究展示了 BERT 如何在文本摘要中有用地应用，并提出了一种通用的框架，包括抽取式模型和生成式模型。在此框架下，我们引入了一种新的基于 BERT 的文档级编码器，该编码器能够表达文档的语义并获取其句子的表示，通过堆叠多个 Transformer 层来构建我们的抽取式模型，对于生成式摘要，我们提出一种新的微调策略，以解决编码器和解码器之间的不匹配问题，并演示了两阶段微调方法可以进一步提高生成摘要的质量。在三个数据集上的实验表明，我们的模型不仅在抽取式设置下，在生成式设置下也达到了最先进的水平。

    Aug, 2019

  • 语境感知神经提取式文本摘要

    使用 Discobert 模型从已修剪的子句中提取文本，通过基于结构的话语图来捕获在 BERT 中不能很好捕获的长程依赖关系，该模型在流行的摘要基准测试中表现出显着的优越性。

    Oct, 2019

  • 智能接口：通过教学活动总结提高课堂参与度

    使用机器学习方法，为教育人员开发了一种新工具，可以自动化、概括并及时反馈进行讲座的过程，通过识别讲座视频录像中的教学和行为特征，提供交互式图表和表格的概述，并支持基于教学内容的讲座比较。

    Jun, 2024

  • SciBERTSUM: 面向科学文档的提取式摘要

    SciBERTSUM 是一种针对科学论文的摘要框架，通过增加节嵌入层和应用稀疏注意力机制，在长文本（超过 500 句）中表现出更好的 ROUGE 分数。

    Jan, 2022

  • San-BERT: 使用 BERT 及其变体进行梵文文档的摘要提取

    研究人员使用 Sanskrit 语文本语料库开发了 Sanskrit 语言模型 BERT、ALBERT 和 RoBERTa，并从中提取特征，应用维度降低和聚类技术生成了给定文本的摘要，并公开了一个 Sanskrit Devanagari 文本语料库。

    Apr, 2023

  • 使用 BERT 进行口头和书面指令的抽象摘要

    本研究使用 BERTSum 模型对按主题分类的教学视频进行抽象摘要概括，通过多个英文语境下的数据集预训练模型，使用 ROUGE 和 Content-F1 评分进行结果评估，同时进行人工盲评，结果显示本方法在 WikiHow 数据集中具有较高的效果及概括性能力。

    Aug, 2020

  • 神经潜在抽取式文档摘要

    本篇文章提出一种基于潜变量的抽取式文本摘要模型，通过使用句子作为潜变量和检索金标准摘要来改善基于启发式标签的抽取式模型，并在 CNN/Dailymail 数据集上得到了良好的结果。

    Aug, 2018

  • Continual BERT: COVID-19 文献自适应抽取式摘要的持续学习

    为了帮助科学界更好地理解与 COVID-19 相关的文献，我们提出了一种新颖的 BERT 架构，该架构能够提供长度较长的论文的简洁而原创的摘要，并通过在线学习最小化灾难性遗忘以适应社群需求。基准测试和手动检查显示，该模型可以提供新的科学文献的良好概要。

    Jul, 2020

  • 利用基于 BERT 的模型推动跨学科研究：通过 SciBERT-CNN 与主题建模的方法

    该论文介绍了一种使用 SciBERT 模型和 CNN 的新方法，通过处理摘要、正文、标题和关键词等多个部分，以解决多标签文本分类中的语义关系和类别不平衡问题，并在文献综述效率方面取得显著改进。

    Apr, 2024