ACLJun, 2019

阅读理解中的自动学习者摘要评估

PDF
TL;DR通过自动化评估学习者摘要提供了一种有用的工具来评估学习者的阅读理解水平。我们提出了一个摘要任务，用于评估非母语阅读理解，并提出了三种新的方法来自动评估学习者的摘要。我们在两个数据集上对我们的模型进行了评估，并表明我们的模型在这项任务上优于传统的依赖于精确单词匹配的方法。我们最好的模型产生了接近专业考官的质量评估。
发现论文，激发创造
  • 自动文本摘要方法：综述

    本文详细介绍了文本摘要的各种方法，包括提取和抽象两种途径，评估指标、基准数据集与未来的研究展望，并讨论了生成摘要的不同评估方法与相关研究中可能出现的挑战和研究机遇。

    Mar, 2022

  • 使用合成事实评估自动文本摘要

    提出了一种新的自动文本摘要评估系统，该系统可以基于事实一致性、综合性和压缩率来测量任何文本摘要模型的质量，该评估系统是第一个基于真实性、信息覆盖和压缩率来衡量摘要模型总体质量的系统。

    Apr, 2022

  • 基于神经网络的摘要生成方法调研

    本文综述了近期在基于神经网络的自动文本摘要中的十种最先进的神经网络模型，其中包括五种生成式模型和五种抽取式模型，并讨论了应用于摘要任务的相关技术和未来研究的有前途的方向。

    Mar, 2018

  • 播客摘要评估：一种评估摘要评估方法的资源

    本文介绍了一种新的数据集，即播客摘要评估语料库，该数据集可用于评估长输入摘要，并提供数据选择功能以筛选参考摘要 - 文档对用作训练。

    Aug, 2022

  • 自动新闻摘要

    本研究论文针对新闻文本自动摘要的抽取和生成方法进行了广泛的比较评估，重点分析了 ROUGE 分数。研究使用 CNN-Daily Mail 数据集，包括新闻文章和人工生成的参考摘要。通过 ROUGE 分数评估生成摘要的效果和质量，再将表现最佳的模型整合到 Web 应用程序中，评估其在真实世界中的能力和用户体验。

    Oct, 2023

  • 一种基于语义问答的文本摘要评估方法

    本文提出了一种基于问题解答的方法，通过将文本视为小型知识库进行大量提问，以精确地比较两个文本之间的内容差异，从而解决 NLP 系统评估中的一个重要问题。实验结果表明，该方法在分析大型文本语料库方面具有较高的准确性和可靠性。

    Apr, 2017

  • 观点摘要的小样本学习

    本文介绍了一种学习无监督条款，在生成模型中引入少量样本来捕获其必要属性的方法，用于生成商品评论等主观性文本的摘要，该方法比以往的提取和抽象方法更有效。

    Apr, 2020

  • 文本摘要中评价的重评估

    本文重新评估了文本摘要的评估方法，使用最新的数据集和系统输出来评估评估指标的可靠性，并发现旧数据集上对评估指标的结论不一定适用于现代数据集和系统。

    Oct, 2020

  • 自动代码摘要：一项系统性文献综述

    本文对程序理解领域中自动代码摘要的现状进行了系统文献综述，着重调研数据提取技术、描述生成方法、评估方法和相关工具，从而深入阐述了目前的自动代码摘要方法，为未来程序理解与注释生成的研究提供了方向。

    Sep, 2019

  • 自动对齐方法用于摘要语料库构建

    本文提出了使用会议摘要生成自动转录报告的方法。使用自动预对齐方法使数据批量化对齐，最大化语料库的规模，以及使用人工标注者进行更准确地校对。作者还评估了自动对齐和自动摘要的表现，并证明自动对齐可大幅度提高所有 ROUGE 得分。

    Jul, 2020