Mar, 2023

重新审视生物医学领域中自动问题摘要评估

PDF
TL;DR本研究针对生物医学领域的问答摘要任务，从四个不同角度进行了人工评估，用以评估现有的自动化摘要评估指标和系统的可行性，并公布了人工注释数据集，以促进生物医学领域的摘要评估方法的研究。
automatic evaluation metricsautomatic summarization methodsbiomedical question summarizationhuman evaluationssummarization evaluation metrics
发现论文，激发创造
  • 自动医疗记录生成评估指标研究

    本文旨在研究自动生成临床笔记的评估方法和度量标准，提出了新的任务特定度量标准，并将其与现有文本摘要和生成的 SOTA 度量标准进行比较，研究分布和测量不同的自动摘要的正确性，并试图确定与人类判断相一致的最佳自动评估指标。

    May, 2023

  • 医学多文献摘要自动评估指标与人类评估不符

    为了改进文献综述的多文件摘要 (MDS)，引入包含人工评估的摘要质量特征和成对偏好的数据集，以支持开发更好的自动评估方法，分析了自动摘要评估度量与生成的摘要词汇特征、其他自动度量以及人工评估摘要质量方面的相关性。发现自动化度量无法完全捕捉到人工评估所评估的质量方面。

    May, 2023

  • SummEval: 重评摘要评估

    本文针对现有的缺陷和问题，提出了五个维度的解决方案，从而能够扩大文本摘要的评估标准，并且进一步研究出与人类判断更加相关的评价指标。

    Jul, 2020

  • 文本摘要中评价的重评估

    本文重新评估了文本摘要的评估方法，使用最新的数据集和系统输出来评估评估指标的可靠性，并发现旧数据集上对评估指标的结论不一定适用于现代数据集和系统。

    Oct, 2020

  • 消费者健康问题答案的问题驱动摘要

    本研究提供了一个包含消费者健康问题答案的问答驱动摘要集 MEDIQA Answer Summarization dataset，可用于评估抽取式或抽象式算法生成的单个或多个文档，展示了基线和最新深度学习总结模型的结果，并推动医学问题回答中的机器学习研究。

    May, 2020

  • 评估测量经常在低分数范围内出现分歧：重新审视摘要评估测量指标

    本文讨论了人工评价与自动评价在文本摘要中的应用，并提出了评价指标间的差异和相关性。研究发现评价指标的互相协议性取决于摘要的得分范围、摘要易于摘要的程度、摘要抽象程度和覆盖范围等方面。

    Nov, 2020

  • 加强生物医学文本摘要与问答：领域特定预训练的效用

    生物医学摘要需要大规模数据集以训练文本生成。通过我们的研究，我们发现，虽然迁移学习是解决这一挑战的一个可行选择，但在一个 BioASQ 摘要任务中，域内预训练并不总是带来优势。我们确定了一种适合的模型架构，并使用它展示了一个通用领域预训练，并在 BioASQ 摘要任务的背景下进行任务特定的微调的好处，从而实现了一种新的三步微调方法，只需使用一千个域内示例即可。我们的结果表明，在某些特定领域的生物医学文本生成任务中，没有进行领域特定预训练的大规模语言模型可能具有明显优势。

    Jul, 2023

  • 生物医学科学评论的自动化普通语言摘要

    本文介绍了一个新的自动生成生物医学科学综述文献简化版的任务，并通过分析各种挑战，实验和评估，展示了使用现代神经架构自动生成的简化版摘要可以达到良好的质量和可读性。

    Dec, 2020

  • 朝向可解释和高效的基于参考文献的自动文摘评估

    本研究旨在开发两种不同的自动评估测量标准来评价文本摘要的质量，其中包括两种可以在单元级别和总结级别上提供高可解释性的两阶段测量标准和一种在效率和互操作性之间取得平衡的一阶段测量标准。同时，我们开发的工具已经通过 Python 软件包和 GitHub 免费提供给公众。

    Mar, 2023

  • 使用合成事实评估自动文本摘要

    提出了一种新的自动文本摘要评估系统，该系统可以基于事实一致性、综合性和压缩率来测量任何文本摘要模型的质量，该评估系统是第一个基于真实性、信息覆盖和压缩率来衡量摘要模型总体质量的系统。

    Apr, 2022