自动医疗记录生成评估指标研究

ACLMay, 2023

An Investigation of Evaluation Metrics for Automated Medical Note Generation

Asma Ben Abacha, Wen-wai Yim, George Michalopoulos, Thomas Lin

TL;DR本文旨在研究自动生成临床笔记的评估方法和度量标准，提出了新的任务特定度量标准，并将其与现有文本摘要和生成的 SOTA 度量标准进行比较，研究分布和测量不同的自动摘要的正确性，并试图确定与人类判断相一致的最佳自动评估指标。

Abstract

Recent studies on automatic note generation have shown that doctors can save significant amounts of time when using automatic clinical note generation (Knoll et al., 2022). summarization models have been used for

automatic clinical note generation summarization models evaluation metrics medical conversations correlation with human judgments

发现论文，激发创造

重新审视生物医学领域中自动问题摘要评估

本研究针对生物医学领域的问答摘要任务，从四个不同角度进行了人工评估，用以评估现有的自动化摘要评估指标和系统的可行性，并公布了人工注释数据集，以促进生物医学领域的摘要评估方法的研究。

Mar, 2023

会诊记录生成中自动度量的人工评估和相关性

研究机器学习模型如何生成临床咨询笔记，并提出了一种人工评估方法，以理解它们对医生和患者临床安全性的影响，发现基于字符的 Levenshtein 距离指标的性能与 BertScore 等基于模型的指标相当，甚至更好。

Apr, 2022

医学多文献摘要自动评估指标与人类评估不符

为了改进文献综述的多文件摘要 (MDS)，引入包含人工评估的摘要质量特征和成对偏好的数据集，以支持开发更好的自动评估方法，分析了自动摘要评估度量与生成的摘要词汇特征、其他自动度量以及人工评估摘要质量方面的相关性。发现自动化度量无法完全捕捉到人工评估所评估的质量方面。

May, 2023

会诊清单：标准化医疗记录生成的人类评估

本研究提出使用 Consultation Checklists 作為評估醫療自動生成文本的指標，以提高客觀性和降低專家評估者間的差異。根據實驗結果，使用 Consultation Checklists 作為自動度量標準可以更好地與人工評估相關聯。

Nov, 2022

SummEval: 重评摘要评估

本文针对现有的缺陷和问题，提出了五个维度的解决方案，从而能够扩大文本摘要的评估标准，并且进一步研究出与人类判断更加相关的评价指标。

Jul, 2020

自然语言生成中的自动评估的玻璃天花板

本文对比了现有的自动评估指标和人工评估指标，发现自动评估指标与人工评估指标相比非常相似，并提出了未来评估工作的建议。

Aug, 2022

探索会议总结的自动评价指标

会议总结的关键任务是识别和提取关键字，但现有评估指标无法准确捕捉会议特定错误，本文通过对人工评估和自动评估的相关性研究，揭示自动指标无法捕捉可观测错误且掩盖了某些错误，同时发现不同模型架构对会议文件中的挑战有不同的响应，存在明显的挑战与错误之间的联系。

Apr, 2024

文本摘要中评价的重评估

本文重新评估了文本摘要的评估方法，使用最新的数据集和系统输出来评估评估指标的可靠性，并发现旧数据集上对评估指标的结论不一定适用于现代数据集和系统。

Oct, 2020

语言生成评估指标的奇异案例：一则警示故事

本文探讨了自然语言处理中，现有的语言生成系统的自动评估指标的局限性，提出了一些应该受到更多关注的失败案例，鼓励研究人员更加谨慎地考虑如何评价自动生成的文本。

Oct, 2020

文本摘要质量评估方法的比较研究

基于大型语言模型的方法用于评估文本摘要，与人工评估相比，其结果接近，并且比常用的自动度量方法更一致。因此，我们提出了一种利用大型语言模型自动评估和改进文本摘要的框架，具有广泛的关注度。

Jun, 2024