ACLMay, 2024

WisPerMed 在 BioLaySumm 中的应用：将自回归大语言模型调整为科学文章的简化总结

PDF
TL;DR本研究介绍了 WisPerMed 团队在生物医学领域的自动文献概述共享任务中的工作，通过精细调整和使用 BioMistral 和 Llama3 模型，从复杂的科学文本中生成面向非专业人士的概述，最终在可读性、准确性和相关性方面实现了显著的性能提升。
发现论文，激发创造
  • 生物医学小白指南：规划大型语言模型

    使用大型语言模型改进自动化文档摘要，尤其在简化复杂技术文件、生成背景知识、评估文本中起到了重要作用，并在医学文章的简化和评估方面做出了创新性的工作。

    Feb, 2024

  • 生物医学研究文章摘要任务 2023 年度 BioLaySumm 概述

    本论文介绍了在 ACL 2023 的 BioNLP 研讨会上举办的生物医学研究文章 Lay Summarisation 的共享任务的结果，并报告了总体结果和吸引了 20 支参赛队伍的设置和见解。

    Sep, 2023

  • 生物医学科学评论的自动化普通语言摘要

    本文介绍了一个新的自动生成生物医学科学综述文献简化版的任务，并通过分析各种挑战，实验和评估，展示了使用现代神经架构自动生成的简化版摘要可以达到良好的质量和可读性。

    Dec, 2020

  • 临床文本摘要：大型语言模型的应用能超越人类专家

    在本研究中，我们采用八个大型语言模型，在六个数据集和四个不同的摘要任务（放射学报告、患者问题、进展记录和医生 - 患者对话）上应用领域适应方法，系统评估了它们的效果，而且展示出最佳适应的大型语言模型的摘要相较于人工摘要在完整性和正确性方面更可取。此外，我们还将传统的自然语言处理指标与医生评分进行了相关性分析，以提高对这些指标与医生喜好的理解。最终，我们的研究证明了大型语言模型在多个临床文本摘要任务中超越人工专家，这意味着将大型语言模型整合到临床工作流程中可以减轻文档负担，使临床医生能够更多关注个性化患者护理和其他医学中不可替代的人工环节。

    Sep, 2023

  • 大型语言模型摘要能适应多样化的科学沟通目标吗？

    研究大型语言模型在科学摘要任务上的可控性问题，通过控制文体特征发现没有经过微调的大型语言模型在 MuP 评审生成任务方面优于人类，同时表明我们可以通过基于关键词的无分类器引导来提高语言模型的可控性，从而在 arXiv 和 PubMed 上实现与强基线的词汇重叠相当的结果。然而，研究结果还表明大型语言模型无法一致生成超过 8 个句子的长摘要，且在生成高度抽象的通俗摘要方面存在有限能力，因此在领域特定应用中，仍然存在着需要昂贵微调才能解决的问题。

    Jan, 2024

  • LitSumm: 用于非编码 RNA 文献摘要的大型语言模型

    通过使用大型语言模型（LLMs）和一系列提示和检查步骤，我们首次采取行动缓解 RNA 科学中缺乏编辑时间的问题，生成非编码 RNA 文献的摘要，并证明可以自动生成高质量、事实准确的摘要以及准确的参考文献。

    Nov, 2023

  • TriSum: 从大型语言模型中学习结构化理由的文摘能力

    通过 TriSum 框架，我们将大型语言模型的文本摘要能力提炼为一个紧凑且本地化的模型，以应对资源有限和注重隐私的环境。通过对各项任务进行演化式学习，我们的方法在各个评估基准上提升了本地化模型的性能，并提供了摘要的合理解释。

    Mar, 2024

  • 基于预训练语言模型的医学文本摘要综述

    本文系统总结了使用预训练语言模型（ Pre-trained language models）的生物医学文本摘要的最新进展、挑战问题和未来方向，帮助我们更好地理解该领域的最新进展和使用预训练语言模型在生物信息学中的应用。

    Apr, 2023

  • 新闻摘要的大型语言模型基准测试

    通过对十种不同的预训练方法、提示和模型规模的大型语言模型进行人类评估，我们发现指导调整而不是模型规模是 LLM 的零样本摘要能力的关键，并通过从自由职业作家收集的高质量摘要进行人类评估，得出 LLM 摘要被认为与人类撰写的摘要相媲美的结论。

    Jan, 2023

  • Summaformers @ LaySumm 20, LongSumm 20

    本文探讨了利用 Transformer-based 系统概括多领域科学研究论文的问题，并设计了两种不同类型的概述手段，即 LaySumm 和 LongSumm，使用 ROUGE 指标有效评估了本文系统的优越性。

    Jan, 2021