Aug, 2023

西班牙临床语言模型调查

PDF
TL;DR针对临床领域的西班牙语编码器语言模型，我们调查了 17 个主要针对临床任务的语料库的贡献，并列出了最相关的西班牙语言模型和西班牙临床语言模型。我们对这些模型进行了全面比较，通过在一组精选的语料库上进行基准测试，以找到性能最佳的模型；总共针对本研究进行了 3000 多个模型的微调。所有测试的语料库和最佳模型都以可访问的方式公开，以便独立团队可以复现结果或在未来创建新的西班牙临床语言模型时进行挑战。
encoder language modelsclinical domainspanish languagecorporaspanish clinical language models
发现论文，激发创造
  • 西班牙语语言模型评估中得到的经验教训

    本文提供了一份全面的研究报告，比较了用于西班牙语的语言模型，报告显示：先前被忽略的大型跨语言模型比单语模型表现更好，单语模型的结果并不是确定性的，需要进一步研究语料库大小、质量和预训练技术等因素。

    Dec, 2022

  • 面向西班牙语的生物医学和临床语言模型：中等资源情景下专业领域预训练的好处

    本文介绍了针对西班牙语的生物医学和临床语言模型，通过实验不同的预训练选择和测试领域数据，生成可用于实际临床数据的模型，并通过对比 NER 任务，证实了进行特定领域的预训练对提高下游任务性能非常重要。

    Sep, 2021

  • 从大规模临床记录中开发出通用的临床语言推断模型

    本文通过使用领域专有词汇和大规模临床训练语料库，使用双向编码器解码器（BERT）模型对医疗语言推理任务进行分析和评估，与公共基准任务上同等规模的公开可用的最佳生物医学语言模型相比，我们的模型表现相同，并且在使用 UCSF 数据的两个任务的系统内评估中优于这些模型，但需要进一步的研究来提高缩写、数字、时间和隐含因果推理的准确性。

    Oct, 2022

  • 对西班牙临床文本进行症状识别的精调大型语言模型

    通过使用大规模语言模型与数据结合，本研究参与了一个在西班牙医学文档中检测症状、体征和发现的任务，旨在准确识别临床报告中的症状，并在医疗保健、生物医学自然语言处理领域发挥重要作用，为临床决策支持系统的开发和医疗专业人员的诊断和治疗规划提供帮助。

    Jan, 2024

  • 我们是否还需要临床语言模型？

    通过实验研究表明相对较小的专业临床文本语言模型可在解析和理解电子健康记录方面显著优于大规模的综合性语言模型并且通过进行临床标记的预训练还可以实现更小、 更高效的专业化临床模型。

    Feb, 2023

  • 大型语言模型作为通用临床多任务解码器

    该论文介绍了一种利用预训练的大型语言模型作为通用临床多任务解码器的新范例，用于管理和适应多样化的临床任务及新任务的挑战，并验证了该框架在数百个任务上的鲁棒性，表现出与传统多任务学习和单任务学习方法相当的性能，对新任务具有出色的零样本表现和很强的数据效率，为临床应用中的各种新任务提供了统一的解决方案。

    Jun, 2024

  • 临床文本的神经机器翻译：多语前训练语言模型和迁移学习的实证研究

    通过研究多语言神经网络模型，使用深度学习，如基于 Transformer 的结构，我们在临床文本机器翻译方面进行了调查。此外，为了解决语言资源不平衡问题，我们还使用基于大规模多语言预训练语言模型（MMPLMs）的迁移学习方法进行了实验。在临床案例（CC）、临床术语（CT）和本体概念（OC）等三个子任务上的实验结果表明，我们的模型在 ClinSpEn-2022 共享任务中的英语 - 西班牙语临床领域数据中表现出了最佳水平。此外，基于专家评估的人工评估结果显示，小型预训练语言模型（PLM）在临床领域微调中以大幅度优于其他两个超大型语言模型，这是该领域前所未有的发现。最后，迁移学习方法在我们的实验设置中运行良好，使用 WMT21fb 模型适应了预训练阶段在 WMT21fb 中未见的西班牙语语言空间，这值得进一步探索临床知识转化方面，例如研究更多语言。这些研究结果可以为特定领域的机器翻译开发提供一些启示，尤其是在临床和医疗领域。在我们的工作基础上可以开展进一步的研究项目，以改进医疗文本分析和知识转化。

    Dec, 2023

  • EriBERTa：适用于临床自然语言处理的双语预训练语言模型

    本文介绍了 EriBERTa，一种在大量医疗和临床语料库上进行预训练的双语领域特定语言模型，并展示了其在医学文本理解和信息提取方面的优越能力，表现出有望实现知识从一种语言到另一种语言的转移。

    Jun, 2023

  • 基于医疗临床知识的语言模型：Almanac

    本文研究了大型语言模型在临床医学领域的应用，探讨了通过让模型能够访问外部医疗工具，以响应医生查询的方式来实现医疗指南和建议推荐的能力，并展示了在各种临床场景中显著提高事实准确性、有效性和安全性的结果。

    Mar, 2023

  • 三种语言下的少样本临床实体识别：掩码语言模型优于 LLM 提示

    对于临床实体识别任务，大型语言模型的少样本能力在低资源环境下取得高性能，但在临床领域，轻量级的监督标注模型结合掩蔽语言模型的表现更好，并且二者的 CO2 排放量相对较低。

    Feb, 2024