我们研究了基于 BERT 模型的多种训练策略，旨在从口语化文本中识别出医疗领域的症状，并通过一系列实验发现了与这些训练策略相关的模型行为模式，提出了有效识别口语化文本中实体的训练策略设计原则。

Jan, 2024

针对临床领域的西班牙语编码器语言模型，我们调查了 17 个主要针对临床任务的语料库的贡献，并列出了最相关的西班牙语言模型和西班牙临床语言模型。我们对这些模型进行了全面比较，通过在一组精选的语料库上进行基准测试，以找到性能最佳的模型；总共针对本研究进行了 3000 多个模型的微调。所有测试的语料库和最佳模型都以可访问的方式公开，以便独立团队可以复现结果或在未来创建新的西班牙临床语言模型时进行挑战。

Aug, 2023

该研究开发了两种新型深度学习模型，基于医疗文本数据集，旨在从临床会话中提取症状信息，针对模型性能进行全面评估，为医疗提供辅助应用方向。

Jun, 2019

通过实验研究表明相对较小的专业临床文本语言模型可在解析和理解电子健康记录方面显著优于大规模的综合性语言模型并且通过进行临床标记的预训练还可以实现更小、 更高效的专业化临床模型。

Feb, 2023

本文研究了大型语言模型在临床医学领域的应用，探讨了通过让模型能够访问外部医疗工具，以响应医生查询的方式来实现医疗指南和建议推荐的能力，并展示了在各种临床场景中显著提高事实准确性、有效性和安全性的结果。

Mar, 2023

通过研究多语言神经网络模型，使用深度学习，如基于 Transformer 的结构，我们在临床文本机器翻译方面进行了调查。此外，为了解决语言资源不平衡问题，我们还使用基于大规模多语言预训练语言模型（MMPLMs）的迁移学习方法进行了实验。在临床案例（CC）、临床术语（CT）和本体概念（OC）等三个子任务上的实验结果表明，我们的模型在 ClinSpEn-2022 共享任务中的英语 - 西班牙语临床领域数据中表现出了最佳水平。此外，基于专家评估的人工评估结果显示，小型预训练语言模型（PLM）在临床领域微调中以大幅度优于其他两个超大型语言模型，这是该领域前所未有的发现。最后，迁移学习方法在我们的实验设置中运行良好，使用 WMT21fb 模型适应了预训练阶段在 WMT21fb 中未见的西班牙语语言空间，这值得进一步探索临床知识转化方面，例如研究更多语言。这些研究结果可以为特定领域的机器翻译开发提供一些启示，尤其是在临床和医疗领域。在我们的工作基础上可以开展进一步的研究项目，以改进医疗文本分析和知识转化。

Dec, 2023

该论文总结了 CLaC 团队对 SMM4H2022 任务 10 的研究，该任务涉及识别西班牙推文中提到的疾病。在将每个标记进行分类之前，该团队使用多语言 RoBERTa Large、UMLS 名录和 DISTEMIST 名录等特征对每个标记进行编码，最终获得了严格的 F1 得分为 0.869，与竞争平均值 0.675，标准偏差 0.245 和中级 0.761。

Sep, 2022

展示了如何利用 17 世纪阿根廷国家档案馆的手写公证记录来优化西班牙语言模型，以进行分类、遮蔽语言建模等任务，证明这个资源在历史文本分析领域非常有价值。

Jun, 2024

本文介绍了针对西班牙语的生物医学和临床语言模型，通过实验不同的预训练选择和测试领域数据，生成可用于实际临床数据的模型，并通过对比 NER 任务，证实了进行特定领域的预训练对提高下游任务性能非常重要。

Sep, 2021

本研究介绍了一种专门为临床场景设计和优化的语言模型 ——ClinicalGPT，通过整合大量临床实际数据、领域特定知识和多轮次对话信息，使其更好地处理多种临床任务，并通过医学知识问答、医学考试、患者咨询和医疗记录的诊断分析等全面评估框架证明其在这些任务中显著优于其他模型，突出了我们的方法在将大型语言模型应用于卫生保健这一关键领域的有效性。

Jun, 2023