生物医学和临床预训练模型对法语长文档的适应性：一项比较研究

Feb, 2024

生物医学和临床预训练模型对法语长文档的适应性：一项比较研究

Adaptation of Biomedical and Clinical Pretrained Models to French Long Documents: A Comparative Study

Adrien Bazoge, Emmanuel Morin, Beatrice Daille, Pierre-Antoine Gourraud

TL;DR比较了三种适用于长序列模型的适应策略，研究结果表明，用法文生物医学文本进一步预训练英文临床模型，优于将法文生物医学 BERT 转换为 Longformer 架构或从头预训练法文生物医学 Longformer，而对于命名实体识别任务，BERT 模型仍然是最高效的。

Abstract

Recently, pretrained language models based on BERT have been introduced for the french biomedical domain. Although these models have achieved state-of-the-art results on biomedical and clinical NLP tasks, they ar

pretrained language models french biomedical domain longformer architecture downstream tasks named entity recognition

发现论文，激发创造

基于预训练语言模型的长篇临床文本比较研究

本研究提出了两种经过预训练的基于长序列 Transformer 模型的临床语言模型，它们能够有效地处理临床文本中的长期依赖关系，相较于传统短序列的模型，在十项基准测试任务中均取得了最先进的成果；该研究还提供了源代码和预训练的模型。

Jan, 2023

DrBERT：一种健壮的法语医学临床领域预训练模型

对 PLMs 在医学领域的表现进行了比较，提出了一种在法语领域预先训练 DrBERT 模型的方法，并且发布了该领域专用的 PLMs。

Apr, 2023

临床长序列变压器：Clinical-Longformer 和 Clinical-BigBird

该研究介绍了一种基于 Transformer 的语言模型，通过使用稀疏的注意机制来扩展最大输入序列长度，从而取得了在多项基准任务中超越 ClinicalBERT 和其他短序列变压器的显著成果。

Jan, 2022

针对临床和生物医学文本理解的德语语言模型的综合研究

本文探讨了如何通过在特定领域数据上进行连续预训练，来适应领域特定需求，以提高医学自然语言处理任务的性能。实验证明，通过在临床数据或翻译文本上进行预训练已被证明是在医学领域适应性优化的可靠方法。

Apr, 2024

基于法语的临床命名实体识别性能评估

这篇论文是关于对医学法语遮蔽语言模型在临床命名实体识别任务上的评估研究，发现 CamemBERT-bio 在性能上表现优于 DrBERT，而 FlauBERT 则具有竞争力，FrALBERT 的碳排放量最低。这是首个基准评估了法语医学遮蔽语言模型在临床实体识别方面的性能，并比较了其在嵌套实体识别上的性能和环境影响。

Mar, 2024

CamemBERT-bio: 一款对健康更为有益的美味法语语言模型

通过对一部分医学文献的预处理和机器学习，研究团队提出了一种针对法语生物医学领域的语言模型 CamemBERT-Bio，并且该模型在实体识别任务上的 f1 分数相较之前有了 2.54 的提升。

Jun, 2023

探索长程临床笔记语言建模的最佳间隔

本研究探讨了利用 Longformer 进行长文本的适应性训练从而更好地处理医学领域中的电子病历，实现了 10% 的 F1 值提升。研究表明提高模型对较长临床笔记的处理能力有助于提升其性能，但为达到不同的目标变量的最佳性能，需要不同的截断间隔。

Oct, 2022

基于 Transformer 的生物医学语言模型的领域内适应性本地化

本文旨在探究两种途径从英语语料库中翻译生成的语言格式数据和本地化的语料库数据来建立生物医学语言模型，以应用在医疗领域中以提高患者护理和管理（本研究以意大利为例）。通过实验发现，在相对较小的语料库情况下，高质量数据的合并可以提高模型性能，但数据量的限制更为严格；本文的研究成果有望为意大利医院和学术界提供发展机遇，并为如何构建通用于其他不太具备资源的语言和不同领域设置的生物医学语言模型提供有价值的见解。

Dec, 2022

DrBenchmark：法国生物医学领域的大型语言理解评估基准

首次公开提供的法语生物医学语言理解基准 DrBenchmark，评估 8 种最新的预训练掩码语言模型 (MLMs) 的通用和生物医学特定数据上的性能，以及英语特定的 MLMs 来评估它们的跨语言能力。

Feb, 2024

从大规模临床记录中开发出通用的临床语言推断模型

本文通过使用领域专有词汇和大规模临床训练语料库，使用双向编码器解码器（BERT）模型对医疗语言推理任务进行分析和评估，与公共基准任务上同等规模的公开可用的最佳生物医学语言模型相比，我们的模型表现相同，并且在使用 UCSF 数据的两个任务的系统内评估中优于这些模型，但需要进一步的研究来提高缩写、数字、时间和隐含因果推理的准确性。

Oct, 2022