Mar, 2024

基于法语的临床命名实体识别性能评估

PDF
TL;DR这篇论文是关于对医学法语遮蔽语言模型在临床命名实体识别任务上的评估研究，发现 CamemBERT-bio 在性能上表现优于 DrBERT，而 FlauBERT 则具有竞争力，FrALBERT 的碳排放量最低。这是首个基准评估了法语医学遮蔽语言模型在临床实体识别方面的性能，并比较了其在嵌套实体识别上的性能和环境影响。
transformer-based language modelsmasked language modelsbiomedical frenchclinical named entity recognitionbenchmark evaluation
发现论文，激发创造
  • CamemBERT-bio: 一款对健康更为有益的美味法语语言模型

    通过对一部分医学文献的预处理和机器学习，研究团队提出了一种针对法语生物医学领域的语言模型 CamemBERT-Bio，并且该模型在实体识别任务上的 f1 分数相较之前有了 2.54 的提升。

    Jun, 2023

  • DrBenchmark：法国生物医学领域的大型语言理解评估基准

    首次公开提供的法语生物医学语言理解基准 DrBenchmark，评估 8 种最新的预训练掩码语言模型 (MLMs) 的通用和生物医学特定数据上的性能，以及英语特定的 MLMs 来评估它们的跨语言能力。

    Feb, 2024

  • DrBERT：一种健壮的法语医学临床领域预训练模型

    对 PLMs 在医学领域的表现进行了比较，提出了一种在法语领域预先训练 DrBERT 模型的方法，并且发布了该领域专用的 PLMs。

    Apr, 2023

  • 三种语言下的少样本临床实体识别：掩码语言模型优于 LLM 提示

    对于临床实体识别任务，大型语言模型的少样本能力在低资源环境下取得高性能，但在临床领域，轻量级的监督标注模型结合掩蔽语言模型的表现更好，并且二者的 CO2 排放量相对较低。

    Feb, 2024

  • 生物医学和临床预训练模型对法语长文档的适应性：一项比较研究

    比较了三种适用于长序列模型的适应策略，研究结果表明，用法文生物医学文本进一步预训练英文临床模型，优于将法文生物医学 BERT 转换为 Longformer 架构或从头预训练法文生物医学 Longformer，而对于命名实体识别任务，BERT 模型仍然是最高效的。

    Feb, 2024

  • 使用 CamemBERTa 进行高效的法语语言建模

    介绍了一种基于 DeBERTaV3 架构和训练目标的法语 DeBERTa 模型 CamemBERTa，通过在各种法语下游任务和数据集上的性能评估，证明了该模型在训练令牌相同的情况下优于大多数基于 BERT 的模型，并且在性能上与 CamemBERT 类似或更好，而只用了后者总输入令牌数量的 30％。同时，也公开了该模型的权重和代码实现，是 DeBERTaV3 模型的第一个公开实现及应用。

    Jun, 2023

  • 基于特定领域 ALBERT 的生物医学自然语言处理任务基准测试

    通过适应生物医学领域 (PubMed、PubMed Central 和 MIMIC-III 数据集) 并微调了 20 个基准数据集上的 6 个任务，我们提出了 BioALBERT，并展示了它在大部分任务中优于现有技术。

    Jul, 2021

  • CamemBERT: 一种美味的法语语言模型

    本研究通过利用网络爬虫数据构建法语单语语料库，研究了训练法语单语 Transformer-based 语言模型的可行性，并在词性标注、句法分析、命名实体识别和自然语言推理等任务上取得了准确的结果。

    Nov, 2019

  • UMLS-KGI-BERT: 基于数据中心的转换器中的生物医学实体识别知识集成

    通过从 UMLS 中提取文本序列，该工作为丰富生物医学变压器编码器的语言表示做出了数据为中心的范例贡献，从而将基于图的学习目标与掩码语言预训练相结合，初步实验结果表明该框架提高了多个生物医学和临床命名实体识别任务的下游性能。

    Jul, 2023

  • 基于 Transformer 的模型在法语口语理解任务上的基准测试

    本研究采用新的基准测试方法，重点评估了 13 种 Transformer 模型在两个已有的法语口语理解任务中的质量和其生态影响，并证明了压缩模型可以取得较大模型相似的结果，同时具有较小的生态环境影响。

    Jul, 2022