May, 2023

预训练数据分布对病理报告分类效果的研究

PDF
TL;DR测试 4 个病理分类任务，涉及 2907 份前列腺癌病理报告，评估 5 个变压器预训练模型以及他们的不同预训练语料库，发现混合域和领域特定的模型在微调过程中具有更快的特征消歧能力，同时，混合域模型更具抗过度拟合性。同时，使用通用自然语言和特定领域语料库在预训练中互补起到了病理报告分类的作用。
pre-trained transformer modelsclinical domainpathology classificationmixed-domain modelspubmedbert
发现论文，激发创造
  • PathologyBERT -- 面向病理领域的预训练与新 Transformer 语言模型比较研究

    介绍了 PathologyBERT - 一个采用 347,173 个组织病理学报告进行预训练的蒙面语言模型，以支持病理学领域的文本挖掘，并与其他模型进行了性能比较，以提高肿瘤识别和自然语言理解等方面的性能。

    May, 2022

  • 针对生物医学自然语言处理的领域特定语言模型预训练

    本文通过编制全面的生物医学 NLP 基准测试集，证明了在丰富的未标记文本的领域中，从头开始针对特定领域的预训练语言模型相对于持续预训练通用领域语言模型，能够显著提高生物医学 NLP 任务的效果，并发现一些常用做法不必要。我们为社区发布了我们的最新预训练和任务特定模型，并创建了一个包含我们的 BLURB 基准测试的排行榜。

    Jul, 2020

  • 用于定位医学 BERT 和增强生物医学 BERT 的预训练技术

    本研究探讨了如何通过对特定语料库的过采样和使用更大的语料库进行预训练，在医学和其他领域中建立高性能的 BERT 模型以提高自然语言处理中信息提取的性能。

    May, 2020

  • 针对临床和生物医学文本理解的德语语言模型的综合研究

    本文探讨了如何通过在特定领域数据上进行连续预训练，来适应领域特定需求，以提高医学自然语言处理任务的性能。实验证明，通过在临床数据或翻译文本上进行预训练已被证明是在医学领域适应性优化的可靠方法。

    Apr, 2024

  • 在土耳其临床领域利用 BERT 的力量：有限数据场景下的预训练方法

    本研究旨在探讨语言资源有限情况下，各种预先培训方法对土耳其临床语言模型在涉及放射学报告的多标签分类任务中表现的影响，并通过利用有限的临床任务数据首次评估了同时进行预训练的方法。我们发现，在使用大量通用域语料库的情况下，通用土耳其 BERT 模型和 TurkRadBERT-task v1 表现最佳。此外，本研究还强调了预先训练期间领域特定词汇对于增强模型性能的重要性。

    May, 2023

  • 多任务学习在颈椎放射学报告中高效提取病理信息

    本文验证了多任务学习是强大的分类器，可优于或等于多个基于 BERT 的模型和各种任务特定的适配器增强的 BERT 模型的性能，同时也开拓了我们的方法在各种身体部位的放射科医生报告中的应用范围。

    Apr, 2022

  • 面向西班牙语的生物医学和临床语言模型：中等资源情景下专业领域预训练的好处

    本文介绍了针对西班牙语的生物医学和临床语言模型，通过实验不同的预训练选择和测试领域数据，生成可用于实际临床数据的模型，并通过对比 NER 任务，证实了进行特定领域的预训练对提高下游任务性能非常重要。

    Sep, 2021

  • 研究预训练语言模型在跨领域数据集上，更接近通用人工智能的一步

    本文研究了预训练语言模型在领域任务泛化能力方面的能力，发现预训练模型在计算机视觉、蛋白质折叠预测等任务中表现出色，优于从头开始训练模型，并指出预训练嵌入在输入层非常重要。

    Jun, 2023

  • 预训练语言模型的廉价领域自适应：生物医学实体识别和 Covid-19 问答的案例研究

    本文介绍了基于目标域文本的 Word2Vec 的训练和对齐策略，用于适应已有的预训练语言模型，并在生物医学实体识别任务和 Covid-19 问答任务上取得了 60% 的 BioBERT-BERT F1 差距的覆盖率，且成本仅相当于 BioBERT 的 5% 的 CO2 排放和 2% 的云计算成本。

    Apr, 2020

  • 是否进行预训练？组织病理学语义分割领域专用预训练的案例研究

    使用不同领域预训练模型对组织学影像进行初始化可显著提高疾病分类和细胞分割的效果，尤其对于腺体分割任务有显著的改善，而细胞分割任务则无明显改善。

    Jul, 2023