AAAIApr, 2022

多任务学习在颈椎放射学报告中高效提取病理信息

PDF
TL;DR本文验证了多任务学习是强大的分类器，可优于或等于多个基于 BERT 的模型和各种任务特定的适配器增强的 BERT 模型的性能，同时也开拓了我们的方法在各种身体部位的放射科医生报告中的应用范围。
pretrained transformernlpmulti-task modelbert-based modelsradiologist's report
发现论文，激发创造
  • 多任务学习对脊柱磁共振 (IMR) 报告知识提取的有效性解释

    本文研究了基于预训练的 Transformer 模型在领域特定语料库上微调后对 NLP 领域的影响，强调使用将任务分组的多任务学习，同时提出了使用单一多任务模型可以使多个任务的性能与使用特定任务模型相当并展现了其有效性的验证方法。

    May, 2022

  • 预训练数据分布对病理报告分类效果的研究

    测试 4 个病理分类任务，涉及 2907 份前列腺癌病理报告，评估 5 个变压器预训练模型以及他们的不同预训练语料库，发现混合域和领域特定的模型在微调过程中具有更快的特征消歧能力，同时，混合域模型更具抗过度拟合性。同时，使用通用自然语言和特定领域语料库在预训练中互补起到了病理报告分类的作用。

    May, 2023

  • PathologyBERT -- 面向病理领域的预训练与新 Transformer 语言模型比较研究

    介绍了 PathologyBERT - 一个采用 347,173 个组织病理学报告进行预训练的蒙面语言模型，以支持病理学领域的文本挖掘，并与其他模型进行了性能比较，以提高肿瘤识别和自然语言理解等方面的性能。

    May, 2022

  • 复杂任务的基石：领域转移下放射学报告的鲁棒性生成事件抽取

    本文介绍了一种从放射学报告中提取信息以降低标注数据需求的方法，并比较了基于 BERT 的任务特定分类层和基于 T5 的多通道文本生成模型在应用领域中的泛化能力。另外，该文提出了创新的模型推理技术，将复杂任务分解为更小的子任务块，通过多任务联合训练实现了模型单次扫描时的高效率。同时，该文所述方法利用目标领域的上下文信息，增强了模型的领域自适应能力，进而使得在临床应用中更加便捷。

    Jun, 2023

  • RadLing：面向高效放射学报告理解

    本文介绍了 RadLing 这一预训练模型，它使用了 500K 个放射学报告作为训练集，并针对放射学领域进行了微调，使其在细化调整任务中取得了与最先进结果相当的性能。本文的主要贡献在于知识感知遮蔽，这是一种通过遮蔽单词来注入知识的分类知识支持的预训练任务。此外，本文还介绍了一种知识库辅助的词汇扩展方法，以适应放射学领域的通用分词词汇。

    Jun, 2023

  • 基于 Transformer 的深度学习在生成结构化放射学报告中的应用

    本研究提出一种以 transformers 为基础的细粒度命名实体识别体系结构，用于临床信息提取，通过 fine-tuning 在 ROUGE-1、ROUGE-2、ROUGE-L 和 BLEU 度量指标上的表现优于之前使用的人工神经网络和卷积神经网络模型。

    Sep, 2022

  • 修改 Transformer 结构理解用于胸部放射诊断报告生成的迁移学习

    本论文提出了通过域特定预训练和提出改进的 transformer 架构从胸部放射状图像输入生成临床报告的方法，该方法具有标准化、减少错误、节省时间和便于医学访问的优点，同时还使用验证数据集的指标验证了其性能。

    May, 2022

  • 通过统一和定制指令调整，学习一种多任务变压器用于胸片解读

    基于多模态深度学习模型的临床应用中的多任务程序，我们提出了一个统一的变压器模型，通过整合定制化指令调整，将不同的视觉密集型任务统一在一个训练框架中，以增加临床解释性和在不同胸部 X 光基准测试中表现出的优越性能。

    Nov, 2023

  • CheXbert: 利用 BERT 结合自动标注器和专家注释实现准确放射学报告标注

    本文介绍了一种基于 BERT 的医学图像报告标注方法，利用了可用规则系统的规模和专家注释的质量，经过预训练和微调得到的 CheXbert 模型，在胸透数据集上表现优异，超过了以往最好的规则系统，成为该领域最先进技术。

    Apr, 2020

  • BERT 在生物医学文本挖掘中的多任务学习的实证研究

    研究了一种多任务学习模型，应用于生物医学和临床自然语言处理任务中，结果表明该模型相比于目前的 transformer 模型，在生物医学和临床领域的表现分别提高了 2.0% 和 1.3%，并进一步展示了任务间的相互关系。

    May, 2020