本研究基于多中心临床时间序列和医学影像数据，评估了 8 种领域泛化方法在现实世界医学成像数据上的性能，并对真实性产生的领域偏差和采样偏差而进行模拟压力测试，发现当前领域泛化方法在现实世界医学成像数据上的表现并不总是能够显著提升。然而，在临床时间序列数据的某些真实性突出情景下，这些领域泛化方法确实会呈现出一定的性能提升，建议在临床环境中采用最佳实践方法来进行领域泛化。

Mar, 2021

本文介绍了一种从放射学报告中提取信息以降低标注数据需求的方法，并比较了基于 BERT 的任务特定分类层和基于 T5 的多通道文本生成模型在应用领域中的泛化能力。另外，该文提出了创新的模型推理技术，将复杂任务分解为更小的子任务块，通过多任务联合训练实现了模型单次扫描时的高效率。同时，该文所述方法利用目标领域的上下文信息，增强了模型的领域自适应能力，进而使得在临床应用中更加便捷。

Jun, 2023

测试 4 个病理分类任务，涉及 2907 份前列腺癌病理报告，评估 5 个变压器预训练模型以及他们的不同预训练语料库，发现混合域和领域特定的模型在微调过程中具有更快的特征消歧能力，同时，混合域模型更具抗过度拟合性。同时，使用通用自然语言和特定领域语料库在预训练中互补起到了病理报告分类的作用。

May, 2023

生物医学摘要需要大规模数据集以训练文本生成。通过我们的研究，我们发现，虽然迁移学习是解决这一挑战的一个可行选择，但在一个 BioASQ 摘要任务中，域内预训练并不总是带来优势。我们确定了一种适合的模型架构，并使用它展示了一个通用领域预训练，并在 BioASQ 摘要任务的背景下进行任务特定的微调的好处，从而实现了一种新的三步微调方法，只需使用一千个域内示例即可。我们的结果表明，在某些特定领域的生物医学文本生成任务中，没有进行领域特定预训练的大规模语言模型可能具有明显优势。

Jul, 2023

本文通过使用领域专有词汇和大规模临床训练语料库，使用双向编码器解码器（BERT）模型对医疗语言推理任务进行分析和评估，与公共基准任务上同等规模的公开可用的最佳生物医学语言模型相比，我们的模型表现相同，并且在使用 UCSF 数据的两个任务的系统内评估中优于这些模型，但需要进一步的研究来提高缩写、数字、时间和隐含因果推理的准确性。

Oct, 2022

本文介绍了一个商业知识发现平台的术语提取子系统，采用全面且无监督注释器来跨越高度技术领域。该注释器通过将子词分词的新颖形态信号与使用通用领域预训练句子编码器计算的术语和主题以及内部术语相似度度量相结合，提取术语。通过在大型未标记语料库上运行 UA 生成的训练数据进行变压器模型的微调或预训练，使得此设置能够提高预测性能，同时减少 CPU 和 GPU 的推理延迟。该注释器为所有未标注语料库提供了非常有竞争力的基线。

Oct, 2022

通过利用大规模的真实临床数据集，本研究首先对常见写作习惯和临床相关性导致的冗余文本进行了细粒度的描述，接着证明了去重临床文本可以帮助临床语言模型以更高效的方式编码更少的冗余信息，并且通过基于提示的学习不会对分类任务造成伤害。

Sep, 2023

该研究开发了两种新型深度学习模型，基于医疗文本数据集，旨在从临床会话中提取症状信息，针对模型性能进行全面评估，为医疗提供辅助应用方向。

Jun, 2019

本文提出了一种整合了两个互补组件的方法，其中一个使用大型语言模型为数据增强，另一个则使用新颖的预训练目标作为诊断和问题清单的生成模型，其表现在 BioNLP 2023 共享任务 1A 上名列第二。

Jun, 2023

我们研究了基于 BERT 模型的多种训练策略，旨在从口语化文本中识别出医疗领域的症状，并通过一系列实验发现了与这些训练策略相关的模型行为模式，提出了有效识别口语化文本中实体的训练策略设计原则。

Jan, 2024