通过使用核苷酸序列语言模型和基于 PubMed 文章的文本语言模型，我们提出了一种细调核苷酸序列语言模型和文本语言模型的方法，以及一种 LLM 基础上的数据增强技术和有效结合两个模型的集成方法。我们还提出了一种用于评估模型的基准，在药物抗性类别预测中，我们的方法表现出比核苷酸序列语言模型更好的性能。

Jan, 2024

我们提出了一种疾病特异性的蛋白质语言模型 ProPath，通过孪生网络捕捉罕见错义变异的伪对数似然比，从而解决了临床基因变异的分类问题，并在家族性心肌病和心律失常的临床变异集中取得了最好的性能表现。

Nov, 2023

通过比对 NLP 模型与 CNN 模型预测九种大肠癌生物标志物的结果，本研究表明 NLP 模型在数字病理领域的优越性，并证明相比大数据集，较小数据集下 NLP 模型得到的预测结果不比大数据集下的数字病理模型差。因此，NLP 模型已经可以成为数字病理领域的新基础模型。

Feb, 2023

通过咨询大型语言模型和医学专家，我们提出了一种新颖的 VLP 框架，将疾病描述分解为基本要素，利用对病理学可视表现的先前知识。通过整合 Transformer 模块，我们的方法将输入图像与疾病的多个要素进行对齐，生成以要素为中心的图像表示。通过整合每个要素的匹配，我们改善了图像与其相关疾病之间的兼容性。此外，我们还提出了一个面向要素的双头 Transformer，用于处理已知和未知疾病，以优化综合检测效果。在七个数据集上进行实验证明，我们的方法在已见类别和新颖类别的 AUC 得分上分别超过最近的方法 8.07% 和 11.23%。

Mar, 2024

本文研究了利用下一代测序技术进行基因组测序以及使用机器学习模型预测 LoFtool 分数和基因突变的相关特性，通过建立多个模型并评估其性能，得到了测试集 r 平方值为 0.97 的结果。

Jan, 2024

本文首次尝试通过模拟具有错误的生物序列来测试机器学习模型的鲁棒性，并介绍了几种扰动 SARS-CoV-2 基因组序列以模拟 Illumina、PacBio 等常见测序平台的错误数据的方法。实验表明，针对特定嵌入方法，某些基于模拟的方法对输入序列的某些对抗攻击更为鲁棒（且准确）。引入的基准测试框架可帮助研究者正确评估不同的机器学习模型，并帮助他们更好地理解 SARS-CoV-2 病毒的行为或避免可能的未来大流行病。

Jul, 2022

介绍了 PathologyBERT - 一个采用 347,173 个组织病理学报告进行预训练的蒙面语言模型，以支持病理学领域的文本挖掘，并与其他模型进行了性能比较，以提高肿瘤识别和自然语言理解等方面的性能。

May, 2022

最近在自我监督学习方面的突破已经实现了使用大规模无标签数据集来训练视觉基础模型，该模型可以推广到各种下游任务。本项目的目标是训练最大的学术基础模型，并通过在大型临床病理数据集上的预训练和下游性能评估来对最重要的自我监督学习算法进行基准测试。结果表明，与自然图像的预训练相比，病理数据的预训练对下游性能是有益的。此外，DINO 算法在所有测试任务中实现了更好的泛化性能。这些结果标志着计算病理学研究的一个阶段性变化，为基于大规模、并行预训练的更高性能模型开辟了新时代。

Oct, 2023

利用大型语言模型自动从相关科学文献中提取知识，研究识别蛋白质相互作用、通路和基因调控关系的任务效果，并评估不同模型的性能，讨论了该方法的未来机遇和挑战。

Jul, 2023

PhyloLM 是一种应用系统发育算法于大型语言模型的方法，它探索了它们的微调关系并预测其性能特征。通过利用系统发育距离度量，我们构建了树状图，满意地捕捉到不同 LLM 族群（包括 77 个开源和 22 个闭源模型）。此外，系统发育距离能够预测基准测试中的性能（我们测试了 MMLU 和 ARC），从而实现对 LLM 能力的时间和成本效益估计。该方法将遗传概念转化为机器学习，为推断 LLM 的发展、关系和能力提供了工具，即使在透明训练信息缺失的情况下。

Apr, 2024