本文提出了RITA:一套自回归的生成模型，用于蛋白质序列，具有高达12亿个参数，训练了超过2.8亿个属于UniRef-100数据库的蛋白质序列。我们首次系统性研究了自回归变压器在蛋白质领域中的能力随着模型大小的发展，我们评估了RITA模型在接下来的氨基酸预测，零样本适应性以及酶功能预测中的表现，并展示了规模扩大的好处。我们公开发布了RITA模型，以造福研究社区。

May, 2022

介绍了使用Tranception模型和ProteinGym数据集实现蛋白质序列的健康预测的方法。

May, 2022

为了提高大型模型在生物分子领域的适应能力和认知敏锐度，我们引入了Mol-Instructions，这是一个精心策划的、专门为生物分子领域设计的全面指令数据集，包括分子指令、蛋白质指令和生物分子文本指令。

Jun, 2023

利用大型语言模型自动从相关科学文献中提取知识，研究识别蛋白质相互作用、通路和基因调控关系的任务效果，并评估不同模型的性能，讨论了该方法的未来机遇和挑战。

Jul, 2023

通过使用Transformer和PeptideBERT等Language Models，本研究引入一种蛋白质语言模型，用于预测多肽的溶血性、溶解度和非粘附性等关键性质，并在此基础上获得了近期最佳结果。

Aug, 2023

本文介绍了基于编码器-解码器Transformer架构的集成核苷酸字节级编码解码（ENBED）基础模型，以字节级精度分析DNA序列，并使用亚二次关注机制实现了高效的序列转换，通过预训练以及在多个下游任务中验证了其在增强子、启动子、剪接位点等基因组序列注释和突变生成等方面相较于现有方法的显著改进。

Nov, 2023

利用蛋白质结构数据提升蛋白质语言模型的新框架，通过整合结构信息和结构提取模块，优化了预训练语言模型的自注意机制，此框架在蛋白质功能预测上表现优越，为蛋白质建模提供更有效和高效的方法。

Jan, 2024

通过综合分析最近在生物分子和自然语言的交叉建模研究领域取得的最新进展，我们阐述了生物分子技术表示的技术、多模态语言和分子数据源集成的关键目标和原理、实际应用、可用资源和数据集的总结、以及未来研究方向等。

Mar, 2024

该研究引入了一个系统框架，用于比较大型语言模型在各种化学信息学任务中的微调效果。通过采用统一的训练方法，我们评估了三种知名模型（RoBERTa、BART和LLaMA）在使用SMILES作为通用分子表示格式预测分子性质时的能力。我们的比较分析涉及18种不同参数大小和数据集规模的这些模型的预训练，接着对它们在DeepChem的六个基准任务上进行微调。该研究不仅界定了每种模型类型的优势和局限性，还为选择最适合特定化学信息学应用的大型语言模型提供了可靠的方法论。

May, 2024

通过将基于Transformer的语言模型与图神经网络相结合，本研究引入了一种创新的方法 Multi-Peptide 来预测肽的特性，结合了针对肽特性预测的Transformer模型 PeptideBERT 和 GNN 编码器，从而捕捉到序列和结构特征，并利用对比式语言-图像预训练（CLIP）将多模态嵌入对齐到一个共享潜空间，从而提高了模型的预测准确性。在溶血和非污染数据集的评估中，Multi-Peptide 显示出鲁棒性，达到了86.185% 的溶血预测准确率，突显了多模态学习在生物信息学中的潜力，为肽基研究和应用中的准确可靠预测铺平了道路。

Jul, 2024