我们提出了 ProtLLM，这是一个通用的跨模态大语言模型，用于蛋白质中心和蛋白质语言任务。ProtLLM 具有独特的动态蛋白质装配机制，能够处理自然语言文本与任意数量的蛋白质交织在一起的复杂输入。此外，我们提出了基于蛋白质作为单词的语言建模方法来训练 ProtLLM。通过开发专门的蛋白质词汇表，我们使模型能够从大量候选项中预测不仅自然语言，还包括蛋白质。另外，我们构建了一个大规模的交织蛋白质 - 文本数据集，名为 InterPT，用于预训练。该数据集全面包含蛋白质注释等结构化数据源和生物研究论文等非结构化数据源，从而赋予 ProtLLM 理解蛋白质的重要知识。我们在经典的监督蛋白质中心任务上评估了 ProtLLM，并探索了其新颖的蛋白质语言应用。实验证明，ProtLLM 不仅在蛋白质中心任务上表现出卓越性能，并且在蛋白质语言任务上具有零 - shot 和上下文学习能力。

Feb, 2024

通过将远程同源检测集成到蛋白质语言模型中，我们实现了将结构信息融入蛋白质语言模型，从而在蛋白质功能预测任务中提高了功能注释准确性。

Feb, 2024

LLMs 在自然语言处理任务中取得了巨大成功，但在生物医学领域的指令却只有少数发布。为了解决这个问题，我们介绍了 BioInstruct，一个包含超过 25000 个示例的定制任务特定指令数据集。通过使用 BioInstruct 数据集对 LLMs 进行微调，我们旨在优化 LLM 在生物医学自然语言处理（BioNLP）领域的性能。我们在 BioNLP 应用中对 LLaMA LLMs（1＆2，7B＆13B）进行了指令调优，并评估了它们的信息提取、问答和文本生成能力。我们还使用多任务学习原则评估了指令对模型性能的贡献。

Oct, 2023

ProteinEngine 是一个人为中心的平台，通过 API 调用来集成相关工具、软件和包，分配任务、解决专业任务和有效沟通结果，验证了其在蛋白工程任务中提高深度学习可靠性和精确性的优越性，并展示了在未来蛋白工程研究中整合分散工具的潜力。

Apr, 2024

ProtChatGPT 通过自然语言学习和理解蛋白质结构，使用户能够上传蛋白质、提问和进行互动对话以生成全面答案，为蛋白质研究提供了新的可能性。

Feb, 2024

通过整合前期训练模型和预训练的语言模型，本研究提出了 ProteinLMDataset 数据集和 ProteinLMBench 基准数据集，用于提升大型语言模型在蛋白质序列理解方面的能力，并通过实验证明其在蛋白质理解能力方面超越了 GPT-4。

Jun, 2024

利用 1.2B 的参数语言模型 ProGen，将蛋白质工程视为无监督的序列生成问题，以此利用缺乏昂贵结构注释的蛋白质的日益增长的集合，从而生成出更具有进化多样性的序列，为解决合成生物学、医学和材料科学等领域的根本问题提供了可能。

Mar, 2020

通过一种多模态的大型语言模型 InstructMol，将分子结构与自然语言有效地对齐，通过一种指令调整方法，利用有限的领域特定数据与分子和文本信息相结合的两阶段训练策略，展示了在药物发现相关的分子任务上的显著性能改进，超过了领先的大型语言模型，并显著缩小了与专业模型之间的差距，从而为实现一个多才多艺、可靠的药物发现助手奠定了坚实的基础。

Nov, 2023

本文系统地概述了蛋白质语言模型在蛋白质结构预测中的应用和方法，介绍了网络架构、预训练策略、常用蛋白质数据库等方面的最新进展和挑战，并展望了未来发展方向。

Nov, 2022

为了提高大型模型在生物分子领域的适应能力和认知敏锐度，我们引入了 Mol-Instructions，这是一个精心策划的、专门为生物分子领域设计的全面指令数据集，包括分子指令、蛋白质指令和生物分子文本指令。

Jun, 2023