Feb, 2022

预训练蛋白质模型注入构象的提示指导

PDF
TL;DR通过学习可解释、可插入、可扩展的蛋白质提示，将任务相关知识注入预训练蛋白质模型（PTPMs），从而使得 PTPMs 能够生成任务感知的表示，进而在多任务设置下，学习同时序列与交互构象提示的构象感知预训练蛋白质模型，实验证明这种方法显著提高了 PTPMs 在需要构象知识的任务上的性能。
pre-trained protein modelsprotein promptssequence promptinteraction-conformation promptconformation-aware pre-trained protein model
发现论文，激发创造
  • STPrompt: 语义引导和任务驱动的提示，用于有效的少样本分类

    提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。

    Oct, 2022

  • 基于原型的提示学习：基于预训练的视觉语言模型的原型提示学习

    本文介绍了一个基于原型的新型学习方法 —— 原型提示学习法（PTP），用于在预先训练的视觉语言模型中进行少量样本的图像识别任务。通过定义图像原型和提示原型来实现相似图像的相似提示，从而有效地利用潜在知识并适应各种 PVLM。

    Oct, 2022

  • 帮助语言模型学习更多知识：多维任务提示用于少样本调整

    通过提出多维任务提示学习方法（MTPrompt），将更多的任务相关信息嵌入提示中，以激发大型语言模型中嵌入的知识，从而实现在少样本和五个不同数据集上取得最佳结果，并在不同实验设置和削减实验中展示了该方法的有效性和稳定性。

    Dec, 2023

  • 通过微环境感知的分层提示学习，预测蛋白质相互作用的突变效应

    本研究使用预训练模型来预测蛋白质结合中的氨基酸突变效应，通过构建分层提示编码表和建立掩码微环境模型，成功捕捉到多个结构尺度上的高阶依赖关系以及突变对周围微环境的局部构象变化，该分层提示学习框架在突变效应预测和优化人类抗体对抗 SARS-CoV-2 中表现出卓越的性能和训练效率。

    May, 2024

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • 轻量级对比蛋白质结构序列变换

    本文提出了一种用于蛋白质结构表示预训练的新型无监督方法，该方法利用现有的预训练语言模型通过无监督的对比对齐指导结构模型的学习，并提出了一种自监督的结构约束来进一步学习结构的内部信息。实验结果表明，该方法的性能在多个任务和特定数据集上均表现出卓越的优越性。

    Mar, 2023

  • 面向实例感知的提示学习用于语言理解和生成

    本文提出了一种基于实例的提示学习方法，用于不同实例的学习。该方法在双向和单向的 PLMs 上得到了相当大的提升，并在 SuperGLUE few-shot learning 基准测试上实现了最好的结果。

    Jan, 2022

  • 预训练语言模型的实例级提示调整

    本文提出了 Instance-wise Prompt Tuning （IPT）方法，该方法是基于 Prompt Learning 的新型范式，利用输入数据实例注入知识来生成更富有信息量和具体的上下文信息，并在多个任务和资源设置中显着优于任务为基础的 Prompt Learning 方法，达到仅有 0.5％-1.5％调整参数时的基准微调性能。

    Jun, 2022

  • 赋予蛋白质语言模型结构知识

    利用蛋白质结构数据提升蛋白质语言模型的新框架，通过整合结构信息和结构提取模块，优化了预训练语言模型的自注意机制，此框架在蛋白质功能预测上表现优越，为蛋白质建模提供更有效和高效的方法。

    Jan, 2024

  • PPT: 预训练提示调整用于少样本学习

    本文提出了一种名为 PPT 的框架，通过在预训练阶段添加软提示来获得更好的初始化，将预训练提示调整用于下游任务可达到或甚至优于整体微调的效果，这对于实际使用大规模预训练语言模型是一种有效和高效的方法。

    Sep, 2021