简单、高效和可扩展的结构感知适配器提升蛋白质语言模型

Apr, 2024

简单、高效和可扩展的结构感知适配器提升蛋白质语言模型

Simple, Efficient and Scalable Structure-aware Adapter Boosts Protein Language Models

Yang Tan, Mingchen Li, Bingxin Zhou, Bozitao Zhong, Lirong Zheng...

TL;DRSES-Adapter 通过将 PLM 嵌入与结构序列嵌入相结合，创建了结构感知的表示方法，进一步提高了下游任务性能。与普通的 PLMs 相比，SES-Adapter 最大程度上提高了下游任务性能达 11%，平均提高了 3%，训练速度也加快了最高 1034% 和平均 362%。即使在低质量的预测结构下，也观察到正向优化。

Abstract

Fine-tuning pre-trained protein language models (PLMs) has emerged as a prominent strategy for enhancing downstream prediction tasks, often outperforming traditional supervised learning approaches. As a widely applied powerful technique in natural language processing, employing

pre-trained protein language models parameter-efficient fine-tuning ses-adapter representation learning downstream tasks

发现论文，激发创造

预训练语言模型中用于 AMR 转文本生成的结构性适配器

本文提出了一种新的适配器方法 StructAdapt，能够快速而高效的嵌入图形结构到预训练语言模型（PLM）中，以解决在 PLMs 中编码结构化数据的挑战，并在仅使用 5.1％的 PLM 参数进行训练的情况下，在两个 AMR-to-text 数据集上优于现有技术。

Mar, 2021

赋予蛋白质语言模型结构知识

利用蛋白质结构数据提升蛋白质语言模型的新框架，通过整合结构信息和结构提取模块，优化了预训练语言模型的自注意机制，此框架在蛋白质功能预测上表现优越，为蛋白质建模提供更有效和高效的方法。

Jan, 2024

构造偏置的方面情感三元组抽取

本研究通过使用适配器将结构偏差集成到预训练语言模型中，用廉价计算的相对位置结构代替句法依赖关系来解决效率问题，并在 SemEval 数据集上进行基准评估，在轻量级参数需求和低延迟的同时获得了先进的性能，得出结构偏差即使在 PLMs 中仍然是必要的结论。

Sep, 2022

用于大型预训练语言模型参数高效微调的神经架构搜索

探讨了一种基于网络剪枝的高效的神经架构搜索方法用于学习预训练模型的参数优化方法 (Parameter-efficient tuning)，并在 GLUE 上的实验结果表明算法的有效性以及 PET 网络结构设计的实际表现。

May, 2023

SparseAdapter：一种提高 Adapter 参数效率的简单方法

插件调整适用于预训练语言模型中；本研究基于稀疏适配器通过带放大系数的参数情况，实现了大的模型容量；通过使用 SNIP 方法和适当的系数，稀疏适配器可以始终优于对应的常规适配器，并且大稀疏设置可以获得进一步的性能提升，甚至可以大幅超过完全微调的性能。

Oct, 2022

AdapterEM: 使用 Adapter-tuning 的预训练语言模型适应通用实体匹配

本研究提出一种新的参数高效的模型微调方法（Adapters），并使用这种方法在实体匹配中获得了与使用全模型微调相当或更优的结果。Adapters 方法不仅参数较少，而且可以捕捉 Token 级别的语言表示，并利用预训练 Adapters 实现迁移学习。

May, 2023

LLM-Adapters：用于大型语言模型参数高效微调的适配器家族

本文提出 LLMs-Adapters 框架，利用少量可调参数对小型 LLMs 进行 fine-tuning，实现对各种任务的支持；在六种数学推理数据集上的实验表明，将 adapter-based PEFT 应用于小型 LLMs（7B）可以取得与强大的 LLMs（175B）相似甚至更优秀的性能，旨在推进 adapter-based PEFT 的研究，为 LM 大规模的 fine-tuning 提供了有价值的工具和框架。

Apr, 2023

参数高效微调与适配器

该研究介绍了一种新的适应方法，使用 UniPELT 框架作为基础，并添加了 PromptTuning 层，从而在保持竞争力的同时显著减少了可训练参数的数量。该方法利用适配器实现了预训练模型向新任务的有效转移，无需重新训练基础模型参数。通过对三个不同数据集进行评估，研究结果表明，该基于适配器的方法在性能上与全模型微调、DAPT+TAPT 和 UniPELT 策略相当，而需要更少或相同数量的参数。这种参数效率不仅减轻了计算负担，还加快了适应过程。该研究强调了适配器在实现高性能以及显著节约资源消耗方面的潜力，为参数高效微调的未来研究方向提供了有益的提示。

May, 2024

NLP 的参数高效迁移学习

通过适配器模块实现神经网络参数共享，避免针对每个任务都需要重新训练整个神经网络的问题。将适配器模块应用于 BERT Transformer 可以达到接近完全微调的性能，同时每个任务只需增加 3.6％的可训练参数，表现十分出色。

Feb, 2019

适配器效率的全面分析

通过对多个 adapter、任务和语言在有监督和跨语言零 - shot 设置中进行广泛实验，作者发现对于自然语言理解任务，adapter 的参数效率并不会转化为与全微调一样的效率优势。同时，使用多任务训练通过全微调也能达到与 adapter 相同的可维护 / 可扩展性，而且提供相对更快的训练时间。因此，作者推荐在 NLU 任务中，从业者应该依赖于全微调或多任务训练而不是使用 adapter。

May, 2023