parameter-efficient tuning | BriefGPT

关键词parameter-efficient tuning

搜索结果 - 35

ACL用于大型预训练语言模型参数高效微调的神经架构搜索
探讨了一种基于网络剪枝的高效的神经架构搜索方法用于学习预训练模型的参数优化方法 (Parameter-efficient tuning)，并在 GLUE 上的实验结果表明算法的有效性以及 PET 网络结构设计的实际表现。
PDFa year ago
ACL前缀传播：用于长序列的参数有效调整
本论文探讨了为长序列语言任务实现参数有效学习的方法，提出了一种基于前缀传播的简单且有效的方法，在校准和核注意力方面表现出优越性，并且使用的参数比前缀调整少 50%。
PDFa year ago
ICLRConsolidator: 可合并的适配器，带有分组连接以进行视觉适应
本研究提出了一种名为 consolidator 的方法，用于有效地转移任务特定知识，同时在存储预算有限的条件下保持推理有效性和模型容量，进一步增强了模型对下游任务的能力。此方法在下游视觉任务中取得了比完全微调更好的准确性，并且比最先进的参数
PDFa year ago
基于完整参数和 LoRA 的微调在指令遵循大型语言模型的比较研究
本研究通过实验比较全参数微调和 LoRA 微调方法，使用 LLaMA 作为基础模型，发现基础模型选择、训练数据集规模、可训练参数数量和模型训练成本都是重要因素。该实验结论可以为训练大型语言模型提供启示，特别是在中文领域，帮助研究人员找到更好
PDFa year ago
Baize：一个基于数据自聊的开源聊天模型，并具有参数高效调优功能
本文提出了 Baize 模型，该模型通过利用 ChatGPT 自身进行对话，自动生成具有高质量的多轮对话语料库，并使用参数高效调整来增强 LLaMA，该模型在最小化潜在风险的防护栏下在多次对话方面表现良好。
PDFa year ago
CVPRMixPHM: 针对低资源视觉问答的冗余感知、参数高效调整
本文提出了 MixPHM，这是一种重复感知的参数高效调整方法，用于在低资源 VQA 中优于完全微调。通过在混合型权威方式中实现的多个 PHM 专家来实现 MixPHM，同时重新参数化专家权重以在低秩子空间中分享权重。我们还提出了冗余正则化，
PDFa year ago
基于梯度的自动迭代恢复方法用于参数高效调整
本文利用 TracIn 方法改善了预训练大型语言模型在参数有效调整（PET）任务中的表现，通过 G-BAIR 方法进行梯度自动化迭代恢复，证明了类似 TracIn 的影响方法可以用于自动执行数据清理，并引入了交互式调试和重新标记 PET-b
PDFa year ago
当联邦学习遇到预训练语言模型的参数高效调整方法
本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedP
PDF2 years ago
预训练语言模型层归一化参数有效调整
本文提出了一种仅利用 0.03% 参数的 LN-tuning 方法，通过调整 Layer Normalization 模块的增益和偏置项，实现对 PLMs 的参数高效调整，同时研究了将 LN-tuning 与其他先前方法相结合的统一框架，在
PDF2 years ago
EMNLP参数高效调整使分类头表现优秀
本文中，我们发现参数高效调整可以使良好的分类头，用它可以取代随机初始化的头以获得稳定的性能提高。我们的实验表明，与参数高效调整预训练的分类头共同作用，可以在 GLUE 和 SuperGLUE 的 9 个任务中持续改善性能。
PDF2 years ago
EMNLP晚阶段调优：晚期提示可能比诸多提示更好
该研究提出了一种名为 Late Prompt Tuning (LPT) 的 PETuning 方法，它将追加的提示插入到 PTM 的中间层而非输入层或所有层，并通过一个神经提示生成器获得实例依赖的提示，具有更快的训练速度和更低的内存成本，可
PDF2 years ago
ACL特殊符号调整的参数高效调整
提出一种名为 PASTA 的方法，只修改 Transformer 模型中每层自我注意模块前的特殊标记表示（例如 BERT 中的 [SEP] 和 [CLS]），可在只训练其总参数的 0.029％下，实现与全微调相当的性能，不仅提供了一种简单
PDF2 years ago
用于参数高效调整的稀疏结构搜索
通过自动化的 PET 模块结构搜索方法 S^3PET，我们能够以远远低于用于传统模型的可训练参数的预算对预训练模型进行微调，搜索得到的结构具有高度可迁移性和可解释性且在保留超过 99% 微调性能的同时，只需 0.01% 的可训练参数。
PDF2 years ago
预训练语言模型隐藏状态操纵在分类任务中的参数高效调整
本篇研究提出一种简单的优化方法，只引入三个可训练向量，并将所有层的隐藏状态使用这些向量进行整合，之后将整合后的隐藏状态输入到一个任务特定的线性分类器中进行分类，通过验证原始的隐藏状态确实包含分类任务的有用信息，证明了该优化方案与 P-tun
PDF2 years ago
EMNLP重新审视参数高效调整：我们已经到达目标了吗？
本文对参数节省调整方法（PETuning）的训练和评估进行了首次全面调查。研究发现当前 PETuning 研究中存在问题的验证和测试方法，以及 PETuning 方法的不稳定性，导致结论不可靠。当在真正公平的评估协议下进行比较时，PETun
PDF2 years ago