关键词parameter-efficient fine-tuning methods
搜索结果 - 9
- AdaFish：利用二阶信息进行快速低秩参数高效微调
介绍了一种高效的 AdaFish 算法，用于加快在低秩分解为基础的微调框架中的训练过程，该算法证明了全局收敛性和迭代 / 预言机复杂性，并通过数值实验与 AdamW 方法进行了竞争性比较。
- 基于有符号权重方向的特定领域适配器混合模型的普适性及其在模型精简中的应用
通过细调参数的方法，本文提出了基于适配器的若干参数高效的 Fine-Tuning 方法，以简化将单个专业知识和多个专业知识合并到现有的预训练语言模型（PLMs）中的方法。最近的研究（例如 AdapterSoup）提出了一种方法，通过模型权重 - 视觉语言模型的开放词汇校准
通过调整温度值，根据预测文本标签与基本类之间的距离，我们提出了一种名为距离感知校准（DAC）的简单有效方法，来解决视觉语言模型中存在的置信度校准问题。在 11 个不同的下游数据集上对 7 种不同的提示学习方法进行的实验验证了 DAC 的有效 - 优化视觉基础模型用于民用基础设施中裂缝分割
该研究通过引入视觉基础模型用于裂缝分割，并采用两种参数高效微调方法来提高其性能，通过比较实验验证了该方法在各种条件下的零样本性能表现，并为土木工程中视觉模型的发展提供了新思路。
- FATE-LLM：用于大型语言模型的工业级联邦学习框架
FATE-LLM 是用于大型语言模型的工业级联合学习框架，通过联合学习促进大型语言模型的高效训练、采用参数高效微调方法、保护知识产权、通过隐私保护机制在训练和推理过程中保护数据隐私。
- 通过语言提示调整和帧级别语言适配器增强多语言语音识别
提出了两种简单和参数高效的方法：语言提示调优和帧级语言适配器，用于分别增强可配置语言和语言无关的多语言语音识别，同时探索了使用参数高效的微调方法整合这两种方法的可行性。实验证明了我们提出的方法在七种语言下均具有显著的性能提升。
- 缩小规模以进行高效参数微调指南
本文系统概述和比较了 40 多篇发表于 2019 年 2 月至 2023 年 2 月之间的参数高效微调方法，这些方法旨在通过仅训练小量参数来解决微调大型语言模型的不可行性和不实用性，提供了一种包括多种方法的分类方法，并重点关注实际效率和微调 - SPT：多任务提示学习的半参数提示调整
SPT 是一种半参数化的提示微调方法，其包含一个内存库，可以根据离散提示检索记忆提示，并通过 Fine-Tuning GLUE 数据集以及在五个自然语言处理任务类别下评估零 - shot 泛化以及在 SuperGLUE 数据集上预训练，众多 - EMNLP参数高效迁移学习在机器翻译中的适用条件
本文通过全面实证研究发现，适当的 Tuning 数量的 Parameter-efficient fine-tuning methods，特别是使用了嵌入小型前馈神经网络 (adapters) 的模型，可以在机器翻译 (MT) 任务上达到效果