- 基于语义的层冻结方法：高效微调语言模型
通过对语言模型推理过程进行语义分析，我们提出了在层级上进行参数微调的方法，通过估计每个模型层的微调效果以及缩小微调的范围，我们的方法在 LM 微调中表现出有效且高效的特点。
- 反思基于预训练模型的无需排练连续学习的现状
探索了 P-RFCL（基于参数高效微调的 RFCL）方法在强大性能背后的驱动因素，揭示了其与最新的首任务自适应研究以及先前的 CL 标准之间的关系，并推动标准 RFCL 技术（如 EWC 或 SI）的发展。
- ICMLETHER: 大规模模型的高维超平面反射高效微调
我们提出了 ETHER 转换家族，通过超平面反射来实现高效微调，其需要较少的参数，对超参数和学习率选择具有鲁棒性，并在多个图像合成和自然语言任务中与现有的参数高效微调方法相匹配或超越，同时引发对 Hyperspherical 能量保留在实际 - 双向指令调整：Bitune
Bitune 是一种改进预训练的字节码模型的指令调优方法，通过采用因果和双向注意力来获得更好的查询或指令表示，进而通过参数化和可训练系数的加权平均生成新的标记，显著提高了常识推理、算术和语言理解等任务的零 - shot 性能。
- 医学图像分割的黑盒自适应
在医学图像分割中，通过使用黑盒适应技术 (BAPS)，我们不需要了解基础模型的权重或梯度，并且可以显着提高原始模型的性能约 4%。
- LoRA 学习更少，遗忘更少
通过在编程和数学这两个目标领域上比较 Low-Rank Adaptation (LoRA) 和全精调 (full finetuning) 的性能，我们发现在大多数情况下，LoRA 的表现明显逊于全精调；然而，LoRA 展现了一种理想的正则化 - LLoCO：离线学习长上下文
通过上下文压缩和领域内参数高效微调，我们提出了一种解决大型语言模型处理长篇内容的挑战的新方法，使得 LLM 能够创建原始上下文的简洁表示，并有效地检索相关信息以准确回答问题。我们介绍了 LLoCO，一种通过使用 LoRA 组合上下文压缩、检 - 深层网络的不合理无效性
通过对热门的开放式权重预训练 LLMs 进行实证研究，我们发现在移除大部分（最多一半）层之前，其在不同的问答基准测试中仅出现轻微性能下降；因此，层剪枝方法可以在减少计算资源的同时提高推理的内存和延迟，并暗示当前的预训练方法未充分利用网络较深 - ACLKnowLA: 提升参数高效微调与专业适应性
通过将知识图嵌入到大型语言模型中，我们提出了一种名为 KnowLA 的知识适应方法，该方法通过在语言模型中插入适应层，将文本中出现的实体的嵌入融入到语言模型中，并与 LoRA 一起进行训练。实验结果表明 KnowLA 的有效性和鲁棒性，能够 - FlexLLM: 用于共同服务大型语言模型推理和参数高效调优的系统
我们提出了 FlexLLM，这是第一个能够在同一次迭代中处理推理和参数高效微调请求的系统，通过协同服务的方法，利用共享的 GPU 资源来同时运行这两个任务，FlexLLM 的合作服务方法减少了激活 GPU 内存开销高达 8 倍，并将微调的整 - LoRA 遇见 Dropout: 一个统一框架下的研究
基于对参数高效 LoRA 的研究，我们重新审视了特定于 Transformer 的 Dropout 方法的数学和经验上的等价性和区别，并基于此提出了一个统一的框架，揭示了当涉及到有限可训练参数时它们的新偏好和性能比较。这个框架还允许我们将最 - 语音情绪识别和领域适应的参数高效微调
经验证，通过参数高效微调（PEFT）方法，结合精简可训练参数数量，能够有效提升语音情感识别（SER）模型的性能，并通过两阶段适应策略使模型具备更好捕捉自然情感表达的能力。
- DoRA：权重分解低秩适应
通过权重分解分析和 LoRA 方法的聚焦更新，DoRA 方法在保持低成本细调的基础上增强了学习能力和训练稳定性，对各种常识推理、视觉指导调整和图像 / 视频 - 文本理解等不同下游任务，超越了 LoRA 方法。
- ACL评估参数高效微调方法训练的参数矩阵的可移植性
通过使用参数高效微调技术训练的模块，研究探讨了任务特定知识在不同模型之间的可移植性，发现该方法在情感分析等任务上远远优于从头开始训练或从相同分布中采样参数训练的模块。
- M2-CLIP: 视频动作识别的多模态多任务自适应框架
该研究介绍了一种名为 \name 的新型多模态、多任务 CLIP 自适应框架，通过引入多模态适配器和多任务解码器，实现强大的监督学习性能和在零样本场景中的强大泛化能力。
- 对抗迁移学习中的初始化问题
在这项研究中，我们深入研究了迁移学习中的对抗鲁棒性，并揭示了初始化的关键作用，包括预训练模型和线性头部。我们发现对抗鲁棒的预训练模型的必要性，并通过线性探测发现它能在某些数据集上优于全面微调和其他方法。基于此，我们提出了 Robust Li - 利用算术运算组合参数高效的模块
本文提出了一种通过线性算术运算在权重空间中组合不同模块能力的方法，可以用于参数有效的微调方法，可用于多任务、领域泛化和熟练度淡忘等。此方法可集成不同的模块能力，无需额外培训，并可用于 Alpaca-LoRA。实验结果表明，这种方法可以显着优 - PEFT-Ref: 一种用于参数高效微调技术的模块化参考架构和分类方法
本文提出了一个参考框架，该框架标准化了不同 PEFT 技术共享的方面，同时将差异隔离到特定位置和与标准组件的交互。通过标准化和隔离差异的过程，PEFT 技术的模块化视图出现，既支持不同技术及其效率和任务表现的直接比较，也支持不同类型的调优模 - 参数高效的鲁棒性全语种持续学习微调
研究 Continual Multilingual Learning 的问题，提出使用 parameter-efficient finetuning 更新 multilingual model 来减少语言特异性的遗忘，同时提高跨语言转移能力