- KDDFedBiOT: LLM 局部微调的联邦学习无需完整模型
在联邦学习中，我们提出了一种资源高效的大型语言模型细调方法，通过引入压缩模型和适配器的概念，在减少资源消耗的同时实现与全模型可比的性能水平。
- ACL多模态大语言模型参数高效微调的实证研究
使用四种常见的 PEFT 方法对开源 MLLMs 的 LLM 组件进行微调，比较它们在参数效率方面的表现，结果显示 adapter 是效果最好的 PEFT 方法。
- RE-Adapt: 大型语言模型的逆向工程适应
通过逆向设计适配器，我们介绍了 RE-Adapt 方法，该方法无需使用额外的数据或训练，可以在新域上对基础模型进行微调，并借助逆向设计的适配器重新适应指令跟踪，以优于其他微调方法。
- MeteoRA: 用于大型语言模型的嵌入式 LoRA 多任务系统
在本研究中，我们介绍了 extbf {MT-LoRA}（多任务嵌入 LoRA），这是一个可扩展的多知识 LoRA 融合框架，旨在用于大型语言模型（LLMs）。MT-LoRA 通过混合专家（MoE）的方式将各种 LoRA 适配器集成到基本 L - UniRGB-IR: 可见光 - 红外下游任务统一框架：适配器调整
提出了一种名为 UniRGB-IR 的可扩展和高效框架，利用适应器（adapter）将丰富的 RGB-IR 特征引入基于 RGB 的预先训练基础模型，该方法在各种 RGB-IR 下游任务上实现了最先进的性能。
- CVPR领域校准适配器用于跨领域少样本分割
在少样本语义分割中，通过使用适配器将不同目标域风格矫正到源域，来提高现有方法在领域转移中的性能。我们提出了一种局部 - 全局样式扰动方法，用于模拟不同潜在目标域，并引入一个循环域对齐模块来有效地校正域。大量的实验证明了我们的方法的有效性，并 - 无地面真值的跨视图视觉地理定位学习
在本研究中，我们提出了一种自监督学习框架，通过仅利用无标签数据训练一个可学习的适配器，将不同视角的特征分布映射到一个统一空间，以应对交叉视图地理定位中的挑战。实验证明，我们的方法在减少训练参数和仅仅依靠无标签数据的情况下，相较于标准模型和有 - 基于即插即用变压器单元的无监督测试时适应
通过引入 PLUTO（Plug-and-pLay modUlar Test-time domain adaptatiOn）方法，本研究介绍了一种预训练模型通过无监督的测试时自适应方法来选择和组合相关模块，实现了动态适应新领域的能力，从而对于 - AAAI基于 p-Laplacian 的适应性生成预训练视觉 - 语言模型
本文提出了一种新的建模框架，将适配器调谐视觉 - 语言模型中的注意力转化为基于注意力图的图消息传递过程，其中，投影查询和值特征以及注意力矩阵构成节点特征和图邻接矩阵。在这个框架中，适配器调谐视觉 - 语言模型需要处理异种图，为此，我们提出了 - 野外人脸识别的有效适配器
在这篇论文中，我们致力于解决野外人脸识别的挑战，其中图片常常存在质量低下和真实世界的扭曲。通过提出一种适用于基于高质量数据集上训练的现有人脸识别模型的有效适配器，我们旨在克服传统启发式方法在处理低质量图片时的无效性。
- SLM：填补语音与文本基础模型之间的差距
我们提出了一种联合语音与语言模型（SLM），它是一种多任务、多语种、双模态的模型，充分利用了预训练的语音和语言基础模型。SLM 通过将预训练的基础模型冻结，最大限度地保留它们的能力，并只训练一个只包含 1％（156M）基础模型参数的简单适配 - 抗噪非监督视觉 - 语言模型适配器
通过引入 NtUA，一种噪声容忍的无监督适配器，在大规模视觉语言模型中实现了卓越的性能，通过少量未标记的目标样本学习优越的目标模型，并通过知识蒸馏纠正伪标签和缓存权重，从而在多个广泛采用的基准测试中实现了一致的卓越表现。
- 一站式：通用 LoRA 用于参数高效微调
GLoRA 是一种用于通用参数节约的微调任务的高级方法。它使用广义提示模块来优化预训练模型权重和调整中间激活，并通过采用可伸缩的、模块化的逐层结构搜索来促进高效参数适应，从而实现强大的转移学习、少样本学习和领域泛化能力。
- ACL未见过语言对的混合语言文本合成
GLOSS 是一种用于语言对的代码交换文本综合的模型，它通过自适应器或额外前缀从代码交换数据中学习代码交换模式，该模型构建在预训练的多语言机器翻译模型（PMMTM）之上，它具有自我训练算法进一步提高 GLOSS 的可靠性，并且对四种语言对进 - 最近邻机器翻译是输出投影层上的元优化器
本文分析了 $k$NN-MT 的理论和实证研究，以及针对多域实验和单词级别的分析，发现在特定情况下，结合 $k$NN-MT 和适配器的方法能够实现与在域测试集上微调相当的翻译性能，并在域外测试集上取得更好的性能，同时，优化上下文表示可以弥补 - 端到端 ASR 适应的即时文本检索
本文提出一种在已有的 ASR 模型中添加检索语言模型，以直接从外部文本语料库中检索可能的完成语来改善模型性能，并使用适配器将这些完成语集成到后续的预测中，避免了重新训练的计算开销。该模型在问答数据集和特定领域命名实体识别等任务上表现均优于现 - ACLAdapterSoup: 利用权重平均来提高预训练语言模型的泛化能力
介绍了一种称为 AdapterSoup 的方法，通过对具有不同超参数的预训练语言模型适配器进行权重平均化从而提高在新领域的性能，同时使用文本聚类等方法选择哪些适配器进行组合，有效解决了在资源受限或领域特定问题下适配器训练的实践性问题。
- 定位潜在更新用于微调视觉语言模型
提出一种轻量级的适配器方法，通过更新预测接近观察数据点的模型以加快更新速度，并保持经典微调方法外数据的正确性，以实现在小样本学习领域中，在训练过程中看得到和看不到的类别上结果均与或优于现有技术水平。
- 将对比损失和非对比损失相结合，以微调预训练的语音分析模型
本研究提出了一种改进内部嵌入空间和使用对比和非对比损失的适配器来处理类内差异的方法，并将其应用于情感分类问题，发现本方法在多个任务上均优于端到端微调基线，并超过最先进的情感分类基准。
- COLING构造偏置的方面情感三元组抽取
本研究通过使用适配器将结构偏差集成到预训练语言模型中，用廉价计算的相对位置结构代替句法依赖关系来解决效率问题，并在 SemEval 数据集上进行基准评估，在轻量级参数需求和低延迟的同时获得了先进的性能，得出结构偏差即使在 PLMs 中仍然是