adapters | BriefGPT - AI 论文速递

关键词adapters

搜索结果 - 58

参数高效微调的结构化无限秩矩阵
使用结构化无限秩矩阵 (SURM) 作为适配器和 LoRA 的替代方法的参数高效微调 (PEFT) 可以在减少参数数量的同时显著提高图像分类任务和 GLUE 基准上的质量。
PDF7 days ago
CVPR适配器反击
适配器提供了一个高效轻量级的机制，可以将训练好的变换器模型适应不同的任务。本文对适配器进行了深入研究，包括其内部结构和各种实现选择，并提出了一种改进的适配器架构，称为 Adapter+，它不仅优于之前的适配器实现，还在一些具有挑战性的场景中
PDF22 days ago
ACLMEFT：通过稀疏适配器实现内存高效微调
通过使用较大的尺寸但内存高效的适配器，结合语言模型中前馈网络的固有激活稀疏性以及中央处理器内存相对于图形处理器更大的容量，我们提出了一种改进的方法来优化在有限资源下大型语言模型的微调性能。通过将较大尺寸的适配器的参数存储和更新在中央处理器上
PDF25 days ago
意识到提示的适配器：为多模态大型语言模型学习自适应的视觉特征
为了弥补视觉和语言模态之间的差距，我们提出了 prompt-aware 适配器，这些适配器根据提示的特定焦点动态嵌入视觉输入，以从提示中捕捉到最相关的视觉线索，从而显著增强了大型语言模型理解和解释视觉内容的能力。实验表明 prompt-aw
PDFa month ago
CVPRCAT: 个性化图像生成的对比适配器训练
通过对比适配器训练中的知识保存得分（Knowledge Preservation Score，KPS）以及采用 CAT 损失，我们展示了低成本下个性化图像生成的各种适配器，以及通过对比联适配器训练来提高适配器训练的简单而有效策略。
PDF3 months ago
OmniFusion 技术报告
基于预训练的大型语言模型和视觉模态的适配器，我们提出了一种全融合模型 OmniFusion，通过比较多种架构设计原则、图像编码方法和不同的语言模型，在 8 个视觉语言基准测试中取得了最高得分，提供了在不同领域中的高度详细答案，同时我们还提供
PDF3 months ago
HyperTTS: 基于超网络的文本转语音中的参数高效适应
Neural speech synthesis and domain adaptation in text-to-speech (TTS) achieved state-of-the-art performance using HyperT
PDF3 months ago
预训练语音模型的高效适配器调优用于自动说话人验证
通过在预先训练的模型中插入轻量级适配器模块，将自监督语音模型适应到说话人验证任务中，我们提出了一个高效的适配器框架。实验结果表明，该框架在更新仅 5% 的参数的情况下，超过了微调和其他参数高效的迁移学习方法，实现了卓越的性能。
PDF4 months ago
AAAI持续学习中自然语言处理的下一个任务和领域的跳转
HOP 方法使用适配器泛化预训练模型、计算嵌入表示分布的高阶矩来区分不同任务和领域的独立和相关统计信息，并使用针对每个最终问题专门设计的辅助头处理丰富的信息，证明了其在 4 个 NLP 应用，5 个基准测试和 2 个 Continual L
PDF4 months ago
PEMT：多任务相关导引的专家组合混合使得参数高效迁移学习
我们提出了一种基于多任务迁移学习的新型参数高效微调框架 (PEMT)，通过在源任务上训练适配器的加权组合来捕捉可转移的知识，同时利用任务描述提示向量来衡量目标任务与每个源任务之间的相关性，以充分利用任务特定的知识并提高稀疏性。实验证明，我们
PDF4 months ago
基于有符号权重方向的特定领域适配器混合模型的普适性及其在模型精简中的应用
通过细调参数的方法，本文提出了基于适配器的若干参数高效的 Fine-Tuning 方法，以简化将单个专业知识和多个专业知识合并到现有的预训练语言模型（PLMs）中的方法。最近的研究（例如 AdapterSoup）提出了一种方法，通过模型权重
PDF5 months ago
EMNLPAdapterDistillation: 无损任务组合与知识蒸馏
通过引入少量任务特定参数到每个 transformer 层中，利用多任务的知识，在最近广受关注的语言模型中，被称为 adapters。然而，为了实现知识组合，增加额外的融合层不仅增加推理时间，也对某些应用不具有可扩展性。为了避免这些问题，我
PDF6 months ago
AAAI通过渐进式学习和自适应蒸馏在适配器中利用归一化层进行跨领域少样本学习
我们介绍了一种新的通用框架，利用适配器中的归一化层和渐进学习自适应蒸馏（ProLAD），解决了跨领域少样本学习中的批次统计偏移和噪声样本统计的问题，通过两个不同的适配器和自适应蒸馏技术，我们的方法在标准的跨领域少样本学习基准中表现出超越现有
PDF6 months ago
ADAPTER-RL：使用强化学习对任意代理进行自适应
深度强化学习代理人在适应训练分布之外的任务时面临着过拟合、灾难性遗忘和样本效率问题。本文探讨了适配器在强化学习中的应用，提出了一种创新的适应策略，在 nanoRTS 环境中实验，提高了训练效率并改进了基础代理人，同时兼容预训练神经网络和基于
PDF7 months ago
EMNLP适配器：一种参数高效与模块化迁移学习的统一库
Adapters 是一个开源库，将参数高效和模块化的迁移学习统一起来，通过整合 10 种不同的适配器方法，提供简便的使用和灵活的配置；该库通过组合模块允许研究人员和从业者利用适配器的模块化设计复杂的适配器设置；通过在各种自然语言处理任务上评
PDF7 months ago
小而强大：使用小适配器对 ViTs 进行微调
通过引入适配器逐步减小其尺寸的方法，我们提出了 MiMi 训练框架，该框架能够在降低计算和存储成本的同时保持高性能，通过适配器层间神经元重要性的比较来自动估计每个适配器的隐藏维度，我们的方法在三个数据集基准 DomainNet、VTAB 和
PDF8 months ago
极简语法：无过度生成的构建
本研究论文介绍了如何编写一种简约语法（MG），通过使用一种上下文无关文法（CFG）的变体作为输入格式，以算法的形式给出编写指南。该方法通过利用许可者和被许可者来处理异常情况，避免 CFG 中的递归导致过度生成，并通过适当分配许可者和被许可者
PDF8 months ago
EMNLP利用热带特征进行适配器修剪
通过研究训练模块的热带特征，我们提出了一种适配器修剪方法，将其作为一个优化问题来修剪适配器层的参数，以便在不改变底层热带超曲面方向的同时识别出更相关的参数。我们在五个自然语言处理数据集上的实验证明，热带几何在与基于幅度的基线相比时更容易识别
PDF8 months ago
音频适配器融合：高效无需任务 ID 的非破坏性多任务语音识别
提出了三种无任务 ID 的方法来结合多任务 ASR 中的单任务适配器，并研究了两种训练算法。在来自 4 个不同 ASR 任务的 10 个测试集上评估了我们的方法，结果表明我们的方法不会造成破坏并且参数利用率高。相对于完全微调，我们的方法只更
PDF8 months ago
利用大型预训练模型与适配器混合进行领域泛化
通过参数高效的微调方法和专家混合模型适配器，我们在不同数据分布情况下实现了优秀的性能，解决了分布转移引起的性能下降问题。
PDF8 months ago