adapter modules | BriefGPT - AI 论文速递

关键词adapter modules

搜索结果 - 23

ACL适配器模块在文本分类中性能、效率和公平性之间的权衡
当前的自然语言处理（NLP）研究倾向于仅关注一到两个维度，如性能、隐私、公平性或效率，这可能导致次优的结论，并常常忽视实现可信赖的 NLP 的更广泛目标。适配器模块的工作主要关注提高性能和效率，并未对公平性等其他方面的意外后果进行调查。我们
PDF2 months ago
外部提示特征增强的参数高效微调用于显著性目标检测
我们提出了一种参数高效的微调方法，采用转换器编码器和解码器结构，通过适配器和注入器来提高显著对象的检测能力，并在五个数据集上超过了之前的最先进模型。
PDF2 months ago
基于适配器混合的预训练模型自我扩展的持续学习
自我扩展且具模块化适应的预训练模型的细调方法 (SEMA) 在连续学习中自动决定何时重用或添加适配器模块，并根据不同表示层检测到的剧烈分布变化来进行适应，通过比较基于视觉转换的连续学习适应方法，证明了该框架优于当前最先进的方法且无需记忆回放
PDF3 months ago
针对 ViT 适应的参数和推理效率的动态调整
现有的参数高效微调（PEFT）方法通过提高参数效率，在视觉变换器（ViTs）适应中取得了显著的成功，然而，在适应过程中改善推理效率的探索仍未充分开展，这限制了预训练 ViT 模型的广泛应用，特别是在计算上耗费较多的情况下。在本文中，我们提出
PDF3 months ago
RSAM-Seg：一种基于 SAM 和先验知识集成的遥感图像语义分割方法
由于高分辨率遥感卫星的发展，遥感相关研究工作获得了极大的便利。SAM 引入了一种普适的预训练模型用于图像分割任务，但是直接应用于遥感图像分割任务效果欠佳。为此，我们提出了 RSAM-Seg，即在 SAM 的基础上进行了适应性修改，消除了对手
PDF4 months ago
大型预训练语言模型的高效微调方法的实证分析
为下游任务优化大型预训练语言模型仍然是自然语言处理中的一个关键挑战。本文通过实证分析比较了两种高效微调方法 ——BitFit 和适配器模块与标准的全模型微调。在 GLUE 基准数据集（MRPC、COLA、STS-B）上进行的实验证明了几个关
PDF6 months ago
运用适配器模块和知识图谱拓宽生物医学语言模型的知识增强
本文介绍了一种使用轻量级适配器模块将结构化的生物医学知识注入到预训练语言模型中的方法，并对该方法在三个下游任务中的性能进行了测试和分析。
PDF6 months ago
MMCDR-Adapter：学习适配器以提取跨领域推荐模型更多的迁移能力
本研究提出了一种名为 CDR-Adapter 的可扩展和高效的跨领域推荐模型，通过解耦原始推荐模型和映射函数的方式，有效解决了数据稀疏性和冷启动问题，并且无需重新设计网络结构。CDR-Adapter 采用适配器模块对特征表示进行对齐，实现了
PDF8 months ago
EMNLP改进和解释预训练语言模型的语言专家混合适配器
本研究提出了一种方法，在参数高效微调（PEFT）环境中将语言结构注入到预训练语言模型中。我们使用一种新颖的语言专家混合体架构，将编码不同语言结构的并行适配器模块进行组合，并使用 Gumbel-Softmax 门来确定模型每一层中这些模块的重
PDF8 months ago
基于神经架构搜索的级联多任务自适应学习
利用神经架构搜索（NAS）框架提出一种自动且有效的自适应学习方法来优化端到端级联多任务模型，通过在每个特定模块上选择冻结、插入适配器和微调等候选自适应操作，并在损失函数中添加了一个惩罚项限制学习结构，成功地压缩优化参数至相当于全微调的 8.
PDF8 months ago
S-Adapter: 使用统计标记将视觉变换器泛化为面部防冒名识别
该研究提出了一种基于 Efficient Parameter Transfer Learning (EPTL) 范 Paradigm 的面部反欺骗 (Face Anti-Spoofing，FAS) 方法，通过在预训练的 Vision Tra
PDF10 months ago
在低资源情况下使用主动学习进行参数高效语言模型调整
研究调查预训练语言模型在低资源文本分类任务中适配器模块和主要微调之间的相互作用，通过减少标注复杂性的主动学习算法显示出可行性，强调了主动学习与参数高效微调和一致性微调的相互潜力，为高效有效微调的提高打下了基础。
PDFa year ago
ACL面向多语言神经机器翻译的适配器通信高效联邦学习
本文提出了一种新的联邦式多语言神经机器翻译框架。相比中心化训练，该框架通过模型同步，只传输轻量化的适配器模块，降低了模型同步的通信代价。作者同时探索了各种聚类策略来减少冲突，并在适配器模块上进行了修剪，成功地提出了通信效率。实验结果表明，该
PDFa year ago
适应性多模态 BERT 与层次融合用于情感分析
本文通过适配器模块与中间融合层来调整预训练语言模型，从而建立了适应多模态任务的基于 BERT 的体系结构 AMB，并在情感分析方面取得 3.4% 的误差相对降低率和 2.1% 的 7 级分类精度相对提高率的最好表现，展现了 AMB 的高效性
PDF2 years ago
用于长视频文本摘要的分层 3D 适配器
本文研究利用多模态信息对视频进行文本摘要，并探讨利用适配器模块和分层结构高效地将多模态信息并入预训练的文本摘要器，实验表明该方法相对于记忆密集型和完全微调的文本摘要方法具有更好的性能。
PDF2 years ago
COLING掩码语言建模和适配器对事实知识注入的有效性
本文研究了在大型预训练语言模型中注入实际知识的问题，并使用遮蔽语言建模目标训练 adapter 模块来评估该方法的成功性，证明该技术是有效的，将额外增加不到 2.1% 的参数到原始模型中即可提高在 LAMA 探针子集上的性能。
PDF2 years ago
EMNLPHyper-X: 一个统一的超网络，用于多任务多语种转移
本文提出 Hyper-X 模型，它将多任务和多语言学习相结合，并通过适应性生成适配器模块的权重，通过学习结合任务和语言特定的知识，实现对未出现的语言和任务 - 语言组合的零样本迁移，并在新语言的少样本情况下始终产生强大的结果。
PDF2 years ago
少样本参数高效微调优于上下文学习且更为经济
通过比较 Few-shot in-context learning 和 Parameter-efficient fine-tuning 的方法，我们证明 PEFT 具有更好的精度和极低的计算成本。我们提出了一种名为 (IA)$^3$ 的新的
PDF2 years ago
EMNLP多数据集问答的单数据集专家
本研究通过训练轻量级、特定于数据集的适配器模块，并将其与基础转换模型共享，以建模多数据集问答，提出了 Multi-Adapter Dataset Experts（MADE）方法，其在数据集内的准确性优于基线模型，并且采用基于参数平均的简单方
PDF3 years ago
ICML基于适配器的预训练方法用于高效可扩展的自监督语音表征学习
本文介绍了一种方法，可以将预先训练的自我监督（SSL）语音表示转移到多种语言中，使用适配器模块加快新语言任务的预训练，并在不遗忘先前语言表示的情况下学习新的音频 - 语言表示，然后应用这些语言表示进行自动语音识别。
PDF3 years ago