parameter-efficient | BriefGPT

关键词parameter-efficient

搜索结果 - 56

CVPRMA-AVT：用于参数高效音频 - 视觉变换器的模态对齐
该论文介绍了一种新的参数高效的视听变压器 MA-AVT，采用深度模态对齐来实现对应的多模态语义特征的对齐，通过联合单模态和多模态令牌学习，引入冻结的模态共享变压器，使模型能够学习到每种模态的独立表示，并关注它们之间的跨模态关系。此外，在编码
PDF20 days ago
ACLIAPT：面向大型语言模型的指令感知提示调整
我们提出了一种新的提示调整方法，Instruction-Aware Prompt Tuning (IAPT)，该方法只需要四个软标记，并且在具有可调参数的情况下优于最近的基准方法，并比低秩适应性 (LoRA) 在单主干多租户设置下更高效。
PDFa month ago
ACLDoRA: 通过动态排名分布增强参数效率微调
本研究介绍了动态低秩适应（DoRA）方法，该方法在训练过程中将高秩的低秩层分解为结构化的单秩元件，允许根据任务重要性动态修剪参数预算，以充分利用有限的参数预算，并且实验证明 DoRA 方法在与 LoRA 和完全模型微调相比具有竞争性的性能和
PDFa month ago
上下文时间序列预测器
近期基于 Transformer 的大型语言模型展示了在提供的上下文情况下学习各种函数的能力，而无需更新模型参数。为了充分利用上下文能力进行时间序列预测问题，我们将 “时间序列预测任务” 重新构建为输入令牌，通过生成一系列（回顾，未来）对。
PDFa month ago
ICML面向高效视觉 - 语言微调的记忆空间视觉提示
当前关于高效构建大型视觉语言模型的解决方案采用两步骤范式：将预训练视觉编码器的输出投射到预训练语言模型的输入空间作为视觉提示，然后通过端到端参数高效调优（PEFT）将模型转移到下游视觉语言任务。然而，这一范式仍然存在低效性，因为它显著增加了
PDF2 months ago
重访神经网络的持续学习：架构视角
本文研究网路架构设计对连续学习的影响，以通过网络宽度、深度和组件等方面的系统性研究，提出了一种 CL 友好的网络架构设计方法，该方法在参数方面比传统的 CL 架构紧凑 86%，61% 和 97% 的参数，在 Class IL 和 Task
PDF2 months ago
Any2Point：强化各模态大型模型以实现高效的三维理解
Any2Point 是一种参数高效的方法，通过引入虚拟投影策略和引导适配器模块，使得基于任何模态（视觉、语言、音频）的大型模型能够进行 3D 理解，并且在实验中展示了方法的有效性和高效性。
PDF3 months ago
LLM2Vec: 大型语言模型是强大的文本编码器
我们引入了 LLM2Vec，这是一种简单的无监督方法，可以将任何解码器模型转换为强大的文本编码器，通过三个简单步骤：启用双向注意机制，掩码下一个标记预测和无监督对比学习，在英语词和序列级任务中，LLM2Vec 在词级任务上远远超过编码器模型
PDF3 months ago
ACL高效提取边缘应用的 LLM
MLFS 是一种能够通过多级低秩微调超级变压器实现参数高效的超网络训练方法，可产生适用于商业边缘应用的高质量编码器模型，并可通过对解码器进行切片来显著减少训练时间。
PDF3 months ago
LayerNorm: 参数高效微调中的关键组件
改进和优化 BERT 预训练模型以实现参数高效微调，通过分析不同组件，发现经过微调后，输出层规范化（LayerNorm）发生的变化最为显著。通过仅微调 LayerNorm，可以达到与完全微调和其他参数高效微调方法相当甚至更好的性能，并用 F
PDF3 months ago
投机式流处理：高速 LLM 推理无需辅助模型
Speculative Streaming 是一种单一模型的推测解码方法，通过将起草融入目标模型，将微调目标从下一个标记预测改为未来 n-gram 预测的目标，以在总结、结构查询和语义表示等多个任务中提高 1.8-3.1 倍的解码速度，而不
PDF4 months ago
EE-Tuning: 基于经济且可伸缩的解决方案的早停调参大型语言模型
EE-Tuning 是一种轻量且经济的解决方案，用于训练 / 调整早停的大型语言模型 (LLMs)。与全参数预训练的常见方法相比，EE-Tuning 通过以参数有效的方式增加早停层来扩充任何预训练（可能是微调）的标准 LLM，从而大大减少计
PDF5 months ago
大规模语言模型的稀疏微调扩展
大型语言模型 (Large Language Models) 在指令或人类反馈方面很难进行全面的微调，但参数高效稀疏微调 (sparse fine-tuning) 的方法已经在性能上取得了一定的成果，本文将稀疏微调方法扩展到像 LLaMA
PDF5 months ago
APT: 自适应剪枝和调整预训练语言模型用于高效训练和推理
通过自适应修剪和调整参数，APT 可以提高语言模型的训练和推理效率，同时保持高性能。
PDF5 months ago
用于锥束 CT 的等变多尺度学习可逆重建
CBCT 重建中提出了一种快速、高效的学习迭代方案 LIRE+，在参数使用效率和推理速度上分别优于 LIRE 方法，通过旋转等变性确保对于异常患者方向的稳健性。
PDF5 months ago
Astraios: 参数高效调整代码的大规模语言模型
基于 28 个调优方法和 4 个模型尺寸，通过对 5 项任务和 8 个不同数据集的研究，我们发现完全参数微调通常在所有尺度上都能提供最佳的下游性能，并且参数高效微调方法在模型规模上的功效存在显著差异。然而，LoRA 方法通常在成本和性能之间
PDF6 months ago
基于梯度的参数选择以实现高效微调
利用渐变参数选择技术（GPS）来进行参数有效的微调，以提高预训练模型的性能，并证明与全模型微调方法相比，只调整预训练模型中的少数参数并保持其余参数冻结可以实现类似或更好的性能，同时不引入额外的参数和计算成本，并在多个任务中表现出更好的性能。
PDF6 months ago
GIFT: 生成解释性微调变压器
GIFT 是一种生成可解释化微调 Transformers 预训练模型的方法，在参数高效的情况下提供内置可解释性，通过选择 Transformer 模型的多头自注意力中的最终投影（线性）层进行 fine-tuning，提出了使用参数到聚类注
PDF7 months ago
EMNLP稀疏低秩的预训练语言模型适应
在对大规模预训练语言模型进行提升调优的过程中，我们通过引入稀疏低秩适应性的创新方法（SoRA），使得适应过程中能够动态地调整内在秩，从而提高 LoRA 的表现能力，同时通过更新稀疏方式高效地控制参数数量。实验结果表明，SoRA 在保留 70
PDF7 months ago
超越 U：打造更快速、更轻量级的扩散模型
利用连续动力系统设计一种新型去噪网络，以提高扩散模型的参数效率、收敛速度和噪声鲁棒性。与基准模型相比，该模型具有约四分之一的参数量和百分之三十的浮点操作数（FLOPs），推理速度提高了 70％，并且收敛到了更好的质量解。
PDF8 months ago