efficient fine-tuning | BriefGPT

关键词efficient fine-tuning

搜索结果 - 8

通过慢速级联学习实现富表达和可推广的大规模模型的低秩适应
LoRA Slow Cascade Learning (LoRASC) is an innovative technique that enhances the expressiveness and generalization capab
PDF5 days ago
开放词汇分割的可转移和原则性效率
通过利用较小、训练成本更低的模型，本论文的核心策略旨在实现与基于大型视觉语言基础模型的先前开放词汇分割工作相媲美甚至更好的性能，以解决开放词汇分割（OVS）方法面临的高计算开销问题，并在各种 OVS 基准测试中展示了我们在分割准确性和计算成
PDF3 months ago
LlamaFactory: 统一高效微调 100 + 语言模型
LLamaFactory 是一个统一的框架，集成了一套先进的高效训练方法，用户可以通过内置的 Web 界面 LlamaBoard 灵活地自定义 100 多个大型语言模型（LLMs）的微调，我们在语言建模和文本生成任务上经验性地验证了该框架的
PDF4 months ago
Side4Video：用于内存高效的图像到视频迁移学习的时空边缘网络
提出了一种名为 Side4Video 的轻量级空时支路网络，用于在视频理解中对大型图像模型进行内存高效微调，具有比之前的适配器方法减少 75% 内存使用的能力，并且在各种视频数据集上实现了卓越的性能。
PDF7 months ago
PockEngine: 稀疏高效的口袋微调
PockEngine 是一种稀疏高效引擎，支持边缘设备上的持续学习和隐私保护定制化，实现了快速的微调和多种应用的支持。
PDF8 months ago
LMTuner：一个用户友好且高度可集成的用于对大型语言模型进行微调的训练框架
在大型语言模型的迅猛发展中，高度可用、可集成和可扩展的 LMTuner 系统为迅速和最小人为干预训练大型语言模型提供了解决方案，支持从 300M 到惊人的 130B 参数的单服务器训练。
PDFa year ago
ICCV通过 Moment Probing 调整预训练模型
我们提出了一种新的 Moment Probing (MP) 方法，通过特征分布上的线性分类器，利用特征中更丰富的统计信息来进一步探索 LP 的潜力，并通过多头卷积交叉协方差（MHC^3）以高效有效的方式计算二阶矩。通过在十个基准测试上进行广
PDFa year ago
知识是针对微调语言模型的权重空间中的区域
本研究关注于神经网络的权重空间和损失景观，发现细调模型在权重空间中占有良定义区域，通过在模型之间遍历这些区域找到的新模型能够具有与通过细调得到的模型相当甚至更好的性能表现，此研究的结论为高效细调提供了理论依据。
PDFa year ago