pre-trained knowledge | BriefGPT

关键词pre-trained knowledge

搜索结果 - 5

冻结生成器优化种子以实现卓越的零光低光增强
通过实验证明，预训练生成器可以有效地实现对低光图像的增强，通过嵌入预训练生成器到 Retinex 模型中，可以回复由低光条件破坏的图像特征，并通过一种新的优化策略实现更快收敛速度。
PDF5 months ago
面向鲁棒剪枝：一种自适应知识保留剪枝策略
本文提出了一种基于事先训练的知识的后期剪枝策略，旨在在剪枝过程中保留更多事先训练的知识，从而提高语言模型的鲁棒性。与其他最先进的基准方法相比，在数据集 SST2、IMDB 和 AGNews 上，我们的方法在准确性、稀疏性、鲁棒性和剪枝成本之
PDF8 months ago
通过选择性参数微调克服通用知识丢失
本文介绍了一种更新基础模型以适应新信息并保留其原始能力的新方法，通过对一小部分参数进行本地化修改，并引入重要性评分机制来仅更新最关键的权重，在多样的持续学习任务中得到了全面评估，表明其能够提高现有的持续学习方法并减少已训练知识的损失。
PDF10 months ago
LLaMA-Adapter: 使用零初始化注意力对语言模型进行高效微调
LLaMA-Adapter 是一种轻量级的适应方法，用于高效地对 LLaMA 进行微调，该方法采用一个可学习的适应提示集，将其插入到输入文本标记中的高级 transformer 层中，并提出一种有效地保留其预训练知识的零启动注意机制，以改进
PDFa year ago
ICLR对比 Syn-to-Real 泛化
本文提出了一种基于对比的从合成到真实的泛化（Contrastive Synthetic-to-Real Generalization, CSG）框架，该框架利用预训练的 ImageNet 知识防止过度拟合合成域，同时提高特征嵌入的多样性以改
PDF3 years ago