pretrained knowledge | BriefGPT

关键词pretrained knowledge

搜索结果 - 5

MiLoRA: 利用次要奇异分量进行参数高效的 LLM 微调
在本文中，我们提出了一种名为 MiLoRA 的简单而有效的 LLM 微调方法，仅更新权重矩阵的次要奇异部分，而保持主要奇异部分不变，以便在微调期间最大限度地利用较少优化的子空间来学习微调数据集。通过对常识推理、数学推理和指令跟踪基准的广泛实
PDF23 days ago
多模态融合的条件提示调节
利用一种多模态融合方法，通过一个模态的表示来引导另一个模态的参数高效提示，从而将预训练知识有效转移至多模态任务中。
PDF7 months ago
CVPRCVT-SLR: 对比视觉 - 文本变换及变分对齐应用于手语识别
本文提出了一种新的对比视觉 - 文本转换（CVT-SLR）的方案，以充分探索视觉和语言模态的预训练知识，改进手语识别（SLR）的效果，实验结果表明其优于现有的单模态方法甚至优于 SOTA 多模态方法。
PDFa year ago
EMNLP从词典学习：异构知识引导的中文拼写修正微调
本文提出了一种 LEAD 框架，该框架允许 CSC 模型从字典的语音、视觉和含义方面学习异构知识，并通过基于对比学习的训练方案来提高 CSC 模型的表示能力。实验证明该方法有效。
PDF2 years ago
使用神经架构搜索和早期停止的图像分类中的两阶段架构微调
本文介绍了利用预训练神经网络和基于神经体系结构搜索的两阶段微调概念，使用突变方法和提前终止搜索等策略，实验结果表明我们的方法减少了 32.4％的计算成本和 22.3％的搜索成本。
PDF2 years ago