BriefGPT.xyz
Ask
alpha
关键词
parameter-efficient tuning methods
搜索结果 - 4
任意少参数足以适应大规模预训练语言模型
本研究发现模型缩放可以缓解调整方法的设计差异，并使调整方法优化更少的参数以实现全参数微调性能，并探讨了此现象与优化角度的机制，这些结论不仅证明了模型缩放对调整方法的积极影响，还披露了其机制，有助于我们设计更有效和高效的调整方法。
PDF
a year ago
ACL
随机桥作为参数有效调整的有效正则化方法
本研究提出使用隐性随机桥作为正则化方法来优化参数效率调节方法（PETs）中的中间状态，并表明这种正则化方法可以适用于不同领域和任务的 PLM。
PDF
a year ago
GPS: 基因提示搜索用于高效的少样本学习
本文介绍了使用遗传算法自动搜索高性能提示信息的 Genetic Prompt Search（GPS）来改善少样本学习的性能，该方法不需要模型参数更新，只需要一个小型验证集。实验结果表明，GPS 比手动提示信息的性能高出 2.6 个百分点，并
→
PDF
2 years ago
神经提示搜索
本文提出了神经架构搜索算法 Neural prOmpt seArcH（NOAH），利用 prompt 模块来学习大型视觉模型下游数据集的最优设计，通过在超过 20 种视觉数据集上的广泛实验，我们证明 NOAH 优于单个提示模块，具有良好的少
→
PDF
2 years ago
Prev
Next