parameter-efficient learning | BriefGPT

关键词parameter-efficient learning

搜索结果 - 6

大型语言模型实时学习的趋势和挑战：一项关键综述
该论文对大规模语言模型中的实时学习进行了综合分析，包括继续学习、元学习、参数高效学习和专家混合学习等实时学习范式。通过描述相关主题的具体成果和关键因素，论文展示了这些范式在实时学习方面的实用性。最后，该论文强调了当前研究领域中的问题和挑战，
PDF2 months ago
EMNLP半监督语言理解中基于不确定性的参数高效自训练
UPET 是一个新颖的、针对标记数据稀缺问题的不确定性感知的参数高效自训练框架，通过在蒙特卡洛（MC）dropout 和贝叶斯神经网络（BNN）中进行不确定性估计，并基于置信度和确定性选择可靠的伪标记样本，在学生训练中引入多个参数高效学习（
PDF8 months ago
E^2VPT: 一种有效高效的图像提示调整方法
提出了一种有效和高效的视觉提示调整 (E^2VPT) 方法来实现大规模基于 Transformer 的模型适应，该方法通过引入一组可学习的键值提示和视觉提示分别到自注意力和输入层，以提高模型微调的效果，并设计了提示修剪程序来系统地修剪低重要
PDFa year ago
ACLPIP: 基于解析指导的前缀法用于句法控制的释义生成
提出一种名为 PIP 的新型前缀调整模型，可以在较低计算成本和较少的学习参数的情况下，在特定的句法结构下执行重述生成任务，并显著提高语法控制信息的捕获和性能。
PDFa year ago
文本朗读口音自适应的参数高效学习
本文采用参数效率学习（PEL）技术，基于最优传输（OT）理论，引入无监督损失来最大化源域和目标域之间的差异，建立一个资源高效的低资源口音自适应文本到语音（TTS）模型，提高 Mandarin 口音自适应的自然度和性能的实验结果证明了该方法的
PDFa year ago
参数高效的法律领域适应
本文提出了一种参数高效的法律领域适应方法，该方法使用公共法律论坛的海量无监督法律数据进行法律预训练，成功地在各种法律任务上超过或匹配现有模型的低样本学习性能，同时只调整了约 0.1％的模型参数，达到与现有方法相当的校准效果。
PDF2 years ago