few-shot fine-tuning | BriefGPT

关键词few-shot fine-tuning

搜索结果 - 9

ICMLPID: 针对潜在扩散模型的独立提示数据保护
通过对视觉编码器的操作，提出了名为 Prompt-Independent Defense（PID）的简单而有效的方法，以保护数据免受 Latent Diffusion Models（LDMs）的侵害，并显著减少计算资源的需求。
PDF18 days ago
少样本微调中扩散模型的破坏阶段研究及贝叶斯神经网络的缓解
少样本微调的扩散模型存在训练过程中的图像质量退化现象，通过使用贝叶斯神经网络来解决这一问题，可以有效改善生成图像的质量和多样性。
PDFa month ago
ACLSumTra: 跨语言少样本摘要的可微分管道
跨语言概括是生成与输入文档不同语言（例如从英语到西班牙语）的摘要，使目标语言的使用者能够获得其内容的简洁概述。本文提出重新审视了概括和翻译流程，其中概括和翻译任务按顺序执行，并通过利用许多可用的公共资源进行单语概括和翻译，从而获得了非常有竞
PDF3 months ago
基于信息的迁移式主动学习
我们将主动学习推广到应对真实世界中的情况，其中采样被限制在域的可访问区域内，而预测目标可能位于该区域之外。为此，我们提出了 ITL，即信息驱动的转导学习，一种自适应采样的方法，旨在最大限度地提高对指定预测目标的信息获取。在普遍的规则性假设下
PDF5 months ago
主动少样本微调
我们研究了大型神经网络在下游任务中的主动少样本微调问题。我们证明了少样本微调是传统主动学习、转导式主动学习的一种泛化，并提出了信息导向的转导学习（ITL）方法，该方法通过适应性采样来最大化对指定下游任务的信息获取。在一般正则性假设下，我们证
PDF5 months ago
域对齐的 CLIP 用于少样本分类
在这项工作中，我们介绍了一种用于 CLIP 的样本高效领域适应策略，称为 Domain Aligned CLIP (DAC)，它在不对主模型进行全量微调的情况下，改进了目标分布上的内部模态对齐和跨模态对齐。通过引入一个轻量级的适配器和一个简
PDF8 months ago
ACLFew-shot Fine-tuning vs. In-context Learning: 公平比较和评估
本文比较了预先训练的语言模型的任务适应的两种替代策略：few-shot fine-tuning 和 in-context learning。通过控制模型、样本数量和参数数量，研究表明 fine-tuned language models 确
PDFa year ago
ACL预训练语言模型在少样本微调中的问题
本文旨在解释提高小样本下的预训练语言模型的性能，发现未 fine-tune 的预训练模型表现出强烈的预测偏差，而 fine-tune 可以缓解预测偏差并展现出更好的性能，但研究还在探讨如何平衡预测行为和开发有利于小样本学习的模型评估方法。
PDF2 years ago
自监督类感知几 - shot 分类
本研究使用无标签数据进行自我监督的预训练，通过迭代聚类和重新排序，并通过扩展对比优化损失来纳入类别层次意识，以在下游分类任务中进行少样本微调。实验证明，该方法在标准和跨域场景下的性能均优于其他方法，并取得了最新的表现。
PDF2 years ago