prompt-based fine-tuning | BriefGPT

关键词prompt-based fine-tuning

搜索结果 - 9

EMNLP使用无需映射的自动转述器增强基于提示的自我训练对多类别分类的提升
最近，基于提示的微调作为少样本文本分类任务的核心技术引起了相当大的兴趣。本研究引入了一种名为 Mapping-free Automatic Verbalizer (MAV) 的新型高效词汇提取结构，利用 MLM 预测中的所有信息来自动提取分
PDF7 months ago
主题、领域和语言变化的桥梁：综合离域场景的评估
在真实世界中，语言模型在超出分布范围的场景中的泛化能力变得更低，基于提示的微调方法在语义差异较大的任务中表现更好，而基于梯度的学习存在结构障碍的偏差问题。
PDF10 months ago
TransPrompt v2：跨任务文本分类的可迁移提示框架
TransPrompt v2 是一种具有传递性的促进框架，用于跨相似或远距离文本分类任务的少样本学习，通过多任务元知识获取 (MMA) 过程和两项去偏技术，该元学习器可以在多个 NLP 任务和数据集上优于单任务和跨任务强基线，并改善预先未见
PDF10 months ago
ACL基于 Prompt 的少样本学习在自然语言理解中对抗鲁棒性研究
本篇研究对几种最先进的小样本学习方法进行了广泛的研究，以评估它们对敌对扰动的鲁棒性，结果表明相对于完全微调模型，普通的 Few-shot 学习方法在面对敌对扰动时表现出显著的下降，但使用（i）用于提示的未标记数据和（ii）多个提示扭转了这种
PDFa year ago
COLING使用提示引导具有关系语义的模型进行对话关系抽取
本文提出了一个利用 prompt-based fine-tuning 的 Guiding model with RelAtional Semantics (GRASP) 方法，在不添加额外层次的情况下，通过一种关注 argument 的 p
PDF2 years ago
SIGIR针对目标的提示蒸馏进行小样本立场检测
本文提出了基于预训练语言模型（PLMs）的提示微调方案，以实现针对不同目标的在有限数据情况下的态度检测，通过设计面向目标的提示和提出新的翻译，来有效实现本文提出的方法，实验结果表明我们的模型在全数据和少样本场景下均具有优越的性能。
PDF2 years ago
动态掩码令牌表示的动态提示
本篇论文提出了一种改进的 Prompt-based fine-tuning 方法，名为 DynaMaR，它通过动态 Prompt 和 Mask Token 表征来解决过度拟合和人工规划任务的问题，并在四个电子商务应用中实现了平均 10% 的
PDF2 years ago
针对少样本文本分类的统一提示调整
该论文提出了一种统一的 Prompt Tuning (UPT) 框架，通过从非目标自然语言处理数据集中明确捕获提示语义，使 BERT 风格模型在少样本文本分类方面取得更好的性能，该框架引入了一种新的编程范例 Prompt-Options-V
PDF2 years ago
使用自然语言，提示是否解决自然语言处理任务？
本文研究了三种 Prompt（包括 Human-designed，Schema 以及 Null prompt）在有监督 / 无监督场景下的有效性，最终发现 Schema prompt 可以提高训练效果，且随着数据规模的扩大，不同 Promp
PDF2 years ago