- 基于提示的方法的逻辑否定增强和去偏
基于提示的方法在自然语言处理领域越来越受关注,并在许多下游任务中显示出其有效性。然而,鲜有研究探索这些方法在逻辑推理方面的能力。本研究针对提示方法在一阶逻辑推理方面的有效性进行研究,发现其中的瓶颈问题在于逻辑否定。根据我们的分析,逻辑否定往 - FPT:用于少样本可读性评估的特征提示调整
我们提出了一种新的基于提示的调优框架,称为特征提示调优(FPT),它结合了丰富的语言知识,通过从文本中提取语言特征并将其嵌入可训练的软提示,进一步设计了一种新的损失函数来校准类别之间的相似度排名顺序,实验证明我们的方法在诸多方面均显著提高了 - AdaViPro: 基于区域的大规模模型的自适应视觉提示
我们提出了一个名为 AdaViPro 的区域自适应视觉提示,它将提示的 “添加到哪里” 优化集成到学习过程中,通过基于 Gumbel-Softmax 采样实现端到端学习,通过大量实验证明,AdaViPro 在适应预训练模型方面产生了新的效率 - 无插值复习的连续学习一致提示
本文提出了一种新的基于提示的方法,Consistent Prompting(CPrompt),用于更加一致的训练和测试,在多个持续学习基准测试中实现了最新的性能表现。
- ICLROVOR:无需训练的逐步增加类别学习中的 OnePrompt 与虚拟异常规则
我们提出了一种基于虚拟异常点的正则化方法,通过收紧分类器的决策边界,减轻不同任务之间类别的混淆;同时,我们展示了一种简化的基于提示的方法,可通过更少的学习参数和较低的推理成本实现与之前的最先进方法相当的结果。
- ACLToPro: 跨语言序列标注任务的令牌级提示分解
通过将输入句子分解为单个标记并对每个标记应用一个提示模板,我们提出了一种名为 ToPro 的基于提示的方法,用于标记任务的标记级序列标注。在多语言 NER 和 POS 标记数据集上的实验证明,与 Vanilla fine-tuning 和 - 及时预测结构:推理的回归
通过结构约束和组合推理,我们构建了一种基于提示的方法用于零和少样本的语言结构预测,在两个结构预测任务和五个数据集上的结果表明,强制一致性不仅构建了结构上有效的输出,而且还改善了性能。
- INTERS: 在搜索中利用指导调整解锁大型语言模型的能力
本研究探索指令调优提高大型语言模型在信息检索任务中的能力,并引入了一个新的指令调优数据集,INTER,涵盖了查询理解、文档理解和查询 - 文档关系理解三个基本 IR 类别的 21 个任务。实证结果表明,INTER 显著提高了公开可用的 LL - 大型语言模型作为零样本关键词抽取器的初步实证研究
零 - shot 关键短语提取通过无需人工注释数据来构建关键短语提取器,挑战在于其限制了人工干预,然而零 - shot 设置有效地减少了数据标注所需时间和精力。通过对预训练大型语言模型(如 ChatGPT 和 ChatGLM)的最新尝试,在 - ICCV引入语言指导在基于提示的持续学习中
在连续学习中,我们提出了 Prompt-based Continual Learning(LGCL)作为 Prompt-based 方法的插件,引入了任务级别和类别级别的语言引导,并通过广泛的实验表明,LGCL 能够持续提高 Prompt- - ICCV当基于提示的增量学习无法满足强预训练时
本研究提出了一种可学习的自适应提示生成器(APG),通过将提示的检索和学习过程统一为可学习的提示生成器,以降低任务之间的差距对模型性能的负面影响,在无(强)预训练条件下,在递增学习中明显优于先进方法。
- 探究 GPT-3 在语法错误纠正中的有效性:基于提示方法的性能和可控性研究
本文探讨了使用零样本和少量样本设置,以 GPT-3 为基础进行语法错误修正任务的提示式方法的性能和可控性,并发现给定适当的任务说明和示例时,GPT-3 能够实现控制性能,显着增强学习过程。
- 通过与 ChatGPT 聊天实现零样本信息抽取
本文探讨了零样本信息提取(Zero-shot information extraction)的挑战,通过大型语言模型和基于提示的方法构建具有强大信息提取能力的 ChatIE 框架,成功地实现了多轮问答式的信息提取任务,这为使用有限资源构建信 - EMNLP多语种关系分类:高效和有效的提示方法
本文提出了一种基于提示的多语言关系分类效果高效的方法,可以在完全监督、少样本和零样本场景中有效地使用,旨在成为类似多语言分类任务的强大基准。
- 语言模型可以变得更加具体吗?如何做到?
探讨了如何测试预训练语言模型的特异性,并提出了一种基于提示构建掩码令牌预测任务的新方法来评估特异性,结果表明可以通过基于提示的方法提高模型的特异性,而无需进行额外的训练。
- 基于因果干预的提示去偏置事件论元抽取
本文通过比较两种不同的提示策略,即基于名称的提示和基于本体的提示,揭示了本体提示方法在零样本事件论证提取中的优势,并提出了一种因果干预的去偏方法。实验表明,经过去偏处理后的基准模型不仅更为有效和鲁棒,而且在对抗攻击方面有显着的改进。
- 基于弱监督的口语理解低资源流水线
本文提出了一种基于提示的弱监督学习方法,用于在未标记的数据上获取嘈杂的标签,并在许多口语理解任务上取得了可靠的表现,优于传统的规则方法和其他竞争性的低资源基准。
- 使用生成式提示推断进行毒性检测
本文探讨零样本基于提示的毒性检测方法的生成变量,通过对提示工程的全面试验在三个社交媒体数据集上进行验证,并讨论了自诊断及其伦理影响的有趣方面。
- InstructionNER: 一个多任务基于指令的生成框架,用于少样本 NER
本文提出了一种基于多任务指令的生成式框架 InstructionNER,用于低资源的命名实体识别。实验结果表明,我们的方法在少样本任务中始终优于其他基线模型。
- ACL无需模板的少样本命名实体识别指令微调
本文提出了一种更优雅的方法,将 NER 任务重新制定为 LM 问题,同时探索了自动搜索合适的标签词的方法,该方法避免了复杂的基于模板的过程,并且实验证明其在少量样本情况下表现更佳,并且解码速度比基于模板的方法快了 1930.12 倍。