WWWJan, 2022

本体增强的少样本学习提示微调

PDF
TL;DR本研究提出了一个基于知识注入和预训练语言模型的本体增强提示调整（OntoPrompt）方法，能够处理结构数据缺失、噪声和异质性问题，该方法在关系抽取、事件提取和知识图谱完成等三个任务中得到了比基准更好的性能。
few-shot learningknowledge injectionpre-trained language modelsontology transformationcollective training algorithm
发现论文，激发创造
  • STPrompt: 语义引导和任务驱动的提示，用于有效的少样本分类

    提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。

    Oct, 2022

  • 基于 Prompt 的少样本学习在自然语言理解中对抗鲁棒性研究

    本篇研究对几种最先进的小样本学习方法进行了广泛的研究，以评估它们对敌对扰动的鲁棒性，结果表明相对于完全微调模型，普通的 Few-shot 学习方法在面对敌对扰动时表现出显著的下降，但使用（i）用于提示的未标记数据和（ii）多个提示扭转了这种趋势，并且增加少量样本的例数和模型大小可以增加其鲁棒性。

    Jun, 2023

  • 小样本图像识别的语义提示

    该研究提出了一种基于语义提示的适应性视觉特征提取方法，通过在空间和通道维度插入语义提示来提高视觉特征提取器的处理能力，从而在极少量的支持样本下，实现更好的类别特定特征捕捉和更广泛的图像表示。

    Mar, 2023

  • Few-shot 基于提示微调中避免推断启发式方法

    本文研究表明，在句子对分类任务中，虽然预训练语言模型提供了低数据环境下的优势，但基于提示的微调模型仍然存在使用基于词汇重叠的推理启发式的共同缺陷，加入保留预训练权重的正则化可以缓解这种破坏性的微调倾向，并在三个挑战数据集上显示了可预期的改进。

    Sep, 2021

  • 预训练语言模型为什么比零 / 少样本学习者更好？

    本文提出了一种理论框架，以解释在零 / 少样本场景下提示学习的功效，我们进一步假设语言差异可以衡量提示的质量，并且通过基于 perplexity 的注释无关模板选择方法，使我们能够提前预测提示性能。

    Sep, 2022

  • 使用指令微调语言模型的自动化少样本分类

    通过使用指导微调的语言模型，构建了一个用于 few-shot 学习的方法，名为 AuT-Few，该方法可以自动选择适合的任务指令，并实现了较强的 prompt 稳健性和良好的分类性能。

    May, 2023

  • 短文本分类的 Prompt-Learning

    本文介绍了基于知识拓展的 Prompt-learning 方法来解决短文本分类中的标签扩展问题，并在三个著名数据集上实验，结果比其他方法均取得了显著提高。

    Feb, 2022

  • 超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

    本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

    Apr, 2022

  • SPARSEFIT：稀疏微调的少样本提示，用于联合生成预测和自然语言解释

    本文提出一种名为 SparseFit 的算法，使用离散提示在几个可用的 NLEs 的情况下，只微调神经模型的 6.8％参数即可同时生成预测结果和高质量 NLEs，可取得与精细调整昂贵的 Pre-trained Language Models 相当的效果。

    May, 2023

  • KnowPrompt：基于知识感知和协同优化的关系抽取触发器调优

    我们提出了一种知识感知的提示调整方法，名为 KnowPrompt，用于关系提取，即将潜在知识注入到提示构建中，并通过结构约束进行协同优化，该方法在五个数据集上的实验结果表明其有效性。

    Apr, 2021