May, 2023

评估基于提示的问题回答在开放研究知识图谱中的物体预测中的应用

PDF
TL;DR本文报告了采用基于提示的 transformer 训练方法进行学术知识图谱对象预测的结果，发现在轻度评估设置下，这种训练方法能够提高 40％的性能，但仍存在领域知识捕获差距，需要更多关注和资源来解决这个问题。
prompt-based trainingtransformer language modelsscholarly knowledge graphlow-resource settingsperformance boosts
发现论文，激发创造
  • 基于 Prompt-Engineering 和 Transformer 的问题生成和评估

    该研究旨在通过变压器模型和提示工程找到从文本数据中生成问题的最佳方法。通过对 SQuAD 问答数据集上的预训练 distilBERT 模型的微调以生成问题，并应用 LLaMA 模型以有效地生成问题，将生成的问题与 SQuAD 数据集中的基准问题进行比较，评估了四种不同提示的有效性，其中有 30% 的提示生成的问题获得了大于 70% 的高相似度分数。

    Oct, 2023

  • 利用基于提示的技术来生成学校级问题的大型语言模型的力量

    利用基于提示的技术生成描述性和推理性问题是一个具有挑战性和耗时的任务。本研究提出了一种新方法，利用基于提示的技术生成描述性和推理性问题。我们通过精选的 NCERT 教科书的丰富内容，创建了一个名为 EduProbe 的新的问题生成数据集。我们针对此数据集调查了几种基于提示的问题生成方法，并使用预训练的大型语言模型进行了微调。通过自动评估，我们发现 T5（使用长提示）表现优于其他模型，但仍然低于人类基准。在人类评估标准下，TextDavinci-003 通常在各种提示设置下表现更好。即使在人类评估标准下，问题生成模型也大多低于人类基准。

    Dec, 2023

  • 图形提示方法调查：技术、应用和挑战

    通过基于结构化图形的触发方法，绕过传统的大规模标注数据集，提高深度学习的泛化能力，使预训练模型更具适应性。

    Mar, 2023

  • SwitchPrompt: 学习特定领域的门控软提示，以在低资源领域中进行分类

    本研究提出了一种名为 SwitchPrompt 的轻量级提示方法，通过使用可训练的闸门提示和领域特定关键字，将预训练的通用领域语言模型来适应各种低资源域，实验结果表明 SwitchPrompt 减少了领域特定语言模型预训练的需求，并在三种文本分类基准测试中显著提高了准确率，比基准提示方法训练出的领域特定对应物最高可提高 10.7％。

    Feb, 2023

  • 超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

    本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

    Apr, 2022

  • 基于知识的提示调优通用视觉语言模型

    通过设计两种类型的知识感知提示，离散提示和学习连续提示，以及视觉编码器的适应头部，实现针对视觉 - 语言模型的知识感知提示调整（KAPT）框架在少样本图像分类中的有效性和对未见类别的泛化能力。与最先进的 CoCoOp 方法相比，KAPT 在新类别中获得了 3.22% 的绝对增益和 2.57% 的调和均值增益。

    Aug, 2023

  • 面向知识图谱填充的任务特定预训练和提示分解方法

    描述一个知识图谱填充系统，通过特定任务的预训练提高被屏蔽对象令牌的 LM 表示，分步生成候选对象的提示分解等方法提供高质量的检索。该系统赢得了 ISWC 2022 举办的 LM-KBC 挑战赛的赛道 1，并在 BERT LM 上实现了 55.0％的 F-1 得分。

    Aug, 2022

  • 自然语言处理中提示方法的系统调查：预训练、提示和预测

    该研究论文调查和组织了一种新兴的自然语言处理范式，这种范式被称为 “基于提示的学习”，并在其中介绍了其基础知识和数学符号，以及其在预训练模型、提示和调整策略等方面的相关研究成果，该框架通过使用模板将输入 x 修改为具有一些未填充信息的文本字符串提示 x'，并将语言模型用于填充未填充信息以获得最终字符串 x，从而实现零样本学习和少样本学习。

    Jul, 2021

  • 具有句法信息的异构图变换器问答

    本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。

    Apr, 2022

  • 基于先验训练的开放集检测中视觉提示的探索

    通过学习新类别知识并利用统计学构建模块，以及任务特定相似性字典的设计，我们提出了一种新的视觉提示方法，可以将预训练的检测模型推广到新类别，并在组合推理中表现出更好的性能。

    Dec, 2023