Oct, 2022

Schema-aware Reference as Prompt Improves Data-Efficient Relational Triple and Event Extraction

PDF
TL;DR本文提出了一种基于预训练语言模型、schema-aware reference 和 few-shot learning 的信息抽取方法，可以克服语义差距和特征不足等诸多限制，并在四个关系三元组和事件抽取数据集上表现出更好的低资源学习性能。
information extractionpre-trained language modelsschema-aware referencefew-shot learningdata-efficient
发现论文，激发创造
  • 通过统一模式提示来提高任务泛化能力

    该研究提出了一种名为 Unified Schema Prompt 的灵活可扩展的提示方法，通过利用每个任务的输入结构来自动自定义学习提示，以增强任务的泛化能力，并在一系列 NLP 任务中进行了实验验证。

    Aug, 2022

  • TemPrompt: 基于 RAG 的众包系统中的多任务提示学习用于时间关系抽取

    基于预训练语言模型的多任务提示学习框架（TemPrompt）结合了提示调整和对比学习来解决事件的演变以及任务请求的问题，实验结果表明在标准和少样本情况下，TemPrompt 在多个指标下优于其他基准模型，并通过案例研究验证了在众包场景中的有效性。

    Jun, 2024

  • RAPS: 一种新的 Few-Shot 关系抽取管道，具有查询信息指导的注意力和自适应原型融合

    本文提出了一种基于查询信息引导的注意力和自适应原型融合的新型流程 RAPS，以更有效地泛化到新的关系，该方法在 FewRel 1.0 数据集上取得了显著的改进，优于现有最先进方法。

    Oct, 2022

  • PROMPT-SAW: 基于关系感知图的文本提示压缩

    使用 PROMPT-SAW 方法进行的压缩提示在可读性方面表现更好，在任务感知和任务无关设置中分别超越了最佳基线模型 14.3 和 13.7，同时压缩了原始提示文本 33.0 和 56.7。

    Mar, 2024

  • 带检索增强条件提示调优的新颖性控制改写生成

    本文提出了参数效率的 Retrieval Augmented Prompt Tuning（RAPT）和使用专门的提示标记的 Novelty Conditioned RAPT（NC-RAPT）作为控制不同水平词汇新颖性的简单模型无关方法，通过在四个数据集上进行广泛实验，证明了所提出的方法在诱导语义内容的同时诱导词汇新颖性的有效性。

    Feb, 2022

  • 用结构化提示问询和递归语义抽取（SPIRES）：一种使用零样本学习填充知识库的方法

    SPIRES 是一种基于大型语言模型的知识提取方法，使用零 - shot 学习和通用查询回答，以根据特定模式返回信息，支持知识管理和获取的手动曲调。

    Apr, 2023

  • G-SAP：基于图的异构知识的常识推理结构感知提示学习

    我们提出了一种用于常识推理的新型基于图结构的提示学习模型，名为 G-SAP，旨在在 LM+GNNs 模型中保持异构知识的平衡并增强跨模态的交互。通过将多个知识源整合到证据图中，采用结构感知的冻结 PLM 来完全融合来自证据图的结构化和文本信息，利用异构消息传递推理模块促进 LM 和基于图的网络之间的深度交互。通过在三个基准数据集上进行大量实验证明了所提出模型的显着性能，尤其在 OpenbookQA 数据集上相比目前现有的 LM+GNNs 模型有 6.12％的改进。

    May, 2024

  • 基于结构的提示增强图神经网络

    图神经网络 (GNN) 在学习图数据的语义方面具有很强的能力。最近，一种名为 “预训练、提示” 的新范式在利用较少监督数据将 GNNs 适应各种任务方面取得了有希望的结果。成功的这种范式可以归因于预训练和面向任务的提示调整之间更一致的目标，其中预训练知识可以有效地转移到下游任务。然而，现有研究中一个被忽视的问题是，在预训练阶段利用图的结构信息来学习节点表示，而在提示调整阶段却被忽略了。为了弥合这一差距，我们提出了一种新颖的基于结构的 GNN 提示方法，即 SAP，它在预训练和提示调整阶段都一致地利用了结构信息。具体来说，SAP 使用双视图对比学习来对齐节点属性和图结构的潜在语义空间，并在提示的图中加入结构信息以引发更多预训练知识。我们在节点分类和图分类任务上进行了大量实验证明了 SAP 的有效性。此外，我们还表明 SAP 可以在同质和异质图上的更具挑战性的小样本场景中实现更好的性能。

    Oct, 2023

  • 使用提示引导具有关系语义的模型进行对话关系抽取

    本文提出了一个利用 prompt-based fine-tuning 的 Guiding model with RelAtional Semantics (GRASP) 方法，在不添加额外层次的情况下，通过一种关注 argument 的 prompt 标记策略和关系线索检测任务，从语料库中提取出相关语义线索，并在 DialogRE 数据集上实现了 F1 和 F1c 得分的最先进性能。

    Aug, 2022

  • 个性化推荐语言模型的个性化自动提示

    我们提出了 PAP-REC，一种用于生成个性化自动提示的 RECommendation 语言模型的框架，旨在解决手动设计提示的低效和低效问题，并通过实验证明自动生成的提示优于手动构造的提示和各种基线推荐模型。

    Feb, 2024