Jun, 2024

TemPrompt: 基于 RAG 的众包系统中的多任务提示学习用于时间关系抽取

PDF
TL;DR基于预训练语言模型的多任务提示学习框架（TemPrompt）结合了提示调整和对比学习来解决事件的演变以及任务请求的问题，实验结果表明在标准和少样本情况下，TemPrompt 在多个指标下优于其他基准模型，并通过案例研究验证了在众包场景中的有效性。
temporal relation extractionpre-trained language modelsmulti-task prompt learning frameworkprompt tuningcontrastive learning
发现论文，激发创造
  • 基于检索增强的 LLMs 的事件时间关系抽取

    利用大型语言模型从相关知识中检索来增强提示模板和语言生成器的新型检索增强事件时间关系抽取方法，通过生成各种创意来有效提高事件时间关系抽取任务的性能。

    Mar, 2024

  • 基于 RAG 的众包任务分解通过带提示的掩码对比学习

    通过引入基于提示的对比学习，我们提出了一种用于任务分解的检测框架，能够有效地区分不同事件类型，并在多个领域中具有竞争力的性能。

    Jun, 2024

  • 跨语言关系抽取的 Prompt 学习

    本研究提出了一种基于 Prompt-Tuning 的 XRE 算法，使用多语言 Pre-trained 语言模型，通过硬性提示、软性提示、混合提示等多个提示模板来改进 XRE 的效果，实验表明我们的算法在多语言环境下有显著的效果并且在新数据集上也表现优秀，代码和数据集已开放。

    Apr, 2023

  • TEMPERA: 通过强化学习进行测试时间提示

    本研究提出一种新的 Test-time Prompt Editing 方法，可以更好地适应不同查询和提供每个查询的可解释提示，相较于 Prompt tuning、AutoPrompt 和 RLPrompt，该方法可以在情感分析、主题分类、自然语言推理和阅读理解等多个任务中实现显著的改进。

    Nov, 2022

  • 低资源命名实体识别基于提示的文本蕴涵

    本文提出了 Prompt-based Text Entailment (PTE) 低资源命名实体识别技术，将命名实体识别作为文本蕴含任务，并使用 Pre-trained Language Models 和 entity type-specific prompts 来获得高性能。通过在 CoNLL03 数据集和 MIT Movie 及 Few-NERD 数据集上进行的实验，结果表明该方法 PTE 在低资源场景下的表现优于微调的对照组。

    Nov, 2022

  • 任务引导提示学习在隐式话语关系识别中的应用

    该研究提出了一种称为 TEPrompt 的任务启示式预测学习模型，通过融合三个相关任务的学习特征来识别不明确文本间关系，实验结果表明，TEPrompt 在 IDRR 中表现优于 ConnPrompt，并且能够通过辅助任务的联合训练来提高决策特征和语言模型。

    May, 2023

  • PromptST: 提示增强的时空多属性预测

    在信息爆炸时代，时空数据挖掘作为城市管理的关键部分，通过同时预测多个时空属性，可以减轻监管压力，推动智能城市建设。本文提出了一种针对时空多属性预测的有效解决方案，PromptST，通过时空变换器和参数共享训练机制来处理不同时空属性之间的共同知识，以及一种轻量级时空指令调优策略来适应特定属性。通过预训练和指令调优阶段，PromptST 能够增强对特定时空特征的捕捉能力，并保持已学习的共同知识。在真实数据集上进行的广泛实验证明，PromptST 达到了最先进的性能。此外，我们还证明 PromptST 在未见过的时空属性上具有很高的可迁移性，为城市计算带来了有前景的应用潜力。实现代码可用于方便的复现。

    Sep, 2023

  • 通过提示模板和对比学习提高事件表示

    在本研究中，我们提出了 PromptCL，这是一种用于事件表示学习的新框架，能够有效地发挥预训练语言模型 (PLMs) 综合捕捉短事件文本语义的能力。PromptCL 利用了从提示学习中借鉴的 Prompt 模板，通过在对比学习中扩展输入文本，提供事件组成部分的结构概述，从而提高事件表示学习的效果。此外，我们提出了主谓宾 (SPO) 的词序和面向事件的掩码语言建模 (EventMLM) 来训练 PLMs 理解事件组成部分之间的关系。实验结果表明，PromptCL 在事件相关任务上优于最先进的基准方法，并且我们进行了彻底的分析，证明使用提示可以提高事件表示的泛化能力。

    Apr, 2024

  • Schema-aware Reference as Prompt Improves Data-Efficient Relational Triple and Event Extraction

    本文提出了一种基于预训练语言模型、schema-aware reference 和 few-shot learning 的信息抽取方法，可以克服语义差距和特征不足等诸多限制，并在四个关系三元组和事件抽取数据集上表现出更好的低资源学习性能。

    Oct, 2022

  • 装饰范例：一种简单的生物医学关系抽取提示设计方法

    本文探讨在生物医学领域中的关系抽取问题，研究使用集成学习的方式能否提高在 ChemProt 数据集上的预测结果，结果展示了基于掩码的抽取方法有潜力在该特定领域关系抽取任务中取得优异的性能。

    Apr, 2022