通过提示模板和对比学习提高事件表示

Apr, 2024

通过提示模板和对比学习提高事件表示

PromptCL: Improving Event Representation via Prompt Template and Contrastive Learning

Yubo Feng, Lishuang Li, Yi Xiang, Xueyang Qin

TL;DR在本研究中，我们提出了 PromptCL，这是一种用于事件表示学习的新框架，能够有效地发挥预训练语言模型 (PLMs) 综合捕捉短事件文本语义的能力。PromptCL 利用了从提示学习中借鉴的 Prompt 模板，通过在对比学习中扩展输入文本，提供事件组成部分的结构概述，从而提高事件表示学习的效果。此外，我们提出了主谓宾 (SPO) 的词序和面向事件的掩码语言建模 (EventMLM) 来训练 PLMs 理解事件组成部分之间的关系。实验结果表明，PromptCL 在事件相关任务上优于最先进的基准方法，并且我们进行了彻底的分析，证明使用提示可以提高事件表示的泛化能力。

Abstract

The representation of events in text plays a significant role in various NLP tasks. Recent research demonstrates that contrastive learning has the ability to improve event comprehension capabilities of pre-trained langu

event representation learning contrastive learning pre-trained language models promptcl event related tasks

发现论文，激发创造

卷积提示与语言模型相遇的持续学习

提出了 ConvPrompt，一种新颖的卷积提示创建机制，通过维护逐层共享的嵌入，实现了层特定学习和更好的概念传递，从而克服了 Catastrophic Forgetting 在 Continual Learning 中的问题。通过使用卷积的智能化利用，可以保持较低的参数开销而不影响性能，并通过大型语言模型生成每个类别的细粒度文本描述，用于获取任务相似性并动态决定要学习的提示数量。在广泛的实验证明了 ConvPrompt 的优越性，并显著提高了 SOTA 约 3%，参数开销更少。同时进行了强有力的模块剥离以剖析不同组成部分的重要性。

Mar, 2024

CLIP-Event: 连接文本和图像的事件结构

本文提出了一种对视觉语言预训练模型进行对事件及相关参数角色理解的对比学习框架，并结合文本信息提取技术，利用多个提示函数来构造事件结构，设计基于最优传输的事件图形对齐损失来捕获事件参数结构，通过无监督学习进行预训练，并在零样本的情况下取得了优秀的性能。

Jan, 2022

短文本分类的 Prompt-Learning

本文介绍了基于知识拓展的 Prompt-learning 方法来解决短文本分类中的标签扩展问题，并在三个著名数据集上实验，结果比其他方法均取得了显著提高。

Feb, 2022

有效基于提示的关系分类学习

本文提出了一种新的基于提示的学习方法 LabelPrompt，用于关系分类任务，通过定义附加令牌来表示关系标签，并构建提示模板方法，以及设计一个实体感知模块和注意查询策略来解决模型中的一些挑战，极大地提高了在缺乏标注数据情况下利用提示学习的适应能力，特别是在少样本场景中的表现超过了其他几种方法。

Feb, 2023

CLEVE: 事件抽取对比预训练

CLEVE 是一种对事件抽取进行对比预训练的框架，可以从大规模无监督数据和自动解析器获得的语义结构中更好地学习事件知识，并在传统的监督学习和无监督的事件抽取中显着提高了性能。

May, 2021

ConsPrompt: 对比样本在小样本提示学习中的简易利用

探究如何使用对比样本来加强提示学习，在 prompt learning 中引入对比采样模块和对比评分模块，实现差分对比学习，提出 ConsPrompt 模型在五个不同的 few-shot 学习任务中的有效性和鲁棒性，显示基于相似性的采样策略比基于标签的更加有效，结果表明 ConsPrompt 可以成为一种更好的知识探针来促进 PLMs。

Nov, 2022

解剖近义句：预训练语言模型中提示句法和补充信息对知识检索的影响

预训练语言模型可以通过闭式样式提示来推断关系性知识，使用统一的元模板设计的 CONPARE-LAMA 探针表明句子结构在知识检索性能方面具有多种可取的特性，并且领域信息相对于语法形式更可靠地提升知识检索性能。

Apr, 2024

使用冻结语言模型的临床提示学习

研究了 prompt learning 对临床应用决策任务的可行性，并与传统的微调方法进行了直接比较。结果部分符合 prompt learning 文献，提示学习能够在可训练参数更少和需要更少的训练数据的情况下与传统微调相匹配或改进，可以作为一种可替代越来越大的预训练语言模型微调的较低计算资源成本，适用于临床环境。

May, 2022

POP：面向连续学习的提示

本文提出了 Prompt Of Prompts (POP) 模型，它通过逐步学习一组任务特定 prompt 和一组全局 prompt 的方式来捕捉多个任务之间的信息集成，并证明这个模型在少样本情况下能够优于传统的 CL 方法。

Jun, 2023

E-CLIP: 通过 CLIP 实现高效标签的事件驱动开放式理解

提出了一种名为 E-CLIP 的框架，它通过引入新颖的事件编码器和文本编码器，以及原始图像编码器，采用层次三重对比对齐 (HTCA) 模块来优化相关性，实现三种模态之间的知识传递，并在 N-Caltech 数据集上在微调和少样本设置下将性能提升了 3.94% 和 4.62%。此外，E-CLIP 可以灵活地扩展到使用文本或图像查询的事件检索任务。

Aug, 2023