零样本社交政治事件提取的 Monte Carlo 语言模型管道
本文提出一种通用方法,在 MRC 模型的指导下执行无监督的句子简化,以改善 MRC-based 事件提取的性能,并在 ICEWS 地缘政治事件提取数据集上进行评估,特别关注 'Actor' 和 'Target' 参数角色,结果显示上下文简化可以提高演员提取 5% 以上和目标提取 10% 以上的性能。
Apr, 2022
该论文提出了一种零样本事件抽取方法,通过使用两个转换器模型将事件提及及其定义投射到相同的嵌入空间,通过对比学习来最小化它们的嵌入距离以实现定义语义建模,并在 MAVEN 数据集上进行了实验,表现优于之前的零样本和有样本监督方法。
Nov, 2022
本文介绍利用多语言预训练生成式语言模型进行零 - shot 的跨语言事件论元提取的研究。通过将 EAE 视为语言生成任务,论文提出的方法能够有效编码事件结构并捕获论元之间的依赖关系,提出了语言无关的模板以表示事件论元结构,从而适用于任何语言,最终在源语言训练模型,并直接应用于目标语言以实现事件论元提取。实验表明,所提出的模型在零 - shot 跨语言 EAE 方面优于当前最先进的模型,论文对它的优势和现有限制进行了全面的研究和误差分析。
Mar, 2022
本文通过使用预训练推理模型,将事件论元抽取等 NLP 任务转化为文本蕴涵任务,证明了文本蕴涵模型在复杂任务中同样有效,且可以大幅减少人工标注量和依赖于特定领域语料库的限制。使用多份蕴涵数据集来预训练模型是获得优异结果的关键。
May, 2022
最近的事件编码监督模型在超过模式匹配方法的性能。然而,它们仅依赖新注释,忽视了专家数据库中的丰富知识,限制了其在细粒度分类中的适用性。为了解决这些限制,我们探索了从已建立的注释代码库中获取知识的零样本方法,用于政治事件本体关系分类。我们的研究涵盖了 ChatGPT 和一种新的基于自然语言推断(NLI)的方法,名为 ZSP。ZSP 采用了一种树查询框架,将任务分解为上下文、语态和类别消歧的层次。该框架提高了可解释性、效率和适应架构变化。通过对我们新精心准备的数据集进行广泛实验,我们确定了 ChatGPT 内的不稳定性问题,并突出了 ZSP 优越的性能。ZSP 在细粒度 Rootcode 分类的 F1 得分上取得了 40% 的显著改进。与监督的 BERT 模型相比,ZSP 表现出了竞争性能,使其成为事件记录验证和本体发展的有价值工具。我们的工作强调了利用迁移学习和现有专业知识提高领域研究的效率和可扩展性的潜力。
Aug, 2023
本文提出了一个阅读理解框架,用于解决文本数据中的事件抽取问题,并在少量数据上进行优化,取得了零样本以及少样本情况下的优异表现,其次还在 ACE 2005 基准数据集上取得了最佳性能。
Oct, 2020
本文提出一种转移学习的神经架构,通过将事件提及和类型映射到共享语义空间中,实现事件提取,支持零样本学习,并在现有事件类型与新的事件类型上进行了实验,实现了与监督模型相当的效果。
Jul, 2017
本文探讨了使用 T0 模型的 zero-shot 技术来进行跨越时间和语言的 NER 是否可行,通过历史文献的测试,结果表明利用 prompt 的 naive 方法在 zero-shot 多语种 NER 方面存在误差,但揭示了该方法在缺乏标记数据的历史语言方面的潜力。此外,实验结果也表明类似 T0 的模型可以用于预测文档的发布日期和语言,这对于历史文本研究非常有意义。
Apr, 2022
介绍了一种新的信息提取工作流程,流程中分析员直接口述感兴趣的实体 / 关系,然后使用文本蕴涵模型进行零 - shot 信息提取,系统使用用户界面实现,并在四个信息提取任务上进行实验,只需每种类型 5-15 分钟的用户工作即可实现零 - shot 学习,并取得了很好的性能表现。
Mar, 2022