小模型仍然是有效的跨领域论据提取器
本文介绍利用多语言预训练生成式语言模型进行零 - shot 的跨语言事件论元提取的研究。通过将 EAE 视为语言生成任务,论文提出的方法能够有效编码事件结构并捕获论元之间的依赖关系,提出了语言无关的模板以表示事件论元结构,从而适用于任何语言,最终在源语言训练模型,并直接应用于目标语言以实现事件论元提取。实验表明,所提出的模型在零 - shot 跨语言 EAE 方面优于当前最先进的模型,论文对它的优势和现有限制进行了全面的研究和误差分析。
Mar, 2022
本文通过使用预训练推理模型,将事件论元抽取等 NLP 任务转化为文本蕴涵任务,证明了文本蕴涵模型在复杂任务中同样有效,且可以大幅减少人工标注量和依赖于特定领域语料库的限制。使用多份蕴涵数据集来预训练模型是获得优异结果的关键。
May, 2022
本文提出了 QGA-EE 模型,利用动态模板和问题生成技术有效处理事件提取任务中的多个参数、上下文信息和固定模板的问题,优于之前的单一任务模型,并在 ACE05 英语数据集上取得了最好的表现结果。
Jul, 2023
本文旨在研究信息抽取相关的问题,主要探讨了在模板抽取中,将本体映射到一组问题是否比收集标记示例更高效,提出了一种新模型,并发现该模型受益于采用问题作为提示,作者还比较了使用不同样式提示的影响,结果表明问题类提示不需要具备自然语言处理背景即可设计。
May, 2022
本文提出了一种问答方法来提取文档级别的事件 - 论证结构,使用手动定义的模板和生成型 Transformer 自动生成问题,并使用数据增强策略和迁移学习提高抽取结果的准确性,同时对最佳模型的错误进行详细分析。
Apr, 2024
本文研究如何在文档级别抽取跨句子传播的事件参数,提出了 FewDocAE 基准,介绍了在 Few-Shot 学习环境下采用先进的神经模型进行实验的基线结果。由于学习过程限制在非常少的例子上,这是一项具有挑战性的任务。希望该基准能够鼓励更多相关方面的研究。
Sep, 2022
我们在本文中提出了一种通过多任务监督预训练和密集检索系统的组合来实现对具有挑战性的复合问题的泛化的方法,并且展示了通过添加用于训练的检索增强数据集可以显著提高模型的性能。
Aug, 2023
本研究提出了一种基于 Transformer 的上下文感知论点结构预测模型,该模型在五个不同领域中显著优于仅编码有限上下文或仅依赖特征的模型,并提出了模型无关的样本获取策略,可推广到各种领域。通过大量实验证明,在进行跨领域的主动学习早期阶段,结合迁移学习,可进一步获得显著提高的 F1 得分(5-25)
Apr, 2022
本研究提出了一个名为 BeamSearchQA 的新型问题回答管道,它通过使用大型语言模型迭代地生成关于原始问题的新问题,从而启用一个迭代推理过程,以便更好地捕捉和利用隐藏知识。实验结果表明,BeamSearchQA 明显优于其他零 - shot 基线,在处理开放性领域问题回答方面具有很强的有效性。
May, 2023