Dec, 2020

多语言事件处理的动词知识注入

PDF
TL;DR研究了在预训练的深度 Transformer 网络中注入谓词的语义 - 句法信息对其语言能力及事件提取任务表现的影响。结果表明这一方法能够提高英语及其他语言的事件提取任务性能。
transformer networkslanguage modelingverbal reasoningevent extractionverb knowledge
发现论文，激发创造
  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022

  • 探索图像 - 语言变换器的动词理解

    本文研究多模态图像语言变换器的预训练表示质量，研究表明在需要谓语理解的情况下这些模型的表现不佳，通过图像 - 语句对数据集评估模型性能，分类词汇类型并找到特别具有挑战性的词汇类型。

    Jun, 2021

  • 结合预训练语言模型和结构化知识

    本文调查了将结构化知识集成到现有的语言模型中的各种方法，并确定了挑战和可能的机会，发现利用基于适配器的注入仍有机会，并且可能将多种探索过的方法进一步结合成一个系统。

    Jan, 2021

  • 基于交叉模态衔接器的通用高效视觉知识注入预训练语言模型

    本文提出了一种新的插入式模块 X-adapter，用于将预训练的 VLMs 的对齐视觉和文本知识灵活地融入 PLMs 中，以提高对象 - 颜色推理和自然语言理解 (NLU) 任务性能。

    May, 2023

  • 基于深度学习的隐喻检测知识注入：综述

    该研究对深度学习在隐喻识别任务中的知识注入应用进行了全面的综述和总结，包括主流知识和知识注入原则、数据集、评估指标和基准模型，并探讨了当前知识注入方法面临的问题和未来研究方向。

    Aug, 2023

  • 常识还是世界知识？研究基于 Adapter 的预训练 transformer 知识注入

    本文介绍了通过适配器训练在 BERT 的分布式知识基础上，将 ConceptNet 和其对应的 OMCS 语料库的概念知识注入到语言模型中以提高推理性能的方法。实验结果表明，适配器训练得到的模型在需要 ConceptNet 和 OMCS 所代表的概念知识进行推理的任务中表现显著优于 BERT。

    May, 2020

  • 探究预训练语言模型的词汇语义

    本研究针对 6 种不同语言和 5 种不同词汇任务，对单语和多语言源 LM、无上下文编码和有上下文编码、特殊标记的包含和分层平均等不同词汇知识提取策略的影响进行了系统的实证分析，并验证了较低变压器层携带更多类型级词汇知识的主张。

    Oct, 2020

  • 基于词向量空间专业化的动词类别的跨语言归纳和迁移

    本文提出了一种基于词向量学习架构的跨语言转移方法来诱导多种语言的 VerbNet，使用跨语言翻译对的方法将每种语言都绑定到英语的双语向量空间中，进而进行动词分类，实验结果显示该方法比现有方法在六种语言上的 VerbNet-style verb classification 任务中表现更优。

    Jul, 2017

  • 知识感知语言模型预训练

    本文通过在预训练中引入实体信号，将知识意识融入到语言模型的预训练中，无需改变 transformer 体系结构、插入显式知识层或添加语义信息外部存储。实验证明，仅通过添加这些实体信号进行预训练，可以在 transformer 参数中装载更多的知识，从而提高语言建模精度，并在 LAMA 知识探测任务中获得事实的正确性，利用边界分析显示出隐藏表示中的语义，同时表明我们的知识感知语言模型（KALM）可以作为一个可抛弃替换 GPT-2 模型，显著提高了零 - shot 问题回答等下游任务的表现。

    Jun, 2020

  • 跨语言事件抽取的语言模型预训练

    本篇研究提出了一个新颖的、与语言无关的方法来对语言模型进行 “引导”，从而在低资源和零 - shot 跨语言环境中提供特别有效的性能。

    Sep, 2021