May, 2023

UNTER: 增强预训练语言模型的统一知识接口

PDF
TL;DR本研究提出了一种名为 UNTER 的统一知识接口，它能够将结构化知识和非结构化知识结合在一起，从而进一步提升预训练语言模型在自然语言处理任务中的性能，特别是在低资源情况下实体类型识别等方面。
pre-trained language modelsexternal knowledge injectionstructured knowledgeunstructured knowledgeentity typing
发现论文，激发创造
  • 结合预训练语言模型和结构化知识

    本文调查了将结构化知识集成到现有的语言模型中的各种方法，并确定了挑战和可能的机会，发现利用基于适配器的注入仍有机会，并且可能将多种探索过的方法进一步结合成一个系统。

    Jan, 2021

  • Few-shot 自然语言理解统一 BERT

    该研究提出了 UBERT 模型，基于 BERT 框架，可以通过双向仿射网络对不同自然语言理解任务的训练对象进行普遍建模，并通过模型得分来实现各种分类和提取结构的通用、跨任务的语义理解。在 2022 年 AIWIN - 世界人工智能创新大赛中国保险小样本多任务跟踪中获得一等奖，并实现了广泛的信息提取和语言推理任务的统一。

    Jun, 2022

  • 多语言事件处理的动词知识注入

    研究了在预训练的深度 Transformer 网络中注入谓词的语义 - 句法信息对其语言能力及事件提取任务表现的影响。结果表明这一方法能够提高英语及其他语言的事件提取任务性能。

    Dec, 2020

  • 关于在持续预训练中有效地学习知识

    通过定义知识裸露和无知识 token 并对样本进行专业标注，该研究发现 PLMs 在从非结构化文本中获取知识方面存在困难并开发了两种解决方案来帮助模型进行更多的知识自学习，实验证明了这些方法的有效性，是第一次探索做到完全自我监督的知识连续预训练。

    Apr, 2022

  • UNITER: 通用图像文本表示学习

    本研究引入了 UNITER，一种通过对四个图像 - 文本数据集（COCO，Visual Genome，Conceptual Captions 和 SBU Captions）进行大规模预训练学习的 UNiversal image-text representation，其可为异构下游 V + L 任务提供联合多模态嵌入。

    Sep, 2019

  • UniTrans: 统一模型转移和数据转移，利用未标记的数据进行跨语言命名实体识别

    本文提出了一种称为 UniTrans 的新方法，以统一模型和数据转移，通过增强的知识蒸馏从未标记的目标语言数据中利用可用信息，对比 4 种目标语言的基准数据集表明，UniTrans 显著优于现有的最先进方法。

    Jul, 2020

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 多语言无监督神经机器翻译的知识蒸馏

    本文介绍了一种简单的方法，使用单个编码器和解码器之间的翻译来在 13 种语言之间翻译，基于经验发现，提出了两种知识蒸馏方法，以进一步增强多语言机器翻译性能。我们的实验表明，在零 - shot 翻译方案中，在低资源语言对中减轻了糟糕的性能，并在一些非英语语言对之间实现了可靠性能。

    Apr, 2020

  • 预训练语言模型的即插即用知识注入

    本研究提出了一种新的知识注入方法 -- 插拔式知识注入，并探究了一种新的注入方法 ——map-tuning，并通过三种不同的 NLP 任务验证了 map-tuning 方法的有效性，再次表明了插拔式知识注入的优越性。

    May, 2023

  • InfuserKI: 通过 Infuser 引导知识集成增强大型语言模型

    通过使用 Infuser-Guided Knowledge Integration (InfuserKI) 框架，我们能够高效地将未知的知识集成到 Large Language Models (LLMs) 中，从而有效地减少知识遗忘，并超过现有方法在减少知识遗忘上的表现。

    Feb, 2024