May, 2023

通过多态性和同义替换向生物医学预训练模型注入知识

PDF
TL;DR通过实验表明，将相关实体替换为同义词、上下位词或相关概念是将关系知识注入预训练语言模型的一种简单有效方法，该方法能够更好地捕捉关系知识，并提高各种生物医学领域下游任务的性能。
pre-trained language modelsrelational knowledgereport biasbiomedical downstream tasksentity substitution
发现论文，激发创造
  • 基于三元注意力预训练的生物医学实体链接

    将基因组学实体链接到自然语言处理任务中，提出了一种使用知识图谱信息预训练生成式大型语言模型的新框架。

    Aug, 2023

  • 运用适配器模块和知识图谱拓宽生物医学语言模型的知识增强

    本文介绍了一种使用轻量级适配器模块将结构化的生物医学知识注入到预训练语言模型中的方法，并对该方法在三个下游任务中的性能进行了测试和分析。

    Dec, 2023

  • 基于引导式知识融合的生物医学文档再排序语言模型强化

    本文提出了一种方法，旨在通过集成先验知识和先前训练的语言模型来辅助实现从外部来源获取信息和检索正确文件的目标，在两个生物医学领域的数据集上的实验表明，该方法显著提高了文档重新排序任务的效果。

    May, 2023

  • 拥抱歧义：利用语境同义词知识提高基于相似度的任务

    使用新型的具有实体感知的适配器结构，将多领域的同义词知识注入预训练语言模型，既可解决同义词语义模糊性的问题，又不会破坏 PLM 的原始语义理解，从而能有效提升各类文本任务的性能。

    Nov, 2022

  • 探索具有层次性质的预训练语言模型

    这篇论文提出了一种能够评估预训练语言模型在捕捉复杂的分类关系方面能力的无任务评估方法，并通过实验证明预训练语言模型隐式编码的词汇 - 语义知识并未始终捕捉到层次关系。此外，作者进一步展示了注入这种评估方法能够改善预训练语言模型对层次关系的理解，并通过对分类体系重构、上位词发现和阅读理解任务的评估表明，层次结构的知识在不同任务间有一定的但不系统的传递性。

    Dec, 2023

  • KELM：在分层关系图上使用信息传递增强预训练语言表示的知识

    该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

    Sep, 2021

  • 预训练语言模型的即插即用知识注入

    本研究提出了一种新的知识注入方法 -- 插拔式知识注入，并探究了一种新的注入方法 ——map-tuning，并通过三种不同的 NLP 任务验证了 map-tuning 方法的有效性，再次表明了插拔式知识注入的优越性。

    May, 2023

  • 使用知识优化生物医学预训练语言模型

    提出 KeBioLM 这一生物医学语言 pretrained language model，该模型明确利用了来自 UMLS UMLS knowledge bases 知识库的知识，取得了名词实体识别和关系提取的不错效果。

    Apr, 2021

  • 基于知识库指导的预训练和同义词感知微调的生成式生物医学实体链接

    本文提出了一种新的方法来解决生物医学实体链接的问题，利用基于知识库的预训练和微调，以及多种类似词的构建方式来进行模型训练，这种方法在多项实验中都取得了最优结果。

    Apr, 2022

  • 将领域知识注入语言模型以用于面向任务的对话系统

    本研究中，我们使用轻量级 adapters 来注入特定领域的知识以在 TOD 任务上进行微调，通过 KPRS 探测方法证明 adapters 对于对话生成任务有着优秀的表现。

    Dec, 2022