利用 Wikidata 编辑历史提升知识图谱细化任务
本研究提出了一种新的任务,即在不影响其余表现的情况下编辑语言模型 KG 基础嵌入,并构建了四个新数据集来评估多个知识编辑基线和一种名为 KGEditor 的新方法,其利用超级网络的其他参数层来编辑和添加事实,实验结果表明 KGEditor 可以在具有低训练资源但需要更新特定事实的情况下表现更好。
Jan, 2023
基于问题回答技术,本研究提出了一个能从网页中提取新事实并推荐给 Wikidata 编辑人员验证的框架,并通过利用 Wikidata 中已有的信息,无需额外学习信号便可训练该框架来提取各种属性和领域的新事实,实验结果表明平均 F1 得分为 84.07,在人类验证之前,有潜力提取数百万条事实,旨在帮助编辑人员的日常任务,完善 Wikidata 知识图谱。
Jan, 2024
本文提供了一个包括 1.2 百万篇包括英法两种语言的新闻文章的数据集,并分析了这些文章的修改历史,发现添加和删除的句子更可能包含更新事件、主要内容和引用。此外,介绍了三项新任务以预测版本更新期间的操作,希望这些可以为新闻记者提供预测工具。
Jun, 2022
该研究论文介绍了一种利用基于类型的问题通过文本预训练在语言模型中灌输细粒度类型知识的方法,并利用知识库文档和知识图谱创建 WikiWiki 数据集来评估性能。该方法在零 - shot 对话状态跟踪基准测试中取得了最先进的表现,可以准确地推断维基百科文章中的实体类型,并能够发现人工评判认为有用的新类型。
Apr, 2022
本文介绍 KnowledgeEditor 一种方法,用于编辑语言模型中的知识,以修复 “错误” 或意外预测,且不需要重新训练或以元学习为前提条件。作者使用受约束的优化来训练一个超网络,该超网络可预测权重更新。作者展示了 KnowledgeEditor 的有效性,其支持两种流行的体系结构和知识密集型任务:一种是针对事实核对进行细微调整的 BERT 模型,另一种是适用于问答的序列到序列 BART 模型。
Apr, 2021
知识编辑技术可以更新语言模型从预训练中学到的过时或不准确的知识,我们通过引入一个新的任务来研究如何检测语言模型中的编辑知识,提出了一个简单的分类器 RepReg,它可以在有限的训练样本下实现接近最优的性能。
May, 2024
该研究提出了一种基于实体建模的候选实体检索范式,该范式首先将 Wikidata 实体及其文本字段索引到文本搜索引擎中,再使用序列到序列模型生成目标实体的摘要,从而查询已索引的搜索引擎以检索候选实体,最后结合交叉注意力重新排序器,实现了在三个基于 Wikidata 的数据集上的最先进效果和在 TACKBP-2010 上的强劲表现的高度有效的混合方法候选实体检索和实体链接框架。
Feb, 2022
本研究采用知识图谱来优化推荐算法,提供更加个性化的推荐解决方案,并在实验中验证了其显著的性能优势,对于领域(如电影推荐)的个性化推荐具有参考价值。
Jan, 2021
深度神经网络在学术界和工业界越来越普遍,在各个领域和相关任务上与人类的表现相媲美甚至超越。然而,即使是最大的人工神经网络也会出错,随着时间的推移,曾经正确的预测可能会失效。通过在数据集中增加考虑错误或最新信息的样本,可以解决这个问题。然而,灾难性遗忘现象对于改变神经网络参数中的隐性记忆知识以达到精确变化提出了挑战,通常需要重新训练整个模型才能实现所需的行为。这种方法昂贵、不可靠,并且与大规模自监督预训练的现行趋势不兼容,因此有必要找到更高效和有效的方法来适应变化的数据。为了满足这个需求,知识编辑作为一个新颖的研究领域正在兴起,旨在实现对预训练目标模型的可靠、数据高效和快速的变化,而不影响先前学到的任务上的模型行为。在本综述中,我们对这个最新的人工智能研究领域进行了简要回顾。首先,我们介绍了神经网络编辑的问题,在一个共同框架中对其进行了形式化,并将其与连续学习等更有名的研究分支进行了区分。接下来,我们对迄今为止提出的最相关的知识编辑方法和数据集进行了回顾,并将这些工作分为四个不同的类别:正则化技术、元学习、直接模型编辑和架构策略。最后,我们概述了与其他研究领域的一些交叉点和未来的潜在方向。
Oct, 2023