Wiki-CS: 基于维基百科的图神经网络基准
我们提供了一个新的数据集 WikiGraphs,其中包括每篇维基百科文章和一个知识图,以促进条件文本生成、图形生成和图形表示学习的研究。通过在建立 WikiText-103 基准的每个维基百科文章上与 Freebase 知识图中的一个子图配对,我们的新数据集具有显着的规模,可以轻松评估其他最先进的文本生成模型。我们在数据集上展示并比较了基线图神经网络和变压器模型的 3 种任务结果:图形 -> 文本生成、图形 -> 文本检索和文本 -> 图形检索。文中指出,更好的条件图形可以提高生成和检索的质量,但还有很大的改进空间。
Jul, 2021
本文介绍了 Wiki-Reliability 数据集,该数据集是由标记为具有广泛内容可靠性问题的英文维基百科文章构建的,主要应用于内容可靠性预测的机器学习和信息检索算法的研究。
May, 2021
本研究针对机器学习模型在动态图中的学习和推理遇到的挑战,针对传统静态同构图数据集的局限性,提出了一种利用多元素科学出版涵盖的动态异构学术图数据集,测试模型预测任务的效能,并提出了一种系统方法来改善现有的图预测模型评估程序。
Apr, 2022
本文介绍了一种名为 GMNN 的图马尔可夫神经网络模型用于半监督节点分类,它在节点特征、图结构、邻居节点标签三个方面提高节点标签预测的准确性,并使用 WikiVitals 数据集进行了有效性验证,研究中使用了适当的随机化方法进行模型性能比较和模型选择。
Apr, 2023
InferWiki 是一个知识图谱完成(KGC)数据集,通过利用基于规则的训练 / 测试生成、遵循开放世界假设以及包含不同的推理模式等方法来提高推理能力和评估模型,为知识图谱推理研究提供了高质量且必要的数据集。
Aug, 2021
提出第一个 Wikipedia 句子质量评估的大规模数据集 WikiSQE,包含了约 340 万句子和 153 个质量标签,并通过机器学习模型进行了实验自动分类,显示具有引文、句法 / 语义或命题问题的句子更难以检测,该数据集在自动化的文章评分实验中表现出更好的泛化性能,并有望成为自然语言处理中其他任务的有价值的资源。
May, 2023
将研究成果分类为特定上下文的标签分类体系是一项具有挑战性且相关的下游任务,该论文提出了一种方法,通过使用边异构图来增强简单的图神经网络(GNN)管道的性能,实验证明边异构图能够提高 GNN 模型的性能,这项研究有望在节点分级分类方面提供性能改进。
Sep, 2023
本文介绍了 Graph Neural Networks (GNNs) 领域关于基准测试框架的应用,通过该框架,可对模型进行比较,并且探索新的 GNN 设计和洞见,其中,图形位置编码 (PE) 是该基准测试框架中引入的重要设计之一。
Mar, 2020
介绍了一个新的名为 WikiDes 的数据集,利用 T5 和 BART 等预训练模型实现了基于传递学习和对比学习的短描述生成和排名。结果表明,该方法在文本摘要中的表现优于传统方法,并可用于生成缺失的描述,丰富 Wikidata 知识图谱。
Sep, 2022
AI 工具越来越多地在社区环境中部署。然而,用于评估 AI 的数据集通常由社区之外的开发者和注释者创建,这可能对 AI 性能产生误导性结论。本研究调查了如何赋予社区推动 AI 评估数据集的有意设计和策划的能力,我们在维基百科进行了探索。我们引入了 Wikibench,这是一个系统,可以让社区协作策划 AI 评估数据集,并通过讨论解决歧义和观点差异。维基百科的实地研究表明,使用 Wikibench 策划的数据集能够有效捕捉到社区的共识、分歧和不确定性。此外,研究参与者使用 Wikibench 来塑造整个数据策划过程,包括改善标签定义、确定数据包含标准和撰写数据说明。根据我们的研究结果,我们提出了支持社区驱动的数据策划的未来发展方向。
Feb, 2024