Mar, 2022

知识图谱中基于排名评估度量的统一框架

PDF
TL;DR介绍了基于排名的指标来生成缺失的负样本，提出了两种改进现有指标的方法（不同聚合函数和概率理论），并提出了更易于解释和比较的几个新的基于排名的指标，而且还伴随着使用这些指标评估知识图谱嵌入模型的示例。
发现论文，激发创造
  • 我们是否浪费了时间？一个快速、准确的知识图谱链接预测器绩效评估框架

    我们在这篇论文中对知识图谱完成方法的标准评估协议进行了全面的分析，发现了采用随机抽样评估链接预测或建议方法的严重局限性，并提出了一种使用关系推荐器指导评估候选对象选择的框架，通过有效的预处理和抽样方法，可以在大大减少计算时间的同时，可靠地预测整个排序过程的实际性能。

    Jan, 2024

  • 实体对齐或链接预测方法排名评价的歧义性

    研究了两类从知识图谱中丰富信息的方法：链接预测和实体对齐的评估，分析了现有评估措施的信息量，提出了评估的调整建议，并证明这有助于公平、可比和可解释的模型性能评估。

    Feb, 2020

  • 结构化预测的评估度量的统一视角

    我们提出一个概念框架，统一了不同结构预测任务（例如事件和关系提取，句法和语义解析）的各种评估指标。通过将这些任务的输出表示为某些数据类型的对象，并通过匹配共同子结构，可能跟随标准化，推导出指标。我们演示了如何用这个框架简洁地表达许多任务的常用指标，并显示可以自然地基于输出结构自下而上地推导出新的指标。我们发布了一个库，使得可以派生出新的指标。最后，我们考虑了任务的特定特性如何推动指标设计决策，并建议根据这些动机可能修改现有的指标。

    Oct, 2023

  • 评估图神经网络的链接预测解释

    本文提出了衡量链接预测解释质量的定量指标，通过使用这些指标对图神经网络的最先进可解释性方法进行评估，讨论了底层假设和特定于链接预测任务的技术细节对解释质量的影响。

    Aug, 2023

  • 通过链接预测的定向标准引用推荐与排名

    我们探讨了链接预测作为自动获取与新文档的主题或背景相关的现有文献的代理方法。我们的模型使用基于变压器的图嵌入来编码每个文档的含义，这些文档作为引文网络中的节点呈现。我们展示了我们的模型生成的语义表示在推荐和排名任务中可以胜过其他基于内容的方法。这为在那些需要这些文档正确互相引用以最小化可能出现的不一致性的领域中探索引文图提供了一种整体的方法。

    Mar, 2024

  • 面向特定领域语义模型评估的以高排名为中心的自适应投票收集

    研究使用自然语言处理模型进行内容推荐的领域，提出了一种基于语义相似度的数据集构建协议，并定义了适当的度量方法，以评估模型在排名前几位时的效果。

    Oct, 2020

  • 动态图中链路预测算法评估的新视角

    通过对负采样的可能性进行分类，并引入新的可视化方法以研究预测性能和时间网络动态，我们验证了错误通常在不同数据段之间不均匀分布，并认为这些可视化工具可以成为评估不同层次的动态链接预测方法的强大指南。

    Nov, 2023

  • 基于嵌入式链接预测的规则挖掘改进

    在本研究中，我们提出了一种新的方法，通过在给定知识图谱上应用预训练的实体和关系嵌入来增强知识图谱，并运用规则挖掘系统，从而结合了规则挖掘和基于嵌入的方法的优点，我们在七个基准数据集上进行了大量实验证明了我们的方法的有效性，并提供了开源实现、预训练模型和数据集。

    Jun, 2024

  • 以词和句相似性重新思考评估

    本文提出了 EvalRank 作为一种新的内部评估方法，它在 60 多个模型和流行数据集上进行了深入的实验，并释放了实用的评估工具包用于未来的基准测试。

    Mar, 2022

  • Sem@$K$: 我的知识图谱嵌入模型是否具备语义感知能力？

    本文介绍了一种基于 Sem@$K$ 度量的知识图谱嵌入模型性能评估方法，探讨了使用基于排名的度量标准和语义感知度量标准来评估知识图谱嵌入模型的优缺点，并发现两种度量方式在预测能力和实际性能方面各有优劣。

    Jan, 2023