高效知识图谱准确率评估
模型性能评估是机器学习和计算机视觉中的关键而昂贵的任务。在本文中，我们提出了一种模型评估的统计框架，包括分层、抽样和估计组成部分。我们的实验表明，通过基于准确的模型性能预测进行 k-means 聚类的分层方法能够提供比传统的简单随机抽样更为精确的准确度估计。
Jun, 2024
本研究探讨了一种简单的降低标注成本的方法，即采用分层抽样和控制变量等技术，结合文档成员身份信息和自动评估指标，从而在固定标注预算下获得更高的准确性。在测试集上，相比于纯随机抽样，平均误差降低了高达 20%。该技术易于实现且适用于类似结构的问题。
Apr, 2022
我们在这篇论文中对知识图谱完成方法的标准评估协议进行了全面的分析，发现了采用随机抽样评估链接预测或建议方法的严重局限性，并提出了一种使用关系推荐器指导评估候选对象选择的框架，通过有效的预处理和抽样方法，可以在大大减少计算时间的同时，可靠地预测整个排序过程的实际性能。
Jan, 2024
使用置信区间寻找估计注释错误率所需的最小样本量，然后提出应用接受抽样作为错误率估计的一种替代方法，展示接受抽样可以减少最多 50% 的所需样本量，同时提供相同的统计保证。
May, 2024
通过提出 Efficient Non-Sampling Knowledge Graph Embedding（NS-KGE）框架，该研究将知识图谱嵌入模型中的负采样方法转变为全量消除，并使用数学推导减少了模型计算复杂度，既提高了效率也提高了准确性。实验结果表明，与传统方式相比，NS-KGE 框架在效率和准确度上均有所提高，并适用于多类知识图谱嵌入模型。
Apr, 2021
本文提出一种名为 HE-SGNN 的 GNN 模型，它使用两级嵌套的估计器来减少采样方差，并且使用不同的估计器来应对不同的采样方法。实验结果表明，该模型的效果和效率都很高。
Nov, 2022
利用知识图谱中概念语义信息的交叉表示学习框架 CrossVal，通过嵌入三元组、绘制交叉负样本及估计每个三元组的正确性程度来有效验证知识图谱中的三元组。
Aug, 2020
该论文提出了一种训练过程，通过向损失函数添加新颖的正则化项，避免了使用负采样的需要，并且在两个关系嵌入模型（DistMult 和 SimplE）中得到了优异的性能和速度。
Jan, 2022
本研究致力于解决在大型带噪数据集上扩大模型评估规模的问题，并采用主动测试框架，有效查询用户，以最小化审核，测试两种常见计算机视觉任务的性能指标，并表明该方法比其他评估协议更具稳健性，并能节省显着的人工标注工作量。
Jul, 2018