同类相信: 通过自适应邻域聚合知道何时信任分类器
本文提出了一种可解释性的机器学习算法解释技术——LIME,基于该技术可以在一个可解释且可靠的小规模模型内对任何分类器的预测进行解释,从而提高了可信度和可理解性,实现了对于信任度的估计及诸多信任场景的适用性。
Feb, 2016
提出了一种名为“信任得分”的新型得分,它度量了分类器和在测试示例上修改后的最近邻分类器之间的一致性,证明了高(低)信任得分可产生出人意料的高(低)正确分类的精确度,同时优于分类器的置信度得分以及许多其他的基准方法,并且在一定的分布假设下证明,如果一个示例具有高(低)的信任得分,则分类器可能会与贝叶斯最优分类器达成一致(不一致),这些保证基于拓扑数据分析领域的最近进展,并在各种不同的非参数设置下提供了非渐近统计一致性速率。
May, 2018
本文探讨了GNNs的异质问题并研究了跨类别邻居的特征聚合,提出了CAGNNs框架以提高节点分类任务的性能。实验结果表明,我们的框架能够分别提高GIN,GAT和GCN的平均预测准确率9.81%,25.81%和20.61%。
Mar, 2022
提出了邻域集合估计方法来弥合学习过程中可能产生的噪声标签带来的负面效果,实现清除嘈杂数据中的噪声标签,提取尽可能多的干净样本,从而提高模型性能,并用辅助技术来进一步优化模型。
Aug, 2022
本文介绍了一种新的自我监督探测方法,该方法能够检查和减轻训练模型的过度置信问题,从而提高其可信度。此方法在信任相关任务(误分类检测、校准和超出分布检测)中得到了广泛验证和应用。
Feb, 2023
机器学习的可信度是一个重要的话题,涉及到鲁棒性、安全性、可解释性和公平性等各种应用和研究领域。本文系统地从数据中心的角度回顾了这些进展,突出了传统经验风险最小化(ERM)训练处理数据挑战的不足之处,提供了一种统一的语言和数学词汇将这些方法连接起来,促进对该领域的更加协调的理解,并讨论了由因果性文献明确启发的方法。同时,还对大型预训练模型的可信度展开了探讨,并将其与标准ERM进行联系,为未来方法铺平道路。最后,对这些方法的应用和未来潜在方面进行了简要总结和讨论。
Jul, 2023
通过使用边缘符号的可信性修正图卷积网络(GCN)中的错误嵌入传播,提出了一种名为TrustSGCN的新型基于GCN的签名网络嵌入方法,该方法利用了平衡理论推断出的高阶关系的边缘符号的可信性。实验证明TrustSGCN在四个真实世界的签名网络数据集上始终优于其他五种基于GCN的签名网络嵌入方法。
Sep, 2023
Crowd-Certain是一种在众包和集成学习分类任务中进行标签聚合的新方法,通过评估标注者的一致性和受训分类器,确定每个标注者的可靠性分数,并利用预测概率实现对未来样本数据的训练分类器的复用,大幅提升性能和计算效率。在对十个不同数据集进行了广泛评估后,Crowd-Certain几乎在所有场景中优于现有的十种方法,提供更高的平均准确率、F1分数和AUC率。另外,我们引入了两种现有置信度评估技术的变体,并通过两种评估指标(期望校准误差和Brier得分损失)对其进行了评估,结果表明Crowd-Certain在大部分数据集上具有更高的Brier得分和更低的校准误差,表明结果的校准更好。
Oct, 2023
利用反事实梯度的方差作为信任度量衡,提出了GradTrust来探测大规模神经网络的误判率,并在ImageNet和Kinetics-400数据集上进行验证,结果表明GradTrust在37个实验模式中表现得最好。
May, 2024