performance measurement | BriefGPT

关键词performance measurement

搜索结果 - 9

用校准的置信度评分增强对由 LLM 生成的代码摘要的信任
通过使用大型语言模型 (LLMs) 自动 AI 方法生成的摘要进行性能测量和校准来检测其是否与人工生成的摘要足够相似。
PDF2 months ago
评估图神经网络的邻居解释性
图神经网络（GNNs）中的可解释性是一个新兴领域，在本文中我们讨论了确定每个邻居对于 GNN 在对节点进行分类时的重要性以及如何度量该特定任务性能的问题。为了做到这一点，我们重新构造了各种已知的可解释性方法来获取邻居的重要性，并提出了四个新
PDF8 months ago
ACL自然语言处理性能评估指标的全球分析
本文介绍了自然语言处理领域中用于测量模型性能的度量标准，发现当前使用的大多数指标存在评估不足及解释性差等问题，导致透明性和可重复性的降低。
PDF2 years ago
终身学习指标
DARPA 的 L2M 项目旨在开发能够进行终身学习并能提升的人工智能系统，文献中提出了一个形式化构建和表征代理的性能的方法，以应对该项目中多样化机器人的任务结构和持续时间。
PDF2 years ago
VisDA-2021 竞赛：通用领域自适应模型改进域外数据性能
该研究介绍了 Visual Domain Adaptation 2021 竞赛，将机器学习方法的性能从同一领域扩展到处理不同域的数据。该竞赛挑战的是无监督域自适应问题，并关注在目标数据集中可能遇到的数据分布漂移、缺失和 / 或新类别的困难
PDF3 years ago
保护隐私文本匿名化的评估标准：无入侵者即无效性
该研究探讨了文本匿名化在保护数据隐私和遵守相关法律方面的困境和挑战，并提出了一种名为 TILD 的评估标准来衡量匿名化方法的性能和信息损失，以及人类重新识别隐去文档的能力，为实现匿名化性能标准化提供了可能。
PDF3 years ago
TIDE：一款用于对象检测错误识别的通用工具箱
TIDE 框架和相关工具箱可以分析物体检测和实例分割算法的误差源。该框架可适用于各种数据集，并可直接应用于输出预测文件，无需了解底层预测系统，可用作标准 mAP 计算的替代品，同时提供每个模型的优缺点的综合分析。我们将误差分为六种类型，并首
PDF4 years ago
ENet：用于实时语义分割的深度神经网络架构
本篇论文提出一种名为 ENet 的新型深度神经网络架构，其最大特点是快速、参数少，适用于对实时性要求较高的像素级语义分割任务，且在 CamVid、Cityscapes 和 SUN 等数据集上测试表明效果相对优于同类型已有网络。
PDF8 years ago
MM终端到终端移动网络测量实验室、工具和服务调查
本文综述了目前移动网络性能测试和应用程序原型制作的现有工具及其不足之处，并探讨了开展移动网络测量和移动应用程序性能评估的一些有前途的方向。
PDF10 years ago