benchmark framework | BriefGPT

关键词benchmark framework

搜索结果 - 9

CRAB：跨环境多模态语言模型智能体的对比基准
以 Crab 为基础的跨环境任务自动评估框架是第一套旨在支持跨环境任务的代理系统评估框架，包括了图形细粒度评估方法和任务构建的高效机制。
PDF3 days ago
基于表格数据综合的因果性：一个高阶结构因果基准框架
通过引入高阶结构因果信息作为先验知识，并提供了一个用于评估表格合成模型的基准框架，本研究展示了如何利用该框架评估模型捕获高阶结构因果信息的能力，并初步评估了最新的表格合成模型的性能差距和基准方法的差异。
PDF22 days ago
CVPR实时 RGB-D SLAM 中的隐式神经表示和几何渲染基准测试
建立了第一个开放共享的基准框架来评估常用的 INRs 和几何渲染函数在建图和定位中的性能，通过大量的实验研究，得出了密集特征网格优于其他 INRs（如三平面和哈希网格）的结论，并提出了一种混合编码策略来兼顾准确性和完整性，以满足 RGB-D
PDF3 months ago
可转移对抗攻击的基准评估
本研究首次详细审查了对抗性攻击的可转移性方面，系统地分类和评估了各种用于增强对抗性攻击可转移性的方法学。同时，本文引入了一个基准框架 TAA-Bench，集成了十种领先的对抗性攻击可转移性方法，为跨不同模型结构的比较分析提供了一种标准化和系
PDF5 months ago
全面的 OOD 检测改进
机器学习中，识别推理数据是否超出模型的预期输入分布对于给出预测的上下文至关重要。我们的研究针对基于表示或基于逻辑方法的超出分布检测方法，并提出了用于特征嵌入降维的表示方法和解决了一个问题的基于逻辑方法。我们在 OpenOODv1.5 基准框
PDF6 months ago
一个通用的基准框架是需要动态图神经网络的
本研究论文强调了动态图学习的重要性以及其在各个领域中的应用，并强调了建立一个统一的基准框架的需求，该框架能够捕捉时间动态、不断变化的图结构和下游任务需求。建立统一的基准框架将有助于研究人员了解现有模型的优点和局限性，促进创新，推动动态图学习
PDF6 months ago
ACLECO v1: 面向事件中心的舆情挖掘
本文提出了基于事件 - 论证结构和表达分类理论的事件中心观点挖掘任务并构建了语料库和评测框架，实验结果表明事件中心观点挖掘具有可行性和挑战性，并为未来研究提供了有益的任务、数据集和基线。
PDF2 years ago
图神经网络基准测试
本文介绍了 Graph Neural Networks (GNNs) 领域关于基准测试框架的应用，通过该框架，可对模型进行比较，并且探索新的 GNN 设计和洞见，其中，图形位置编码 (PE) 是该基准测试框架中引入的重要设计之一。
PDF4 years ago
ICML一个开源的 AutoML 基准测试平台
介绍了一个开放，持续和可扩展的基准测试框架，用于比较 4 个 AutoML 系统在 39 个数据集上的表现，并通过分析结果提高比较的准确性。
PDF5 years ago