evaluation protocol | BriefGPT

关键词evaluation protocol

搜索结果 - 59

EMNLP词汇重复导致机械记忆：揭示训练和测试参考摘要中词汇重叠的影响
理想的摘要模型应该能推广到新的值得摘要的内容，而不需要死记参考训练摘要，我们提出了一种细粒度的评估协议，通过基于参考测试摘要与训练摘要之间的词汇相似性将测试集划分，限制训练摘要中的词汇重复能够防止死记硬背，并提高摘要模型的泛化性。
PDF8 months ago
EMNLP大型语言模型的全面情境心智景观
大型语言模型（LLMs）在理论心理学的出现上引起了极大的兴趣和争议。我们通过心理学研究将机器的心理模拟（machine ToM）分为七个类别，并提出了一种更全面的评估方法，通过将 LLMs 放置在具体环境中进行评估，来避免捷径和数据泄露的风
PDF8 months ago
生成模型的基于属性的可解释评估指标
当训练数据集由 1:1 的狗和猫比例组成时，生成模型会更好地符合训练种群分布，而不是由 3:1 的狗和猫比例组成的其他模型。我们提出了一个新的评估协议来衡量生成的图像集与训练集在属性强度分布方面的差异。我们的指标为生成模型的评估奠定了基础。
PDF8 months ago
价值敏感对话代理共设计框架
以创造共同设计和有关利益相关者的价值观的敏感型对话代理 (VSCA) 框架为目标，本文总结了共同设计价值敏感型对话代理的需求，并提出了一个实用的框架和工具包用于引导对话代理实现，从而创造具有价值体现的原型。最后，提出了一个评估协议，通过设计
PDF9 months ago
路由竞技场：一个神经路由求解器的基准测试套件
神经组合优化是一项近年来研究热点，然而现有评估方法存在缺陷，对于旧有的运筹学方法也存在忽视。为改进这些问题，本研究提出了一个路由问题基准套件 ——Routing Arena。该评估方法考虑不同应用的解决方案质量和任意性能，并引入了新的评估度
PDF9 months ago
EditVal: 基于扩散的文本引导图像编辑方法的基准测试
通过引入 EditVal，这是一个标准化的用于定量评估文本引导的图像编辑方法的基准测试，本研究对 8 种前沿扩散编辑方法进行了基准测试，发现 Instruct-Pix2Pix 和 Null-Text 的性能最好且能保持原始图像特性，而大多数
PDF9 months ago
BEVControl: 通过 BEV 草图布局实现多透视一致性准确控制街景元素
使用合成图像来提升感知模型的性能是计算机视觉中长期存在的研究挑战，在多视角摄像头的视觉为中心的自动驾驶系统中变得更加突出，由于一些长尾场景无法收集。在 BEV 分割布局的指导下，现有的生成网络似乎在仅根据场景级度量进行评估时能够合成逼真的街
PDFa year ago
鲁棒语义分割：强对抗攻击和鲁棒模型快速训练
本文探讨了在对语义分割模型进行敌对攻击时所面临的挑战性问题，并提出了相应的解决方案。最终我们得出的评估方案优于现有方法，同时表明敌对训练在语义分割中的应用因其更具挑战性的任务和更高的计算代价而受到限制。然而，通过利用强 Robust Ima
PDFa year ago
KDD使用 Transformers 进行深度主动学习的基准测试 ActiveGLAE
提出了 ActiveGLAE benchmark 作为评估 DAL 的综合数据集合和评估指南，并介绍了当前使用 Transformer-based 语言模型的 DAL 实践中存在的三个关键挑战 —— 数据集选择，模型培训和 DAL 设置，并
PDFa year ago
在大语言模型时代重新思考对话式推荐系统的评估
本文介绍了利用大型语言模型进行对话推荐的研究，并提出了一种基于 LLM 的用户模拟器的交互式评估方法 iEvaLM，从而改善了现有的评估协议。在两个公共数据集上的实验表明，ChatGPT 展现出较大的优势，并强调解释性的评估。此研究有助于更
PDFa year ago
序列推荐系统中训练损失中集成项目相关性
提出了一个新的评估协议来解决 “多余噪声” 对顺序推荐系统的影响，并引入了一种新型的关联感知损失函数来训练该系统，使其更具有鲁棒性，该模型在传统评估协议中 NDCG@10 有 0.88% 的提高，在新评估协议中有 1.63% 的 NDCG@
PDFa year ago
基于衰减函数的时间序列异常检测评估策略
本文提出了一种新的 Point-Adjusted protocol with decay function (PAdf) 评估方法用于评估时间序列异常检测算法，并通过实验证明了该方法能够正确解决现有方法所存在的过度和低估性问题。
PDFa year ago
基于相似度得分论证反向传播的高效可解释脸部验证
该论文提出了面向可解释人脸识别的一种方法 xSSAB，通过反向传播相似性得分支持或反对面部匹配决策的参数，生成空间映射以指示底层 FR 模型的相似和不相似区域。研究人员使用提出的 Patch-LFW 方法和新颖的评估协议进行有效性和性能方面
PDFa year ago
重访在线评估下的测试时间适应
该论文提出了一种新颖的在线评估协议，用于对测试时间自适应（TTA）方法进行评估，通过为较慢的方法提供更少的自适应样本来惩罚它们。我们将该协议应用于多个数据集和场景中，评估了几种 TTA 方法，并表明当考虑推理速度时，简单快速的方法可以胜过更
PDFa year ago
CVPR3D 点云语义分割的新型类别发现
本文提出一种基于在线聚类和不确定性量化的新型类别发现方法，用于处理 3D 点云数据的语义分割，设计了新的评估协议以验证其性能优于传统方法。
PDFa year ago
Far3Det: 远距离 3D 检测
通过 nuScenes 数据集开发出一种新的远场三维检测评估协议，以评估现有方法的性能，其结论是高分辨率 RGB 可以提高远场物体的三维检测，而 RGB 和激光雷达检测器的融合可以比目前的方法获得更好的检测性能。
PDF2 years ago
注释错误检测：分析过去和现在，创造更连贯的未来
本文重新实现并评估了 18 种检测可能存在的注释错误的方法，并在 9 个英文数据集上进行了评估，同时提供了评估协议和实现的开源软件包，以促进未来的研究和再现性。
PDF2 years ago
无监督异常检测算法的大规模评估揭示
本文综合研究了 12 个最流行的无监督异常检测方法，发现它们被评估时使用了不一致的协议，因此定义了一致的评估协议并用于比较它们在五个广泛使用的表格式数据集上的性能。尽管评估不能确定一种方法在所有数据集上优于其他方法，但它识别出那些突出表现的
PDF2 years ago
CVPR面向片段级视频复制检测的大规模综合数据集和重叠复制感知评估协议
本研究介绍 VCSL（Video Copy Segment Localization），一种新的综合分段注释视频副本数据集，包含两个数量级更多的、真实的 160k 视频拷贝对、280k 以上的本地化复制段对，并提出了一种新的评估协议，在不同
PDF2 years ago
时间序列异常检测的严格评估
本研究分析了时间序列异常检测中评分协议的合理性，并提出了一种新的基准和评估协议，以帮助更精确地评估 TAD 方法并推动未来的研究。
PDF3 years ago