systematic evaluation | BriefGPT

关键词systematic evaluation

搜索结果 - 7

CVPR行为视觉套件：通过模拟生成可定制的数据集
介绍了 BEHAVIOR Vision Suite（BVS），它是一套用于生成全面定制的合成数据以系统评估计算机视觉模型的工具和资源，并且支持在场景、对象和摄像机级别进行可调参数的任意变化，以执行可控实验。
PDF2 months ago
LLM 集成应用中的提示注入攻击与防御
大型语言模型在 LLM 集成应用中存在提示注入攻击的安全漏洞，现有研究有限且缺乏系统性，本文提出了一般性的框架来理解和设计这种攻击，同时也提出了对应的防御框架，并基于 10 个 LLM 和 7 个任务进行了系统评估。
PDF8 months ago
使用 CogEval 评估大型语言模型中的认知地图和规划
通过 CogEval 协议系统评估了八种大型语言模型的认知地图和规划能力，发现尽管对于较简单结构的规划任务表现出明显的竞争力，但系统评估揭示了规划任务的显著失效模式，包括无效轨迹的幻觉和陷入循环。这些发现不支持大型语言模型具备即用型规划能力
PDF9 months ago
大规模语言模型、科学知识与真实性：一项抗生素发现的系统分析
本文研究了使用大型语言模型（LLMs）对话生物医学背景知识以及从大量的科学文献中提取信息的潜力，以抗生素发现为例，系统评估了 9 种最先进的模型在生成化合物定义和确定化合物 - 真菌关系方面的能力，并发现虽然最新模型在流畅度方面得到了改善，
PDFa year ago
ChatGPT 能否通过入门级函数式编程课程？
本文系统评估了 ChatGPT 在初级函数语言编程课程中的表现，证明其能够在该课程中获得 B- 的成绩，并排名为 314 名学生的第 155。作者认为 ChatGPT 对计算机科学教育的潜在益处值得探究。
PDFa year ago
预训练物体中心表征在强化学习中的探究
本文通过实验探究并系统评估 OCR 预训练对于基于图像的强化学习原型任务的影响及其局限性，研究结果为在某些情况下 OCR 预训练使用的潜在局限性提供了实证证据，并分析了影响 OCR 预训练在强化学习中应用的关键因素，包括在视觉复杂环境中的性
PDFa year ago
ACL从组合神经网络中获取忠实的解释
本研究提出采用辅助监督和特定的模块结构开发神经模块网络，解决了在 NLVR2 和 DROP 数据集上多次组合推理步骤问题导致的预期输出和实际中间输出不匹配的问题，并且不会对准确性产生太大的影响。
PDF4 years ago