performance assessment | BriefGPT

关键词performance assessment

搜索结果 - 34

可解释的大型语言模型在欧洲泌尿学指南背景下实现卓越表现：UroBot 研究
本研究通过使用 OpenAI 的 GPT-3.5、GPT-4 和 GPT-4o 模型，结合检索增强生成（RAG）和欧洲泌尿外科协会（EAU）最新的 2023 年指南，创建和评估了 UroBot，一种泌尿科专用聊天机器人。在欧洲泌尿外科委员会
PDFa month ago
使用两阶段方法学习打分手语
我们分析了现有的性能评估技术，并采用在人体姿势重建任务中表现良好的方法，结合运动旋转嵌入表达，提出了一个两阶段手语表演评估流程。实验证明，与端到端评估相比，我们的方法提供了良好的分数反馈机制，并与专业评估具有较高的一致性。
PDF2 months ago
在 R 中训练和评估空间预测模型的 CAST 工具包
环境科学中使用机器学习算法进行空间预测是一项关键任务，在这篇研究中，我们介绍了 CAST 包及其核心功能，展示了如何使用 CAST 来支持更可靠的空间预测，并以植物物种丰富度的案例研究为例，演示了建模工作流程的各个步骤。
PDF3 months ago
360°REA：面向多智能体系统的可重用经验积累与 360° 评估
大型语言模型代理在各种复杂任务中展示出了显著的进展。最近的研究集中在优化代理团队或使用自我反思来迭代解决复杂任务。本文提出了一种灵感来自公司组织实践的层次化多代理框架，360° 可重复利用经验积累评估（360°REA）。该框架使用一种新颖的
PDF3 months ago
CodeEditorBench: 大型语言模型的代码编辑能力评估
通过 CodeEditorBench，我们为 LLMs 的代码编辑能力提供了一个可靠的评估平台，其中 19 个 LLMs 的评估结果表明闭源模型（特别是 Gemini-Ultra 和 GPT-4）在 CodeEditorBench 中优于开
PDF3 months ago
利用机器学习、代理应用和调度优先级在 Trinity 上优化性能
使用快速运行的代理测试来评估超级计算机中的性能问题，运用机器学习识别性能差的节点，并讨论减少其影响和提高系统效率的策略。
PDF3 months ago
ACL在药物监测事件提取中利用 ChatGPT 的实证研究
探索大型语言模型 (LLMs) 在医学应用方面的潜力，特别是在药物监测事件提取方面的 ChatGPT 的能力。我们进行了广泛的实验，评估了 ChatGPT 在药物监测事件提取任务中的性能，并采用了各种提示和演示选择策略。研究结果表明，虽然
PDF4 months ago
GPT-4 在基于 USMLE 的病例研究中的评估
本研究探讨了 GPT-4 在医疗应用中的性能评估，使用简单的提示技术从美国医学执照考试问卷中提取问题作为提示，任务是在提问前和提问后评估它的置信度得分。分为有反馈和无反馈两组问题进行分类，实验结果表明反馈会影响相对置信度但并不一致地增加或减
PDF4 months ago
一种用于模拟内存计算的精密优化定点近存数字处理单元
基于固定点算术的近存储数字处理单元（NMPU）在采用模拟内存计算芯片的模拟系统中展现了优越的性能，包括 139 倍的加速、7.8 倍的较小面积和竞争力的功耗，并实现了与浮点 16 位算术基准相比仅仅 0.12%/0.4% 的推断精度损失。
PDF5 months ago
多模态生物特征串联融合系统
本文提出了一个关于串行融合多个生物特征匹配器的理论框架，评估了该系统在性能以及模型参数计算估计误差方面的利益，并通过对 NIST 生物特征分数集 1 的初步实验证明了其优缺点。
PDF5 months ago
钢琴演奏评估中的音乐形态评价双塔残差神经网络
通过提出轻量级的 Siamese 残差神经网络 (S-ResNN) 来自动识别音乐形态，并通过在钢琴音乐形态评估上的实验证明 S-ResNN 在精确率、召回率和 F1 得分方面明显优于其他基准方法。
PDF6 months ago
一个级联神经网络系统用于评估外科手结扎模拟中学生表现
我们提出了一种级联神经网络架构，仅通过学生模拟外科结扎任务的视频评估其表现，通过预训练的深度卷积网络将视频帧图像转换为特征向量，然后用时间网络对帧序列建模。在模拟结扎实验中，我们的模型在决定绳结相关任务的水平时实现了 0.71 的中位数准确
PDF7 months ago
BEDD: MineRL BASALT 评估与演示数据集，用于训练和评测解决模糊任务的智能体
该研究通过 MineRL BASALT 竞赛，提出了一种基于人类反馈学习的正式评估和演示数据集 (BEDD)，用于算法的开发和性能评估。该数据集包含了从近 14,000 个 Minecraft 游戏视频中提取的 2,600 万个图像 - 动
PDF7 months ago
利用 LLM 提升条件问答
该研究探讨了大型语言模型 (LLMs) 在具有挑战性的条件问答领域中的能力和局限性。利用条件问答 (CQA) 数据集，重点关注 T5 和 UL2 等生成模型，我们评估了 LLMs 在不同问题类型上的性能。研究发现，经过微调的 LLMs 在某
PDF7 months ago
基于联邦学习的狭窄检测框架
本研究探讨了联邦学习在冠状动脉造影图像（CA）中用于狭窄检测的应用。研究使用两个异构数据集，分别来自意大利 Ancona 市的 Ospedale Riuniti 医院和前期研究的文献中的成像数据。使用 Faster R-CNN 模型进行狭窄
PDF8 months ago
基于大型语言模型的阿拉伯法律裁决预测
在阿拉伯法律分析领域中，我们的研究通过使用现有最先进的大型语言模型，全面预测了一批基于商业法庭真实案例的阿拉伯法院判决。通过评估不同预训练模型和训练方法的性能，并采用不同的评估指标，我们发现基于 GPT-3.5 的模型在所有模型中表现最佳，
PDF8 months ago
使用 Flowpic 输入表示对交通分类进行对比学习和数据增强
在过去的几年中，由于深度学习的兴起，交通分类（TC）引起了人们持续的兴趣。然而，绝大多数 TC 文献缺乏代码实现、跨数据集的性能评估以及与机器学习（ML）方法的参考比较。在这篇论文中，我们在多个数据集上再现了一个采用最近的 DL 方法的研究
PDF9 months ago
预测谁将换工作
人力资源部门面临预测申请人是否寻找新工作或留在公司的挑战。本论文讨论了机器学习如何用于预测谁将转到新工作，采用数据预处理以适合机器学习模型，处理分类特征，应用数据编码和多个机器学习算法，包括随机森林、逻辑回归、决策树和极端梯度提升。为提高机
PDF9 months ago
有效的人工标注代理：工业自然语言处理中大型语言模型的集成不一致得分
在这篇论文中，我们通过在关键词提取任务上的评估，展示了集成不一致分数作为语言模型在零样本、少样本和微调设置下人类标注的代理的良好效果。通过与真实错误进行比较，我们发现，不一致分数比使用另一个语言模型作为机器标签或银标签，更好地估计了模型的性
PDF10 months ago
CLEVA：中文语言模型评估平台
为解决当前评估中文大型语言模型的挑战，我们提出了 CLEVA，一个用户友好的平台，通过标准化的流程评估模型的性能，并定期更新排行榜。CLEVA 还通过策略性的数据采样来减少数据污染，并通过易于使用的界面和模型 API 使用户能够进行全面评估
PDFa year ago