systems | BriefGPT - AI 论文速递

关键词systems

搜索结果 - 9

人们在图灵测试中无法区分 GPT-4 与人类
GPT-4 在随机和受控的图灵测试中被评定为人类 54％的时间，它超过了 ELIZA（22％），但落后于实际人类（67％）。该研究表明了人工系统通过交互式图灵测试的第一个有力实证，并提出了当前人工智能系统可能未被察觉的欺骗行为，因而对机器智
PDF2 months ago
SemEval-2024 任务 9：BRAINTEASER：一个违反常识的新任务
这篇论文介绍了一个基准测试以评估当前模型的横向思维能力，其中一个任务是测试系统的推理和横向思维能力，在竞赛中接受了 483 个团队的提交。
PDF2 months ago
一种基于 AIC 的方法用于揭示开放复杂环境中的不可预测问题
本研究论文提出一种提高架构师在设计和保障系统方面的预测能力的方法，重点研究在动态和不可预测环境下运行的系统。采用系统方法，旨在改善架构师在设计可靠系统（如基于机器学习的系统）方面的预测能力。通过航空航天案例研究，演示了该方法在复杂操作环境中
PDF4 months ago
LEGOBench：科学模型排行榜生成基准
该论文介绍了 LEGOBench，这是一个用于评估生成排行榜系统的基准。通过从 arXiv 的 22 年预印本提交数据和 PapersWithCode 门户的 11,000 多个机器学习排行榜中进行策划，我们评估了四种传统的基于图形的排名变
PDF6 months ago
评估 NLG 系统：简介
该论文简要介绍了自然语言生成领域中的评估，解释了关键术语和区别，并提出了一个奖项，以激励研究人员更多地关注他们系统输出的评估方法。
PDFa year ago
BioASQ 挑战赛第七版的结果
本文介绍了 BioASQ 挑战赛第七版的结果，该挑战赛致力于通过组织大规模生物医学语义索引和问答任务的挑战来促进系统和方法学的发展。今年有 30 个团队，100 多个系统参加了挑战，最好的系统能够超过强基准线，进一步推动了现有研究前沿。
PDF4 years ago
MLSys: 机器学习系统的新前沿
介绍 ML 系统在实际部署中的难点，并提出在传统系统和 ML 领域交叉的新兴研究方向：ML 系统的硬件和软件实现以及针对预测精度之外的指标进行的 ML 优化，同时介绍了一个新的会议 MLSys。
PDF5 years ago
POTs：保护性优化技术
本文对算法公平实现的局限性进行了分析，并提出了一种保护性优化技术 (POTs) 的解决方案，该方案可以扩大政治争议的渠道，并可以纠正、转移或暴露系统对人口及其环境造成的危害。
PDF6 years ago
接近音樂本質：表現主義宣言
本文介绍了作者关于音乐信息研究（MIR）的个人主观看法。作者希望建立比目前更深入了解音乐的系统，因此提出了下一个十年 MIR 研究的一些挑战，这些挑战围绕着人们对音乐的六个基本认识展开，这些认识通常被公认，但在日常研究中经常被忽视。
PDF8 years ago