evaluation standards | BriefGPT

关键词evaluation standards

搜索结果 - 6

音乐情感预测数据集、模型与尚存挑战简要调查
深度学习模型在音乐方面取得了巨大的进展，但现如今机器学习模型在准确捕捉情感方面有多好以及研究人员面临哪些挑战呢？本文提供了可用的音乐情感数据集的综合概述，讨论了评估标准以及该领域中的竞赛，并简要概述了多种音乐情感预测模型，为该领域内的多样化
PDF23 days ago
基于图结构视角的车道级交通预测的统一化：基准和基线
该研究分析并分类现有的车道级交通预测研究，建立了统一的空间拓扑结构和预测任务，并基于图结构和 MLP 网络引入了一个简单的基准模型 GraphMLP。通过公开发布三个新数据集和相应的代码，提供了关于效果、效率和适用性的深入评估，以加速该领域
PDF3 months ago
克服图对比学习评估中的陷阱：朝着综合基准的方向
我们的研究全面审视了自我监督学习方法的缺点，并提供了关于超参数选择和下游任务评估对图对比学习方法的影响的新观点。此外，我们引入了一个改进的评估框架，旨在更准确地评估图对比学习方法的有效性、一致性和整体能力。
PDF4 months ago
腾讯 LLMEval：人类对齐的 LLMs 的实际能力的层次评估
通过构建一个综合的人工评估框架，我们提出了一个评估大规模语言模型在不同实际任务中遵循指令的能力的方法，同时设计了详细的评估标准和过程，释放了一个包含不同难度水平和知识领域的测试集，并分析了自动化评估的可行性。我们的研究为评估英语和中文大规模
PDF8 months ago
评估生成式人工智能系统对系统和社会的社会影响
本文提出了评估生成 AI 系统社会影响的标准方法与分类，并基于技术系统和社会分别探讨了七种与五个大类共计 21 个社会影响类别，并提出了对现有评估的限制进行分析的建议，并为 AI 研究社区建立了一个评估存储库来贡献现有的评估。
PDFa year ago
自然语言处理中现有的泛化研究：分类和评述
本论文通过文献综述提出了一个分类法对 NLP 中的泛化研究进行了表征和理解，并对超过 400 篇论文进行了分类，提出了评估标准以及对未来研究方向的建议，并发布了一个动态可探索的结果页面，以期将最先进的泛化测试成为 NLP 领域的新常态。
PDF2 years ago