Sep, 2024

高效性能追踪：利用大语言模型自动构建科学排行榜

HTML
PDF
TL;DR本研究解决了手动构建和维护科学排行榜的困难，提出了一个经过人工整理的科学排行榜数据集SciLead，以克服当前数据集的不完整性和不准确性。基于该数据集，开发了一种全面的基于大语言模型的排行榜构建框架，揭示了其在抽取结果值方面的挑战，具有重要的实际应用潜力。
发现论文，激发创造
  • The Ladder: 机器学习竞赛可靠的排行榜

    提出了一种适用于机器学习竞赛的“排行榜精度”概念，引入名为“梯子”的自适应估计算法，在理论和实践中均具有高保真性、防御能力和实用价值，可在实际比赛中无需任何调整地部署。

    Feb, 2015

  • 科学排行榜构建中的任务、数据集、评估指标和数值得分的识别

    本文提出了一种基于TDMS-IE框架的自动提取NLP论文中任务、数据集、评价指标和得分来自动构建排行榜的方法，实验表明该模型表现优于几个对比算法，是自动构建排行榜的第一步。

    Jun, 2019

  • 模型排名的强韧性：为平等评估量身定制的排行榜方法

    本文提出了一种评估模型排行榜的方法，并通过可视化分析工具给出了可分析模型优缺点并指导模型选择，该方法可减少41%的模型部署开发和测试工作量。

    Jun, 2021

  • Self-Improving-Leaderboard（SIL）：呼唤以实际为中心的自然语言处理排行榜

    本文主张排行榜竞赛应该除了在给定的测试数据集上进行模型表现的评估外，也应该在实际应用场景下评估模型的表现，并提出了解决当前排行榜系统存在的问题的新模式，以期引起向更实际应用场景为中心的排行榜竞赛的范式转变。

    Mar, 2023

  • ORKG-Leaderboards：基于知识图谱的排行榜挖掘系统工作流程

    描述了Orkg-Leaderboard软件的设计和应用，该软件能够从大量的人工智能实证研究论文中自动提取以任务-数据集-指标三元组定义的排行榜，并且能够支持学术出版的主要流程，以LaTeX文件或PDF文件的形式发布，同时结合Open Research Knowledge Graph平台实现与语义Web基础设施的有机整合，使得系统输出的信息能够被机器进行操作和理解。该应用还能追踪AI发展的进程和状态，提供实时动态的信息服务。

    May, 2023

  • 当基准成为目标：揭示大型语言模型排行榜的敏感性

    利用基准排名构建的大型语言模型（LLM）排行榜经常被用来指导实践者选择模型，但我们展示了这是一个（潜在的昂贵）错误。在现有的排行榜中，LLM的相对性能对（通常微小的）细节非常敏感。我们通过对多个选择题基准进行实验，比如改变选项的顺序或答案选择方法，我们发现这些微小扰动会导致排名变化高达8个位置。我们通过对三类基准扰动进行系统性实验并确定其来源来解释这个现象。我们的分析得出了一些最佳实践建议，包括使用混合评分方法进行答案选择。我们的研究强调了依赖简单基准评估的风险，并规划了更健壮的评估方案的路径。

    Feb, 2024

  • 探索最新的LLMs领先者提取

    该研究通过评估 Mistral 7B、Llama-2、GPT-4-Turbo 和 GPT-4.o 这四个 LLM 模型对实证AI研究文章中的领先者信息的提取效果，探讨了三种上下文输入类型（DocTAET、DocREC 和 DocFULL）对模型的影响，综合评估了这些模型在从研究论文中生成（任务、数据集、指标、得分）四元组方面的性能，揭示了每个模型和上下文类型的优势和局限性，为未来的AI研究自动化工作提供了有价值的指导。

    Jun, 2024

  • 基于LLM的排行榜生成中的有效上下文选择：一项实证研究

    通过选择适当的上下文，提高大规模语言模型在生成人工智能研究排行榜方面的效率，并解决了介绍的方法在适应新发展方面超过传统自然语言推理方法的问题。实验证明了有效的上下文选择在提高语言模型精确性和减少错觉方面的重要性，并为可靠高效生成人工智能排行榜提供了新途径。

    Jun, 2024

  • 关于排行榜操作工作流程和问题（LBOps）的研究：基础模型排行榜的初探研究

    通过对721个基础模型领先指标进行综述研究，识别5种工作流模式和8种领先指标运营中的问题，进而改善现有的领先指标操作实践，提高透明度和合作性，促进基础模型比较和选择的健壮与负责任的生态系统。

    Jul, 2024

  • 基于经验人工智能的排行榜生成的指令微调

    本研究解决了传统人工整理和受限于分类法的自然语言推断模型在人工智能研究排行榜生成中的不足。通过应用预训练大型语言模型的指令微调，研究提出了一种基于FLAN-T5模型的自动化生成方法，从而提高了信息提取的适应性和可靠性，推动了AI研究成果的传播。此方法为结构化知识表示提供了创新的途径。

    Aug, 2024