Dec, 2023

Catwalk: 一个统一的语言模型评估框架

PDF
TL;DRCatwalk 是一个解决大规模自然语言处理模型评估和对比的工程挑战的统一接口，它能简化构建数据集和模型的过程，并提供易于扩展的抽象层，使得在大规模环境下进行有控制的实验变得更加容易。
large language modelsevaluation paradigmsnatural language processingnlp modelscatwalk
发现论文，激发创造
  • 什么是最好的模型？用于大型语言模型的应用驱动评估

    通过构建一个应用驱动的评估基准，我们提供了一种选择最佳模型的方法，并推动其应用和发展。

    Jun, 2024

  • TweetEval: 微博分类的统一基准和比较评估

    本文提出了一个新的评估框架（TweetEval），由七个异构 Twitter-specific 分类任务组成，并提供了一组强基准作为起点，并比较了不同的语言建模预训练策略，初步实验表明使用现有的通用语言模型预训练，然后在 Twitter 集上继续训练是很有效的。

    Oct, 2020

  • 数据集：自然语言处理社区的共享库

    该研究论文探讨了一个名为 Datasets 的 NLP 数据集库，旨在通过标准化终端用户接口、版本控制和文档，为 NLP 研究人员提供一个小型数据集至互联网规模文集均能使用的轻量级前端，并采用分布式、社区驱动的方法添加数据集和记录使用情况。经过一年的发展，在该库中已经包含超过 650 个独特的数据集，有 250 多名贡献者，并帮助支持了一系列新颖的交叉数据集研究项目和共享任务。

    Sep, 2021

  • 语言模型的因果评估

    通过引入评估语言模型因果推理能力的综合基准 CaLM，该论文提出了四个模块的基础分类法以及一个由 126,334 个数据样本组成的 CaLM 数据集，并对 28 个领先的语言模型进行了全面评估，并给出了 50 个高级经验发现，以提供未来语言模型开发的有价值指导。

    May, 2024

  • 视觉语言模型的可扩展性能分析

    本文介绍了一种更具可伸缩性的方法，其根据从视觉 - 语言基准中提取的大量多样化特征，并测量它们与目标模型输出的相关性。通过该方法，作者确认了之前发现的 CLIP 表现类似于词袋模型，并且在名词和动词上表现更好；作者还发现 CLIP 在处理具体词语时会出现混淆。该框架可用于其他多模态模型和基准测试。

    May, 2023

  • 大型语言模型在表格数据上的应用 -- 综述

    综述中介绍了大规模语言建模在表格数据建模相关任务中的应用，包括预测、表格数据合成、问答和表格理解。通过归纳最新进展和总结数据集、度量标准和方法论，本综述发现了现有领域文献的优势、局限性、未开发的领域和研究间隙，并提供了相关代码和数据集的参考。期望以此为读者提供有关参考和深入见解，为他们在这个重要且快速进展的领域中有效应对挑战提供必备的工具和知识。

    Feb, 2024

  • Languini Kitchen：计算尺度上的语言建模研究

    Languini Kitchen 为研究人员提供有限计算资源以在语言建模领域有意义贡献的研究集体和代码库，通过实验协议介绍了以加速器时间为基准进行模型比较的方法；该研究还提供了两种基线模型，GPT-2 架构的前馈模型和具有 10 倍吞吐量的 LSTM 递归模型，通过估算实验在不同计算级别上的经验扩展趋势，研究发现 LSTM 模型具有可预测且更有利的比例规律。

    Sep, 2023

  • SCALE：高级语言模型评估复杂度的扩展

    该研究引入了一个基于瑞士法律系统的多维 NLP 基准测试，包括长文本处理、领域特定知识拥有、多语言理解、多任务等挑战，该基准测试可以用于测试和推广最先进的 LLMs 模型。

    Jun, 2023

  • 大语言模型在提取分子相互作用和通路知识方面的比较性能评估

    利用大型语言模型自动从相关科学文献中提取知识，研究识别蛋白质相互作用、通路和基因调控关系的任务效果，并评估不同模型的性能，讨论了该方法的未来机遇和挑战。

    Jul, 2023

  • 利用匿名的众包平台实现大型语言模型的个性化评估

    我们提出了一个新的匿名众包评估平台 —— 冰见，旨在评估大型语言模型的性能。该平台不仅支持对模型的总体能力进行集中评估，而且提供了一个开放的评估通道，使用户有机会根据个性化和可能更广泛的需求向模型提交问题。此外，我们的平台引入了个性化评估场景，利用各种形式的人机交互来考察大型语言模型，以充分考虑用户的个性化偏好和背景。

    Mar, 2024