Apr, 2023

MLRegTest：机器学习正则语言的基准测试

PDF
TL;DR本文提出了一种名为 MLRegTest 的新的机器学习系统性能基准测试，用于评估序列分类等不同模型在不同的正则语言种类及复杂程度情境下对长距离依赖关系的学习能力，结果表明神经网络的性能取决于测试集的种类、语言类别和神经网络的架构。
machine learningsequence classificationregular languageslong-distance dependenciesneural networks
发现论文，激发创造
  • 超越静态模型和测试集：在任务和语言间评测预训练模型的潜力

    本文提出了一种利用语言数据和语言类型学特征来预测跨语种语言模型性能的方法，以此取代传统基于翻译的方法评估系统，该方法表现良好并且能够可靠地估计模型在不同语言上的表现。

    May, 2022

  • Lissard：长且简单的顺序推理数据集

    论文介绍了一个基准测试集 Lissard，其中包括七个任务，旨在评估模型处理和生成不同长度序列以及需要重复操作的能力。评估结果显示，无论是开源模型（Mistral-7B 和 Mixtral-8x7B）还是专有模型（GPT-3.5 和 GPT-4），随着序列复杂性的增加，所有模型的性能都呈现一致下降趋势。

    Feb, 2024

  • SCALE：高级语言模型评估复杂度的扩展

    该研究引入了一个基于瑞士法律系统的多维 NLP 基准测试，包括长文本处理、领域特定知识拥有、多语言理解、多任务等挑战，该基准测试可以用于测试和推广最先进的 LLMs 模型。

    Jun, 2023

  • 论证还是简单的下一个令牌预测？用于对大型语言模型进行压力测试的基准

    我们提出了 MMLU-SR，这是一个新颖的数据集，旨在通过在问题回答任务中使用修改后的术语挑战大型语言模型（LLMs）的性能来测量其真实的理解能力。尽管最近流行的 LLMs 在 MMLU 排行榜上获得了高分，但我们发现在这种替换后模型的性能大幅下降，暗示了其理解能力较差。这个新的基准提供了一个严格测试真实模型理解能力的基准，并向广大科学界提出了挑战。

    Jun, 2024

  • LogicLLM: 探索基于自监督逻辑增强训练的大型语言模型

    本篇论文主要介绍了如何通过自监督后训练和上下文学习来增加逻辑知识，从而提高语言模型的逻辑推理能力，取得了比现有基线更好的效果。

    May, 2023

  • 对物理 GRE 上 LLM 性能的测试：一些观察

    最近，大型语言模型（LLMs）的发展及其通过开源模型和 / 或低成本 API 的广泛可用性导致了许多在 K-12 和大学生的 STEM 教育技术领域出现的令人兴奋的产品和应用。本文简要总结和分析了谷歌提供的一种基于 LLM 的流行会话服务 Bard 在标准化物理 GRE 考试上的性能。

    Dec, 2023

  • LawBench：大型语言模型法律知识基准评估

    大型语言模型在法律领域的能力评估中，提出了全面评估基准 LawBench，并经过广泛测试发现 GPT-4 是在法律领域表现最好的模型，但还有很大提升空间。

    Sep, 2023

  • 大型语言模型能力的可预测性研究 —— 以 BIG-bench 为例

    研究了大型语言模型预测能力的可预测性问题并在 BIG-bench 实验记录上进行了实证研究，发现大型语言模型的性能可以以 5% 以下的 RMSE 进行准确预测，并提出了寻找一个信息性子集用于评估新模型家族的问题，整合了 BIG-bench Hard 的信息，并将规模缩小了三倍。

    May, 2023

  • ML-Bench：大型语言模型基于开源库进行机器学习任务

    通过使用开源库完成机器学习任务，本文旨在提出一种新的评估设置，以评估大型语言模型（LLMs）在实际编程中的适用性，并介绍了 ML-Bench 和 ML-Agent 两个工具，用于评估 LLMs 在利用开源函数时的有效性。

    Nov, 2023

  • 从零开始预训练轻量级大型语言模型 MindLLM: 评估与领域应用

    MindLLM 是一系列双语轻量级大型语言模型，通过从头开始训练模型以减轻培训和部署大型语言模型的负担并解决资源不足问题。该论文提供了大模型开发过程中的经验，并介绍了适用于较小模型的创新指令调整框架，同时探索了 MindLLM 在法律和金融等特定垂直领域的应用。

    Oct, 2023