ACLMay, 2023

WYWEB: 一个用于中国古典文献 NLP 评估的基准数据集

PDF
TL;DR本文介绍 WYWEB 评估基准，它由 9 个古汉语 NLP 任务组成，包括句子分类、序列标注、阅读理解和机器翻译，并评估了现有的预训练语言模型在这个基准上的表现，并提出了一些补充数据集和工具，以进一步促进古代汉语 NLU 的进展。
nlp modelsevaluation benchmarksclassical chinesewyweb evaluation benchmarkpre-trained language models
发现论文，激发创造
  • CLUE：一个中文语言理解评测基准

    该论文介绍了第一个大规模的中文语言理解评估基准，名为 CLUE，以帮助解决英语特定的自然语言理解模型难以用于其他语言的问题，并使用 9 个最先进的中文预训练模型来报告结果，并引入了一系列辅助数据集和工具以促进中文自然语言理解技术的进一步发展。

    Apr, 2020

  • 基于有效评估模型提取的大规模高质量中文网络文本

    我们提出了 EvalWeb，一种从嘈杂的网络数据中提取中文干净文本的完整工具链，用于帮助大型语言模型的研究。使用这种方法，我们发布了最大和最新的大规模高质量中文网络文本 ChineseWebText，其中包含 1.42 TB 的文本，并为每个文本分配了一个质量评分，从而方便 LLM 研究人员根据所需质量阈值选择数据。我们还发布了一个质量超过 90% 的 600 GB 中文数据的更清洁子集。

    Nov, 2023

  • SuperCLUE：一个全面的中文大语言模型基准

    通过提出综合性的中文基准 SuperCLUE，我们展示了现有评估模型性能的精确性不足以反映用户偏好的情况，并且 GPT-4 可以可靠地自动评估用户对中文开放性问题的偏好。

    Jul, 2023

  • LAiW：中国法律大型语言模型基准（技术报告）

    我们提出了第一个基于法学能力的中国法学硕士 (LLMs) 综合评估基准。通过法律和人工智能专家的协作努力，我们将法学硕士的法律能力分为三个层次：基本法律自然语言处理能力、基本法律应用能力和复杂法律应用能力。我们已完成了第一阶段的评估，主要关注基本法律自然语言处理能力。评估结果显示，尽管一些法学硕士在性能上优于它们的基础模型，但与 ChatGPT 相比仍存在差距。我们的基准测试可以在 URL 上找到。

    Oct, 2023

  • Xiezhi：一种全面领域知识评估的不断更新基准

    我们提出了 Xiezhi，这是最全面的评估套件，包括了 516 个不同学科的 220,000 个多项选择题，旨在为检验大型语言模型的整体域知识提供帮助，并在新的自然语言处理基准中，对 47 个先进的大型语言模型进行了评估，它们在科学、工程、农学、医学和艺术领域超过了人类的平均表现，但在经济学、法学、教育学、文学、历史和管理学方面表现不佳。

    Jun, 2023

  • 推进传统中文语言模型的评估：朝着综合基准套件迈进

    评估大型语言模型在语言理解和生成领域中是一项重要任务。我们提出了一套新的基准测试，利用现有的英文数据集，并专门针对评估传统汉语语言模型进行调整，包括问答、摘要、分类和表格理解等任务。评估结果表明，我们的模型在部分评估能力方面达到了与 GPT-3.5 相媲美的性能。为了推进传统汉语语言模型的评估并激发更多研究，我们已经开源了我们的基准测试并开放了模型供试用。

    Sep, 2023

  • 逐九：为大型语言模型提供的多维多面的中文基准测试

    大语言模型的综合性和准确性评估需要全面而系统的基准。为此，我们提出了 ZhuJiu 基准，具有综合评估大语言模型的多维能力覆盖，多方面合作评估方法，全面的中文基准以及避免潜在数据泄漏的特点。我们对 10 个当前主流大语言模型进行了评估，并对结果进行了深入的讨论和分析。

    Aug, 2023

  • 在 CFLUE 上对大型语言模型进行基准测试 —— 中文金融语言理解评估数据集

    我们提出了中文金融语言理解评估基准 CFLUE，用于评估大型语言模型在知识评估和应用评估方面的能力。CFLUE 提供了定制的数据集，用于知识评估和应用评估，并进行了代表性大型语言模型的彻底评估。

    May, 2024

  • 用于神经 NLP 的精细可解释性评估基准

    本文提出了一种新的基准来评估神经网络模型和显著性方法的解释能力，其中包含英文和中文标注数据以及用于评估解释能力的标记。实验结果揭示了三种模型和三种显著性方法的解释能力的优劣，希望这个基准可以促进建立值得信赖的系统的研究。

    May, 2022

  • PsyBench: 一个平衡且深入的心理学中文评估基准

    LLMs 在各领域越来越普及，因此迫切需要改进的 NLP 基准来涵盖各个学科的必要知识。为了解决这个问题，作者提出了 psybench，这是第一个详尽覆盖研究领域所需知识的全面中文评估套件，通过多项选择题深入评估模型在心理学中的优势和劣势，并发现不同领域的性能存在显著差异，展示了测试集中知识不均衡可能导致结果偏斜的风险，仅 ChatGPT 模型的平均准确率超过 70％，表明仍有很大的改进空间。总之，psybench 将有助于对基本模型的优势和劣势进行全面评估，并在心理学领域的实际应用中提供支持。

    Nov, 2023