在这项工作中，我们提出了 EntEval：一个测试套件，用于评估实体表示的整体质量，并通过使用维基百科中的自然超链接注释开发了学习更好的实体表示的培训技术，通过有效目标的检测， 显示这些目标可以改善多个 EntEval 任务上的强基线。

Aug, 2019

这篇论文提出了 SciEval 基准评估体系，以解决现有预先收集客观问题的数据泄露问题和缺乏主观问答能力评估的问题。SciEval 基于 Bloom 的认知分类学，覆盖了四个维度，系统评估科学研究能力。研究者进行了全面的实验证明，尽管 GPT-4 在与其他 LLMs 相比取得了最先进的表现，但仍有很大的改进空间，特别是在动态问题方面。数据和代码现已公开。

Aug, 2023

SentEval 是一个用于评估通用句子表示质量的工具包，包括二元和多类分类、自然语言推理和句子相似性等任务，并提供用于下载和预处理数据集的脚本和易于使用的界面来评估句子编码器，旨在提供更公正、 less-burdensome 和更集中的评估句子表示的方法。

Mar, 2018

本文提出 DiscoEval 测试套件，以评估句子表示是否包含更广泛的上下文信息，并使用来自维基百科的自然注释构建能够建模语篇的句子编码器的各种训练目标。在 DiscoEval 和其他句子评估任务上对经过预训练的句子编码器进行了基准测试，并表明这些训练目标有助于在文档结构中编码不同的信息方面。此外，BERT 和 ELMo 表现出良好的性能，并显示出不同特性的单个隐藏层。

Aug, 2019

自动生成文本的自动评估指标在自然语言生成领域中起着重要作用，特别是随着大规模语言模型的快速发展。然而，现有的评估指标通常局限于特定情景，因此需要新的、灵活和有效的指标。本研究介绍了 RepEval，这是第一个利用 LLM 表示的投影进行评估的指标，通过简单的提示修改，能够轻松适应各种任务。在三个任务中的十个数据集上的结果表明我们方法的高效性，与以前的指标相比，甚至超过了 GPT-4，突显了 LLM 表示中嵌入的有关文本质量的丰富信息，为新指标的开发提供了洞见。

Apr, 2024

本文介绍了 RepEval 2017 共享任务的结果，该任务评估了神经网络句子表示学习模型在 MultiNLI 语料库上的表现。结果表明，所有五个参赛团队都击败了以前的标记方法。最佳单一模型使用堆叠 BiLSTM 和残差连接来提取句子特征，并在与体裁匹配的测试集上达到了 74.5% 的准确率。结果表明，提交的所有系统对于句子意义的领域独立表示都有着合理的学习能力。

Jul, 2017

通过构建两个评估基准（Spanish SentEval 和 Spanish DiscoEval），我们评估了最近的预先训练的西班牙语语言模型的功能和局限性，这些基准包括大量现有的和新构建的数据集，以解决来自各种领域的不同任务，并发现在对话评估任务的情况下，多语言模型 mBERT 通常提供比仅用西班牙语文档进行训练的模型更丰富的潜在表示。我们希望我们的贡献将激发一种更公正，更可比以及更不繁琐的方式来评估未来的西班牙语语言模型。

Apr, 2022

大型语言模型（LLMs）在科学研究中的广泛应用需要先进的评估标准来全面评估它们对科学知识的理解和应用。为了解决这个问题，我们引入了 SciKnowEval 基准，这是一个新颖的框架，从五个渐进的科学知识水平对 LLMs 进行系统评估：广泛学习、认真探究、深入思考、清晰辨别和勤奋实践。这些水平旨在评估 LLMs 的科学知识的广度和深度，包括知识覆盖、探索能力、反思和推理能力、伦理和安全考量以及实践熟练性。我们以生物学和化学为 SciKnowEval 的两个示例，并构建了一个包含 50,000 个多层次科学问题和解决方案的数据集。通过利用这个数据集，我们使用零提示和少量提示策略对 20 个领先的开源和专有 LLMs 进行了评估。结果显示，尽管取得了最先进的性能，专有的 LLMs 在解决科学计算和应用方面仍有相当大的改进空间。我们预计 SciKnowEval 将建立一个全面的标准来评估科学研究和发现中的 LLMs，并促进将科学知识与强大的安全意识融入 LLMs 的发展。数据集和代码可在此 https URL 上公开获取。

Jun, 2024

本文提出了 EvalRank 作为一种新的内部评估方法，它在 60 多个模型和流行数据集上进行了深入的实验，并释放了实用的评估工具包用于未来的基准测试。

Mar, 2022

通过提取和融合来源摘要的相关证据理由，提出了一种调用二分类序列逐个进行预测子任务的模块化方法，从而实现科学主张的自动验证，包括验证支持和反驳证据，该方法名为 RerrFact，并平台竞争 SciFact 排行榜。

Feb, 2022