EMNLPAug, 2019

EntEval: 实体表示的综合评估基准

PDF
TL;DR在这项工作中，我们提出了 EntEval：一个测试套件，用于评估实体表示的整体质量，并通过使用维基百科中的自然超链接注释开发了学习更好的实体表示的培训技术，通过有效目标的检测， 显示这些目标可以改善多个 EntEval 任务上的强基线。
entity representationsentevalentity typingentity similarityentity disambiguation
发现论文，激发创造
  • SentEval: 通用句子表示的评估工具

    SentEval 是一个用于评估通用句子表示质量的工具包，包括二元和多类分类、自然语言推理和句子相似性等任务，并提供用于下载和预处理数据集的脚本和易于使用的界面来评估句子编码器，旨在提供更公正、 less-burdensome 和更集中的评估句子表示的方法。

    Mar, 2018

  • 适用于命名实体识别的可解释性多数据集评估

    本文提出了一种可解释的评估方法，用于对自然语言处理任务中的命名实体识别进行分析，以帮助读者更好地理解不同模型及其相对优劣之处。通过将我们的分析工具提供给其他研究人员，我们希望能推动这一领域的进步。

    Nov, 2020

  • SciRepEval：科学文档表示的多格式基准

    本文介绍了 SciRepEval，第一个全面评估科学文档表示方法的基准测试，可用于分类、回归、排名和搜索等多项任务，研究表明最新模型普遍存在跨任务格式泛化能力差的问题，但学习每个文档的多个嵌入以针对不同格式得到改善，实验发现多任务设置下的任务格式特定控制码和适配器优于现有的最新单嵌入模型。

    Nov, 2022

  • TweetEval: 微博分类的统一基准和比较评估

    本文提出了一个新的评估框架（TweetEval），由七个异构 Twitter-specific 分类任务组成，并提供了一组强基准作为起点，并比较了不同的语言建模预训练策略，初步实验表明使用现有的通用语言模型预训练，然后在 Twitter 集上继续训练是很有效的。

    Oct, 2020

  • 现有端到端实体链接系统的公正深入评估

    本文针对实体链接系统的评估存在的问题，提出了更具意义和公正的方法，通过多个广泛使用的基准测试和两个新的基准测试，评估了多种现有的端到端实体链接器的强弱点及其可重复性。

    May, 2023

  • 大型语言模型事件语义的全面评估

    本研究提出了一个全面的事件语义处理框架，并引入了一个新的基准测试集 EVEVAL，以全面评估模型的事件语义处理能力，为自然语言处理领域的大语言模型应用提供了重要的研究方向。

    May, 2023

  • 大语言模型时代的数据可视化基准测试：VisEval

    提出了一种名为 VisEval 的新的 NL2VIS 基准，该基准通过引入高质量大规模数据集并倡导综合自动化评估方法，揭示了目前研究中普遍存在的挑战并为未来的进一步发展提供了重要的见解。

    Jul, 2024

  • 语篇感知句子表示的评估基准和学习标准

    本文提出 DiscoEval 测试套件，以评估句子表示是否包含更广泛的上下文信息，并使用来自维基百科的自然注释构建能够建模语篇的句子编码器的各种训练目标。在 DiscoEval 和其他句子评估任务上对经过预训练的句子编码器进行了基准测试，并表明这些训练目标有助于在文档结构中编码不同的信息方面。此外，BERT 和 ELMo 表现出良好的性能，并显示出不同特性的单个隐藏层。

    Aug, 2019

  • 西班牙语句子表示的评估基准

    通过构建两个评估基准（Spanish SentEval 和 Spanish DiscoEval），我们评估了最近的预先训练的西班牙语语言模型的功能和局限性，这些基准包括大量现有的和新构建的数据集，以解决来自各种领域的不同任务，并发现在对话评估任务的情况下，多语言模型 mBERT 通常提供比仅用西班牙语文档进行训练的模型更丰富的潜在表示。我们希望我们的贡献将激发一种更公正，更可比以及更不繁琐的方式来评估未来的西班牙语语言模型。

    Apr, 2022

  • 以词和句相似性重新思考评估

    本文提出了 EvalRank 作为一种新的内部评估方法，它在 60 多个模型和流行数据集上进行了深入的实验，并释放了实用的评估工具包用于未来的基准测试。

    Mar, 2022