Jul, 2023

Disco-Bench: 一种考虑语篇的语言模型评估基准

PDF
TL;DR该论文提出了一个可以评估处理自然语言时的句子内语篇特征的精细化预训练模型，该模型包含 9 个文献领域的测试集，涵盖了许多超出了跨句子属性的问题。
discoursenatural language processingevaluation benchmarkcohesionpretraining
发现论文，激发创造
  • 语篇感知句子表示的评估基准和学习标准

    本文提出 DiscoEval 测试套件，以评估句子表示是否包含更广泛的上下文信息，并使用来自维基百科的自然注释构建能够建模语篇的句子编码器的各种训练目标。在 DiscoEval 和其他句子评估任务上对经过预训练的句子编码器进行了基准测试，并表明这些训练目标有助于在文档结构中编码不同的信息方面。此外，BERT 和 ELMo 表现出良好的性能，并显示出不同特性的单个隐藏层。

    Aug, 2019

  • 西班牙语句子表示的评估基准

    通过构建两个评估基准（Spanish SentEval 和 Spanish DiscoEval），我们评估了最近的预先训练的西班牙语语言模型的功能和局限性，这些基准包括大量现有的和新构建的数据集，以解决来自各种领域的不同任务，并发现在对话评估任务的情况下，多语言模型 mBERT 通常提供比仅用西班牙语文档进行训练的模型更丰富的潜在表示。我们希望我们的贡献将激发一种更公正，更可比以及更不繁琐的方式来评估未来的西班牙语语言模型。

    Apr, 2022

  • DiscoScore：使用 BERT 和上下文连贯性评估文本生成

    介绍了一种基于 Centering 理论和 BERT 的参数化的 Discourse 评估度量，DiscoScore，在结构连贯性、事实一致性等方面优于当前流行的评估度量 BARTScore。

    Jan, 2022

  • 文档连贯性建模评估

    在理解预训练语言模型对话建模能力方面，我们提出了一种句子入侵检测任务，并在英语方面检查了一系列预训练 LM 的性能。我们通过构建包含英语维基百科和 CNN 新闻文章的 170,000 + 文档的新型入侵句子检测数据集 INSteD，显示预训练 LM 在域内评估中表现出色，但在跨域设置中经验了大幅下降，表明其对跨域推广的能力有限。进一步的，在一个新的语言探测数据集上的结果表明，在跨域设置中有很大的改进空间。

    Mar, 2021

  • DiscoveryBench：基于大型语言模型的数据驱动发现

    快速提取、调用函数和数据分析是大型语言模型 (LLMs) 快速生成代码，从提供的数据集中自动化搜索和验证假设的关键。我们通过 DiscoveryBench 这一全面的基准测试来评估这个问题，该基准测试形式化了数据驱动发现的多步骤过程。该基准测试的设计是为了系统评估当前模型在发现任务中的能力，并为改进这些能力提供有用的资源。

    Jul, 2024

  • 通过密集注释的平行语料库以话语为中心评估机器翻译

    本论文提出了一个带有丰富语篇注释的新数据集，并探讨了源语言和目标语言的语篇结构相似性和差异性以及其对机器翻译的挑战和机会，该资源可公开使用以促进未来在文档级机器翻译和其他语言翻译任务的研究。

    May, 2023

  • DrBenchmark：法国生物医学领域的大型语言理解评估基准

    首次公开提供的法语生物医学语言理解基准 DrBenchmark，评估 8 种最新的预训练掩码语言模型 (MLMs) 的通用和生物医学特定数据上的性能，以及英语特定的 MLMs 来评估它们的跨语言能力。

    Feb, 2024

  • 语境感知神经提取式文本摘要

    使用 Discobert 模型从已修剪的子句中提取文本，通过基于结构的话语图来捕获在 BERT 中不能很好捕获的长程依赖关系，该模型在流行的摘要基准测试中表现出显着的优越性。

    Oct, 2019

  • 神经机器翻译中的语篇现象评估

    研究了利用上下文进行神经机器翻译的模型，并提出了一种多编码器并解码两个句子以实现上下文输出的方法，该方法在指代和连贯性方面表现最佳。

    Nov, 2017

  • KoDialogBench：韩语对话基准测试用于评估语言模型的对话理解能力

    这项研究介绍了 KoDialogBench，一个用于评估语言模型在韩语会话中的能力的基准测试。实验结果表明，语言模型在会话技能方面仍有很大的改进空间，并且最近的训练技术在增强会话能力方面非常有效。

    Feb, 2024