ACLAug, 2021

MTG: 多语言文本生成基准套件

PDF
TL;DR介绍了一个新的基准测试套件，MTG，用于训练和评估多语言文本生成。该套件包括四个生成任务（故事生成、问题生成、标题生成和文本摘要）和五种语言，可测试模型在不同语言和任务之间的知识转移能力，有利于提高模型性能，并提供多样化的生成方案的全面评估。
mtgmultilingual text generationbenchmarkgeneration tasksknowledge transfer
发现论文，激发创造
  • M4GT-Bench: 黑盒机器生成文本检测评估基准

    通过引入多语言、多领域和多发生器的机器生成文本检测基准 M4GT-Bench，本研究解决了识别和区分机器生成文本与人类生成文本的问题，包括单语和多语二元机器生成文本检测、多类别检测以确定生成文本具体使用的模型以及在人机混合文本中确定生成文本与人类编写内容之间的边界的挑战。

    Feb, 2024

  • MULTITuDE: 大规模多语言机器生成文本检测基准

    我们引入了一个新的基准数据集 MULTITuDE，用于多语言机器生成文本检测，包括 11 种语言（ar，ca，cs，de，en，es，nl，pt，ru，uk 和 zh）的 74,081 个真实和机器生成的文本，由 8 个多语言 LLM 生成。利用这个基准，我们比较了零样本（统计和黑盒）和微调检测器的性能，并考虑多语言性，评估了这些检测器在未见过的语言（语言相似和不相似）和未见过的 LLMs 上的泛化性和这些检测器在培训多种语言时是否提高了性能。

    Oct, 2023

  • 代码生成模型的多语言评估

    本文提出了新的基准测试，包括 MBXP，Multilingual HumanEval 和 MathQA-X，以测试多语言环境下代码生成模型的性能，并发现了多语言模型的优势，以及通过 few-shot prompting 实现对模型新语言的教学能力和在单语言环境下的 zero-shot translation 能力。同时，作者还利用其代码生成模型在多种语言上实现了大规模引导过程，产生了其他与代码相关的评估任务中使用的合成规范解决方案。

    Oct, 2022

  • IndicNLG 基准：印度语言中多样化自然语言生成任务的多语言数据集

    本文介绍 IndicNLG 基准，一个用于评估 11 种 Indic 语言的自然语言生成的数据集集合，包括人物传记生成、新闻标题生成、句子摘要、改写生成和问题生成等 5 个不同的任务，使用预训练序列到序列模型和多语言基线来评估性能，并表明多语言特定预训练模型的强大性能和我们数据集训练的模型对其他相关 NLG 任务的实用性。

    Mar, 2022

  • IndicGenBench：用于评估 LLMs 在印度语言上的生成能力的多语言基准测试

    印度是一个拥有 14 亿人口的语言多样性国家，为了促进多语言大型语言模型的研究和评估，我们发布了 IndicGenBench，这是一个覆盖 13 种脚本、4 种语系以及 29 种印度语言的最大基准。我们对包括 GPT-3.5、GPT-4、PaLM-2、mT5、Gemma、BLOOM 和 LLaMA 在内的各种大型语言模型在 IndicGenBench 上的表现进行了评估，结果显示多数任务中表现最好的是最大的 PaLM-2 模型，但与英语相比，所有语言都存在显著的性能差距，因此我们需要进一步的研究来开发更具包容性的多语言语言模型。

    Apr, 2024

  • 多社交：机器生成的社交媒体文本检测的多语言基准

    该研究提出了第一个多语种（22 种语言）和多平台（5 个社交媒体平台）数据集 ——MultiSocial，用于在社交媒体领域评估机器生成文本检测的性能，结果显示 fine-tuned 的检测器在社交媒体文本上训练没有问题，并且训练过程中选择的平台对结果有影响。

    Jun, 2024

  • 段落级问题生成的生成式语言模型

    通过引入 QG-Bench，这是一个多语种，多域基准，对现有的问答数据集进行转换，提出了鲁棒的 QG 基准和基于精细调整的生成语言模型，并对其进行了有效性和适应性分析。

    Oct, 2022

  • 大型语言模型是代码生成领域最先进的评估器

    本研究提出了一个基于 GPT-3.5 的评估框架，用于评估代码生成的功能正确性和人类偏好，能够在不需要测试 oracle 或参考文献的情况下，达到比 CodeBERTScore 更高的准确性和一致性。

    Apr, 2023

  • TURINGBENCH: 面向神经文本生成时代的图灵测试基准环境

    该研究提出了 TuringBench 基准环境，旨在解决神经文本生成方法的 “图灵测试” 问题，它包括 200K 个人工或机器生成的样本数据集，分别涵盖 20 个标签，以及两个基准测试任务和网站排行榜，研究初步实验表明，FAIR_wmt20 和 GPT-3 是生成最逼近人类无法辨别的文本的最佳选择。

    Sep, 2021

  • 大型语言模型是翻译质量的最先进评估工具

    描述了基于 GPT 的翻译质量评估指标 GEMBA，可以用于有参照的和无参照的情况。研究了四个提示变体，并比较了两种方式下的性能表现，发现只能应用于 GPT 3.5 及以上的模型。在 WMT22 的 Leaderboard 中，GEMBA 在三种语言对中具有先进的性能表现。

    Feb, 2023