本文旨在提出一种规范化和明确定义的人工评估协议，以促进未来作品中可验证和可重复的人工评估，针对 37 篇最近论文调查显示，许多作品仅依赖自动度量或执行不可靠或不可重复的人工评估，同时，作者还提供了设计可靠和决定性人工评估实验所需的见解，并向社区提供了几个公开的资源以促进快速实现。

Apr, 2023

通过 Genie 方法自动生成高质量的数据，包括长篇问答、摘要和信息提取，经过人类评估，生成的数据在自然性和质量方面与人类生成的数据相媲美甚至优越，并在忠实性方面一致优于人类生成的数据。

Jan, 2024

研究评估非专家区分人工和机器生成文本 (使用 GPT2 和 GPT3) 的能力，指出评估者不经培训情况下很难区分，通过三种方法培训后的准确率提高到了 55%，但在三个领域中并没有显著提高。作者分析了训练不足的人类评估在自然语言生成领域的作用，并提供了改进人工评估的建议。

Jun, 2021

本研究探讨了一种简单的降低标注成本的方法，即采用分层抽样和控制变量等技术，结合文档成员身份信息和自动评估指标，从而在固定标注预算下获得更高的准确性。在测试集上，相比于纯随机抽样，平均误差降低了高达 20%。该技术易于实现且适用于类似结构的问题。

Apr, 2022

文本生成领域的文献回顾研究了 244 篇论文，将文本生成的工作分类为五个主要任务，并分析了相关特点、子任务和具体挑战。此外，研究还评估了目前的评估方法，并确定存在的问题。研究指出了九个主要挑战，并提供了详细分析和解决方案，以及进一步研究需求。该文献回顾面向自然语言处理领域的初级研究人员和有经验的研究人员。

May, 2024

本教程关注于文本生成，这是一类自然语言生成任务，它以一段文本作为输入，然后生成一篇按照某些特定标准（如可读性或语言风格）改进的修订版本，同时保留原版文本的大部分含义和长度。

Oct, 2023

Genie 是第一个通过无监督方式从无标签互联网视频中训练得到的生成交互式环境，它可以根据文本、合成图像、照片甚至草图生成无限多种可控行为的虚拟世界。拥有 11B 个参数的 Genie 可以被视为基础世界模型，它由时空视频分词器、自回归动力学模型以及简单可扩展的潜在动作模型组成。尽管训练时没有使用任何真实行为标签或其他领域特定的要求，Genie 可以使用户基于逐帧操作生成的环境。此外，由此产生的学习潜在动作空间可用于训练代理机器人模仿未见过的视频行为，为未来培训通才型代理机器人打开了道路。

Feb, 2024

该文章调查了近年来开发的自然语言生成（NLG）系统的评估方法。将 NLG 评估方法分为三类，讨论了每种类别取得的进展和仍然面临的挑战，重点关注最近提出的 NLG 任务和神经 NLG 模型的评估。最后提出了自动文本摘要和长文本生成的两个任务特定的 NLG 评估示例，并提出了未来的研究方向。

Jun, 2020

本文提出了一种基于大型预训练语言模型和概率分布的区分程序来自动评估自然语言生成方法产生的文本样本的人类相似度分数，与人类判断的自动评估进行了验证。

Jun, 2020

本文提出 NLG 评估标准协议中存在的假设并分析了其局限性，同时提出了一个更理论严谨的改进方案，并针对开放式任务提出了新的 SPA 人类评估协议。使用 SPA 进行人类评估时，可以使用系统级概率评估恢复 GPT-3 模型大小排序且差异具有统计学意义。

May, 2022