提出了一种基于多维度布尔问题回答任务的统一评价器 UniEval，通过指导模型回答不同问题的方式，从多维度评估自然语言生成的质量，并且通过中间学习阶段，UniEval 可以整合来自多个相关任务的外部知识，以实现更全面的评估。实验表明，UniEval 比现有的评估指标与人类判断的相关性更高，可在多个任务中实现强的零次学习能力。

Oct, 2022

基于指令调优的学习度量可以提供自然语言生成的自动评估，通过对多任务的联合训练，可以进一步改善性能，对未来的少量或无人标注数据的任务具有积极意义。

Oct, 2023

INSTRUCTEVAL 是一个全面的评估套件，旨在评估大型语言模型在指令调整下的表现，其结果表明，指令数据的质量是影响模型性能的最重要因素，并且从问题解决能力和与人类价值观的一致性方面，这些模型还有很大的提升空间。

Jun, 2023

本文研究以背景学习为基础的评估器，在自然语言生成（NLG）的各个方面进行多维度评估，实验证明：相比于基于训练集的评估器，以背景学习为基础的评估器在文本摘要等维度上具备同等的效力和竞争力；研究表明，在确定和数量选择上下文示例因素的影响下，以背景学习为基础的评估器在评估作为大型语言模型（如 GPT-3）的零样本总结时也具有很强的效力。

Jun, 2023

本文提出了一种简单而有效的度量方法 DecompEval，该方法在自然语言生成（NLG）评估中使用了指令调整的预训练语言模型，以提高其泛化能力和可解释性。实验结果表明，DecompEval 在未训练的度量标准中取得了最先进的性能，适用于评估文本摘要和对话生成的各种任务和评估维度，并具有较强的泛化能力和可解释性。

Jul, 2023

本文提出 EditEval：一种以指令为基础的评测套件，利用高质量的现有和新数据集自动评估编辑能力，证明了 InstructGPT 和 PEER 的表现最佳，而大多数基线都低于监督学习 SOTA，本文通过这个基准的发布和公开可用的排行榜挑战，希望能够解锁未来发展能够进行迭代和更可控编辑的模型的研究。

Sep, 2022

通过引入 CoAScore 评估系统，基于大型语言模型，该系统利用多个方面的知识以提高自然语言生成的评估质量，并显著优于现有的无监督评估指标。

Dec, 2023

借助预先策划的人类知识和能力分类体系， GLAN 是一种适用于大型语言模型（LLM）的通用且可扩展的指令调整方法，它能纵向横向生成大规模的合成指令数据，覆盖人类知识和技能的完整领域。

Feb, 2024

本文研究自然语言生成的评估方法，并通过自动化评估和人工评估的比较，发现词汇重叠是自然语言生成的较好评估指标，而人工评估与自动化评估在排名上存在较大差异，因此呼吁重新考虑自然语言生成的评估目标。

Jan, 2019

该文章调查了近年来开发的自然语言生成（NLG）系统的评估方法。将 NLG 评估方法分为三类，讨论了每种类别取得的进展和仍然面临的挑战，重点关注最近提出的 NLG 任务和神经 NLG 模型的评估。最后提出了自动文本摘要和长文本生成的两个任务特定的 NLG 评估示例，并提出了未来的研究方向。

Jun, 2020