近年来，人工智能（AI）取得了巨大的成功，并广泛应用于学术和工业领域。然而，长文本语言模型（LLMs）展示出的可信度问题已经引起了广泛关注，为了解决这个问题，我们提出了一个通用的分析框架，LUNA，旨在通过多个质量视角以一种人类可解释的方式对 LLMs 进行分析。

Oct, 2023

自然语言生成（NLG）的评估是人工智能中一个重要但具有挑战性的问题。本文调查了基于大型语言模型的 NLG 评估方法，探讨了它们的优势和劣势，讨论了人机合作的 NLG 评估，并提出了该领域的几个开放问题和未来的研究方向。

Feb, 2024

自然语言生成（NLG）评估中引入大型语言模型（LLM）为评估生成内容质量提供了新的途径，本文提供了对利用 LLM 进行 NLG 评估的全面概述，包括组织现有基于 LLM 的评估指标的一致性分类法、批判性评估不同的 LLM 方法以及比较其在评估 NLG 输出中的优势和局限性，讨论未解决的挑战，并推动更公平、更先进的 NLG 评估技术。

Jan, 2024

介绍了一个名为 GEM 的用于自然语言生成（NLG）及其评估和指标的活跃基准。GEM 提供了一个环境，使得模型可以被应用于广泛的任务，并且可以测试评估策略。该基准将定期更新以更多的支持多语言，并与模型一起推进挑战，欢迎整个 NLG 社区参与我们在 ACL 2021 工作坊中组织的共享任务的数据描述。

Feb, 2021

本文提出了一种统一的自然语言生成（NLG）任务评估度量方法，基于信息对齐的概念，通过设计可解释的度量标准并使用自监督模型实现了度量方法的操作化，结果表明所提出的统一设计度量方法在各种 NLG 实验中具有比现有度量方法更强的相关性。

Sep, 2021

提出了一个名为 KnowGen 的方法来生成新知识，并引入了一个名为 ALCUNA 的基准来评估大规模语言模型在处理新知识方面的能力，发现它们在处理新知识的推理方面表现不佳，并探索了实体相似性对模型对实体知识的理解以及上下文实体的影响。

Oct, 2023

该文章调查了近年来开发的自然语言生成（NLG）系统的评估方法。将 NLG 评估方法分为三类，讨论了每种类别取得的进展和仍然面临的挑战，重点关注最近提出的 NLG 任务和神经 NLG 模型的评估。最后提出了自动文本摘要和长文本生成的两个任务特定的 NLG 评估示例，并提出了未来的研究方向。

Jun, 2020

NLP 中，大型语言模型（LLMs）的成功推动了其显著突破，本文对 LLM 的评估方法进行了全面探索，提供了选择和解读已使用度量标准的见解，并采用最新的生物医学 LLM 进行了这些度量标准的应用比较，旨在为研究人员提供一个实用的指南，推进对这些大型语言模型的理解和应用。

Apr, 2024

人工智能领域，大型语言模型在自然语言处理方面的前所未有的进步为重新考虑传统的机器智能度量提供了机会。本文提出了从既定的图灵测试转向以语言习得为核心的全面框架，受到了大型语言模型最新进展的启发。

Sep, 2023

为了解决自然语言生成任务（NLG）的评估问题，本文构建了一个大规模的 NLG 评估语料库 NLG-Eval，并提出了一个专门用于 NLG 评估的大型语言模型 Themis，该模型通过多角度一致性和基于评分偏好的方法进行训练，能够灵活、可解释地进行评估，无需参考，并在各种 NLG 任务上展现出优越的评估性能，同时在未见任务上具有良好的泛化能力，超越了其他评估模型，包括 GPT-4。

Jun, 2024