我们介绍了 STADEE，一种基于统计数据的深度检测方法，用于识别机器生成的文本，解决了当前方法在依赖大量微调预训练语言模型方面的局限性。STADEE 将关键的统计文本特征与深度分类器相结合，重点关注诸如标记概率和累积概率等方面，这对于处理核心采样非常关键。在不同的数据集和场景（领域内、领域外和实际环境）中进行测试，STADEE 表现出优异的性能，在领域内达到了 87.05% 的 F1 得分，并且在传统统计方法和微调预训练语言模型方面都表现出色，特别是在领域外和实际环境中，突显了其有效性和普适性。

Dec, 2023

本文介绍了一种基于神经文本分类器的方法，将自然语言处理中翻译模型的自动化评估与人类评估相结合，并揭示人机差异，其中包含翻译质量和人工智能的深入讨论。

Mar, 2019

Large Language Models 的元评估问题是如何可靠地评估生成文本的一个关键研究问题。为了解决这一挑战，提出了 Decompose and Aggregate 方法，将评估过程分解为不同阶段，从而提供了更可解释的界面，并在多个元评估基准上实现了多种 Large Language Models 的评估性能提升高达 39.6%。

May, 2024

通过 DEEPEVAL 评估，本研究发现现有的大型多模态模型对深度语义的理解能力与人类存在明显差距，尽管在图像描述方面达到了与人类相媲美的性能。进一步分析表明，推理过程中结合描述文本可以显著增强大型多模态模型对深度语义的感知能力。

Feb, 2024

基于大型编码器和解码器语言模型的自动评估方法在文本生成任务中表现比调整后的编码器模型差，研究还发现解码器模型关注于表面字词序列而忽略了意义，同时发现调整后的解码器模型难以识别细粒度语义差异。

Oct, 2023

提出了一种基于多智能体评分系统的自然语言生成（NLG）评估框架 DEBATE，通过引入反对者的概念，解决了 LLM 智能体回答中的偏见问题，从而在 NLG 评估中显著超越了现有的方法。

May, 2024

该研究介绍了 INSTRUCTSCORE，一种可解释的用于评估文本生成的评估度量标准，通过利用显式人类指令和 GPT4 的隐式知识来创建评估度量标准。研究结果表明，INSTRUCTSCORE 可以在不需要人类数据之间达到类似于 COMET22 等最先进度量标准的性能水平。

May, 2023

使用大型语言模型和动态经验专家建模方法（DEEM）改进 LLMs 推理能力，实现更广泛和可靠的多方位分析，在三个标准基准测试中取得最佳结果并减少 LLMs 的偏差。

Feb, 2024

现有的大语言模型通过单向自回归解码方法生成文本，但这种方法在处理不确定 token 时容易遇到次优选择，而该研究提出了一种名为 SED 的自我评估解码方法以优化模型生成。实验结果表明 SED 在各种任务和不同模型上具有良好的效果。

May, 2024

本文提出了一种简单而有效的度量方法 DecompEval，该方法在自然语言生成（NLG）评估中使用了指令调整的预训练语言模型，以提高其泛化能力和可解释性。实验结果表明，DecompEval 在未训练的度量标准中取得了最先进的性能，适用于评估文本摘要和对话生成的各种任务和评估维度，并具有较强的泛化能力和可解释性。

Jul, 2023