nlg evaluation | BriefGPT - AI 论文速递

关键词nlg evaluation

搜索结果 - 8

辩论：基于魔鬼辩护的评估与文本评价
提出了一种基于多智能体评分系统的自然语言生成（NLG）评估框架 DEBATE，通过引入反对者的概念，解决了 LLM 智能体回答中的偏见问题，从而在 NLG 评估中显著超越了现有的方法。
PDF2 months ago
基于 LLM 的评估者是否混淆了 NLG 质量标准？
通过设计和实际测试，我们发现 LLMs 在自然语言生成（NLG）评估中存在混淆不同评估标准的问题，这降低了它们的可靠性。为了进一步验证，我们首先总结了一个清晰的层次分类系统，包括 11 个常见方面的相关标准，然后设计了 18 种针对不同 L
PDF4 months ago
基于 LLM 的自然语言生成评估：现状与挑战
自然语言生成（NLG）的评估是人工智能中一个重要但具有挑战性的问题。本文调查了基于大型语言模型的 NLG 评估方法，探讨了它们的优势和劣势，讨论了人机合作的 NLG 评估，并提出了该领域的几个开放问题和未来的研究方向。
PDF5 months ago
定义幻觉的陷阱
尽管自然语言生成（NLG）和大语言模型（LLMs）取得了令人印象深刻的进展，但研究人员对 NLG 评估的重要方面仍不清楚。为了证实这一观点，我检查了数据文本 NLG 中关于幻觉和省略的当前分类，并提出了基于逻辑的这些分类的综合。最后，我强调
PDF6 months ago
利用大型语言模型进行自然语言生成评估：综述
自然语言生成（NLG）评估中引入大型语言模型（LLM）为评估生成内容质量提供了新的途径，本文提供了对利用 LLM 进行 NLG 评估的全面概述，包括组织现有基于 LLM 的评估指标的一致性分类法、批判性评估不同的 LLM 方法以及比较其在评
PDF6 months ago
使用 LLMs 的 Pairwise 比较进行零样本自然语言生成评估
通过用自然语言生成技术输出的对比评估方法来检验大型自然语言模型的表现，使得在不依靠特定域和属性情况下进行评估成为可能。
PDFa year ago
EMNLP人类评估中的真实性差距
本文提出 NLG 评估标准协议中存在的假设并分析了其局限性，同时提出了一个更理论严谨的改进方案，并针对开放式任务提出了新的 SPA 人类评估协议。使用 SPA 进行人类评估时，可以使用系统级概率评估恢复 GPT-3 模型大小排序且差异具有统
PDF2 years ago
所有 ' 人类 ' 皆非黄金：评估生成文本的人类评估
研究评估非专家区分人工和机器生成文本 (使用 GPT2 和 GPT3) 的能力，指出评估者不经培训情况下很难区分，通过三种方法培训后的准确率提高到了 55%，但在三个领域中并没有显著提高。作者分析了训练不足的人类评估在自然语言生成领域的作用
PDF3 years ago