reference-free metrics | BriefGPT

关键词reference-free metrics

搜索结果 - 9

在自然语言生成系统评估中，引用是否有必要？何时何地？
基于广泛的实验，本研究全面评估了参考无关度量与参考度量在各种自然语言生成任务中的性能，并表明参考无关度量与人类判断有较高相关性，并对语言质量的不足更敏感，然而其有效性因任务而异，受候选文本质量影响。因此，在应用参考无关度量到新任务时，特别是
PDF3 months ago
无参考图像字幕评估指标中的眼镜蛇效应
评估文本描述与相应图像之间的兼容性是多模态研究中的核心工作之一。本文研究了无参考指标的不足之处，并提出了一种名为 “自我完善” 的新方法来纠正这些指标的不足，并通过 GPT-4V 评估生成的句子以获得最先进的性能。此外，我们还介绍了一个具有
PDF4 months ago
2023 Eval4NLP 子任务：使用促使大型语言模型作为解释性⽅法的度量
介绍了 Eval4NLP 2023 共享任务，要求参与者在机器翻译和摘要评估中探索提示和分数提取，并评估了参与者的方法。在没有 fine-tuning 的限制下，最佳系统的表现与使用更大模型开发的最新的无参考度量标准（包括 GEMBA 和
PDF8 months ago
SocREval: 使用苏格拉底方法进行无参考推理评估的大型语言模型
利用 GPT-4 和苏格拉底方法，我们提出了一种新的基于 SocREval 的评估框架，能够自动评估当前模型的推理能力，并证明了该框架在消除人工参考链的情况下，显著提高了 GPT-4 的性能，超过了现有的基于参考和无参考的推理评估指标。同时
PDF9 months ago
无参考图像字幕评估指标的鲁棒性研究
评估了 CLIPScore 和 UMIC 这两种自动评估图像标题的参考无关度量标准的鲁棒性，发现这两个指标在识别标题中的微小差错方面存在一定困难，同时受视觉概念和语言结构的影响。
PDFa year ago
GPTEval：利用 GPT-4 进行更有效的人工智能对齐的自然语言生成评估
使用大型语言模型和一种具有连续思考特点的填充范式，提出了一种 NLG 质量评估框架，结合两种生成任务 —— 文本摘要和对话生成，使用 GPT-4 模型作为骨干模型，与以往方法相比性能更好。
PDFa year ago
生成文本的无参考评估的局限性
我们的研究表明：参考文本的自由度量在评估生成文本方面存在固有的偏见和限制，因此建议将其作为分析和理解模型行为的诊断工具，而不是评估模型任务表现的指标。
PDF2 years ago
ACLCTRLEval：用于评估受控文本生成的无监督无参考度量
本文提出了一种称为 CTRLEval 的无监督无参考文本生成度量方法，通过将每个方面制定为多个文本填充任务，从不同角度评估受控制的文本生成。此度量方法无需进行任何模型训练，只需从预训练的语言模型中收集生成概率。实验结果表明，相比其他基线，该
PDF2 years ago
关于释义生成的评估度量
本文重新审视了用于复述评估的自动评估度量，并得出两个违背常规智慧的发现：(1) 无参考度量比基于参考文本的度量具有更好的性能。 (2) 人类注释与使用最多的度量不太相符。通过额外的实验证明和深入的分析探讨了上述发现背后的原因。基于实验和分
PDF2 years ago