self-evaluation | BriefGPT - AI 论文速递

关键词self-evaluation

搜索结果 - 7

LLM 评估员认可并支持同一代人
大型语言模型的自我评估能力，特别是自我偏好和自我识别能力，对于无偏评估和人工智能安全性具有重要影响。
PDF3 months ago
基于玻璃盒特征的大型语言模型的自我评估
通过研究自评估的情景，我们探索了使用开源大型语言模型 (LLMs) 进行自我评估的实用性，发现了 softmax 分布作为质量评估的可靠指标，并提出了两种增强评估的策略，从引用中获取特征。通过公共基准的实验结果验证了使用模型自我评估的可行性
PDF4 months ago
自我对齐以提高事实准确性：通过自我评估减少 LLMs 中的幻觉
探索使用自我评估和自我知识调整的自对齐方法，以增强大语言模型的事实准确性。
PDF5 months ago
大型语言模型中自我评估提高选择性生成
使用大型语言模型进行自我评估可以提高生成内容的准确性，并与生成内容的整体质量更好地相关。
PDF7 months ago
EMNLP自我评估适配提高 LLMs 的选择性预测能力
基于自评估的自适应选可信度模型，通过使用参数高效调整适应大型语言模型到特定任务，提高其自评估能力，以改善选择性预测性能。在多种问答数据集上的评估结果显示，该方法优于现有的选择预测方法。
PDF9 months ago
掌握复杂问题 ABCD：基于答案的主张分解进行细粒度自我评估
本文介绍了一种针对大型语言模型生成的答案自我评估技术，即 ABCD，该技术通过将复杂问题分解为一系列真假命题来验证模型生成的答案是否满足所有的问题标准，并进行精细化评估，实验证明该技术可以帮助发现模型的错误和知识盲区。
PDFa year ago
语言模型（基本）知道它们知道的
本研究旨在探究自然语言模型是否可以自我评估其答案准确性并预测正确答案概率，结果表明较大模型能够准确预测答案概率，训练可提高模型预测 P（IK）的能力，但模型在新任务上仍存在校准困难。
PDF2 years ago