重新思考基于生成的大型语言模型对语义理解的评估
大语言模型在自然语言处理领域中具有重要意义,然而现有的以多项选择问答作为评估方法的基准测试并未能充分捕捉到大语言模型的真实能力,需要更加健全的评估机制来衡量其性能。
Feb, 2024
通过评估 Large Language Models(LLMs)的现状,我们探讨了 LLMs 在韩语背景下的语用能力,包括常规的多项选择题和开放式问题的评估,结果显示 GPT-4 在两种评估设置中表现出色,分别获得 81.11 和 85.69 分,HyperCLOVA X 也得到了良好的分数,尤其在开放式问题的评估中,获得了 81.56 分,与 GPT-4 相比仅相差 4.13 分,而使用 CoT 提示的少样本学习策略则引入了对字面解释的偏见,限制了准确的语用推理能力,这些发现强调了提升 LLMs 在理解和传达超出字面解释的复杂意义方面的重要性。
Mar, 2024
利用模拟医学考题的方法评估大型语言模型在医学领域的表现,发现传统的多项选择题评估方法可能无法准确测量其临床知识和推理能力,而更强调其模式识别技能。这项研究强调了需要更强劲的评估方法,以更好地评估大型语言模型在医学背景下的真实能力。
Jun, 2024
我们提出了一种全面评估检索增强生成(RAG)应用中答案质量的方法,使用 vRAG-Eval,这是一种新的评分系统,旨在评估正确性、完整性和诚实性。我们进一步将前述质量方面的评分转化为一个二进制分数,表示接受或拒绝的决策,反映了常用于聊天应用的直观 “赞” 或 “踩” 的手势。我们将 vRAG-Eval 应用于两个大型语言模型(LLM),评估由基本 RAG 应用生成的答案的质量。我们将这些评估与人类专家判断进行比较,并发现 GPT-4 的评估结果与人类专家的评判具有显著一致性,在接受或拒绝的决策上达成 83% 的一致。这项研究突出了 LLM 在封闭领域、封闭式问题设置中作为可靠评估者的潜力,特别是当人工评估需要大量资源时。
Jun, 2024
在这篇论文中,我们评估了九个大语言模型在两种语言(中文和英文)的四个问答数据集上的表现,发现大语言模型在双语的多选题中存在一种顺序敏感性,竞争第一位置的选项更容易被选择,与此同时我们提出了两种衡量大语言模型输出一致性和置信度的方法,并发现多选题相较长篇生成题在一致性和预期校准误差方面较不可靠。
Mar, 2024
通过自动和人工评估,我们对一系列开源和闭源生成式 LLMS 在文本摘要、文本简化和语法错误纠正等三个 NLP 基准上进行初步的混合评估,发现 ChatGPT 在大多数指标上始终优于其他流行模型,而使用经典的自动评估指标时,得分要低得多。我们还发现人工评估员评价黄金参考指标比最佳模型输出差得多,表明许多流行基准的质量较低。最后,我们发现 GPT-4 能够在特定任务的变异性较小的情况下,对模型输出进行排名,与人类判断趋于一致,但在语法错误纠正任务中的排名一致性较低。
Oct, 2023
通过人工评估,我们发现使用 InstructGPT 在 NQ-open 取得了新的最优结果,且所有模型的真实性能均被显著低估,同时超过 50%的词汇匹配失败归因于意义相当的答案, 正则匹配排名与人类判断一致
May, 2023
教育工作者评估开放式书面考试答案是一项需要大量精力、一致性和准确性的重要任务。本研究探索了大型语言模型在评估大学生对参考资料提出的开放式问题的答案时的效果,发现 LLMs 的一致性和评分结果存在显著差异。进一步的比较研究对于确定使用 LLMs 进行教育评估的准确性和成本效益至关重要。
May, 2024
这篇论文讨论了使用大型语言模型(LLMs)对开放文本短答案问题进行评分的实验,研究了不同组合的 GPT 版本和提示工程策略在标记真实学生答案时的性能表现,并发现 GPT-4 在这方面表现良好与人类级别接近。这一研究对于支持 K-12 教育中的低风险形成性评估任务具有重要意义。
May, 2024
本文发现了采用大型语言模型(LLMs)作为评判器来评分候选模型生成内容质量的评估范式中的系统偏差。作者提出了两种校准策略来解决这个问题。经过广泛实验,这种方法成功缓解了评估偏差,与人类判断更加接近。为了促进更加强大的大型语言模型比较的未来研究,作者将文章中的技术集成到一个易于使用的工具包 FairEval 中,同时结合了人工注释。
May, 2023