通过不确定性量化对LLMs进行基准测试
该研究探讨了基于黑盒LLMs的自然语言生成的不确定性计量，提出几个置信度/不确定度统计度量标准，并发现语义分散的平均值可以作为评估LLMs响应质量的可靠指标。
May, 2023
通过使用标记的数据集，本文研究了针对大型语言模型（LLMs）的不确定性估计和校准问题，提出了一个监督学习方法来估计LLMs响应的不确定性，并展示了利用隐藏激活对不同任务进行增强不确定性估计的好处和在超出分布范围的情况下的鲁棒性，同时区分了不确定性估计任务和不确定性校准任务，并表明更好的不确定性估计模式会导致更好的校准性能。
Apr, 2024
使用新的基准测试实现了对大规模语言模型在不确定性量化和归一化技术方面的评估，旨在解决其在文本生成任务中的不安全性和低质量输出等挑战。
Jun, 2024
本文探讨了当前大型语言模型评估框架的差异性和不足之处，填补了评估方法多样性所带来的研究空白。通过对不同评估方法的深入分析，提出了更为标准化和全面的评估机制，以提升自然语言处理领域的模型评估水平。研究发现，现有框架的改进将显著推动LLMs的性能评估和实际应用。
Jul, 2024
本研究针对大型语言模型（LLM）用户难以判断其生成响应的可信度这一问题，提出了一种新颖的不确定性三分测试范式（Unc-TTP），用于分类LLM的不确定性。研究发现，Unc-TTP在分类方面优于现有的基于采样的方法，并能有效指导上下文示例选择，从而提升LLM的性能。
Aug, 2024
本研究针对大型语言模型（LLMs）在提示优化中缺乏有效不确定性评估的问题，提出了一个基准数据集来评估不确定性指标。通过对GPT-3.5-Turbo和Meta-Llama-3.1-8B-Instruct模型的分析，发现当前指标更能反映答案不确定性，而非正确性不确定性，从而提出应改进不确定性指标以优化提示的方向。
Sep, 2024
本研究解决了大型语言模型（LLM）在评估中不确定性量化的不足，提出了一种简单的方法，降低实验重复的成本以量化基准分数的不确定性。研究发现，通过实验多次重复，可以显著改善LLM的评估可靠性。这为可重复的LLM评估提供了新的见解和建议。
Oct, 2024
本研究解决了在大语言模型（LLM）评估中量化不确定性的问题，尤其是LLM-as-a-Judge方法的应用挑战。我们提出了一种新颖的方法，通过分析生成评估与可能评分之间的关系来量化不确定性，证明了该方法与评估准确性之间的强相关性，有助于提升LLM评估的可靠性和一致性。
Oct, 2024
本研究针对大型语言模型（LLMs）推出的一个关键问题——预测中的不确定性估计，指出现有文献多依赖启发式方法，缺乏系统的分类。论文通过整合贝叶斯推断、信息理论和集成策略等理论视角，分类了各种不确定性估计方法，并探讨了将这些方法应用于LLMs时面临的挑战，同时还分析了它们在多种应用中的集成方式，旨在推动LLMs在现实场景中更可靠有效的不确定性估计方法的发展。
Oct, 2024