Jun, 2024

推理时去污：重复使用泄露的基准测试用于大型语言模型评估

PDF
TL;DR我们提出了推理时间去污染（ITD）方法，通过检测和重写泄露样本而不改变它们的难度，来降低由于记忆泄露基准测试而导致的性能夸大影响。实验结果表明，ITD 方法在 GSM8K 上可以将夸大的准确性降低 22.9％，在 MMLU 上可以降低 19.0％。在 MMLU 上，使用推理时间去污染方法可以使 Phi3 和 Mistral 的结果分别降低 6.7％和 3.6％。我们希望 ITD 方法能为大型语言模型提供更真实的评估结果。
发现论文，激发创造
  • 重新思考以重新表述的样本为基础的语言模型基准和污染问题

    大型语言模型的数据污染问题及其对应的检查与净化方法

    Nov, 2023

  • 现代大语言模型中数据污染问题研究

    我们通过检测数据污染并提出 “Testset Slot Guessing” 方法，发现商业化的 LLM 在评估基准中有明显的性能改进，并呼吁在该领域使用更强大的评估方法和基准。

    Nov, 2023

  • 数据污染能够跨越语言障碍

    开发大型语言模型的不透明性引起了关于潜在的训练数据污染的担忧。我们提出了一种基于跨语言的深层污染形式，可以欺骗传统的检测方法。我们还探讨了跨语言污染在解释语言模型的工作机制和提升多语言能力方面的潜在用途。

    Jun, 2024

  • 泛化还是记忆：大型语言模型的数据污染与可信评估

    我们提出了基于 LLMs 输出分布的数据污染检测方法 CDD，并通过修正 LLMs 输出分布的方法 TED，有效地检测和减轻数据污染的影响。实验结果表明，CDD 在准确度、F1 得分和 AUC 指标方面相对其他方法平均提升了 21.8％-30.2％，TED 在 24 种设置和 21 种污染程度下成功地减轻数据污染引起的性能下降高达 66.9％。实际应用中，我们发现 ChatGPT 在 HumanEval 基准中存在受数据污染的高风险。

    Feb, 2024

  • 大型语言模型的基准数据污染：调查

    大型语言模型如 GPT-4、Claude-3 和 Gemini 的快速发展已经改变了自然语言处理领域，但也引发了一个重大问题，即基准数据污染（BDC）。本文回顾了 LLM 评估中复杂的 BDC 挑战，并探讨了缓解传统基准风险的替代评估方法。本文还分析了缓解 BDC 风险的挑战和未来发展方向，突出了这一问题的复杂性和确保 LLM 评估在实际应用中可靠性的创新解决方案的需求。

    Jun, 2024

  • 大型语言模型中基准测试的基准泄露

    利用简单且可扩展的 Perplexity 和 N-gram 精度两个度量指标来检测潜在数据泄漏，揭示了大规模语言模型在数学推理领域存在的数据误用问题，并提出了关于模型文档、基准设置和未来评估的几点建议，其中包括提出 “基准透明卡” 以促进透明度和语言模型的健康发展。

    Apr, 2024

  • 干净评估：对受污染的大型语言模型的清洁评估

    为了解决大型语言模型中的数据污染和评估问题，我们提出了一种名为 Clean-Eval 的方法，利用语义检测器筛选出生成的低质量样本，从候选集中选择出与原始污染数据在语义上相似但表达不同的最佳候选来形成一个新的基准，从而在少样本学习和微调场景下还原了受污染的语言模型的实际评估结果。

    Nov, 2023

  • 评估语言模型代码生成能力时的污染量量化

    该研究综合研究了大型语言模型在代码生成任务中的数据污染问题，分析了常见代码生成基准测试与预训练语料之间的重叠程度，并揭示了类似训练解决方案出现时模型性能显著提高的现象，同时分析了模型大小、问题难度和问题长度等因素对模型记忆和泛化的影响。

    Mar, 2024

  • 时间视角下的数据污染

    大型语言模型的数据污染问题及对基准测试的影响进行了全面纵向分析，结果表明数据污染现象显著存在，这项研究为研究现代模型中数据污染问题的严格分析奠定了基础，并提出了在大型语言模型时代进行基准测试的最佳实践和未来步骤。

    Oct, 2023

  • 不要让您的 LLM 成为一个评估基准作弊者

    大型语言模型的评估常常会受到不适当使用评估基准和误导性解读评估结果等问题的影响。本研究通过大量实验发现，评估基准泄漏会极大地提高评估结果，从而导致对模型性能的不可靠评估。最后，为大型语言模型的开发者和基准维护者提出了一些建议。

    Nov, 2023