Mar, 2024

私密基准测试以防止污染并提高对 LLM 的比较评估

PDF
TL;DR私密基准测试是解决基准测试数据被污染或泄露的问题的解决方案，并且可以保持模型的权重私密，以确保私密基准测试的高质量。
benchmarkingllmstest dataprivate benchmarkingdata contamination
发现论文，激发创造
  • 不要让您的 LLM 成为一个评估基准作弊者

    大型语言模型的评估常常会受到不适当使用评估基准和误导性解读评估结果等问题的影响。本研究通过大量实验发现，评估基准泄漏会极大地提高评估结果，从而导致对模型性能的不可靠评估。最后，为大型语言模型的开发者和基准维护者提出了一些建议。

    Nov, 2023

  • 现代大语言模型中数据污染问题研究

    我们通过检测数据污染并提出 “Testset Slot Guessing” 方法，发现商业化的 LLM 在评估基准中有明显的性能改进，并呼吁在该领域使用更强大的评估方法和基准。

    Nov, 2023

  • 大型语言模型中基准测试的基准泄露

    利用简单且可扩展的 Perplexity 和 N-gram 精度两个度量指标来检测潜在数据泄漏，揭示了大规模语言模型在数学推理领域存在的数据误用问题，并提出了关于模型文档、基准设置和未来评估的几点建议，其中包括提出 “基准透明卡” 以促进透明度和语言模型的健康发展。

    Apr, 2024

  • 自然语言处理评估中的难题：从需要对每个基准进行 LLM 数据污染度测量谈起

    该论文讨论了自然语言处理任务的评估存在的问题，并提出了数据污染以及针对数据污染的自动检测和提示措施。

    Oct, 2023

  • 时间视角下的数据污染

    大型语言模型的数据污染问题及对基准测试的影响进行了全面纵向分析，结果表明数据污染现象显著存在，这项研究为研究现代模型中数据污染问题的严格分析奠定了基础，并提出了在大型语言模型时代进行基准测试的最佳实践和未来步骤。

    Oct, 2023

  • 大型语言模型的基准数据污染：调查

    大型语言模型如 GPT-4、Claude-3 和 Gemini 的快速发展已经改变了自然语言处理领域，但也引发了一个重大问题，即基准数据污染（BDC）。本文回顾了 LLM 评估中复杂的 BDC 挑战，并探讨了缓解传统基准风险的替代评估方法。本文还分析了缓解 BDC 风险的挑战和未来发展方向，突出了这一问题的复杂性和确保 LLM 评估在实际应用中可靠性的创新解决方案的需求。

    Jun, 2024

  • 重新思考以重新表述的样本为基础的语言模型基准和污染问题

    大型语言模型的数据污染问题及其对应的检查与净化方法

    Nov, 2023

  • P-Bench: 语言模型多层隐私评估基准

    我们提出了 P-Bench，这是一个用于经验和直观地量化语言模型的隐私泄漏的多角度隐私评估基准，并对各种隐私保护语言模型进行公平和直观的评估。

    Nov, 2023

  • LiveBench：一个具有挑战性和无污染的 LLM 基准测试

    为了解决测试集污染和评估中的偏见问题，研究引入了一种新的测试基准 LiveBench，该基准通过包含来自最新信息源的问题和按照客观真实值自动评分的答案，来评估不同大小的封闭源和开源模型的能力。

    Jun, 2024

  • 停止以纯文本格式上传测试数据：缓解评估基准数据污染的实用策略

    本研究提出了三种实用有效的策略来预防数据污染和确保模型能力的可信度，即使用公钥加密公开的测试数据、要求关闭 API 持有者采取训练排除控制并保护自己的测试数据、避免在互联网上出现已被解决的数据，并公开互联网衍生数据的背景。

    May, 2023