Apr, 2024

Min-K%++：改进的基准模型用于检测大型语言模型的预训练数据

PDF
TL;DR通过使用整个词汇表的分类分布统计规范化目标词汇的概率，Min-K%++ 相对于 Min-K% 在检测预训练数据方面表现出更高的性能，且无需额外的参考模型。
pre-training data detectionlarge language modelsmin-k%token probabilitydetection auroc
发现论文，激发创造
  • 大语言模型的预训练数据检测

    通过 Min-K% Prob 方法，我们研究了大语言模型的预训练数据检测问题，引入了 WIKIMIA 动态基准和一个简单的假设，达到了 7.4% 的改进。我们将该方法应用于版权图书检测和受污染下游示例检测，发现它是一种始终有效的解决方案。

    Oct, 2023

  • 对预训练数据检测的语言模型探究

    大语言模型（LLMs）在展示其出色的能力的同时，也引发了由于隐私问题和基准数据集泄露所导致的数据污染问题。因此，在预训练阶段检测污染是否有 LLM 在目标文本上进行了预训练变得至关重要。最近的研究关注生成的文本并计算困惑度，但这些都是表面特征而不可靠。本研究提出利用探测技术来检测预训练数据，通过检查模型的内部激活状态。我们的方法简单且有效，并实现了更可靠的预训练数据检测。此外，我们还提出了 ArxivMIA 基准，它包括来自计算机科学和数学类别的 arxiv 摘要。我们的实验证明我们的方法胜过所有基准，实现了 WikiMIA 和 ArxivMIA 的最新性能，并通过额外的实验验证了其有效性。

    Jun, 2024

  • MiLMo：少数族裔多语言预训练语言模型

    本文通过构建名为 MiLMo 的多语言预训练语言模型，解决了现在公共多语言预训练语言模型在少数民族语言上表现不佳的问题，并通过构建名为 MiTC 的少数民族多语言文本分类数据集验证了 MiLMo 的有效性。最终实验结果显示，MiLMo 在少数民族多语言文本分类任务中表现最好。

    Dec, 2022

  • 现代大语言模型中数据污染问题研究

    我们通过检测数据污染并提出 “Testset Slot Guessing” 方法，发现商业化的 LLM 在评估基准中有明显的性能改进，并呼吁在该领域使用更强大的评估方法和基准。

    Nov, 2023

  • 优化多语言大型语言模型的语言增强：以韩文为例的案例研究

    本研究提出了三种策略以增强不太具备资源的语言在大型语言模型中的表现：扩展词汇表、使用双语数据进行预训练以对齐高资源语言和低资源语言、构建高质量的小规模指令数据集并进行指令微调。通过对比八个任务的其他大型语言模型，在质量分析中，我们的提出的 Bllossom 模型表现出优异的性能。

    Mar, 2024

  • 潘多拉的白箱：开放式 LLM 中训练数据泄露的增加

    本研究对开源大型语言模型的隐私攻击进行了系统研究，提出了威胁预训练和微调模型的成员推断攻击方法，并展示了近乎完美的攻击效果，强调了在进行高度敏感数据的微调和部署之前应当十分谨慎。

    Feb, 2024

  • 衡量统计语言模型进展的十亿词基准

    该论文提出了一种新的基准语料库，用于衡量统计语言建模的进展，探讨了多种语言模型的性能表现，通过使用长短时记忆模型，降低模型复杂度来改善模型性能，实现了对语言模型的快速评估，并提出了相应的语言模型技巧，解决了语言建模中存在的困难。

    Dec, 2013

  • 论证还是简单的下一个令牌预测？用于对大型语言模型进行压力测试的基准

    我们提出了 MMLU-SR，这是一个新颖的数据集，旨在通过在问题回答任务中使用修改后的术语挑战大型语言模型（LLMs）的性能来测量其真实的理解能力。尽管最近流行的 LLMs 在 MMLU 排行榜上获得了高分，但我们发现在这种替换后模型的性能大幅下降，暗示了其理解能力较差。这个新的基准提供了一个严格测试真实模型理解能力的基准，并向广大科学界提出了挑战。

    Jun, 2024

  • 重新思考以重新表述的样本为基础的语言模型基准和污染问题

    大型语言模型的数据污染问题及其对应的检查与净化方法

    Nov, 2023

  • 大型语言模型中基准测试的基准泄露

    利用简单且可扩展的 Perplexity 和 N-gram 精度两个度量指标来检测潜在数据泄漏，揭示了大规模语言模型在数学推理领域存在的数据误用问题，并提出了关于模型文档、基准设置和未来评估的几点建议，其中包括提出 “基准透明卡” 以促进透明度和语言模型的健康发展。

    Apr, 2024