通过比较数据质量的简单估算方法困惑度和更复杂、计算密集的评估方法的错误 L2 范数和记忆化，我们发现困惑度方法在去除数据噪声和提升预训练数据集质量方面具有较好的效果。我们能够在仅使用原始训练数据的 30% 进行训练的情况下，改进我们的基准模型，这为自动筛选高质量数据集提供了新的方法论，并表明大部分的预训练数据可被删除而保持性能。

Sep, 2023

我们提出了一种整体方法来构建一个强大和有用的自然语言分类系统，以进行真实世界的内容审核，该系统的成功依赖于一系列精心设计和执行的步骤，包括内容分类法的设计和标注指令，数据质量控制，捕捉罕见事件的主动学习管道以及各种方法，以使模型具有稳健性并避免过度拟合。我们的审核系统经过训练，可检测许多不良内容的广泛集合，包括色情内容，仇恨内容，暴力，自残和骚扰。这种方法可以概括到各种不同的内容分类法，并可用于创建高质量的内容分类器，胜过现成的模型。

Aug, 2022

通过研究发现，对大规模文本数据集进行小型语言模型基于困惑度的修剪，可以显著提高后续任务的性能，并且能够在过度训练和数据受限制的情况下获得下游性能增益。

May, 2024

最近的研究显示在大规模语言模型的训练语料中普遍存在数据污染问题，而现有的污染分析方法需要访问完整的训练数据，这常常限制了对这些模型的严格审计和准确评估。本文提出了一种新的方法来量化数据污染，通过困惑度来衡量污染程度，相关分析显示近期基础模型在流行的阅读理解和摘要化数据中存在显著的记忆化现象，而多项选择数据的污染程度较低。

Sep, 2023

本文探讨了当前神经语言模型的成功主要归功于训练语料库规模的不断增大。但是，我们扩大了对 Common Crawl 的探索，发现即使在过滤程序之后，它仍然包含大量不良内容，包括仇恨言论和性暗示内容。我们对这些内容对语言模型的潜在影响进行了讨论，最后提出了未来的研究方向和更加慎重的语料库收集和分析方法。

May, 2021

本文研究了如何使用语言模型通过困惑度指标对语言进行分析并区分精神障碍和健康受试者。结果表明，困惑度可以是一种有价值的分析指标，可潜在应用于支持精神障碍症状的早期诊断。

Feb, 2023

提出一种从网页规模数据集中识别和过滤有害文本的方法，使用预训练语言模型计算特定文档条件下研究员编写的触发词组的对数似然，并根据该结果识别和过滤数据集中的文档，证明在过滤后的数据集上训练的语言模型产生有害文本的倾向更低，性能与未过滤基线相比略有降低，最后探讨了此方法的推广前景及其对语言模型值域的对齐性方面的作用。

Aug, 2021

利用大型语言模型（LLMs）伪造对抗性后缀的新型黑客攻击方法，通过迷惑模型来生成危险回复。我们提倡使用困扰度作为一种识别潜在攻击方法的手段，以避免生成禁止回复。通过对使用和不使用对抗性后缀的查询进行困扰度评估，我们发现近 90% 的查询困扰度都超过 1000，这凸显了困扰度在检测此类攻击上的有效性。

Aug, 2023

许多资源匮乏的语言需要具有高质量的特定任务数据集，例如辱骂语言检测、虚假消息或错误信息识别。本文从乌克兰推文的伪标记敏感数据的方法出发，重新审视了使用该方法的过程，重点关注俄乌战争相关主题。通过实验，突出了数据标注的三个主要阶段，并强调了机器标注过程中的主要障碍。最终，我们对获得的数据进行了基础统计分析，并对用于伪标记的模型进行了评估，提供了进一步指导，以便科学家能在不涉及标注人员的情况下利用语料库进行更高级的研究和扩展现有数据样本。

Nov, 2023

本文研究了大型语言模型的预训练，提出了一种数据选择技术，名为困惑采样，可以在更少的时间和数据量下，通过变压器模型的预训练实现与最先进模型相当的效果。该技术对开发人员有很大帮助。

Jul, 2022