怪异程度：使用语言模型进行通用异常检测
使用神经句向量和基于距离的异常检测技术，本文介绍了一种检测短文本语料中错误和独特样本的技术，并提出了一种新的数据采集流程，可以同时去除错误数据和自动挖掘独特数据，实验结果表明，该技术可以有效地发现错误并产生更鲁棒的意图分类和槽位填充模型。
Apr, 2019
本文讨论了将异常和偏差检测方法应用于文本语料库，并针对相应挑战提出了采用分布语义的语言模型可在风险识别、预测建模和趋势分析等方面发挥重要作用。
Aug, 2019
本篇论文通过在三种语言模型（BERT，RoBERTa和XLNet）的中间层使用高斯模型进行密度估计，评估了我们的方法。结果表明，语言模型使用不同的机制来检测不同类型的语言异常，语义异常和常识异常在RoBERTa模型上没有在任何中间层中表现出异常惊异。
May, 2021
本研究旨在填补自然语言处理模型中句子异常信息表征的空缺，通过探索多层次编码句子异常信息、检测模型性能差异和转移性等方面，我们发现最近的 transformer 模型能够对句子的异常信息实现更为普遍的知识编码。
Nov, 2021
大型语言模型中的错误预测常依赖于特定领域的信息。本文介绍了基于对给定提示的响应的多样性量化误差的度量方式，独立于底层应用。我们描述了如何使用熵、基尼不纯度和质心距离这三种度量方法。我们在多个数据集和温度设置上进行了一系列实验，证明了这些度量与失败概率强相关。此外，我们还提供了实证结果，展示了如何将这些度量应用于少样本提示、思维链推理和错误检测。
Aug, 2023
使用三种不同的分词工具，通过实验对七种顶级常用大型语言模型进行研究，发现了异常标志词“glitch tokens”，并在嵌入空间中发现了它们的聚类规律，通过提出的基于聚类的新技术GlitchHunter显著优于三种基准方法，为减少大型语言模型中的分词相关错误提供有价值的洞见。
Apr, 2024
我们通过分析Tokenizer、基于模型权重的指标和启发式技术的结合，开发了一种有效的方法，用于自动检测在分词器词汇表中存在但在模型训练中很少或完全不存在的问题标记，我们的发现证明了这些标记在各种模型中的普遍存在性，并为改善语言模型的效率和安全性提供了启示。
May, 2024
AnomaLLMy是一种新颖的技术，用于通过API访问自动检测黑盒大型语言模型中的异常标记。通过利用低置信度的单词预测作为一种成本效益的指标，AnomaLLMy识别模型行为中的异常，解决异常标记降低模型质量和可靠性的问题，通过在cl100k_base数据集上验证，AnomaLLMy检测到了413个主要异常和65个次要异常，仅花费了24.39美元的API积分。本研究的发现有望增强大型语言模型的鲁棒性和准确性，特别是在分词器开发和评估方面。
Jun, 2024
通过使用相对似然值而非绝对似然值，并从似然的频谱视图中提取有用的特征，本研究提供了一种新的视角来检测人类和模型生成的文本。我们提出了一种具有两种分类方法（监督和基于启发式的）的检测程序，其效果与以前的零样本检测方法相当，并在短文本检测上取得了最新的最先进的结果。我们的方法还可以揭示人类语言和模型语言之间的细微差异，这些差异在心理语言学研究中有理论根源。
Jun, 2024
本研究解决了机器学习系统中异常和分布外样本检测的重要性及其现存方法的不足。通过提出一种新的分类法，研究将现有方法根据大型语言模型的作用进行分类，并探讨了未来研究的挑战与方向。这项工作的显著发现是，大型语言模型在异常和分布外检测中的整合可能会显著改变该领域的传统范式。
Sep, 2024