本文介绍了一种高精度且轻量级的适用于条件语言模型的OOD检测方法，并展示了其在抽象摘要和翻译方面的有效性。在分布偏移的情况下，我们的方法可以被用于高质量输出的选择生成，同时自动避免低质量的输出，从而增加自然语言生成模型的安全性。

Sep, 2022

本文回顾了最近关于out-of-distribution检测的进展，重点关注了自然语言处理方面的方法。通过分类和介绍数据集、应用和评估指标，总结了现有的研究，同时提出了未来的研究方向。

May, 2023

本篇研究论文探讨了自然语言处理中机器学习系统在处理超出标准数据集范畴的数据时的适用性，并在文本分类中研究了其可靠性及可能存在的偏差。此外，本文对该主题的最新进展、方法和评估进行了综述，并讨论了涉及的挑战和未来的研究方向。

May, 2023

本文着重介绍了现有方法在处理NLP中OOD检测时的局限性, 对八种常见的OOD检测方法进行了评估并分析了其存在的问题，发现现有方法对于各类型分布偏移的检测敏感性不够，在领域内文本中存在令人困惑的测试场景，而需要开发更有效的OOD检测方法，本文为未来的研究提供了一个良好的、定义明确的基础。

Jul, 2023

通过对大型语言模型进行实证研究，本文发现余弦距离的异常检测器表现出卓越的效力，优于其他异常检测器，并通过强调大型语言模型嵌入空间的各向同性特征，提供了对这一现象的有趣解释，进一步增强了我们对大型语言模型在检测异常数据方面的适应性和可靠性。

Aug, 2023

应用世界知识通过选择性生成大型语言模型并利用一致性基准不确定性校正方法来提高过分布检测性能，通过从每个图像提取视觉对象充分利用前述世界知识，充分实验证明本方法始终优于现有技术。

Oct, 2023

通过系统性文献综述，全面考察了在预测和异常检测中使用大规模语言模型（LLMs）的应用，突出了现有研究的现状、固有挑战和未来发展方向。LLMs已经在解析和分析大规模数据集以识别模式、预测未来事件和检测异常行为等各个领域展现了巨大潜力。然而，该综述指出了一些关键挑战，如依赖于大量历史数据集、在不同背景中的泛化问题、模型产生幻觉的现象、模型知识范围的局限性以及需要大量计算资源等，这些挑战阻碍了它们更广泛的应用和有效性。通过详细分析，本综述讨论了克服这些障碍的潜在解决方案和策略，如整合多模态数据，学习方法的进步以及强调模型可解释性和计算效率。此外，该综述还概述了可能影响LLMs在这些领域中发展的关键趋势，包括朝向实时处理、可持续建模实践的重要性和跨学科合作的价值。最后，该综述强调了LLMs对预测和异常检测可能产生的转变性影响，同时强调了持续创新、道德考虑和实际解决方案的需求以实现其全部潜力。

Feb, 2024

通过重新审视预训练大型语言模型和其微调变体之间的似然比作为一种区分所需分布检测的标准，我们展示了似然比可以作为一种有效的OOD检测器，并将其应用于问题回答系统中以改善LLMs在一般问题上的性能。

Apr, 2024

本文研究了分布外样本检测（OOD）对机器学习系统安全的重要性，并提出一个泛化的OOD检测框架，以统一与OOD相关的多个问题。文章总结了在视觉语言模型（VLM）时代这些问题的演变，并探讨了未来的挑战和方向，为研究人员提供了新的视角和方法论。

Jul, 2024

本研究针对文本（以及任意数据序列）中的异常检测问题，提出了一种全新的无监督方法。论文引入了一种新指标“怪异程度”，用于评估语言模型下某个词的“怪异性”，并在语法错误检测任务中显示该指标优于单纯依据低概率事件的方法，具有潜在的广泛应用价值。

Sep, 2024