Aug, 2023

大型语言模型的超出分布检测能力如何？

PDF
TL;DR通过对大型语言模型进行实证研究，本文发现余弦距离的异常检测器表现出卓越的效力，优于其他异常检测器，并通过强调大型语言模型嵌入空间的各向同性特征，提供了对这一现象的有趣解释，进一步增强了我们对大型语言模型在检测异常数据方面的适应性和可靠性。
out-of-distribution detectionlarge language modelsempirical investigationgenerative fine-tuningcosine distance
发现论文，激发创造
  • 探索用于多模态离域检测的大型语言模型

    应用世界知识通过选择性生成大型语言模型并利用一致性基准不确定性校正方法来提高过分布检测性能，通过从每个图像提取视觉对象充分利用前述世界知识，充分实验证明本方法始终优于现有技术。

    Oct, 2023

  • 您的精调大型语言模型已是强大的超分布检测器

    通过重新审视预训练大型语言模型和其微调变体之间的似然比作为一种区分所需分布检测的标准，我们展示了似然比可以作为一种有效的 OOD 检测器，并将其应用于问题回答系统中以改善 LLMs 在一般问题上的性能。

    Apr, 2024

  • 超越已知：研究 LLMs 在域外意图检测中的性能

    对大规模语言模型在超出预定义领域内意图检测任务中的能力进行了综合评估，揭示了它们的优势和劣势，发现 LLMs 表现出强大的零样本和少样本能力，但与使用完整资源进行微调的模型相比仍存在劣势。通过进一步的分析实验，讨论总结了 LLMs 面临的挑战，并提出了对未来工作的指导，包括注入领域知识、加强从领域内到超领域的知识转移和理解长指令。

    Feb, 2024

  • 利用大型语言模型对异常样本曝光进行预测以进行离群检测

    通过利用大型语言模型的专业知识和推理能力，我们提出了一种名为 “Envision potential Outlier Exposure”（EOE）的方法，可以在没有访问任何真实 OOD 数据的情况下，通过视觉相似性生成潜在异常类标签并设计有效的分数函数来区分困难的 OOD 样本，从而实现在不同 OOD 任务上的最先进性能，并能扩展到 ImageNet-1K 数据集。

    Jun, 2024

  • 通过隐式层集成增强自然语言理解中的外部分布检测

    该论文提出了一种基于对比学习的框架，旨在有效地进行 out-of-distribution 检测，利用预训练的语言模型吸收丰富的信息，并在意图分类和异常检测等数据集中取得了显著的效果。

    Oct, 2022

  • 预训练语言模型对于领域外探测几乎完美是否需要微调？

    本研究探究了直接利用预训练语言模型进行 Out-of-Distribution 检测的有效性，并证明了其近乎完美的检测性能，同时揭示了 Fine-tuning 和其在 ID 精度与 OOD 检测性能之间的平衡作用。

    May, 2023

  • 使用大型语言模型生成的同类对等生成器进行外部分布检测

    提出了一种名为 ODPC 的新方法，通过大型语言模型设计生成特定提示词来产生具有 ID 语义的 OOD 对等类，以便于检测，并采用基于 OOD 对等类的对比损失来学习紧凑的 ID 类别表示，并改善不同类别之间的界限清晰度。在五个基准数据集上进行的广泛实验表明，该方法可以得到最先进的结果。

    Mar, 2024

  • 自然语言处理中的分布外鲁棒性再探：基准、分析和 LLMs 评估

    本文重新审视了自然语言处理领域中关于评估 out-of-distribution 鲁棒性的相关研究，并提出了一个基准套件（BOSS），通过其中包含的 5 项任务和 20 个数据集来评估 pre-trained large language models 和 5 种经典方法在分布转移时的性能，结果发现在 ID 示例中，微调特定领域模型的性能明显优于 LLMs，在 OOD 示例中，优先考虑具有上下文学习的 LLMs 结果更好，但大规模的微调和大型 LLMs 都面临着有效解决下游任务的挑战。

    Jun, 2023

  • 鲁棒语言模型的伪 OOD 训练

    本文提出 POORE - POsthoc pseudo-Ood REgularization 框架，通过在内部数据中生成伪 OOD 数据进行 fine-tune，通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入，提高了 OOD 预测任务的准确度，相较现有方法在三个实际对话系统上获得了最新的技术进展。

    Oct, 2022

  • 有条件语言模型的越界检测和选择性生成

    本文介绍了一种高精度且轻量级的适用于条件语言模型的 OOD 检测方法，并展示了其在抽象摘要和翻译方面的有效性。在分布偏移的情况下，我们的方法可以被用于高质量输出的选择生成，同时自动避免低质量的输出，从而增加自然语言生成模型的安全性。

    Sep, 2022