Jun, 2024

GROD：利用外部分布检测增强 Transformer 的泛化性能

PDF
TL;DR基于 OOD 检测的 Generate Rounded OOD Data (GROD) 算法通过惩罚 OOD 数据的错误分类和生成合成异常值来增强 Transformer 网络在各种任务上的泛化性能，并在不同数据类型的 NLP 和 CV 中的各种 OOD 检测任务中达到了 SOTA 水平。
发现论文，激发创造
  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • OODformer: 异常检测变形金刚

    该论文提出了一种名为 OODformer 的新型 OOD 检测架构，利用 transformer 的上下文能力来区分内部分布和 OOD 样本，通过视觉注意力利用上下文嵌入提高了分类的通用性，在 CIFAR-10 /-100 和 ImageNet30 上取得了新的最先进成果。

    Jul, 2021

  • 探索识别非分布极限

    该研究论文表明，大规模预训练的 transformers 网络可以显著提高深度神经网络在接近 out-of-distribution 检测上的性能，包括基于图像和基因组学数据的任务，并探索了利用少量样本进行 outlier exposure 及为该类任务提供名称信息的方法。

    Jun, 2021

  • RODD: 自监督方法用于强健的越界检测

    该论文提出了一种简单且有效的基于自我监督对比学习的无关数据集的广义异常检测方法，该方法在一系列基准数据集上的表现优于现有技术，特别是在 CIFAR-100 数据集上的假阳性率（FPR@95）比 SOTA 方法低了 26.97％。

    Apr, 2022

  • 预训练变换器的对比分布外检测

    本文提出了一种使用只有训练集数据的预训练 Transformer 进行无监督的离群检测方法，该方法使用对比度损失调整 Transformer。最终使用马哈拉诺比斯距离来检测异常数据，实验表明，本文方法的性能超过了基准线，并且更紧凑的表示方法是改进的基础。

    Apr, 2021

  • GROOD：插值流形中的梯度感知外部分布检测

    使用渐变空间和类原型增强深度神经网络（DNN）在图像分类中的离群样本检测

    Dec, 2023

  • 鲁棒语言模型的伪 OOD 训练

    本文提出 POORE - POsthoc pseudo-Ood REgularization 框架，通过在内部数据中生成伪 OOD 数据进行 fine-tune，通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入，提高了 OOD 预测任务的准确度，相较现有方法在三个实际对话系统上获得了最新的技术进展。

    Oct, 2022

  • 不可靠的外部来源下的超出分布检测学习

    基于数据生成学习的辅助任务的 OOD 学习（ATOL）是一种强大的方法，可以消除误生成的 OOD 数据，从而使 ID 和 OOD 数据的区分实现真正的 OOD 检测。

    Nov, 2023

  • 神经网络的鲁棒性外部分布检测

    本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响，并提出了一种名为 ALOE 的有效算法，该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式，可以灵活地与现有方法相结合，提高现有的 Out-of-distribution detection 方法的鲁棒性，CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。

    Mar, 2020

  • 在自然环境中训练 OOD 检测器

    本文提出了一种基于野外混合数据的新颖框架，旨在改进在野外部署的机器学习模型的 OOD 检测能力，通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标，有效地解决了这个问题，并在常见的 OOD 检测任务中获得了优异的性能。

    Feb, 2022