Sep, 2023

辅助扩散模型的异常想象

PDF
TL;DR使用辅助离群数据集来规范机器学习模型为数据分布外（OOD）检测和安全预测提供了有希望的结果。本文提出了一个名为 DREAM-OOD 的新框架，能够通过扩散模型在像素空间中仅使用分布内（ID）数据和类别想象出逼真的异常值。与先前的工作不同，DREAM-OOD 能够在像素空间中直接可视化和理解想象的异常值，并展示通过 DREAM-OOD 生成的样本训练可以提高 OOD 检测性能。
outlier data generationdiffusion modelsphoto-realistic outliersood detectiondream-ood
发现论文，激发创造
  • 利用扩散先验进行外部分布检测

    利用扩散模型的生成能力和 CLIP 的强大特征提取能力，我们提出了一种新颖的 OOD 检测方法，通过使用这些特征作为扩散模型的条件输入，我们可以在使用 CLIP 进行编码后重建图像。原始图像与重建图像之间的差异被用作 OOD 识别的信号，我们的方法不需要类别特定的标记，提高了实用性和可扩展性，且经过多个基准数据集的广泛实验证明了我们方法的鲁棒性和有效性。

    Jun, 2024

  • 使用扩散模型进行未见图像合成

    通过使用预训练和冻结的去噪扩散概率模型 (DDPM) 来逆向编码并优化隐藏域，从未见过的域图像合成，证明了这种新颖视角探索和重新思考扩散模型的数据合成广义能力的有效性。

    Oct, 2023

  • 在自然环境中训练 OOD 检测器

    本文提出了一种基于野外混合数据的新颖框架，旨在改进在野外部署的机器学习模型的 OOD 检测能力，通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标，有效地解决了这个问题，并在常见的 OOD 检测任务中获得了优异的性能。

    Feb, 2022

  • 无监督的三维离群检测与潜在扩散模型

    使用潜在扩散模型 (LDM) 实现了对高分辨率 3D 医学数据的强健异常检测，与使用潜在转换模型 (LTMs) 的方法相比，LDM 方法表现更好、对潜在表示更不敏感、内存缩放更合理以及生成更好的空间异常图。

    Jul, 2023

  • 基于深度度量学习的合成异常暴露的离群分布检测

    该研究提出了一种将深度度量学习和扩散模型结合起来的新方法，用于通过合成数据对于分布外（OOD）进行检测，并证明基于度量学习的损失函数优于 softmax，在生成的 OOD 数据上的训练使得模型在传统 OOD 检测指标上表现优于强基线模型。

    May, 2024

  • NODI: 带有扩散噪声的离群检测

    采用扩散过程将提供整个训练集的信息纳入预测的噪声向量中，并推导出噪声向量的闭合解，将噪声向量转化为用于度量 OOD 的得分。通过在 OOD 基准测试上对比深度模型预测的噪声向量和闭合解噪声向量的表现，我们的方法在所有类型的图像编码器中胜过以前的 OOD 方法，其中使用 MAE-based 图像编码器达到了 3.5％的性能提升，并且通过应用不同类型的图像编码器来研究 OOD 方法的健壮性，我们的方法在所有图像编码器中表现出良好的鲁棒性。

    Jan, 2024

  • 使用扩散模型检测异常地球观测图像

    利用扩散模型的重构误差作为无监督的遥感图像越界检测器，引入了一种新型重构得分器 ODEED，并在类地理偏移和近越界设置下，在 SpaceNet 8 上进行了实验验证。结果表明，ODEED 得分器在洪水图像检测等更具挑战性的近越界场景中明显优于其他基于扩散和判别的基准，为利用生成模型进行遥感异常检测铺平了道路。

    Apr, 2024

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024

  • 关于概率图像建模的场外泛化问题

    采用局部自回归模型提高了其对于 out-of-distribution 问题检测的性能，并且成功地构建了新的无损压缩算法 neural local lossless compressor (NeLLoC)，并且在压缩率和模型大小上达到了最佳性能。

    Sep, 2021

  • 鲁棒语言模型的伪 OOD 训练

    本文提出 POORE - POsthoc pseudo-Ood REgularization 框架，通过在内部数据中生成伪 OOD 数据进行 fine-tune，通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入，提高了 OOD 预测任务的准确度，相较现有方法在三个实际对话系统上获得了最新的技术进展。

    Oct, 2022