Jun, 2024

M3DM-NR：RGB-3D 多模态去噪工业异常检测

PDF
TL;DR该研究论文介绍了 RGB-3D 多模态噪声异常检测的新方法 M3DM-NR，通过利用 CLIP 的强大多模态区分能力，提出了噪声抵抗型的框架，并通过阶段性的处理实现了训练样本的去噪，最终实现了 3D-RGB 多模态噪声异常检测与分割，超过了现有的方法。
anomaly detectionrgb-3d multi-modalnoise-resistant frameworkclipmulti-modal features
发现论文，激发创造
  • 基于混合融合的多模态工业异常检测

    本文提出了一种基于 3D 点云和 RGB 图像的新型多模式异常检测方法 M3DM，其中采用了无监督特征融合、决策层融合和点特征对齐等技术，实验表明该方法优于现有的同类方法。

    Mar, 2023

  • 多模态工业异常检测通过交叉模态特征映射

    这篇论文探讨了工业多模态异常检测任务，利用点云和 RGB 图像来定位异常。我们介绍了一种新颖且快速的框架，它学习将一个模态中的特征映射到另一个模态的正常样本上。在测试时，通过定位观察到的特征和映射特征之间的不一致性来检测异常。大量实验证明，我们的方法在 MVTec 3D-AD 数据集的标准和少样本设置中实现了最先进的检测和分割性能，同时实现了更快的推理速度和更低的内存占用，优于先前的多模态异常检测方法。此外，我们提出一种层裁剪技术，在性能上略有损失的同时提高了内存和时间效率。

    Dec, 2023

  • 基于 RGB-D 数据的工业异常检测双支路重构网络

    基于 RGB-D 输入，我们提出了一种轻量级的双分支重建网络 (DBRN)，通过学习正常和异常样本之间的决策边界，使用深度图而不是点云输入来消除两种模态之间的对齐要求，并引入了一个重要性评分模块来辅助融合这两种模态的特征，从而在 MVTec 3D-AD 数据集上实现了 92.8% 的 AUROC，并具有很高的推理效率，无需使用大型预训练模型和记忆库。

    Nov, 2023

  • 多维图像去噪方法的全面比较

    本研究比较了超过 60 种图像去噪方法，其中 BM3D 方法在各种去噪任务中展现出了有效性和高效性，同时发现多种 DNN 模型能够在对抗真实数据的去噪任务中展现出最优的性能。该研究还引入了一个新的彩色图像和视频数据集用于基准测试。

    Nov, 2020

  • 可度量多样性的异常检测

    本文提出了一种名为 DMAD 的新型异常检测框架，该框架采用金字塔变形模块 (PDM) 设计多样化正常情况，并通过信息压缩模块，将变形从原型嵌入中分离，以使最终的异常得分更加可靠。实验证明，DMAD 在监控视频和工业图像中均有很好的效果。

    Mar, 2023

  • M^2DNeRF：带有 3D 特征域的多模态分解 NeRF

    多模态分解 NeRF（${M^2D}$NeRF）是一种能够进行文本和视觉补丁编辑的单一模型，通过使用多模态特征蒸馏来整合来自预训练视觉和语言模型的教师特征到三维语义特征体积，从而促进一致的三维编辑。实验证明，在三维场景分解任务中，相较于以前的基于 NeRF 的方法具有更优异的性能。

    May, 2024

  • DMV3D：使用 3D 大型重建模型的多视图扩散去噪

    我们提出了一种新颖的 3D 生成方法 DMV3D，该方法使用基于变压器的 3D 大型重建模型对多视差扩散进行去噪。我们的重建模型采用了三平面 NeRF 表示，并且可以通过 NeRF 重建和渲染对嘈杂的多视差图像进行去噪，能在单个 A100 GPU 上实现约 30 秒的单阶段 3D 生成。我们使用大规模多视差图像数据集训练 DMV3D，仅使用图像重建损失，而不访问 3D 资产。我们展示了在需要对未见过的物体部分进行概率建模以生成具有清晰纹理的多样重建的单图像重建问题上的最新成果，以及优于以往的 3D 扩散模型的高质量文本到 3D 生成结果。我们的项目网站位于此 https URL。

    Nov, 2023

  • 跨模态蒸馏在工业异常检测中的应用：高效多模态 IAD 的探索

    提出了 CMDIAD 框架用于多模态工业异常检测，并通过生成跨模态幻觉来解决缺失模态的问题，探究了以点云或 RGB 图像作为主要推理模态时的性能改善原因，为制造场景中的高效异常检测奠定了基础。

    May, 2024

  • 欺骗深度：通过深度模拟增强 3D 表面异常检测

    通过引入 3D 信息和 Depth-Aware Discrete Autoencoder (DADA) 架构，以及提出的新型表面异常检测方法 3DSR，本研究在 MVTec3D 异常检测基准上取得了准确性和处理速度方面的优势，验证了利用深度信息提升表面异常检测的潜力。

    Nov, 2023

  • 3M3D: 多视角、多路径、多表征 3D 目标检测

    提出了一种基于多视图轴自注意力和局部 ROI 自注意力的多路径多表示 3D 物体检测方法，通过稀疏浮动查询和密集 BEV 查询的多重表示进一步提高了性能，对于自动驾驶系统具有重要意义。

    Feb, 2023