IJCAIJun, 2024

全球 Clipper：增强基于 Transformer 的目标检测模型的安全性和可靠性

PDF
TL;DR通过引入全局剪贴板和全局混合剪贴板的有效缓解策略，该研究旨在增强基于 Transformer 模型的鲁棒性，减少软错误导致的错误推断，并对注意力块在 Transformer 中的独特方面及其与 CNNs 的操作差异进行了详细研究。
transformer-based object detectionsoft errorsresiliencemitigation strategiesattention blocks
发现论文，激发创造
  • 基于 Transfer CLIP 的通用图像去噪

    本文提出了一种利用 CLIP 模型来提高图像去噪的对称编码器 - 解码器网络，并通过渐进特征增强策略来改善解码器的鲁棒性，实验证明该方法具有优越的泛化能力。

    Mar, 2024

  • 通过少样本 CLIP 辅助扩散生成来识别和减轻模型失效

    这项研究通过结合大型语言模型（ChatGPT）和视觉语言深度模型（CLIP），提出了一种利用生成文本描述模型失效模式的端到端框架，以提高对稀有背景等失败情景的性能。通过生成合成数据，以此学习模型的不足，并在不同数据类别的罕见背景上增强性能，该方法在多个模型和数据集上实现了显著的准确度提升（约 21%）。

    Dec, 2023

  • 面对未知环境的常见物体错误：ET tu, CLIP?

    使用预训练的 CLIP 编码器通过辅助目标检测目标，在 Episodic Transformer 架构中整合 CLIP 可以提高 ALFRED 任务的性能，并且尤其有助于利用物体描述、检测小物体和解释罕见词汇。

    Jun, 2024

  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020

  • ConvNet 与 Transformer，监督学习与 CLIP：超越 ImageNet 准确度

    针对计算机视觉中模型选择的挑战性，本研究通过对比分析不同模型关于 ImageNet 准确性以外的行为表现，揭示了模型在误差类型、输出校准、迁移性和特征不变性等方面的多样性特征，强调在选择不同模型时需进行更细致的分析。

    Nov, 2023

  • 基于 Robust CLIP 的检测器用于揭示扩散模型生成的图像

    通过使用 CLIP 模型提取的图像和文本特征以及多层感知器（MLP）分类器，本研究引入了一个强大的检测框架，并提出了一种能够改善检测器鲁棒性的新型损失函数，以及在模型训练中平整化损失函数空间从而改善检测器的泛化能力。通过大量实验证明了我们方法的有效性，超越了传统检测技术，在 DM 生成的图像检测领域有望成为新的最先进方法。

    Apr, 2024

  • 探索 Difficult Images 对检测变换器（DETR）的鲁棒性和特性

    基于 Transformer 的目标检测器 (DETR) 在机器视觉任务中表现出显著性能，但其在处理遮挡和对抗扰动等不同图像干扰方面存在问题。我们通过多种实验和将 DETR 与基于卷积神经网络 (CNN) 的检测器（如 YOLO 和 Faster-RCNN）进行基准测试来研究这个问题。我们发现 DETR 在处理遮挡图像的信息丢失干扰方面表现良好。然而，在涂有对抗标记的图像上，网络需要产生一组新的不必要的键、查询和值，导致网络方向错误。与图像损坏基准测试中 YOLOv5 相比，DETR 的性能也较差。此外，我们发现 DETR 在进行预测时严重依赖于主要查询，导致查询之间的贡献不平衡，因为主要查询接收大部分梯度流。

    Oct, 2023

  • TaskCLIP：扩展大型视觉语言模型以用于任务导向的物体检测

    通过使用大规模视觉和语言模型（VLM）作为模型骨干，以及基于 Transformer 的校准器，我们提出了 TaskCLIP，一个两阶段的设计用于任务导向的目标检测，实验结果表明我们的方法优于当前最先进的 TOIST 模型，并且只需要一张 NVIDIA RTX 4090 显卡进行训练和推理。

    Mar, 2024

  • 使用 CLIP 引导的 StyleGAN 实现即时目标检测

    利用现代生成模型和多模态学习的组合潜能，本研究提出了一种完全自动化的框架，可对卫星图像上的目标进行检测。我们利用 CLIP（Contrastive Language-Image Pre-Training）的能力来将图像特征与文本描述相关联，并识别生成器网络中的神经元以构建即时目标检测器。

    Oct, 2022

  • 医学物体检测中的检测变形器的应用

    本研究探讨了使用 DEtection TRansformer（DETR）检测医学成像中可疑区域的可行性，研究表明这种方法能够与甚至优于当前方法进行匹配，且无需依赖锚点或手动启发式设计等方式来检测对象。

    Jun, 2023