Aug, 2023

深度平衡物体检测

PDF
TL;DR通过设计深度平衡解码器，我们提出了一种新的基于查询的目标检测器（DEQDet），能够通过一系列解码器层逐步完善查询向量，直接预测物体位置和类别。通过不精确梯度反向传播（RAG）和改进的深度监督方案（RAP），我们的 DEQDet 相较于基准模型（AdaMixer）收敛更快，内存占用更少，并取得了更好的性能表现。在 MS COCO 基准测试下，我们的 DEQDet 使用 ResNet50 骨干网络和 300 个查询达到了 49.5 mAP 和 33.0 AP$_s$，训练方案为 2 倍（24 epochs）。
query-based object detectordeep equilibrium decoderrefinement awarenessoptimization pathdeqdet
发现论文，激发创造
  • 多尺度深度平衡模型

    我们提出了一种新的隐式网络类别，即多尺度深度平衡模型（MDEQ），适用于大规模高度分层的模式识别领域。这种方法可以同时解决多个特征维度的平衡点，并且可以用于多种任务和损失函数，例如使用单个 MDEQ 同时执行图像分类和语义分割。在 ImageNet 分类和 Cityscapes 数据集高分辨率图像的语义分割任务上，我们展示了此方法的有效性。

    Jun, 2020

  • 深度平衡模型

    本文介绍了一种新的应用于序列数据建模的方法 —— 深度平衡模型，并比较其在大规模语言模型任务上的性能，该方法可通过求解根来直接获取固定点，训练和预测所需的内存只需常数级别，大大减少了存储消耗。

    Sep, 2019

  • DECO: 基于查询的端到端目标检测与卷积神经网络

    通过构建一个基于查询的以卷积网络为基础的端到端目标检测框架 DECO，本研究探索了是否能够用卷积网络来取代复杂的 Transformer 架构，该框架在复杂性较低的情况下实现了与传统的物体检测模型相媲美的性能，并带来了另一种设计目标检测框架的视角。

    Dec, 2023

  • 深度平衡模型对抗鲁棒性的更深入探究

    使用中间梯度的方法对 Deep Equilibrium Models 进行白盒攻击与评估，提高了其对抗攻击的鲁棒性，实验证明其在 CIFAR-10 数据集上的性能与同等规模的深度神经网络竞争力相当。

    Jun, 2023

  • 流式多尺度深度平衡模型

    StreamDEQ 是一种使用隐式层模型连续推断每帧视频表示且利用先前帧的表示作为初始条件的方法，通过实验证明，StreamDEQ 在几帧的实验时间内准确地恢复了近乎最优的表示，并且可以在视频显示期间保持最新的表示。

    Apr, 2022

  • Q-DETR: 一种高效的低位量化检测 Transformer

    本文针对量化后检测转换器（Q-DETR）信息失真问题提出分布矫正蒸馏方法（DRD），该方法可优化查询分布使熵最大化，在上层引入前景感知查询匹配策略最小化条件熵。实验表明，该方法在 COCO 数据集上，4-bit Q-DETR 可加速与 ResNet-50 骨干网一起使用的 DETR，速度提高 6.6 倍，AP 值达到 39.4％，性能仅存在 2.6％的差距。

    Apr, 2023

  • 通过雅各比正则化稳定平衡模型

    本文提出一种正则化方案来加强深度均衡网络（DEQ）模型的学习稳定性，该正则化方案显著提高了 DEQ 模型的收敛速度和性能，使得 DEQ 模型与传统深度网络在速度和性能上保持相当，并且具有恒定的内存占用和简单的架构。

    Jun, 2021

  • 深度平衡模型的高效训练

    本篇文章介绍了一个简单而有效的策略，通过 Broyden's Method 的 Jacobian 估计来避免 DEQ 网络层的反向传播过程中需要解决的昂贵 Jacobian-based 方程。实验证明，仅通过再次使用此估计，就能显著加速训练同时不会导致任何性能退化。

    Apr, 2023

  • 深度平衡光流估计

    使用 Deep Equilibrium （DEQ）流估计器解决光流估计中存在的问题，包括计算和内存开销及模型不稳定，DEQ 模型与循环神经网络模型相比运算更快，消耗更少训练内存，且结果更好，同时提出稀疏定点修正方案，测试结果表明在 Sintel 和 KITTI 数据集中有更好的计算和内存效率表现。

    Apr, 2022

  • 正凸深层均衡模型

    通过引入一种名为正凹深度平衡 (pcDEQ) 模型的新型 DEQ 模型类，通过基于非线性 Perron-Frobenius 理论的方法强制非负权重和激活函数，可以简化训练过程并且保证了固定点的存在和唯一性，进而解决了 DEQ 模型存在的固定点唯一性和收敛性问题，实验证明了 pcDEQ 模型在隐式模型中的竞争力。

    Feb, 2024