Sep, 2023

工业缺陷分割中卷积神经网络的位移等效性研究

PDF
TL;DR在工业缺陷分割任务中，常用的度量指标是像素精度和交并比 (IoU)，然而模型的输出一致性 (或等效性) 经常被忽视。本文提出了一种全新的上 / 下采样层对抗 CNN 中传统采样层的不足，并通过自适应窗口模块和组件注意力模块来改善图像边界变化对等效性的影响，实验结果表明该方法在工业缺陷数据集上具有较高的等效性和分割性能。
发现论文，激发创造
  • 真正平移不变卷积神经网络

    本文提出了自适应多相采样（APS）的简单子采样方案，使卷积神经网络实现了 100% 的 “移位一致” 的分类性能，而且拥有训练前的完美 “移位一致性”，这是使卷积神经网络真正具有 “移位不变性” 的第一实践方法。

    Nov, 2020

  • 目标检测中的平移等变性

    本文提出了一个基于贪婪搜索的评估指标，用于评估目标检测模型的平移等变性，发现许多现代目标检测模型对输入图像的微小平移都非常敏感，并探究了文献中的解决方案及其有效性，揭示了这种平移变异性的程度和可能因素的贡献，为开发缓解或利用这种变异性的方法奠定基础。

    Aug, 2020

  • 唤醒视觉 Transformer 中的平移等变性

    本文提出了一种自适应的多相位锚定算法，该算法可无缝集成到视觉 Transformer 模型中，以确保贴片嵌入和子采样关注模块的移位等变，并利用深度卷积编码位置信息。

    Jun, 2023

  • 使用旋转等变卷积网络进行高效语义分割

    我们提出了一种语义分割模型，利用旋转和反射对称性，扩展了等变 CNN 框架，通过引入新的等变（G-》Z2）- 卷积和等变转置卷积，实现了对组别特征图的变换与上采样，进而提高了样本效率和鲁棒性，并在癌症转移组织病理图像的多个数据组织方案的旋转等变分割任务上进行了评估，证明了利用更多对称性的高效性。

    Jul, 2018

  • 使用平移不变多相采样提升卷积神经网络的平移不变性

    基于大规模相关性分析框架，通过研究现有的下采样算子，我们发现最大采样偏差与转移不变性呈负相关。基于这一关键洞察，我们提出了一种可学习的池化算子，称为平移不变的多相采样 (TIPS)，并对 TIPS 的中间特征映射进行了两种正则化以减小最大采样偏差，从而学习到转移不变的表示。我们的实验证明，与之前的方法相比，TIPS 在多个图像分类和语义分割基准测试中都取得了持续的性能提升，并且在对抗性和分布鲁棒性方面也有所改进。TIPS 相较于之前的方法具有最低的最大采样偏差，从而解释了我们的强实证结果。

    Apr, 2024

  • 使卷积网络再次具有平移不变性

    本篇研究提出，在现代卷积网络中添加抗锯齿模块能较好地提高模型的精度，使其具有更好的普适性和鲁棒性。

    Apr, 2019

  • 场景文本检测中的移位不变性

    通过一个简单的合成实验，我们展示了最先进的全卷积文字检测器固有的移位差异性。我们展示了如何进行小的体系结构更改，可以带来改善的移位平稳性和检测器输出的变化较小。我们提出了一个基于深度学习已有的文字检测基准的度量，用于量化移位可变性的程度。尽管所提出的架构更改不能完全恢复移位等价性，但添加平滑滤波器可以大大改善常见的文本数据集上的移位一致性。考虑到小偏移可能具有巨大的影响，我们建议将此工作中描述的指标扩展到常用的文本检测度量中，以便能够量化文本检测器的一致性。

    Aug, 2022

  • DeepShift：面向无乘法神经网络

    提出使用卷积位移和完全连接位移加速模型部署到边缘计算平台。在使用 DeepShift 模型转换和训练的预先训练的 ResNet18，ResNet50，VGG16 和 GoogleNet 模型中，可以获得接近甚至更高的准确率，并且 GPU 内核可以减少 25% 的延迟时间，具有较好的应用前景。

    May, 2019

  • 仅需简单卷积移位：设计高效的卷积神经网络用于图像分类

    本文介绍了一种基于 Sparse Shift Layer（SSL）的卷积神经网络构建方法，最终构建出只有 1x1 卷积层和少量位移操作的网络结构，通过优化和量化学习方法实现了极高的准确率和实用速度。

    Mar, 2019

  • 4 连通移位残差网络

    本文研究了如何应用转移运算以替代空间卷积操作，通过将 8-connected 和 4-connected 邻域组的转移操作应用于 ResNet 的 point-wise 卷积中，实现了与全残差网络相同的准确性，同时将参数和计算要求降低了 40％，通过减少横向连接层数来生成了一个准确性更高的新 ResNet 网络。

    Oct, 2019