Jul, 2023

探索锐化余弦相似度

PDF
TL;DR我们的工作中，我们探讨了 Sharpened Cosine Similarity（SCS）参数的行为和潜力，并且研究了在多个卷积神经网络结构中用 SCS 替换卷积的效果。我们发现，虽然 SCS 可能不会显著提高准确性，但可能会学习到更易解释的表征。我们还发现，在某些情况下，SCS 可能会略微提高对抗性的稳定性。
convolutional layerssharpened cosine similarityneural network performanceinterpretable representationsadversarial robustness
发现论文，激发创造
  • 基于锐化余弦相似度的高光谱图像分类神经网络

    引入了一种名为 Sharpened Cosine Similarity (SCS) 的方法来解决 Hyperspectral Image Classification 中的问题，这种方法可替代使用 Convolutional Neural Networks (CNN) 的方法并且比 CNN 更加高效。

    May, 2023

  • SCSC：强化卷积神经网络和 Transformer 的空间跨尺度卷积模块

    本论文介绍了一个名为空间跨尺度卷积（SCSC）的模块，通过验证其在改善 CNN 和 Transformers 方面的有效性。SCSC 引入了一种高效的空间跨尺度编码器和空间嵌入模块，以在一个层次中捕捉各种特征。通过在人脸识别任务中使用 SCSC 的 FaceResNet，在 68% 的 FLOPs 和 79% 的参数减少情况下，提高了 2.7% 的性能；在 ImageNet 分类任务中，使用 SCSC 的 Swin Transformer 在 22% 的 FLOPs 减少情况下实现了更好的性能，并且使用 SCSC 嵌入的传统网络（如 ResNet）可以与 Swin Transformer 的性能匹敌。

    Aug, 2023

  • 通过卷积稀疏编码分析卷积神经网络

    提出了一种新的多层模型，ML-CSC，其信号被假定为从一系列 CSC 层中出现。CNN 的前向传递实际上是服务于 ML-CSC 模型的阈值追踪，将 CNN 与 ML-CSC 模型紧密联系起来，为 CNN 带来了新的视角，同时也提出了一个与去卷积网络相关的前向通道替代方案，具有更好的理论保证。

    Jul, 2016

  • CSCO：卷积算子的连接性搜索

    通过最小化利用现有设计模式来创建卷积算子的有效连接，并利用发现的连接构建高性能的 ConvNets，本文提出了 CSCO，一个新颖的范例，通过神经预测器作为地面真实性能的代理引导搜索，引入图同构的数据增强来提高样本效率，并提出了 Metropolis-Hastings 进化搜索 (MH-ES) 来避免局部最优结构并提高搜索质量。在 ImageNet 上的结果显示，与手工和 NAS 制作的密集连接相比，性能提高了约 0.6%。

    Apr, 2024

  • 基于理论的去噪余弦相似度方法：高效表征学习

    本文提出了一种基于余弦相似度损失函数的去噪 cosine-similarity (dCS) 损失，这种方法可以在机器学习中学习鲁棒的表示以应对真实世界数据集中的噪声干扰，实验结果显示该方法在视觉与语音领域中比基线算法具有更好的效率。

    Apr, 2023

  • 通过相邻层的过滤器相似度进行滤波剪枝

    本研究介绍了一种新的滤波器修剪方法（FSCL）， 它在连续层之间明确利用滤波器之间的相似性来压缩模型，从而剪掉那些在模型中不太重要的特征， 并在多个基准模型和数据集上取得了显着的精度、FLOPs 和参数量减少。

    Apr, 2023

  • SS-CAM: 平滑的 Score-CAM 用于更清晰的视觉特征定位

    本研究通过对 Score-CAM 的改进，提出了一种增强的可视化解释方法 SS-CAM，通过平滑操作在图像中生成目标特征的集中定位，从而优于 Score-CAM 在忠实度和定位任务方面，对深度卷积神经网络的内在决策进行了分析和理解。

    Jun, 2020

  • 重新思考自然图像的 CSC 模型

    本文研究了基于稀疏表示和卷积的稀疏编码模型在图像处理中的应用，提出了与此模型相关的贝叶斯理论，并使用分阶段卷积的前馈网络构建了一个新的模型，用于降噪等任务。实验证明，该模型的性能可以达到与现有技术相当水平，同时使用的参数明显更少。

    Sep, 2019

  • 条件相似网络

    本篇论文提出了一种称为 “条件相似性网络” 的方法，用于学习分离式嵌入，不同的相似性概念被编码在不同的语义子空间，并用于解决多个不同相似性概念的问题。

    Mar, 2016

  • 余弦归一化：在神经网络中使用余弦相似度代替点积

    该研究探讨使用余弦相似度或中心余弦相似度（皮尔逊相关系数）来替代神经网络中点积计算，从而达到较好的正则化效果，实验结果表明，余弦正则化优于其他正则化技术。

    Feb, 2017