我们提出了一种新颖的方法 Dense Connectivity Search of Outlier Detector (DCSOD)，它通过使用神经架构搜索 (NAS) 和多视角特征学习进行演化蒸馏，自动探索了 CNN 架构的稠密连接，以实现接近 OOD 检测任务的目标。在 CIFAR 基准测试上，DCSOD 在 OOD 检测协议下取得了显著的性能提升，达到了最先进的水平。

Jun, 2024

提出了一种新的多层模型，ML-CSC，其信号被假定为从一系列 CSC 层中出现。CNN 的前向传递实际上是服务于 ML-CSC 模型的阈值追踪，将 CNN 与 ML-CSC 模型紧密联系起来，为 CNN 带来了新的视角，同时也提出了一个与去卷积网络相关的前向通道替代方案，具有更好的理论保证。

Jul, 2016

该论文提出了一种名为 DSO-NAS 的神经架构搜索方法，采用基于稀疏正则化的模型修剪视角，利用逐步引入稀疏网络的方法来解决搜索空间庞大且不连续的问题，在 CIFAR-10 数据集上达到了 2.84％的平均测试误差，在 ImageNet 数据集上，仅使用 8 块 GPU 600M FLOPs 进行 18 小时的训练可以达到 25.4％的测试误差。

Nov, 2018

本论文介绍了一个名为空间跨尺度卷积（SCSC）的模块，通过验证其在改善 CNN 和 Transformers 方面的有效性。SCSC 引入了一种高效的空间跨尺度编码器和空间嵌入模块，以在一个层次中捕捉各种特征。通过在人脸识别任务中使用 SCSC 的 FaceResNet，在 68% 的 FLOPs 和 79% 的参数减少情况下，提高了 2.7% 的性能；在 ImageNet 分类任务中，使用 SCSC 的 Swin Transformer 在 22% 的 FLOPs 减少情况下实现了更好的性能，并且使用 SCSC 嵌入的传统网络（如 ResNet）可以与 Swin Transformer 的性能匹敌。

Aug, 2023

我们的工作中，我们探讨了 Sharpened Cosine Similarity（SCS）参数的行为和潜力，并且研究了在多个卷积神经网络结构中用 SCS 替换卷积的效果。我们发现，虽然 SCS 可能不会显著提高准确性，但可能会学习到更易解释的表征。我们还发现，在某些情况下，SCS 可能会略微提高对抗性的稳定性。

Jul, 2023

本研究提出一种名为 Densely Connected NAS (DCNAS) 的神经架构搜索框架，通过连接细胞并使用可学习的权重来引入密集连接的搜索空间，并通过路径和通道级别的抽样策略设计一个融合模块来降低搜索空间的内存消耗。DCNAS 搜索算法得到的体系结构在公共语义图像分割基准测试中的表现显著优于先前算法。

Mar, 2020

本文研究了基于稀疏表示和卷积的稀疏编码模型在图像处理中的应用，提出了与此模型相关的贝叶斯理论，并使用分阶段卷积的前馈网络构建了一个新的模型，用于降噪等任务。实验证明，该模型的性能可以达到与现有技术相当水平，同时使用的参数明显更少。

Sep, 2019

本文提出了一种名为 Sparse Connectivity Learning 的新型自动裁剪方法，通过使用二进制掩码描述网络连接，同时使用 Identity STE 进行离散掩码松弛。在目标函数中加入网络总连接数的正则化项，无需定义裁剪标准或超参数即可探索网络以实现最佳性能。实验结果表明，使用 SCL 训练的深度学习模型在稀疏度、准确性和 FLOPs 减少方面优于其他自动剪枝方法。

Jan, 2022

本文提出了一种名为 DenseNAS 的神经架构搜索方法，通过设计一种密集连接的搜索空间，在该空间中搜索最佳路径来获得最终的体系结构，并使用一种链式成本估算算法来近似模型成本，优化准确性和模型成本。实验结果表明，DenseNAS 在 ImageNet 上具有很高的分类准确率，并成功优化了 ResNet 等多个模型的分类性能。

Jun, 2019

本文提出了一种利用模块化设计原则、通过学习连接来自动优化神经网络架构的算法，在多类图像分类任务中，使用 ResNet 和 ResNeXt 两种常见架构进行实验，结果表明与传统模块连接规则相比，学习连接的方法可以显著提高模型准确性并实现参数数量的节省。

Jul, 2018