凸化卷积神经网络

Sep, 2016

Convexified Convolutional Neural Networks

Yuchen Zhang, Percy Liang, Martin J. Wainwright

TL;DR介绍一种凸化卷积神经网络方法，利用再现核希尔伯特空间将卷积滤波器表示为向量，并将 CNN 参数表示为低秩矩阵，进而通过凸优化求解 CNN，其泛化误差与最优 CNN 一致，CCNNs 通过逐层训练使其在性能上与基线方法相当。

Abstract

We describe the class of convexified convolutional neural networks (CCNNs), which capture the parameter sharing of convolutional neural networks in a convex manner. By representing the nonlinear convolutional fil

convexified convolutional neural networks parameter sharing reproducing kernel hilbert space generalization error backpropagation

发现论文，激发创造

双卷积神经网络

本文提出了一种新的卷积神经网络模型，称为双卷积神经网络，该模型通过共享权重参数进行优化，在图像分类领域有着显著的性能提升。在 CIFAR-10，CIFAR-100 和 ImageNet 等图像分类基准测试中，该模型的性能均显著优于其他竞争模型。同时，本文还说明了双卷积神经网络在多方面性能均有体现，既可以构建更准确的模型，又可以以牺牲一定准确性的代价来减少模型的内存占用。

Oct, 2016

参数凸神经网络

该研究提出了一种基于指数多层神经网络的凸优化深度神经网络，成功地实现了对凸性的控制，并在图像分类任务中表现出了优于传统方法的性能。

Jun, 2022

关于复值卷积神经网络

本文介绍了使用复数输入和权重构造卷积神经网络（CNN）的变形模型，以及提出的正则化方法解决训练 CNN 中的一些问题和困难，通过与真实 CNN 进行比较并应用于细胞检测问题进行实证验证，表明复杂模型比真实模型更不易过拟合且可检测出数据的有意义的相位结构。

Feb, 2016

卷积核网络

通过用一种新型卷积神经网络（CNN）来编码不变性的再生核，本文解决了视觉识别中旨在设计对特定变换具有不变性的图像表示的问题，其中与传统方法不同的是，我们的网络学习在训练数据上逼近核特征映射，从而带来了多个优势，包括获得具有不变性的简单神经网络体系结构，实现与更复杂 CNNs 相似的准确度，以及抵抗过拟合等。

Jun, 2014

凸神经网络的奇特案例

本文研究基于凸性的神经网络架构和其对泛化能力和过度拟合的影响，限制权重为非负并使用非递减凸激活函数可以让神经网络自我正则化，克服过度拟合问题，提高性能在图像分类方面的实验表明了这种方法的有效性。

Jun, 2020

卷积神经网络架构优化

卷积神经网络（CNN）在面对声音识别、自然语言处理或计算机视觉等具有挑战性的任务时被广泛使用。本文提出了一种新颖的 CNN 优化和构建方法，基于剪枝和知识蒸馏，旨在确定卷积层的重要性，以减少计算要求，并在资源受限设备上部署。经过彻底的实证研究，包括最佳数据集（CIFAR-10、CIFAR-100 和 Imagenet）和 CNN 架构（VGG-16、ResNet-50、DenseNet-40 和 MobileNet），我们评估了该提议，并将准确度损失和剩余参数比率作为客观指标来比较 OCNNA 与其他最先进的方法的性能。与其他 20 多种卷积神经网络简化算法相比，我们的方法取得了出色的结果。因此，OCNNA 是一种竞争性的 CNN 构建方法，可以简化神经网络部署到物联网或资源有限设备的过程。

Dec, 2023

卷积神经网络结构分析与优化

本文提供了对现有技术的卷积神经网络分析和拓扑构建的全面概述，并描述和评估了一些层次分类器。此外，本文还开发了一种可视化分类错误的新方法，并在 CIFAR-100 上量化了一些结果，如在精度方面较小批量大小、平均集成、数据增强和测试时间转换等的积极影响。本文还开发了一个模型，它只有 100 万个学习参数，适用于 32x32x3 和 100 类输入，并在基准数据集 Asirra、GTSRB、HASYv2 和 STL-10 上击败了现有技术。

Jul, 2017

深度锚定卷积神经网络

本文介绍了一种名为 Deep Anchored Convolutional Neural Network (DACNN) 的卷积神经网络架构，它使用单个卷积核并采用权重共享技术进行网络压缩，同时增加了一个名为 regulators 的易于插入的模块来提高性能，在 CIFAR-10、CIFAR-100 和 SVHN 数据集上验证了其准确性与显著的内存节省。

Apr, 2019

关于卷积神经网络学习收敛速度的研究

卷积神经网络的近似和学习能力的研究，证明了满足权重约束的卷积神经网络的新逼近界限，并给出了覆盖神经网络的新分析，从而得到了更好的收敛界限，并利用这两个结果在许多学习问题中推导了基于卷积神经网络的估计器的收敛速度，对于学习平滑函数的非参数回归设置和二元分类中的卷积神经网络分类器的 Hinge 损失和 Logistic 损失，得到了最优的收敛速度。

Mar, 2024

具有图卷积神经网络的稳健空间滤波

本文介绍了一种基于图卷积神经网络的新型神经学习框架并探讨了其在处理结构化和非结构化分类问题方面的应用，证明该方法在文档和分子分类问题方面具有国际领先水平。

Mar, 2017