本文提出了一种名为 Deep Sparse Coding 的新的无监督特征学习框架,扩展了稀疏编码到多层体系结构,用于视觉对象识别任务,在不同层次的稀疏编码之间连接一种稀疏到密集的模块,结合卷积神经网络(CNN)可达到最先进的性能表现。
Dec, 2013
本文针对图像超分辨率问题,提出一种结合传统稀疏编码模型和深度学习技术的神经网络模型,该模型在多种图像上已被证明在恢复精度和主观质量方面均优于目前现有的最先进方法。
Jul, 2015
本文提出了一种稀疏 DenseNet 的方法,可以使神经网络在更低的参数和计算代价下实现深度、宽度和连接的同时,在 CIFAR10 和 SVHN 数据集上比现有 state-of-the-art 模型的性能更优,并且相比原始 DenseNet 小 2.6 倍,速度快 3.7 倍。
Apr, 2018
本文提出一种新方法进行稀疏编码,在学习稀疏分布时通过截断样本避免使用有问题的松弛方法。通过在 Fashion MNIST 和 CelebA 数据集上与标准变分自编码器进行比较,证明了该方法具有更优越的性能、统计效率和梯度估计。
May, 2022
在这篇论文中,我们提出了一种自动编码器架构(WLSC),其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类,生成了一组多样的人工感受野,与 V1 的灵长类动物数据具有相近的一致性,而且也展示了我们的正则化可以被解释为感受野对特定刺激类别的早期专门化,即我们为之后的皮质阶段引入了弱的聚类偏差,这是已知的功能性和空间分离(即拓扑)发生的地方。这些结果表明,在对 V1 及其之后的特征分离进行描述时,对感受野和放电率进行空间正则化至关重要。
Nov, 2023
通过提出 DSD 训练流程,即 Dense-Sparse-Dense(DSD)的训练方法,对深度神经网络进行正则化,以实现更好的优化性能;实验证明,DSD 训练可以提高各种神经网络模型(如 CNN、RNN 和 LSTM)在图像分类、标题生成和语音识别等任务中的性能,并且可以在不改变网络架构或引入任何推理开销的情况下使用。
Jul, 2016
通过加入监督正则化项来扩展卷积稀疏编码模型并学习具有判别性的字典,从而实现更好的图像重建和更语义相关的字典元素。
这篇论文介绍了三种基于深度卷积稀疏编码网络的图像融合任务,并使用字典卷积单元将 CSC 模型和迭代收缩阈值算法泛化,从而从数据中学习所有超参数。广泛的实验和综合比较表明,与量化评估和视觉检查相关的所有性能指标中,所提出的网络优越性显著。
May, 2020
本研究提出了一种新的稀疏卷积操作,旨在更高效地处理空间稀疏数据,并使用其开发出空间稀疏卷积网络 (SSCNs)。我们在涉及三维点云的语义分割任务中展示了这种模型的强大性能,特别是我们的模型在最近一个语义分割竞赛的测试集上超越了所有以前的最新技术。
Nov, 2017
本研究介绍了一种使用稀疏计算的神经网络训练和构建方法,通过引入额外的门变量来执行参数选择,并在小型和大型网络上进行实验验证,证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。
Nov, 2016