使用展开网络进行聚类归纳偏差

Nov, 2023

Clustering Inductive Biases with Unrolled Networks

Jonathan Huml, Abiy Tasissa, Demba Ba

TL;DR在这篇论文中，我们提出了一种自动编码器架构（WLSC），其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类，生成了一组多样的人工感受野，与 V1 的灵长类动物数据具有相近的一致性，而且也展示了我们的正则化可以被解释为感受野对特定刺激类别的早期专门化，即我们为之后的皮质阶段引入了弱的聚类偏差，这是已知的功能性和空间分离（即拓扑）发生的地方。这些结果表明，在对 V1 及其之后的特征分离进行描述时，对感受野和放电率进行空间正则化至关重要。

Abstract

The classical sparse coding (SC) model represents visual stimuli as a linear combination of a handful of learned basis functions that are Gabor-like when trained on natural image data. However, the gabor-like filters

sparse coding gabor-like filters neural dictionary learning autoencoder architecture spatial regularization

发现论文，激发创造

V1 的稀疏几何自编码器模型

该论文提出了一种基于自编码器的结构稀疏方法，可以更好地匹配灵长类数据，使用加权 L1 约束的自编码器目标函数保留了稀疏编码框架的核心思想。

Feb, 2023

一种含有突触局部可塑性和脉冲神经元的稀疏编码模型，能解释 V1 简单细胞感受野不同的形状

训练在自然图像上的稀疏编码算法能够准确预测视觉皮层神经元所激发的特征，但不确定是否可以使用生物学真实的可塑性规则来学习这些代码。我们开发了一种生物物理模型的尖峰网络，仅依靠突触局部信息就能预测自然图像上 V1 简单细胞感受野的全部多样性形状，这是首次证明，稀疏编码原则在皮层结构限制下操作时可以成功地再现这些感受野。我们进一步证明，稀疏性和去相关是允许突触局部可塑性规则优化神经表达形成的合作线性生成图像模型的关键因素。最后，我们讨论了我们的网络的几个有趣的新兴属性，以期弥合视觉皮层的理论和实验研究之间的差距。

Sep, 2011

一种基于对称矩阵分解的在线稀疏字典学习的赫比 / 反赫比网络

通过对称矩阵因式分解的正则化误差，我们提出了一种新的代价函数，使得在线算法可以学习到 Gabor 滤波器感受野，同时使用仅限生物合理的局部学习规则，从而解决了 Olshausen 和 Field 所提出的算法中存在的生物学上不现实的非局部性学习规则的问题。

Mar, 2015

卷积神经网络中通过激活稀疏性出现的形状偏差

稀疏编码通过非可微的 Top-K 操作实施了对网络的结构编码，使得卷积神经网络中的神经元能够对物体进行部分和亚部分的平滑分解，并赋予网络形状偏差。

Oct, 2023

深度稀疏编码的无监督特征学习

本文提出了一种名为 Deep Sparse Coding 的新的无监督特征学习框架，扩展了稀疏编码到多层体系结构，用于视觉对象识别任务，在不同层次的稀疏编码之间连接一种稀疏到密集的模块，结合卷积神经网络（CNN）可达到最先进的性能表现。

Dec, 2013

判别式循环稀疏自编码器

本文介绍了具有鉴别性的循环稀疏自编码器模型，通过反向传播算法进行训练，在最小化无监督稀疏重构误差的基础上，增加一个有监督的分类鉴别项，可以实现深度网络的全部性能，并显著减少可训练参数数量。通过对输入原型进行分类抽象，学习出了分层的编码结构，小规模的鉴别性循环稀疏自编码器在 MNIST 数据集上表现出色。

Jan, 2013

无监督特征学习的尖峰与板块稀疏编码

本文提出了一种基于 spike-and-slab 稀疏编码的因子模型，使用结构化变分推断和变分 EM 算法进行训练并得到与 CIFAR-10 和 STL-10 数据集上最先进的自学习和半监督学习表现，并赢得了 NIPS 2011 年挑战性学习分层模型转移学习竞赛的冠军。

Jan, 2012

稀疏编码在图像处理中的统计效率 (或者，一个 Gabor 王者归来)

通过分离图像的变异因子，我们提出了一种基于 Gabor-like 滤波器的模型，在学习过程中达到更高的统计效率和更好的压缩性能，仅使用单个字典元素就可以优于标准稀疏编码，较好地解决了传统稀疏编码过度冗余的问题。

Sep, 2011

具有局部感受野的时序乘积网络中的复杂类细胞的出现

介绍一个新的神经网络架构和无监督算法，用于学习从时间序列图像中获得不变表示，该系统使用两组复杂细胞，一个表示图像的内容，另一个表示精确的位置特征，并且使用一个编码器提取特征。

Jun, 2010

一种结构化变分自编码器用于学习稀疏特征的深度层次结构

本研究提出了一种基于深度潜在随机变量的自然图像生成模型，其采用新型分布称为修正高斯，其中采用类似 spike-and-slab 的稀疏性，保持了有效的随机梯度变分推断的可微性；通过一个结构化后验分布估计函数的近似，提出了一种新型结构化变分近似方法，避免常规均场假设，并保持了生成模型的先验依赖关系，从而实现了具有许多层潜在随机变量的深度模型的联合训练。

Feb, 2016