- 泊松变分自编码器
本文介绍了一种结合了预测编码原理和将输入编码为离散脉冲计数的变分自编码器(P-VAE)的新型架构,通过引入 Poisson 分布的潜变量和预测编码,模型损失函数中出现了代谢成本项,表明与稀疏编码存在关系,我们通过实证验证了这一点。此外,我们 - 使用卷积稀疏编码和共振网络对视觉场景进行组合分解
基于稀疏编码和谐振网络的视觉场景分析和识别系统,通过将图像的稀疏潜在特征表示编码为高维向量并进行因子分解来解析场景内容。本文发现在此问题中,谐振网络能够进行快速准确的向量因子分解,并开发了一种基于置信度的指标来辅助跟踪谐振网络的收敛过程。
- 矩阵分解在 fMRI 数据中的性能评估
本研究通过应用不同的矩阵分解方法于全脑功能磁共振成像数据的神经活动,研究了整个人脑中稀疏编码的有效性,结果表明稀疏编码假设在整个人脑信息表示中是成立的。
- 使用展开网络进行聚类归纳偏差
在这篇论文中,我们提出了一种自动编码器架构(WLSC),其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类,生成了一组多样的人工感受野,与 V1 的灵长类动物数据具有相近的一致性,而且也展示了我们的正则化可以被解释为感受野对特 - 卷积神经网络中通过激活稀疏性出现的形状偏差
稀疏编码通过非可微的 Top-K 操作实施了对网络的结构编码,使得卷积神经网络中的神经元能够对物体进行部分和亚部分的平滑分解,并赋予网络形状偏差。
- 量化语言模型中的特征稀疏性
最近的研究工作提出了一种假设,即语言模型中的激活可以被建模为对应于输入文本特征的向量的稀疏线性组合。在这个假设下,这些工作旨在使用稀疏编码重构特征方向。我们开发了度量方法来评估这些稀疏编码技术的成功,并测试线性和稀疏假设的有效性。我们展示了 - 贝叶斯稀疏性和类稀疏性在字典学习和编码中的应用
字典学习方法在解决复杂的反问题方面不断受到关注。本文提出了一种工作流程来简化字典匹配过程,通过压缩字典和利用贝叶斯框架处理建模误差,以及使用组稀疏编码方法来识别不相关的子字典,然后通过稀疏编码解决匹配问题。证明了字典压缩误差的补偿和使用组稀 - ICML预测稀疏流形变换
利用预测性稀疏流形变换(PSMT)框架,将输入序列表示为过完备字典上的稀疏系数,学习捕捉稀疏系数中的拓扑相似性和动态时序线性性的几何嵌入空间,并利用该框架预测未来的视觉刺激,以实现更好的预测性能。
- LCANets++:使用多层神经网络和横向竞争实现鲁棒音频分类
通过稀疏编码的神经启发卷积神经网络(LCANets++)在多个层次上进行音频信号分类,相比于标准 CNN 和 LCANets,LCANets++ 对于干扰、例如背景噪音和白盒子、黑盒子攻击,例如规避和快速梯度符号(FGSM)攻击更具鲁棒性。
- 基于 Loihi 2 神经形态处理器的局部竞争算法实施与基准测试
神经形态处理器在近年来因其能够实现高效能、高速计算而引起了广泛关注。本研究介绍了一种针对 Loihi 2 处理器设计的 Locally Competitive Algorithm (LCA) 新实现,并通过与 CPU 和 GPU 设备上的 - T 细胞受体蛋白序列与稀疏编码:一种癌症分类的新方法
本研究使用稀疏编码对 TCR 蛋白序列进行多类别分类以在癌症研究和其他相关领域中分析 TCR 蛋白序列,结果实现了 99.8%的准确率,并突显了稀疏编码在肿瘤治疗中的潜力。
- 数据隐藏有助于稀疏编码:探究掩模方法的好处
本文研究了在存在噪声的情况下,字典学习目标函数最小化可能无法恢复实际字典,在此基础上,提出了一种新的掩模目标函数,并证明了最小化此新函数可以恢复实际字典。实验证明,这种新的目标函数比标准的重构目标函数具有更好的经验性能。
- MMV1 的稀疏几何自编码器模型
该论文提出了一种基于自编码器的结构稀疏方法,可以更好地匹配灵长类数据,使用加权 L1 约束的自编码器目标函数保留了稀疏编码框架的核心思想。
- 双存储系统中的稀疏编码用于终身学习
本文探讨人类的高效持续学习如何通过多个记忆系统的神经生理机制和相互作用来实现,同时介绍了一种基于稀疏编码和多重记忆回放机制的神经网络模型,该模型可以减少遗忘。
- ICML通过优化实现的训练和超训练的必要收敛分析的学习
本文研究基于固定点迭代的广义 Krasnoselskii-Mann(GKM)方案,设计了一个双层元优化算法框架(BMO),以同时解决最佳训练和超级训练变量。通过实验表明,BMO 在稀疏编码和实际应用(例如图像去卷积和雨脉冲去除)中具有高效的 - ICML学习阈值变分稀疏编码
本文提出一种新方法进行稀疏编码,在学习稀疏分布时通过截断样本避免使用有问题的松弛方法。通过在 Fashion MNIST 和 CelebA 数据集上与标准变分自编码器进行比较,证明了该方法具有更优越的性能、统计效率和梯度估计。
- MM信任邻居:推荐系统基于邻居的综合调查
本文综述了基于最近邻的协同过滤算法,包括传统算法和先进算法如矩阵分解、稀疏编码和随机游走,介绍了设计实现最近邻推荐系统的关键选择和实践信息。
- 从果蝇得到的关于连续学习的算法洞见
研究了果蝇嗅觉系统中的两层神经电路,其中通过稀疏编码和联想学习的独特组合来解决了计算系统中的连续学习挑战,显示出这种简单而轻量的算法显着提高了连续学习性能,从而证明了生物科学的电路机制可以转化为改善计算机运算的方法。
- ICML学习到的可解释剩余 Extragradient ISTA 稀疏编码
本文提出一种基于梯度外推的残差结构具有理论保证和解释能力的 LISTA 算法 (ELISTA),可用于解决稀疏编码问题,具有线性收敛性,并在实验中实现了验证。
- ICLR稀疏编码前端用于鲁棒神经网络
该研究提出了一种基于稀疏编码的前端防御方法,该方法在 CIFAR-10 数据集上的实验结果表明,相较于其它对抗训练方法,该方法对 Linf、L2 和 L1 攻击的抵御效果更好。