神经网络学习分类任务中的编码方案

Jun, 2024

神经网络学习分类任务中的编码方案

Coding schemes in neural networks learning classification tasks

Alexander van Meegen, Haim Sompolinsky

TL;DR神经网络具有生成任务相关特征有意义表示的关键能力，然而 emergent coding scheme 的本质仍不清楚。本文使用贝叶斯框架研究全连接的宽神经网络在学习分类任务时的特征学习机制，并发现网络的内部表示在神经非线性方面具有重要影响，线性网络呈现任务的模拟编码方案，而非线性网络则呈现冗余或稀疏编码方案。

Abstract

neural networks posses the crucial ability to generate meaningful representations of task-dependent features. Indeed, with appropriate scaling, supervised learning in neural networks can result in strong, task-de

neural networks coding scheme feature learning classification tasks neuronal nonlinearity

发现论文，激发创造

使用展开网络进行聚类归纳偏差

在这篇论文中，我们提出了一种自动编码器架构（WLSC），其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类，生成了一组多样的人工感受野，与 V1 的灵长类动物数据具有相近的一致性，而且也展示了我们的正则化可以被解释为感受野对特定刺激类别的早期专门化，即我们为之后的皮质阶段引入了弱的聚类偏差，这是已知的功能性和空间分离（即拓扑）发生的地方。这些结果表明，在对 V1 及其之后的特征分离进行描述时，对感受野和放电率进行空间正则化至关重要。

Nov, 2023

深度预测编码网络

提出深度预测编码网络，用于学习具有动态情境感知的表征学习，实现了高效的特征提取与局部不变性表示，同时具有良好的结构噪声适应能力。

Jan, 2013

共同学习：不同神经网络是否学习相同表示？

本文研究了神经网络所谓的收敛学习现象，使用多种技术对神经网络进行了实验，发现了一些神经网络的未知属性，包括神经网络中某些特征通常会被成功学习，而其他特征则没有被可靠地学习，单元学习低维子空间，而这些子空间是多个网络共有的，但学习的基向量不一致，表示代码表现出局部代码和略微分布式代码的混合特征。

Nov, 2015

学习码：机器学习用于近似非线性编码计算

本文提出了第一种基于学习的 Coding-theoretic 解决方案，通过使用神经网络架构和训练方法，学习编码和解码函数来处理非线性计算，结果表明学习可以是设计码的有效技术，并且学习到的码是将编码优势应用于非线性计算的极具前途的方法。

Jun, 2018

预测编码：走向超越反向传播的深度学习未来？

回传误差算法已经成为深度学习成功的基础之一，而预测编码则利用局部学习，具有潜力克服其限制并在当前深度学习技术之上发展。本文综述了有关这个问题的各种作品及其理论联系，并展示了预测编码网络相对于深度神经网络具有更高的灵活性及其在机器学习分类任务上的潜在优势以及与控制理论的紧密联系和在机器人领域的应用。

Feb, 2022

双存储系统中的稀疏编码用于终身学习

本文探讨人类的高效持续学习如何通过多个记忆系统的神经生理机制和相互作用来实现，同时介绍了一种基于稀疏编码和多重记忆回放机制的神经网络模型，该模型可以减少遗忘。

Dec, 2022

学习到的特征表示受到复杂性、学习顺序、位置等的偏差影响

在这项工作中，我们探讨了表示学习和解释所学的表示在机器学习和神经科学中的关键领域，并发现了表示与计算之间一些令人惊讶的脱节现象，这可能对相关工作构成挑战。我们通过创建数据集来匹配不同特征的计算角色，并操纵特征或数据的其他属性。我们训练各种深度学习架构以计算这些关于输入的多个抽象特征，并发现他们学到的特征表示在表示一些特征时存在系统性的偏倚，这些偏倚依赖于特征的复杂性、特征学习的顺序和特征在输入中的分布。同时我们还探索了这些偏差对体系结构、优化器和训练方案的影响。这些结果有助于描述基于梯度的表示学习的归纳偏差，同时突出了理解性或对比模型和大脑之间表示的关键挑战，即区分系统内部表示的外部偏差和计算上重要的方面。

May, 2024

具有大学习差异性的稀疏神经网络

本文介绍了具有三个级别稀疏性的编码循环神经网络，该网络基于二进制神经元和二进制连接，能够学习和召回大量的信息，可以作为分类器和关联记忆使用。

Feb, 2011

稀疏分布数据中是否可以避免维数灾难采用类何比学习规则？

本文探讨了大脑如何使用 Hebbian 学习规则来避免高维稀疏分布表示的 “维度灾难” 问题，并使用特定的稀疏数据集来证实使用 Restricted Boltzmann Machines 分类器的好处。

Jul, 2022

深度神经网络语义发展的数学理论

通过分析深度线性网络中的非线性动态，我们找到了确切的解决方案，从而解释了语义认知中许多不同现象的普遍性，包括概念的分层差异、语义错觉、项目典型性和类别一致性的出现，以及发展过程中归纳投射模式的变化，以及跨物种的神经表示中语义相似性的保持。

Oct, 2018