May, 2023

最近邻表示的信息容量

PDF
TL;DR本文提出一种基于向量空间的联系性计算模型，其源于大脑的集成架构，模型中的记忆是由一组向量定义的，计算通过从输入向量到最近邻锚点的收敛执行，输出是与锚点相关联的标签。作者研究了该模型中布尔函数的表示，其中输入是二元向量，相应的输出是最近邻锚点的标签，并且探索了信息容量与最近邻复杂度和分辨率两个量之间的关系。
发现论文，激发创造
  • 神经元的最近邻表示

    研究了最近邻表示法中阈值函数的表示复杂性，发现可以通过多项式大小和对数分辨率的最近邻表示法来表示所有阈值函数。

    Feb, 2024

  • 神经回路的最近邻代表

    通过建立神经网络与最近邻表示之间的强耦合，我们在深度 - 2 阈值电路上提供了明确的构建，以及表示所需位数的明确界限。

    Feb, 2024

  • 高维鲁棒性记忆增强神经网络

    该研究旨在开发一种新型的计算机架构，将内存增强神经网络（MANN）与计算存储器单元相结合，以实现在高维向量上的模拟内存计算，并使用基于内容的注意机制来处理此计算存储器单元上的数据，并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。

    Oct, 2020

  • 量子神经网络的容量

    通过解析量子神经网络的存储容量 (C)，研究其表达能力和参数化方式，我们发现，使用经典方式参数化的 QNN 与经典 NN 相比，在存储容量上没有优势；但使用量子状态参数化的 QNN 可以有指数级的存储容量，并提供了数值实验和理论结果。

    Aug, 2019

  • 中枢神经系统中神经人群的信息处理：数据与操作的数学结构

    哺乳动物中枢神经系统的神经元群体通过尖峰列作为媒介进行通信，而这些神经元群体的精确编码和操作尚未被发现。本研究通过一种现代的机械模型探讨信息的表示和操作，并发现神经元群体可以通过有限凸锥的代数精确表征和操作，充当低级别编程语言的功能性操作符。当这些群体相互连接时，它们呈现简洁而强大的代数表达式，使其能够实现特化、泛化、新颖性检测、降维、逆向建模、预测和关联记忆等众多操作。此研究凸显了矩阵嵌入在认知科学和人工智能等领域推动我们理解的潜力，这些嵌入提升了概念处理和分层描述的能力。

    Sep, 2023

  • 神经生物学和机器学习中的大型关联记忆问题

    提出了一种微观理论，其中只需两体相互作用，就可以有效地描述大型关联内存，具有一定的生物可信度，并实现了能量最小化的动力学。

    Aug, 2020

  • 位元神经网络

    通过提出一种基于二进制值的神经网络训练方法 (BNN)，实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中，BNN 可以取代浮点数运算，减少存储空间占用、内存带宽、以及硬件能耗。同时，我们提出了权重压缩和噪声反向传播等训练技术，生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验，我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。

    Jan, 2016

  • 神经网络逼近

    该篇论文调查了神经网络的近似性质，特别是使用 ReLU 激活函数的非线性流形，并比较了这种近似方法与传统数值分析中使用的近似方法之间的差异，着重分析了数值稳定性问题，发现在一定程度上提高了近似能力，但以数值稳定性为代价。

    Dec, 2020

  • 具有条件计算的神经网络的记忆容量

    研究神经条件计算的基本限制和记忆能力，展示条件 ReLU 网络可以用更少的算术操作完成相同任务，还介绍了一种将无条件网络合成为条件网络的有效方法。

    Mar, 2023

  • 双层神经网络在记忆中的网络尺寸和权重尺寸

    使用复合的神经元重组，提出一种新的针对 ReLU 网络的训练方法，使得仅需使用数目较少的神经元就可以进行近似记忆，并且权重大小接近最优。

    Jun, 2020