神经回路的最近邻代表
本文提出一种基于向量空间的联系性计算模型,其源于大脑的集成架构,模型中的记忆是由一组向量定义的,计算通过从输入向量到最近邻锚点的收敛执行,输出是与锚点相关联的标签。作者研究了该模型中布尔函数的表示,其中输入是二元向量,相应的输出是最近邻锚点的标签,并且探索了信息容量与最近邻复杂度和分辨率两个量之间的关系。
May, 2023
本文指出了中间神经表现添加了深度学习网络的灵活性并且在原始输入上具有优势,并阐述了与浅学习者,如卷积内核的神经表现的关系。通过学习低秩的多项式,中间神经表现可以实现比原始输入更少的样本复杂度,并且在神经可切内核的情况下,本文还提出了神经表现不利的限制。
Jun, 2020
通过提出一种基于二进制值的神经网络训练方法 (BNN),实现了通过基本的比特逻辑实现神经网络的前向传递。在资源受限的环境中,BNN 可以取代浮点数运算,减少存储空间占用、内存带宽、以及硬件能耗。同时,我们提出了权重压缩和噪声反向传播等训练技术,生成功能基本与实数网络相当的 BNN。通过在 MNIST 数据集上进行实验,我们证明了 BNN 表现出竞争性的性能并节省大量计算资源。
Jan, 2016
使用神经网络学习多尺度接班人表达,进而构建认知地图和神经网络接班人表达的结构化知识表示形式,实现了在监督学习、强化学习和非空间任务中精确学习并逼真模拟了海马 - 内部子网所观察到的神经元放电模式,为克服深度学习在人工通用智能方面的一些缺陷提供了一种有前途的途径。
Feb, 2022
该篇论文调查了神经网络的近似性质,特别是使用 ReLU 激活函数的非线性流形,并比较了这种近似方法与传统数值分析中使用的近似方法之间的差异,着重分析了数值稳定性问题,发现在一定程度上提高了近似能力,但以数值稳定性为代价。
Dec, 2020
本文提出了一种名为 RepSet 的新型神经网络体系结构,通过解决一系列网络流问题来计算输入集与一些隐藏集之间的对应关系。该体系结构可以处理表示为向量集合的示例,并且可以在端到端的梯度优化学习中使用,在文本分类和图分类等任务中取得了优秀的性能。
Apr, 2019
通过神经网络架构,将物理系统中不同方面的信息以最高效的方式传递,以实现表述不同实验条件下有用参数的分离及筛选, 实现了针对不同参数需求的物理系统抽象表示, 并且可以与强化学习相结合实现交互式场景下的物理系统表征学习。
Jan, 2020