具有循环生成反馈的神经网络
该研究提出了一种利用反馈机制的学习算法,通过添加反馈层和生成强调向量,不断提升卷积神经网络的性能,特别适用于任何预先训练的模型,并在四个对象分类基准数据集上进行了测试,结果表明利用该算法训练 CNN 模型的优势。
Aug, 2017
该研究探讨了人类大脑中反馈连接在人工神经网络研究中的重要性。设计了一种受生物启发的反馈机制来控制修正线性单元。在 MNIST 数据集上,使用反馈的自编码器表现出更快的收敛速度、更好的性能和更强的抗噪声能力。在 CIFAR-10 数据集上,虽然表现不如在 MNIST 数据集上显著,但仍然能够得到一定程度的优化。
Jan, 2023
提出了一种基于预测处理理论的神经生成模型计算框架,通过构建神经元层次结构,预测邻居神经元的工作并根据预测与观测结果的差异更新神经元参数来训练模型,实验结果表明,该模型在多个基准数据集和度量标准上表现出色,并具有与功能类似的其他生成模型相媲美甚至优越的性能。
Dec, 2020
介绍了基于新颖的 Surprisal 驱动递归网络,利用过去的误差信息进行预测,取得了在 enwik8 字符级别预测任务上 1.37BPC 的较好表现,优于其他随机和完全确定性方法。
Aug, 2016
本研究探索了双向的神经网络结构和基于顶部反馈的推理方式,通过将神经元作为具有二次能量函数的整流潜变量,它可以被视为分层整流高尔基模型,并展示了其在具有挑战性的关键点本地化任务上的领先表现。
Jul, 2015
卷积神经网络是建模视觉皮质神经元转移函数的最先进方法。这篇论文发现,与参数匹配的标准卷积神经网络相比,非局部网络或自注意机制在整体调谐曲线相关性和调谐峰值这两个关键度量上可以提高神经响应预测,并且可通过分解网络确定每个上下文机制的相对贡献,揭示了局部感受野中的信息对于模拟整体调谐曲线最为重要,而周围信息对于表征调谐峰值至关重要;并且在学习过程中自注意力可以取代后续的空间整合卷积,与全连接输出层相结合,两种上下文机制相辅相成;最后,学习以接受感受野为中心的自注意模型,在逐步学习全连接输出之前,能够提供更具生物学现实性的中心 - 周围贡献的模型。
Jun, 2024
使用变分贝叶斯方法和后向传播裁剪算法等对循环神经网络进行训练,大幅降低了参数数量和提高了贝叶斯逼近性能。在语言建模和图像描述等任务中,贝叶斯循环神经网络优于传统循环神经网络。
Apr, 2017
探讨了深层次的生成模型,其中计算是既反复又随机的,但循环不是为了模拟顺序结构,而是为了执行计算,并提出了一种简单的前馈计算方法,可用于推断,使得循环神经网络非常接近网络动力学的固定点。
Jun, 2016