Dec, 2023

使用内部状态，无限制连接和离散激活训练神经网络

PDF
TL;DR正在这篇论文中，我们尝试设计一种机器学习算法，用于具有二元激活和单个权重矩阵的架构，并展示它能够形成自然语言文本的有用表示，但在利用大量训练数据方面存在限制。我们提供了改进该算法和设计类似架构的其他训练算法的想法，并讨论了找到有效的训练算法可能带来的潜在益处，并建议进行实验来评估这些益处是否存在。
machine learninginternal statetraining algorithmbinary activationsnatural language text
发现论文，激发创造
  • 使用误差反向传播学习神经网络架构

    研究了深度神经网络中参数数量的问题，提出了一种可学习的三态 ReLU 参数和一个平稳的正则化方法，通过减少不必要的神经元，可以在不影响预测准确性的情况下显著减少参数数量。

    Nov, 2015

  • 神经网络的迷人特性

    本论文在研究深度神经网络的高层特性时，发现高层单元与随机线性组合之间没有明显差别，并得出神经网络学习的输入输出映射具有不连续性以及网络可被微小扰动误分类等结论。

    Dec, 2013

  • 深度学习与神经科学的集成

    本文考虑在神经科学和机器学习之间建立联系，提出脑部通过优化各式各样的代价函数来实现数据高效学习和定向行为，其中包括关注、递归等结构体系和各种形式的短时和长时记忆存储，作者提出了未来神经科学试图改进和检验这些假设的方向。

    Jun, 2016

  • 深度学习的最优控制方法及其在离散权重神经网络中的应用

    本研究提出了一个基于离散时间最优控制问题的深度学习训练算法 (MSA)，通过约束权重在离散集合内来实现神经网络的训练，获得了具有竞争力表现的分类结果和非常稀疏的三值网络权重，这有助于在低内存设备上进行模型部署。

    Mar, 2018

  • 深度学习系统作为复杂网络

    该文章使用复杂网络中常用的技术研究了深度置信网络，以期获得从学习过程中得到的计算图的结构和功能特性的一些见解。

    Sep, 2018

  • 学习激活函数以提高深度神经网络性能

    使用自适应激活函数，设计了一种用于改进深层神经网络架构的分段线性激活函数，并在 CIFAR-10 等数据集上取得了最先进的表现。

    Dec, 2014

  • 学习神经网络的不合理有效性：从易于访问的状态和稳健集合到基本算法方案

    研究了具有离散权重的人工神经网络中学习过程的优化，提出了一种被称为 “鲁棒集合” 的新量度来抑制被隔离的配置所困住，并分析了稀有但极度密集和可访问的网络配置区域的存在。为解决此问题，提出了一个算法方案来定义目标，并证明了该算法在从驱动分配的稠密状态中提取信息时的有效性。

    May, 2016

  • 神经网络想象的可视化

    通过用循环神经网络 (RNN) 架构和解码器对网络的中间表示进行训练来可视化网络代表的环境状态，提出定量解释性指标并证明隐藏状态在简单任务上具有较高的可解释性，同时开发自编码器和对抗技术并展示其对解释性的好处。

    May, 2024

  • 利用结构化背景知识和演绎推理理解 CNN 隐藏神经元激活

    解释性人工智能中的一个重要挑战是如何正确解释隐藏神经元的激活：准确的解释可以揭示深度学习系统在输入上检测到的相关信息，解密了深度学习系统的黑盒特性。本文提供了一种基于大规模背景知识和概念归纳的符号推理方法的研究，旨在自动推断和验证隐藏神经元激活的解释，结果表明我们可以自动将背景知识的有意义标签附加到卷积神经网络的密集层的个体神经元上。

    Aug, 2023

  • 离散神经算法推理

    我们提出了一种神经推理器的架构选择，强制其将执行轨迹视作有限预定义状态的组合，通过对算法状态转换进行监督训练，以实现与原始算法的完美对齐，并在 SALSA-CLRS 基准测试中获得了完美的测试分数，同时使得我们能够证明对于任何测试数据，所学算法的正确性。

    Feb, 2024