Mar, 2024

神经网络中的条件计算：原理与研究趋势

PDF
TL;DR这篇论文总结了将条件计算方法应用于神经网络设计的新兴领域的原理和思想，特别关注可以根据输入动态激活或停用计算图的部分的神经网络。论文介绍了三种显著的实现方法：专家混合网络，令牌选择机制和提前终止神经网络，并分析了这些模块化设计在效率、可解释性和迁移学习方面的优点，重点关注从自动科学发现到语义通信等新兴应用领域。
conditional computationneural networksdynamic selectionmixture-of-experts networksearly-exit neural networks
发现论文，激发创造
  • 神经网络中的条件计算以加速模型

    本研究利用强化学习作为优化条件计算策略的工具，通过使用策略梯度算法，以求得在计算速度上做到简约化激活且保持预测准确性的最优策略，并提出了鼓励样本多样化的正则化机制以实现机器学习模型在计算速度上的加速。

    Nov, 2015

  • 庞大的神经网络：稀疏门控专家混合层

    本文介绍了一种名为 Sparsely-Gated Mixture-of-Experts layer 的新型条件计算方法，通过使用该方法在语言建模和机器翻译等任务中获得比现有技术更好的结果，而只需在计算效率方面付出少量代价。

    Jan, 2017

  • 深度学习中条件计算的容量与计算比例呈指数级增长

    该论文提出了一种新颖的神经网络权重矩阵参数化方法，通过激活一些参数和计算 “按需” 地在每个样本上进行，从而可以提高参数数量与计算之间的比率，以提高深度神经网络的泛化能力，并且通过树状结构的参数化方式，进一步控制过拟合。

    Jun, 2014

  • 模块化网络：学习分解神经计算

    本研究提出了一种基于条件计算的灵活选择神经模块的训练算法，该算法能够提高深度学习中的模型容量而不需要过多的计算资源和训练时间，并且在图像识别和语言建模任务中实现了比现有方法更好的性能。

    Nov, 2018

  • 深度神经网络中条件前馈计算的低秩近似

    本文研究深度神经网络中的可扩展性问题，提出了一种条件计算的方法，利用门控单元来确定节点何时进行计算，通过将权重矩阵分解成低秩逼近，能够有效地获得非线性激活前的正负号，在使用 ReLU 激活函数时，能够跳过一些节点的计算，加速稀疏神经网络的运行。实验结果显示，这种方法在 MNIST 和 SVHN 数据集上的性能稳健，对于条件计算过程引入的误差具有较好的鲁棒性。

    Dec, 2013

  • 任务感知增量学习的条件通道门控网络

    该研究通过为卷积层添加任务特定的门控模块，并使用稀疏性目标促进对有限内核集的选择，提出了一种解决序列学习问题的新框架，实现了在没有任务标签信息的情况下的持续学习，该模型的准确度明显优于现有方法。

    Mar, 2020

  • 自适应计算模块：高效推理的细粒度条件计算

    为了降低 Transformer 模型的计算成本，本文引入了自适应计算模块 (ACM)，它根据每个输入上的估计难度动态调整计算负载，通过用 ACM 替换层，显著降低了推理成本且不降低下游准确性。

    Dec, 2023

  • 具有动态计算图的深度学习

    介绍了一种称为 “dynamic batching” 的技术，它可以通过组合块来简化动态图形模型的创建，并支持各种不同类型的输入图形的批处理实现。

    Feb, 2017

  • 具有条件计算的神经网络的记忆容量

    研究神经条件计算的基本限制和记忆能力，展示条件 ReLU 网络可以用更少的算术操作完成相同任务，还介绍了一种将无条件网络合成为条件网络的有效方法。

    Mar, 2023

  • 网络级联中计算的自发出现

    该研究证明了阈值网络中的复杂布尔函数计算是自发发生的，它们通过逻辑自动机的形式表现为计算级联。研究还发现抑制的最佳分数与计算神经科学中的最优信息处理相关。

    Apr, 2022