Mar, 2016

适应性计算时间的递归神经网络

PDF
TL;DR本文介绍了一种自适应计算时间（ACT）的算法，它使得循环神经网络能够在接收输入和输出之间学习要执行多少计算步骤。ACT 要求最少的网络架构变化，并且是确定性和可微分的，在不会增加参数梯度的噪声的情况下表现良好。实验结果证明，ACT 在决定二进制向量的奇偶性，应用二元逻辑操作，加法和对真实数字排序的四个综合问题上表现出了显着的性能改进。此外，本文还在 Hutter 奖 Wikipedia 数据集上展示了字符级别的语言建模结果，ACT 在该场景下性能提升不是很大，但是它提供了对数据结构的引人瞩目的见解，更多的计算分配给了难以预测的转换，比如单词之间的空格和句子结束。这表明，ACT 或其他自适应计算方法可能提供一种推断序列数据分段边界的通用方法。
发现论文，激发创造
  • 适应性与固定计算时间的递归神经网络比较

    本研究比较了 Adaptive Computation Time 和 Repeat-RNN 两种模型在变长序列任务上的性能表现，发现 Repeat-RNN 与 ACT 相比在该任务上表现良好，源码可公开获取。

    Mar, 2018

  • 可微分的自适应计算时间在视觉推理中的应用

    本文介绍了一种新颖的基于注意力机制的自适应计算算法，称为 DACT，与现有算法不同，是端到端可微的。该算法可以与许多网络配合使用；特别地，我们研究了其在广泛使用的 MAC 体系结构中的应用，使所需的循环步骤数量显著减少，从而改善了其性能与计算比率。此外，我们还表明，通过增加所使用的最大步骤数，即使在 CLEVR 数据集中也能超越我们最佳的非自适应 MAC 的准确性，证明我们的方法能够控制步骤数而不会显著降低性能。我们的方法提供的额外优点包括通过丢弃无用的步骤，并提供对底层推理过程的更多见解，从而显着提高了可解释性。最后，我们将自适应计算呈现为模型集成的等价形式，类似于专家混合配方。我们的实验代码和配置文件均可用于支持这一领域的进一步研究。

    Apr, 2020

  • GACT: 通用网络结构激活压缩训练

    本文提出了 GACT，一种用于支持各种神经网络结构的 ACT 框架，旨在减小训练内存占用。通过分析 ACT 的近似梯度的线性化版本，我们证明了 GACT 的收敛性，而且不需要关于操作符类型或模型架构的先验知识。此外，我们提出了一种算法，通过估计每个张量对梯度的影响来决定压缩比率，以保证训练的稳定性。GACT 作为 PyTorch 库的实现，可用于卷积神经网络，transformers 和图神经网络，在使用 8.1 倍的较小的激活存储器减少训练内存占用，并且在几乎没有精度损失的情况下可以进行 4.2 到 24.7 倍的大批量训练。

    Jun, 2022

  • DACT-BERT: 适应性可微分计算时间的高效 BERT 推理

    本文提出了 DACT-BERT，一种用于增加自然语言处理的计算效率的自适应计算时间策略，该策略通过控制 Transformer block 的数量来改善 BERT 模型的计算效率。实验结果表明，相较于基线模型，DACT-BERT 在减少计算资源的情况下表现出色，并在其他计算资源受限的情况下也具有竞争力。

    Sep, 2021

  • 自适应计算的推理学习

    本文说明自适应计算对于学习不同难度样例所需推断步骤的有效性，且学习正确推断步数是困难的；还介绍了首个涉及自适应计算时间的模型，不仅在与没有自适应部分的类似模型相比性能更佳，还能深入理解模型的推理过程。

    Oct, 2016

  • 弹性输入序列的自适应计算

    本研究通过使用 “tape token” 实现了神经网络的动态计算，通过对图像识别任务的实验表明了这种方法的有效性。

    Jan, 2023

  • 自适应计算模块：高效推理的细粒度条件计算

    为了降低 Transformer 模型的计算成本，本文引入了自适应计算模块 (ACM)，它根据每个输入上的估计难度动态调整计算负载，通过用 ACM 替换层，显著降低了推理成本且不降低下游准确性。

    Dec, 2023

  • RepAct: 可重参数自适应激活函数

    为了满足物联网和边缘计算中高效人工智能的需求，本研究提出了 RepAct，这是一个可以重新参数化的自适应激活函数，专为在边缘设备的计算限制下优化轻量级神经网络而设计。通过采用可学习的自适应权重的多分支结构，RepAct 丰富了特征处理并增强了跨层解释性。在图像分类和目标检测等任务上进行评估时，RepAct 在轻量级网络中表现出色，对于 ImageNet100 数据集的 MobileNetV3-Small，准确率提升高达 7.92％，同时保持与 HardSwish 相当的计算复杂度。这种创新方法不仅最大程度地提高了模型参数效率，还显著改进了轻量级神经网络的性能和理解能力，展示了在实时边缘计算应用中的潜力。

    Jun, 2024

  • 减少大型 Transformer 模型中的激活重新计算

    本文通过降低激活记录的方法展示了如何显著加速大型 Transformer 模型的训练，并介绍了两种新颖且非常简单的技术：序列并行和选择性激活重算，这些技术几乎消除了重新计算激活的需要，同时减少了超过 90% 的执行时间开销和 5 倍的激活存储器减少。

    May, 2022

  • 通过 2 位激活压缩训练减少训练内存占用的 ActNN

    本文提出了一种名为 ActNN 的基于随机量化激活值实现的内存高效训练框架，该框架针对神经网络训练过程中内存不足的问题，利用分层、分维度、分样本的异质性进行多样化的量化，以达到减小内存占用和缩短训练时间的目的，Empirically 验证了 ActNN 的有效性，并表明其不会带来过大的精度损失。

    Apr, 2021