Dec, 2022

将递归神经网络分解为模块以实现可重用性和替代性

PDF
TL;DR本文提出了一种将循环神经网络分解为模块化的方法，可以解决现有神经网络模型的缺陷，并且可以在不需要从头开始训练模型的情况下重用和替换这些模块，该方法通过 5 个标准数据集的评估发现，其准确率的下降仅为 0.6％而 BLEU 得分上升了 0.10％。
recurrent neural networkmodular decompositiondeep learningnatural language processingreusability
发现论文，激发创造
  • 压缩循环神经网络的张量分解

    本文通过使用多种张量分解方法对门控循环单元 RNN 进行再参数化，旨在减少参数数量并保持表达能力，研究表明，在序列建模方面，Tensor Train 表现最佳。

    Feb, 2018

  • 模块化网络：学习分解神经计算

    本研究提出了一种基于条件计算的灵活选择神经模块的训练算法，该算法能够提高深度学习中的模型容量而不需要过多的计算资源和训练时间，并且在图像识别和语言建模任务中实现了比现有方法更好的性能。

    Nov, 2018

  • 分层神经网络的模块化表示

    提出了一种新的基于网络分析的方法，通过检测具有相似连接模式的单元的社区或聚类，从分层神经网络中提取全局和简化的结构，并通过实验验证其有效性，从而实现了分解网络、训练评估和数据分析等目的。

    Mar, 2017

  • 神经网络学习中复杂性管理的一种手段：模块化

    提出一种模块化的神经网络设计方法，将神经网络分解为控制模块和多个实现基本操作的功能模块，以提高训练速度、训练稳定性和可维护性，并通过比较整体和模块化神经网络在排序问题上的表现来说明模块化概念，同时讨论了在模块化神经网络中出现的一些问题。

    Feb, 2019

  • 尝试模块化训练：一种新的模块化 DNN 模型的范式

    该论文提出了一种将模块化融入模型训练过程中来优化训练并使模型具有可重用性的方法，并在卷积神经网络模型上对其进行了评估。

    Jun, 2023

  • 情绪分类的循环网络反向工程揭示了线吸引子动力学

    本文利用动态系统分析工具来反向工程文本情感分类的循环神经网络，证明训练过的循环神经网络可以收敛到高度可解释、低维表示的固定点，并揭示循环神经网络内部存在近似线吸引子的机制以量化的方式解释循环神经网络完成情感分析任务的过程。此外，该机制在多个数据集和不同架构下仍然存在，呈现出令人惊讶的通用性和可解释性。

    Jun, 2019

  • 使用并行解释模型增强神经网络配置在细胞退化检测中的透明度

    通过使用平行模型研究循环神经网络的内部运行机制，我们揭示了循环神经网络（RNN）中存在的性能限制，并给出对未来设计 RNN 和类似类型神经网络有用的洞察。

    Apr, 2024

  • 基于循环神经网络的临床时间序列分析迁移学习

    探究深度循环神经网络的迁移学习，使用预训练的 RNN 对多变量临床时间序列进行建模，提取通用特征来建立新的任务分类器。结果表明，相比于特定任务的 RNN，使用预训练模型的特征更加稳健且通用，性能更好。

    Jul, 2018

  • 不断成长的大脑：递归神经网络中解剖和功能模块化的协同发展

    RNNs trained on compositional tasks can exhibit functional and anatomical modularity when applying brain-inspired modular training, leading to improved performance and potential applications in neuromorphic computing and enhancing interpretability of neural network architectures.

    Oct, 2023

  • LegoNN: 构建模块化编码器 - 解码器模型

    描述了 LegoNN 过程，它通过重新使用 decoder 模块来构建 encoder-decoder 结构，从而实现在各种机器翻译和语音识别任务中的重复使用，同时引入了一种模态不可知编码器来提高其可移植性。实验证明 LegoNN 模型的有效性。

    Jun, 2022