该论文探讨神经网络的组成特性以及地位,提出了一种基于模块化的网络结构,利用预定的角色将模块拆分,同时提供对模块崩溃问题的解决方案,提高了整个网络的鲁棒性和解析准确性。
Jun, 2023
本文提出了一种学习一组神经网络模块并以不同方式组合的策略,并通过重复使用模块来实现组合概括,提高机器人相关问题的性能。
Jun, 2018
介绍了一种广泛适用的形式主义,即组合问题图,以解决机器学习中不利于推广的问题,提出了组合泛化问题并引入组合递归学习器,该框架适用于学习算法过程以组合表示转换,从而产生能够进行推理的学习器。
Jul, 2018
本篇论文从识别可表达性学习出发,将组合性视为数据生成过程的属性而非数据本身,并提出了仅取决于训练分布和模型架构的轻微条件,为组合泛化建立了理论框架,并验证了其应用于现实世界场景的结论,从而为组合泛化的原则性理论研究铺平了道路。
Jul, 2023
本文研究细致分析了组合学习中需要同时学习模块参数和它们的组合时所面临的挑战并探索了一种名为路由网络的解决方案,考察了该算法在模块组合决策、模块更新和正则化方面对结果的影响。
Apr, 2019
提出一种基于模块化体系结构和任务驱动的深度神经网络,能够在零样本情况下进行组合推理和分类,并在广义零样本分类问题上使用小模块优于现有方法。
May, 2019
对深度预训练模型进行微调最近揭示了其具有组合特性能力,从而使得多个专门模块能任意组合成一个多任务模型。本文通过对损失函数的二阶泰勒近似方法进行理论研究,试图揭示标准非线性网络中组合特性的奥秘,强调了处于预训练盆地内对于实现可组合模块的重要性,并提出了两种双增量训练算法:一种从多个独立模型进行训练的角度,另一种旨在优化整个组合模型。我们测试它们在增量分类任务中的应用,并突出了一些可贵的技能。实际上,增量学习的模块池不仅支持创建有效的多任务模型,还能够进行遗忘和特定任务的专门化。
May, 2024
本文提出了一种基于神经模块的组成式学习方式,探讨了在连续强化学习模型下的可重复利用子问题解决方案,并且通过离线重放经验保持表现以加速未来任务学习的累积神经组件复合持续强化学习方法。
Jul, 2022
本研究提出了一种基于条件计算的灵活选择神经模块的训练算法,该算法能够提高深度学习中的模型容量而不需要过多的计算资源和训练时间,并且在图像识别和语言建模任务中实现了比现有方法更好的性能。
Nov, 2018
提出通过遵循组成性原则来训练神经网络解决语言理解的挑战,并通用地应用于多种领域,进而提高机器人的安全性和公平性,所提出的网络能够显着提高自然语言理解能力,且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。
Aug, 2020