深度学习中的模块化原则及其应用领域的回顾和未来研究方向。
Oct, 2023
该论文探讨神经网络的组成特性以及地位，提出了一种基于模块化的网络结构，利用预定的角色将模块拆分，同时提供对模块崩溃问题的解决方案，提高了整个网络的鲁棒性和解析准确性。
Jun, 2023
通过模块性和超网络的研究，我们证明了从有限数据中的元学习可以发现能够组合性地概括的模块化解决方案。
Dec, 2023
模块化是机器翻译的一种范例，具有在训练时模型变得庞大而在推断时变得小巧的潜力。在此研究领域中，模块化方法，尤其是注意力桥，被认为通过促进语言无关的表示来改善模型的泛化能力。本文研究了模块化对翻译质量的影响，以及模块化架构在不同评估场景下的泛化情况。在给定的计算预算下，我们发现非模块化架构在所有我们研究的模块化设计中始终可比或可优。
Apr, 2024
本文提出了一种学习一组神经网络模块并以不同方式组合的策略，并通过重复使用模块来实现组合概括，提高机器人相关问题的性能。
Jun, 2018
通过模块化设计并学习潜在的离散技能，该研究在多任务强化学习和少样本学习中实现了更高的样本效率和解释性。
Feb, 2022
本文研究为何在误定义环节下，模块化方法比完整模型更可取，并提出选择模块化和完整模型方法的原则标准。
Aug, 2017
通过渐进式的模块化增长，研究表明，模块化网络在记忆任务上具有更好的性能、更强的泛化能力和对某些扰动的鲁棒性，即使只有模块之间的连接被训练，结构拓扑引入的归纳偏置足够强大，使得网络在固定了模块内连接的情况下仍能表现良好，并且逐渐模块化增长的循环神经网络能够在进化时间尺度上学习越来越复杂的任务，并且有助于构建更可扩展且可压缩的人工网络。
Jun, 2024
本研究研究了通过模块化和数据增量方法对神经网络在基于自然语言语境的学习中实现系统化综合的影响，并发现具有认知过程至少两个模块的神经网络比非模块基线更容易通过扩充数据实现系统化综合。
通过深度学习架构的机械设计管道，我们提出了一种新的混合架构，通过集成多种计算基元，利用合成任务对性能进行测试，并验证其在计算和状态最优化方面的表现优于传统架构。
Mar, 2024