MaskConnect: 梯度下降学习连通性
本文提出了一种基于拓扑结构优化神经网络连接性的方法,通过为边分配可学习参数并施加稀疏约束,更聚焦有关键作用的连接,并获得在图像分类和目标检测等任务中的显著改善。
Aug, 2020
该研究提出了一种基于学习算法的多分支卷积神经网络模型,通过优化单一损失函数同时学习多个分支之间的连接关系,应用于多类别图像分类任务,取得优于同等学习能力的 ResNeXt 多分支网络的准确率。
Sep, 2017
本文提出了一种名为 Fully Dense Network 的密集连接网络结构,通过输入较少的参数,自动搜索适用于密集图像预测的高效网络体系结构,该体系结构具有较高的性能和竞争力,并适用于多种不同的图像预测任务。
Apr, 2019
本文提出了一种受图卷积网络启发的机器学习模型,针对基于扩散磁共振图像的脑连接性进行分类。该模型通过并行地使用具有多个头的图形卷积机制对脑连接输入图进行处理,并使用不同的头涉及图卷积来捕获输入数据的表示,证明了在两个公开数据集上比现有的机器学习算法展现出更高的性能,包括经典方法和 (图形和非图形) 深度学习。
May, 2023
通过渐进式的模块化增长,研究表明,模块化网络在记忆任务上具有更好的性能、更强的泛化能力和对某些扰动的鲁棒性,即使只有模块之间的连接被训练,结构拓扑引入的归纳偏置足够强大,使得网络在固定了模块内连接的情况下仍能表现良好,并且逐渐模块化增长的循环神经网络能够在进化时间尺度上学习越来越复杂的任务,并且有助于构建更可扩展且可压缩的人工网络。
Jun, 2024
本文研究细致分析了组合学习中需要同时学习模块参数和它们的组合时所面临的挑战并探索了一种名为路由网络的解决方案,考察了该算法在模块组合决策、模块更新和正则化方面对结果的影响。
Apr, 2019
本研究提出了一种基于条件计算的灵活选择神经模块的训练算法,该算法能够提高深度学习中的模型容量而不需要过多的计算资源和训练时间,并且在图像识别和语言建模任务中实现了比现有方法更好的性能。
Nov, 2018