通过核函数配对学习模块化深度学习

May, 2020

通过核函数配对学习模块化深度学习

Modularizing Deep Learning via Pairwise Learning With Kernels

Shiyu Duan, Shujian Yu, Jose Principe

TL;DR本文提出了一种基于模块化学习的深度神经网络构造及优化方法，利用弱监督方法学习各模块之间的隐层特征，从而实现高效的标签利用，可实现 94.88% 的准确率，同时还具有模型设计和实现的简单性、可维护性和重用性，适用于迁移学习领域。

Abstract

By redefining the conventional notions of layers, we present an alternative view on finitely wide, fully trainable deep neural networks as stacked linear models in feature spaces, leading to a kernel machine interpretation. Based on this construction, we then propose a provably optimal modula

modular learning deep learning weak supervision label efficiency transfer learning

发现论文，激发创造

尝试模块化训练：一种新的模块化 DNN 模型的范式

该论文提出了一种将模块化融入模型训练过程中来优化训练并使模型具有可重用性的方法，并在卷积神经网络模型上对其进行了评估。

Jun, 2023

手术图像识别的模块化神经网络方法

深度学习应用在最近几年取得了很多成功，尤其是在计算机视觉领域，卷积神经网络取得了可靠的结果。而自我训练和模块化学习是解决数据访问、标注和问题复杂性的有效方法，能提高分类性能和数据标注分割的准确性。

Jul, 2023

多任务学习中的模块化技能组合

通过模块化设计并学习潜在的离散技能，该研究在多任务强化学习和少样本学习中实现了更高的样本效率和解释性。

Feb, 2022

模块化元学习

本文提出了一种学习一组神经网络模块并以不同方式组合的策略，并通过重复使用模块来实现组合概括，提高机器人相关问题的性能。

Jun, 2018

面向任务的模块化网络用于零样本组合学习

提出一种基于模块化体系结构和任务驱动的深度神经网络，能够在零样本情况下进行组合推理和分类，并在广义零样本分类问题上使用小模块优于现有方法。

May, 2019

模块化网络：学习分解神经计算

本研究提出了一种基于条件计算的灵活选择神经模块的训练算法，该算法能够提高深度学习中的模型容量而不需要过多的计算资源和训练时间，并且在图像识别和语言建模任务中实现了比现有方法更好的性能。

Nov, 2018

一次参数训练，多任务学习与迁移学习

本文介绍了一种基于小参数集合的深度神经网络迁移学习和多任务学习的新方法，通过调整网络中的特定组件使其适应不同任务，以达到在多个任务中共享参数并且性能表现良好的目的。

Oct, 2018

分层神经网络的模块化表示

提出了一种新的基于网络分析的方法，通过检测具有相似连接模式的单元的社区或聚类，从分层神经网络中提取全局和简化的结构，并通过实验验证其有效性，从而实现了分解网络、训练评估和数据分析等目的。

Mar, 2017

ResNet 能高效地学习什么，超越核心卷积？

该研究表明，多层神经网络通过不同层进行分层学习，缩小了与 “单次学习” 算法（如核方法）相比的样本复杂度，而这种思想与 “反向特征校正” 过程一起，又加深了深度网络的理论基础，同时也证明了 ResNet 相对于其他学习方法具有计算复杂度上的优势。

May, 2019

使用受监督的卷积核网络进行端到端核学习

本文提出了一种基于多层核机的图像表示方法，并通过监督学习来调整核的形态。该方法构建了一种新的卷积神经网络，在一些深度学习数据集上取得了良好的分类表现，表明了该方法在图像相关任务中的应用价值。

May, 2016