跨针织网络的多任务学习
提出一种新的多任务学习架构,即跨连接卷积神经网络,它通过卷积层连接单任务 CNN,在不同的数据集上实现检测和分割,并在行人和野生鸟类数据集上进行实验,表明该方法可以学习通用表征并显著提高检测性能。
May, 2018
本文重新审视和扩展了模型拼接的方法,通过将训练好的两个模型 A 和 B 底层连接到顶层,并在它们之间加入一个简单的可训练层来形成一个 “拼接模型”,揭示了多方面的表示属性。通过大量实验证明,“好” 的网络学习相似的表示,更多的数据,更大的宽度或更多的训练时间可以 “插入” 到较弱的模型中以提高性能。此外,我们还展示了 SGD 的一个新的结构特性,称为 “缝合连接”,类似于模式连接,SGD 达到的典型最小值可以通过最小的精度变化缝合在一起。
Jun, 2021
StitchNet 是一种新的神经网络创造范例,它能够将来自多个预训练神经网络的碎片(一个或多个连续的网络层)拼接在一起,使用 CKA 作为兼容性度量,以在特定的精度需求和计算资源限制下,有效地指导这些数据片段的选择,并实现可与传统训练网络相媲美的精度,同时使用计算资源和数据量的一小部分,从而探索了一种新的即兴个性化模型创建和推断应用。
Jan, 2023
本文提出了一种基于深度学习技术的多任务网络,将配准和分割任务相结合,并在适应性放射治疗中进行评估和测试,结果表明该方法在配准和分割任务上具有优异性能和推理速度,为放疗的重构和再造提供了有希望的候选方案。
Apr, 2020
本文通过利用 Dr. Frankenstein 工具集来分析深度神经网络的相似性,尝试匹配由两个已经训练好的模型中给定层的激活,通过使用一个拼接层将它们合并起来。我们证明了即使只有一个单一的仿射拼接层,具有相同结构但不同初始化的卷积神经网络中出现的内部表示仍然可以以令人惊讶的高精度进行匹配,同时我们也从任务的角度提供了关于神经网络相似性指数的新视角。
Oct, 2021
本文提出一种名为 AssembleNet 的方法,通过进化算法自动发现连接更好、时空交互更强的神经网络结构,以达到更好的视频理解效果。该方法在公共视频数据集上优于以往的方法,尤其是在 Charades 数据集上,58.6% 的 mAP 表现尤为出色。
May, 2019
提出了一种 Scalable 并有效的框架来对预训练神经网络进行动态准确率 - 效率权衡的组装,该方案称为 Stitchable Neural Networks(SN-Net);该方案在 ImageNet 分类任务中取得了与已训练网络相当甚至更好的表现,并支持多种部署场景。
Feb, 2023
本文提出了一种新颖的跨模态卷积神经网络(X-CNNs),通过在更大规模的网络拓扑中处理梯度下降专用的 CNN,允许在网络的类似隐藏层之间进行无限制的信息流和 / 或权重共享,具有很好的泛化能力,最终表现优于标准 CNN 和 FitNet4 架构,特别在稀疏数据环境中表现更佳
Oct, 2016