Aug, 2023

用于鲁棒自监督表示学习的多样化独立子网络集合

PDF
TL;DR通过使用多个独立的子网络组成的集成模型来提高模型性能和可靠性，并通过新的损失函数鼓励模型之间的多样性，在保持计算效率的同时，有效地改善模型的不确定性估计。在计算机视觉、自然语言处理和基因组数据等多个领域的广泛实验中，我们的方法在预测可靠性方面取得了显著改善。
ensemblesneural networksdeep learningself-supervised trainingmodel uncertainty
发现论文，激发创造
  • 子网络集成

    本论文介绍了一种低成本框架用于构建子网络集合，通过从已训练的母模型中采样、扰动和优化子网络的方式形成子网络集合，研究发现该方法可以显著提高训练效率、参数利用以及泛化性能，同时最小化计算成本，通过利用深度神经网络的潜力来构建更好的系统。

    Nov, 2023

  • 剪枝和微调集成：使用稀疏独立子网络进行低成本的集成学习

    本文提出一种名为 “Prune and Tune” 的方法，通过剪枝单个神经网络的参数创建多个包含不同拓扑结构的成员作为集成，最终使得训练集成成员的代价明显降低同时准确率不降反升，主要应用于 CIFAR-10 和 CIFAR-100 数据集。

    Feb, 2022

  • 半监督学习的时间集成

    本文提出了一种用于在小部分标记的情况下训练深度神经网络的简单高效方法，采用自我模拟方案的集成预测来提高标签的未知性，从而使得在两个标准半监督学习基准测试中加快速度并实现更好的性能。

    Oct, 2016

  • 训练独立子网络以实现鲁棒预测

    本文介绍了一种新的方法，在单个模型的前向传递中免费实现了实现多个预测的好处，利用多输入多输出（MIMO）配置，可以使用单个模型的能力来训练多个子网络，从而提高模型鲁棒性，而不增加计算成本。

    Oct, 2020

  • 低数据迁移学习的深度集成

    本文探讨了从预训练模型中创建集成模型的不同方法，并提出了一种有效的算法来识别下游数据集的预训练模型子集。在 19 项下游任务中（视觉任务适应基准），即使从超过 2000 个预训练模型中进行选择，其实现了具有较低推理预算的最先进性能，并且在 ImageNet 变体上对分布转移具有更好的鲁棒性。

    Oct, 2020

  • 加权集成自监督学习

    本文使用数据相关加权交叉熵损失函数的框架，探索如何通过集成方法提高最近的自监督学习技术，实验证明我们的方法在 ImageNet-1K 的少样本学习中优于现有的 SSL 方法

    Nov, 2022

  • 深度神经网络集成防御欺骗攻击：集成多样性、准确性和鲁棒性

    本文阐述了集成学习的一些基本概念，研究了如何优化集成学习的多样性来对抗敌对攻击，并提供了一些算法来学习如何生成高精度的集成预测。

    Aug, 2019

  • 图像分类快速不确定性估计的深度子整体方法

    该论文提出了一种名为深度子集合（Deep Sub-Ensembles）的方法，通过仅对接近输出层的层进行集成，从而近似获得深度集合（Deep Ensembles）的模型不确定性， 在减少计算负担的同时，控制了误差和 NLL 的变化，来实现在误差和不确定性精度和计算性能之间的权衡。

    Oct, 2019

  • 超参数集合用于稳健性和不确定度量化

    通过设计对权重和超参数的模型集成来改进模型的性能，并提出了一种超参数深度集成和超批集成方法，能够在计算和存储成本方面比传统的集成方法更加高效，应用于 MLP、Lenet、ResNet 20 和 Wide ResNet 28-10 网络结构，达到了超越深度集成和批量集成的最佳性能表现。

    Jun, 2020

  • 深度集成：一种损失景观的视角

    通过研究深度神经网络的损失函数平面的同构性，我们证明了深度集合优于贝叶斯神经网络在提高准确度和对数据集变化的鲁棒性方面，并发现随机初始化的权重可以探索不同的函数空间而产生更多样的结果。

    Dec, 2019