本文提出了一种新的堆叠自编码器模型 - 邻近信封嵌套堆叠自编码器集成模型(NE_ESAE),该模型使用邻近样本信封学习机制进行优化,采用多层迭代平均聚类方法生成具有层次结构信息的信封样本空间,然后在每个样本空间的层上进行嵌套自编码器(ESAE)的训练和特征减少与基分类器的分类,最终通过集成机制融合信封样本空间的每一层的分类结果,实验结果表明这种方法比传统的特征学习方法和代表性的深度自编码器有显着的性能优势。
Oct, 2022
本文提出两种构建神经网络集合的方法,使用不同的体系结构,以细化预测结果并利用架构变化作为集合的差异性的来源,并在多个分类任务和现代架构搜索空间方面表现优于深度集成。
Jun, 2020
通过提出一种一次性神经集成架构搜索解决方案,该方法使用多样的模型来提高模型的泛化能力和性能,并在 ImageNet 数据集上进行了测试,并与 MobileNetV3 和 EfficientNet 家族进行了比较,证明其在性能和泛化能力方面优于其他算法。
Apr, 2021
本文提出了一种称为 Structuring AutoEncoders 的神经网络,其可以使用弱监督形成结构化的低维空间,从而更有效地表示并分类数据。在基准图像数据集 MNIST、Fashion-MNIST、DeepFashion2 以及 3D 人体形状数据集上进行的实验表明,结构潜空间可以为进一步的分类任务和分类数据的有效选择的操作提供更高效的表征。
Aug, 2019
本文提出了 AdaNAS 算法,利用集成技术将神经网络组合成一组小型神经网络集合,并采用基于知识蒸馏的新技术,迭代地训练小型神经网络,取得了 CIFAR-10 数据集中可比较的结果和 CIFAR-100 数据集中的最佳结果。
Mar, 2019
本文介绍一种名为 NESBS 的新型神经集成搜索算法,可从 NAS 搜索空间中有效且高效地选择表现优秀的神经网络集成,具有在实践中优于 NAS 算法的性能表现,而且与同类算法相比成本相当。
Sep, 2021
本文介绍了一种新的训练技术 Anticipate, Ensemble and Prune (AEP),它基于权重集成的早期退出,旨在利用网络结构中的信息来最大化其性能。通过一系列全面的实验,我们展示了使用这种方法可以使平均准确性提高高达 15%,并且该方法在混合权重配置下,还可以通过内部修剪操作减少参数数量高达 41%,减少乘法和加法的数量 18%,并缩短推理所需的延迟时间 16%。
Jan, 2023
本研究提出了一种统一的概率架构与权重集成神经架构搜索方法,利用概率神经架构搜索和近似贝叶斯推理的进展,从神经网络架构和权重的联合分布生成集成模型,取得了较大的进步。
通过神经架构搜索,设计硬件受限的早退出神经网络(NACHOS),在考虑准确度和乘加操作数量的约束下,实现了主干和辅助分类器的联合设计,以在准确度和乘加操作数量之间取得最佳权衡。NACHOS 设计的模型具有与最先进的早退神经网络竞争力的结果。
Jan, 2024
该研究通过探究多种集成方法,包括超级学习器等,运用人工神经网络在图像识别任务中进行设计多个实验,并进一步研究了神经网络的过度自信现象及其对集成方法的影响,并在所有实验中发现超级学习器是表现最佳的集成方法。
Apr, 2017