Jan, 2024

k 胜出者全取模式集成神经网络

PDF
TL;DR基于 k 取胜神经元激活函数的合作集成神经网络（kWTA-ENN）是一种改进的集成方法，通过并行训练子网络并利用 k 取胜神经元激活函数，实现了专业化与知识共享的平衡，其在基准数据集上达到更好性能，例如 98.34％的 MNIST 测试准确率。
ensemblingcooperative ensemblemixture-of-expertskwta ensemble neural networksneural network
发现论文，激发创造
  • 通过 k-Winners-Take-All 提升敌对防御

    在神经网络结构中使用 k-Winners-Take-All 激活函数取代传统激活函数用以防御梯度攻击，该方法可用于现有的网络结构和训练方法，在白盒攻击下具有更好的鲁棒性。

    May, 2019

  • 使用 Loss 集合扩展神经网络的文本分类模型

    本文提出了一种基于集成技术的神经网络扩展，该神经网络具有集成损失函数用于文本分类并通过神经网络的梯度传播优化方法调整每个弱损失函数的权重，在多个数据集和不同程度的标签噪声下，与其他方法相比表现更好，具有较强的抗噪声能力。

    Nov, 2017

  • 神经网络知识蒸馏

    通过将一个 ensemble 中的知识压缩成单个模型的方法，我们可以显著提高基于 MNIST 数据集的模型性能并将这种方法应用于商业系统的声学模型，同时我们还提出了一种由专家模型和完整模型组成的新型 ensemble。

    Mar, 2015

  • 子网络集成

    本论文介绍了一种低成本框架用于构建子网络集合，通过从已训练的母模型中采样、扰动和优化子网络的方式形成子网络集合，研究发现该方法可以显著提高训练效率、参数利用以及泛化性能，同时最小化计算成本，通过利用深度神经网络的潜力来构建更好的系统。

    Nov, 2023

  • BatchEnsemble: 一种高效集成和终身学习的替代方法

    本文提出了一种名为 BatchEnsemble 的集成方法，其计算和内存成本比典型集成方法低得多，可以在多个设备上并行计算，具有较高的准确性和良好的不确定性，适用于终身学习任务。

    Feb, 2020

  • 为何多个网络头胜过单独一个：训练深度神经网络的多样集成

    本研究探讨了如何最佳地建立卷积神经网络的组合，比较了多种资源共享和差异性鼓励的策略，其中提出了 TreeNets 算法，最后通过端到端的训练以统一的损失函数获得比传统算法更高的准确率。

    Nov, 2015

  • MotherNets: 快速深度集成学习

    该研究提出 MotherNets 来解决深度神经网络集成中的训练成本和模型多样性问题，并在减少训练成本和提高模型精度方面取得了新的 Pareto 前沿。

    Sep, 2018

  • WASH：使用通信高效的权重重排，然后平均训练你的集成模型

    WASH 是一种新的分布式方法，用于训练模型集合以进行权重平均化，实现了最先进的图像分类准确性。

    May, 2024

  • 知识库三元组评分的神经分类器集成

    本文介绍了我们在 WSDM Cup 2017 的三元组评分任务中所采用的方法，该方法采用了多个神经网络分类器的输出，并使用监督式机器学习模型进行了组合。实验结果表明，我们提出的方法在三项指标中的一项（即 Kendall's tau）取得了最佳性能，并在其他两个指标（即准确度和平均分差）上表现出了竞争力。

    Mar, 2017

  • 贝叶斯与 PAC-Bayesian 深度神经网络集成

    贝叶斯神经网络通过学习模型参数的后验分布来解决认知不确定性问题。使用该后验进行抽样和加权网络，从而形成一个被称为贝叶斯集合的集合模型。相对于个别网络，深度集合可以受益于误差抵消效应，提高预测性能。本文论证了贝叶斯集合的抽样和加权方法并不适合增加泛化性能，因为它们无法实现误差抵消效应。相反，通过优化 PAC-Bayesian 泛化约束得到模型的加权平均值可以提高泛化性能。这种加权方法需要考虑模型之间的相关性，可以通过最小化串级损失来实现。PAC-Bayesian 加权方法增强了对相关模型和性能较低模型的稳健性，因此我们可以安全地添加来自同一学习过程的多个模型到集合中，而不是使用早停法选择单一的权重配置。本研究在四个不同的分类数据集上给出了实证结果，表明尽管计算代价较高，但来自文献中的最先进的贝叶斯集合并没有改进普通权重的深度集合，并且无法与通过优化串级损失的深度集合相匹配，后者还具有非空泛化保证。

    Jun, 2024