ICMLJun, 2020

神经集成搜索用于不确定性估计和数据集偏移

PDF
TL;DR本文提出两种构建神经网络集合的方法，使用不同的体系结构，以细化预测结果并利用架构变化作为集合的差异性的来源，并在多个分类任务和现代架构搜索空间方面表现优于深度集成。
neural networksdeep ensemblesarchitecture variationuncertainty estimationensemble diversity
发现论文，激发创造
  • 超参数集合用于稳健性和不确定度量化

    通过设计对权重和超参数的模型集成来改进模型的性能，并提出了一种超参数深度集成和超批集成方法，能够在计算和存储成本方面比传统的集成方法更加高效，应用于 MLP、Lenet、ResNet 20 和 Wide ResNet 28-10 网络结构，达到了超越深度集成和批量集成的最佳性能表现。

    Jun, 2020

  • 通过多样性引导的搜索空间缩减进行一次性神经集成架构搜索

    通过提出一种一次性神经集成架构搜索解决方案，该方法使用多样的模型来提高模型的泛化能力和性能，并在 ImageNet 数据集上进行了测试，并与 MobileNetV3 和 EfficientNet 家族进行了比较，证明其在性能和泛化能力方面优于其他算法。

    Apr, 2021

  • 深度集成：一种损失景观的视角

    通过研究深度神经网络的损失函数平面的同构性，我们证明了深度集合优于贝叶斯神经网络在提高准确度和对数据集变化的鲁棒性方面，并发现随机初始化的权重可以探索不同的函数空间而产生更多样的结果。

    Dec, 2019

  • 自动化深度集成与不确定性量化

    AutoDEUQ 使用深度神经网络和超参数搜索自动生成神经网络集合，并使用方差法将预测方差分解为数据方差和模型方差，这种方法在许多回归基准测试中优于几种现有的不确定性量化方法。

    Oct, 2021

  • 使用深度集成实现简单且可扩展的预测不确定性估计

    本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

    Dec, 2016

  • 深度集成的效果如何，但它们是否必要？

    通过研究和实验证明，相比于单个深层神经网络，神经网络集成在识别度、不确定性量化和对数据集迁移的鲁棒性方面并没有显著提高，二者都能实现类似的性能和效益。

    Feb, 2022

  • 统一的概率神经架构和权重组合提高模型鲁棒性

    本研究提出了一种统一的概率架构与权重集成神经架构搜索方法，利用概率神经架构搜索和近似贝叶斯推理的进展，从神经网络架构和权重的联合分布生成集成模型，取得了较大的进步。

    Oct, 2022

  • 图像分类快速不确定性估计的深度子整体方法

    该论文提出了一种名为深度子集合（Deep Sub-Ensembles）的方法，通过仅对接近输出层的层进行集成，从而近似获得深度集合（Deep Ensembles）的模型不确定性， 在减少计算负担的同时，控制了误差和 NLL 的变化，来实现在误差和不确定性精度和计算性能之间的权衡。

    Oct, 2019

  • 基于贝叶斯抽样的神经集合搜索

    本文介绍一种名为 NESBS 的新型神经集成搜索算法，可从 NAS 搜索空间中有效且高效地选择表现优秀的神经网络集成，具有在实践中优于 NAS 算法的性能表现，而且与同类算法相比成本相当。

    Sep, 2021

  • 用预训练神经网络集成进行透射电子显微图像分割和质量检测

    本专业研究了机器学习在电子显微数据集分析中的应用问题，因为这种类型的数据集具有许多挑战，包括训练数据集大小限制、试样质量及实验条件的变化等。研究发现，使用 EA 方案的集合设计比 ER 方式更适合处理这些问题，因为 EA 表现出更好的分类精度和更好的校准性，而这两种集合的不确定性量化相当。

    Sep, 2022