Oct, 2023

划分和集成：逐步学习未知情况

PDF
TL;DR我们提出了 DividE 和 EnseMble (简称 DEEM) 方法，用于逐步测试数据预测的小麦营养缺陷分类挑战，并通过将数据集分成不同日期的离散组来训练模型，并采用伪标签方法将高置信度的测试数据标记并纳入训练集，最终将各组的模型统一获得整个数据集的模型。该方法在 Deep Nutrient Deficiency Challenge 中获得了平均 93.6％的 Top-1 测试准确率（WW2020 为 94.0％，WR2021 为 93.2％）并荣获了第一名。
wheat nutrient deficienciesdeem methodprogressive test data predictionspseudo-labelingdeep nutrient deficiency challenge
发现论文，激发创造
  • 半监督学习的时间集成

    本文提出了一种用于在小部分标记的情况下训练深度神经网络的简单高效方法，采用自我模拟方案的集成预测来提高标签的未知性，从而使得在两个标准半监督学习基准测试中加快速度并实现更好的性能。

    Oct, 2016

  • 局部独立预测模型集合

    本文通过介绍新的多样性度量方法介绍了一种新的模型集成方法，该方法特别适用于数据限制和协变量转移，可显著提高模型的多样性和泛化性能。

    Nov, 2019

  • 设计新的集成学习算法的系统方法

    本研究通过重新审视集成学习中的误差分解方法，将其应用于神经网络作为基础学习器的集成学习算法的开发，利用最新的理论框架和方法，设计了 21 种新的集成算法，并证明了其中大部分方法在多样化数据集上具有优越的预测性能。

    Feb, 2024

  • 多样化合奏提高校准度

    本文探讨了在深度神经网络中使用集成学习以及数据增强等技术，以提高 CIFAR10 和 CIFAR100 基准数据集的准确率和校准度。

    Jul, 2020

  • 集成学习中的准确不确定性估计和分解

    本研究介绍了一种 Bayesian 非参数集成学习方法，利用不同噪声和错误源的 Bayesian 非参数机制，对现有集成学习模型进行改进，以充分量化模型的不确定性，并将整体预测不确定性分解为不同的部分，实现了在噪声和错误较多的情况下，对空气污染暴露的预测及模型的偏差检测。

    Nov, 2019

  • 使用自训练集成方法检测未标记数据上的错误并估计准确性

    本文提出了一个结合了模型集成学习和自训练的框架，用于解决深度学习模型在实际部署中遭遇训练数据分布不同的测试数据导致性能下降的问题，同时解决无监督准确度估计和错误检测两个挑战性任务，并在 59 项任务中取得了最优结果。

    Jun, 2021

  • 深度集成多样性用于外部分布检测的可用性

    深度学习中用深度集成方法提升神经网络的鲁棒性能，在大规模图片数据集中使用互信息指标 (OOD）的检测效果比单一模型的熵指标要劣 30-40%，使用集成多个分类器的检测得分对 Deep Ensemble OOD 检测性能有着更好的提升表现 。

    Jul, 2022

  • 从集成学习中学习时，多样性非常重要

    通过对集成方法进行扰动，可以增加模型多样性并提升性能。

    Oct, 2021

  • 多样化集成：众包机器学习实验

    通过竞赛平台的众包机器学习是一种流行且常见的方法，这篇论文开发了一种另类的众包框架来整合社区反馈，以解决群体不公平问题，并提供了关于部署这种框架的具体指导。

    Feb, 2024

  • 高效不确定性评估的紧凑集成

    通过使用 Packed-Ensembles 策略，增加结构性的轻型集合并使用分组卷积来提高训练和推理速度，以实现在标准神经网络的内存限制下的操作，从而保留 Deep Ensembles 的性质并在准确性，校准性，分布偏移的鲁棒性方面表现同样出色。

    Oct, 2022