Nov, 2020

集成智慧：提高深度学习模型的一致性

PDF
TL;DR本文研究了部署模型的周期性重新训练对模型行为的影响，从而定义了学习模型的一致性和正确性一致性，并证明了集成学习器的一致性和正确性一致性不低于个体学习器的平均一致性和正确性一致性。最后，提出了一个高效的动态快照集成方法，并使用三个数据集和两个先进的深度学习分类器验证了理论。
deep learningclassifierstrustconsistencysnapshot ensemble method
发现论文，激发创造
  • 利用专家一致性提高算法决策支持能力

    探讨了历史专家决策在机器学习中的应用，结合基于影响函数的方法，提出了训练时标签合并的方法，以及通过混合和推迟模型来利用推断的一致性，并以儿童虐待热线筛选为背景，证明所提出的方法可以显著提高高风险案件的预测准确率。

    Jan, 2021

  • 超越准确性：通过测量误差一致性来量化 CNN 和人类的逐试行为

    提出了一种基于 Trial-by-Trial 误差一致性的定量分析方法，可以区分决策者（大脑或算法）的处理策略，在对象识别方面，人类和机器视觉之间仍存在巨大的差异。

    Jun, 2020

  • 扩散模型中一种一致性训练的数学理论

    一步采样的连贯性模型在训练阶段中具有良好的实证效果，通过训练一系列连贯性函数，能够将扩散过程的任何时间步骤的任意点映射到其起始点，其理论基础表明，为了生成与目标分布在 ε 接近程度内的样本，连贯性学习的步骤数应超过 d^5/2/ε，其中 d 为数据维度，这一理论为连贯性模型的有效性和实用性提供了深入洞察，从而启示其在下游推理任务中的实用性。

    Feb, 2024

  • 一致性预测的选择性集成

    通过引入选择性集合来减轻模型的不一致性，使用随机选定的起始条件训练一组模型的预测上执行假设检验；在这些情况下，选择性集合可以放弃不一致预测结果并在指定的置信水平下达成一致结果，多个基准数据集上展示出零一致性预测点和低至 1.5％的放弃率。

    Nov, 2021

  • 液体集成选择用于持续学习

    连续学习旨在使机器学习模型能够在数据分布不断变化的情况下不忘记已学知识。通过训练集合中的每个成员于不同相关子集，使整个集合相比于单纯模型能够获得更高准确率且遗忘更少的问题。我们解决了在给定数据上选择哪些模型应该学习，哪些模型应该进行预测的问题。通过借鉴委托投票的工作，我们开发了一种用于动态选择集合中活动模型的委托算法。我们探讨了各种委托方法和性能指标，最终发现在面对分布变化时，委托能够显著提高性能，优于单纯学习。

    May, 2024

  • 训练一致性模型的改进技术

    一步法生成模型中的一种家族为一次生成高质量数据提供了新的方法，通过改进的一致性训练技术，该研究提出了克服预训练模型局限性以及避免评估偏差的方法，并在 CIFAR-10 和 ImageNet 数据集上表现出了显著的改进。

    Oct, 2023

  • 无标签数据有多种一致的解释：为什么您应该平均

    研究了半监督学习中的一种基于一致性正则化的方法，提出使用随机权重平均和快速随机权重平均来加速模型的训练，达到了最先进的结果

    Jun, 2018

  • 随机深度学习算法的集成鲁棒性和泛化能力

    本研究探讨深度学习算法为何能很好地泛化，进一步提出了针对假设强度的鲁棒性方法 —— 集成鲁棒性，并发现只要随机算法对于对抗性扰动的敏感性受到训练样本均值的限制，它就能很好地泛化，而本文提供的大量模拟验证了集成鲁棒性和泛化能力之间的强相关性。

    Feb, 2016

  • 公平分类中的方差、自一致性和任意性

    本文介绍了一种关于在公平分类中使用集成算法，解决分类结果不稳定导致任意性和观点关于公平性的不可靠等问题。实验结果表明，我们的方法可以显著降低子组误差率差异，无需使用常见的公平性干预措施。

    Jan, 2023

  • 神经网络及其衍生领域的知识一致性

    本文旨在分析预训练深度神经网络之间的知识一致性，并提出了一个泛化定义。方式是设计了一种任务不可知的方法来解开每个神经网络的原始中间层特征和表示一致知识的特征组成部分。这项工作可以用于不同应用，例如调整预训练网络以提高性能并解释基于知识蒸馏和网络压缩等深度学习技术成功的原因。

    Aug, 2019