Aug, 2024

用更少的方法实现更多：一种基于张量优化的集成方法

HTML
PDF
TL;DR本研究解决了如何在有限的基本学习者下仍能实现高性能的问题。提出了一种创新的信心张量，能够提升每个弱基本学习者的整合效率，从而在较少的基本学习者的情况下实现更优的分类性能。研究表明，该方法在多个数据集上优于其他传统算法，具有显著的应用潜力。
发现论文，激发创造
  • 盲目多类集成分类

    本研究介绍了一种基于联合张量和矩阵分解的动态匹配方法，旨在实现从多个分类器集合中无损学习。该方案效果得到了在真实和合成数据集上的评测。

    Dec, 2017

  • 神经网络集合中的多样性和泛化

    本文研究了集成技术在机器学习中的广泛应用，特别是在神经网络中多样性的确切角色、如何衡量它以及它如何促进神经网络集成算法的研究。在三种常用的损失函数和两种常用的模型组合策略的基础上，通过神经网络集成进行了实证验证。

    Oct, 2021

  • 剪枝和微调集成：使用稀疏独立子网络进行低成本的集成学习

    本文提出一种名为“Prune and Tune”的方法，通过剪枝单个神经网络的参数创建多个包含不同拓扑结构的成员作为集成，最终使得训练集成成员的代价明显降低同时准确率不降反升，主要应用于CIFAR-10和CIFAR-100数据集。

    Feb, 2022

  • 利用加权平均和多样化扰动改进集成蒸馏

    该论文介绍了一种基于权重平均技术和扰动策略的集成神经网络蒸馏方法，有效地将多个教师网络的功能多样性吸收到一个适合资源受限环境中使用的学生网络中，并在多个图像分类任务上显著提高了性能。

    Jun, 2022

  • 集成学习中的多样性统一理论

    本论文提出了一种集成多样性理论，阐明了多样性的本质及对各种监督学习场景的影响，揭示了多样性是集合偏差方差分解中的一个隐含维度，同时提供了一种自动识别可使偏差方差多样性分解成立的组合规则的方法。在此基础上，实验进一步说明了我们可以用该框架来理解当前流行的集成方法。

    Jan, 2023

  • 在线张量学习：计算和统计权衡，适应性和最优遗憾

    本文提出了一种在线低秩张量恢复的概括性框架，包括线性和广义线性模型，特别地，在线张量补全和在线二进制张量学习的应用中，通过在线黎曼梯度下降算法实现了线性收敛并在所有应用程序中恢复了低秩分量，还在在线张量回归方面进行了悔恨分析，通过数值结果验证了理论结论。

    Jun, 2023

  • 利用组件分类器的线性独立性：优化在线集成的大小和预测准确性

    通过线性独立性分析研究集成大小和分类准确度之间的关系，提出了基于该关系的集成大小的方法。实证结果表明增加分类器数量提高准确度，但存在收益递减点。该研究为进一步研究集成设计的复杂动态提供了开拓途径，并为实际场景中构建高效有效的集成提供了指导。

    Aug, 2023

  • 高效的张量回归决策树

    本研究解决了标量对张量和张量对张量回归问题的不足之处，提出了一种新的张量输入树（TT）方法。通过快速的随机和确定性算法，TT在标量对张量回归中表现出色，与张量输入高斯过程模型相竞争，并通过添加树集成方法扩展到张量对张量问题，展现出优越的性能。

    Aug, 2024

  • 用更少的资源实现更多：基于张量优化的集成方法

    该研究解决了在集成学习中，如何用较少的基学习器达到通常需要大量基学习器的性能这一问题。通过引入置信张量来评估基学习器在不同类别上的表现，并设计平滑的凸目标函数，大幅提升了分类性能和泛化能力。研究表明，该方法在数量较少的基学习器条件下，能获得优于传统大规模算法的结果。

    Aug, 2024

  • 动态后处理神经集成器

    本研究针对传统集成方法在权重固定情况下的局限性，提出了一种新颖的动态神经集成方案，通过随机丢弃基模型预测来提升多样性并减少过拟合。实验表明，该方法在计算机视觉、自然语言处理和表格数据中的表现优于传统基线，提升了模型的泛化能力。

    Oct, 2024