ICMLJul, 2022

提高泛化性能的特征提取器后训练

PDF
TL;DR该研究开发了一种训练算法：后特征提取器，该算法可更新已经训练好的深度模型的特征提取器部分，以搜索更平的最小值，通过对高层参数空间的参数扰动进行训练，提高了模型在 CIFAR-10、CIFAR-100 和 SVHN 数据集上的表现。
发现论文，激发创造
  • 神经网络训练中异常特征的理解和最小化

    深入研究在神经网络训练中为什么会出现异常特征（Outlier Features），如何最小化它们的影响，并提出了预防措施，包括量化指标、架构选择、信号传播控制等。

    May, 2024

  • 相对平坦度感知的最小化（FAM）

    通过引入一种相对平坦度度量方法，本研究提出一种新的正则化器，该正则化器易于计算、快速高效，适用于各种损失函数，可以在单层网络上计算海森矩阵，提高模型的泛化性能，有效避免了损失曲面映射的昂贵代价。

    Jul, 2023

  • 深度学习优化领域中的低通滤波式 SGD 用于恢复平坦极值

    研究深度学习模型的损失函数梯度下降优化算法，发现低通滤波器滤波后的测量值与 DL 模型的泛化能力最为相关，提出一种基于低通滤波器的优化算法 LPF-SGD，通过梯度与卷积计算实现，与常见的 DL 训练方法相比，该算法在实验中表现出更好的泛化性能，理论上也证明 LPF-SGD 比 SGD 收敛到更好的最优点并具有更小的泛化误差。

    Jan, 2022

  • 基于神经网络的机器学习中的最佳特征缩放

    该论文提出了一种新的方法，利用遗传算法对输入特征进行最佳重新缩放，从而提高前馈神经网络的训练效率和泛化性能，并通过多次尝试初始化第一层权重，实现了全局搜索算法，从而促进了全局最小值的实现。

    Feb, 2024

  • 基于强凸性引导的超参数优化方法用于更平缓的损失函数

    我们提出了一种新颖的白盒方法来进行超参数优化，通过最小化损失函数的强凸性来改善其平坦性，利用神经网络的结构推导出近似求解强凸参数的闭式方程，并随机搜索使其最小化的超参数配置，通过在 14 个分类数据集上的实验，我们展示了我们的方法在运行时间的一小部分下取得了强大的性能。

    Feb, 2024

  • 机器学习算法的超参数空间

    通过进行大规模的 1,500 个超参数与损失地形分析，研究揭示了机器学习模型中超参数和预测损失之间相互作用的关键要素，对多精度和迁移学习方法的成功提供了基础证据，并开发了专门的分析框架来促进对更广泛的 AutoML 任务的基本理解。

    Nov, 2023

  • 渐进特征优化网络在显著目标检测中的应用

    我们提出了一种简单而有效的渐进式特征磨光网络（PFPN）框架，通过多个特征磨光模块（FPM）逐步磨光多级特征以获得更准确、更具代表性的前景检测结果，而且不需要后处理。该方法能够检测出具有精细细节的显著对象，而且具有灵活性，可以集成到任何基于 CNN 的模型中。该方法在五个基准数据集上取得了显著的最优结果。

    Nov, 2019

  • 通过 C-Flat 增强持续学习

    通过连续学习方法中的权重损失景观锐度最小化，本研究提出了一种适用于连续学习任务的 C-Flat 方法，可以在几乎所有情况下提高模型性能。

    Apr, 2024

  • 面向外部分布检测的最佳特征塑造方法

    特征整形方法用于提高模型在不同类别外样本检测方面的性能，本研究提出一种抽象的优化框架和具体的基于分段常数形状函数的特征整形方法，通过仅利用内部数据，优化该函数，从而在多种数据集和模型架构上提高了模型的泛化能力。

    Feb, 2024

  • 熵梯度下降算法与宽平坦最小值

    论文讨论了神经网络的经验风险景观的平坦极小值的特性，提出了增加最大平坦度算法，可以得到更好的分类效果。

    Jun, 2020