Jun, 2016

自适应学习：一种隐式正则化的视角

PDF
TL;DR本论文研究了一个新的自适应学习方法 —— 自适应隐式规则化器，并提出了用于该方法的通用框架。该框架使用基于凸共轭理论的隐式损失函数学习最小化函数，从而能够更好地权衡避免过拟合和学习难度逐渐加大之间的关系。同时，研究还发现该方法与半二次优化方法的关系，并通过实验验证了其正确性和有效性。
self-paced learningminimizer functionimplicit regularizerrobust loss functionhalf-quadratic optimization
发现论文，激发创造
  • 自主学习的目标到底是什么？

    本研究证明了自适应学习（Self-paced learning）中的求解策略符合最大化最小化算法的实现方法，并发现其中包含的损失函数类似于统计学和机器学习中已知的非凸正则化惩罚（NSPR），如 SCAD、LOG 和 EXP。通过这些发现，揭示了在弱标记大规模数据处理任务中，本文设计的组偏序损失先验对 SPL 的有效性具有重要贡献且达到了业界最优效果。

    Nov, 2015

  • 关于隐式自定步骤目标的收敛性质

    本文验证了自主学习与内隐目标函数之间的内在关系，并确证了自主学习对于图像识别和模式识别中的鲁棒性分析是完整且理论上合理的。

    Mar, 2017

  • 人员再辨识的深度自适应学习

    使用深度学习，自适应加权采样与各向同性约束，提高人物重识别精度。

    Oct, 2017

  • 交替方向乘法中的分布式逐步学习

    该论文提出了一种名为分布式自适应学习（DSPL）的方法，该方法可以对大规模数据集进行优化，解决了传统自适应学习在并行计算中无法处理的问题。该方法在合成数据和真实数据上进行了广泛实验，证明了其在实践中的优越性。

    Jul, 2018

  • 自定学习进度作为规则化学习课程的方法

    通过自带课程学习和基于自适应学习的绝对学习进度正则化方法，加速强化学习的计算，提高其效率。

    Jun, 2023

  • 自主学习的多任务学习

    本文提出了一种新颖的多任务学习框架，称为自适应步进多任务学习，该框架通过同时考虑任务和实例的复杂性来共同学习任务。通过提出一种新的面向任务的正则化器，可以联合优化任务和实例，从而可以解释为多任务学习中的自适应学习器。而且作者还设计了一种简单而有效的算法来优化目标函数。通过对玩具数据集和实际数据集进行实验，结果表明与现有的最先进方法相比，提出的方法具有更好的性能。

    Apr, 2016

  • 主动自适应学习的成本效益和渐进式人脸识别

    本文提出了一种新颖的廉价人脸识别框架，该框架通过联合活跃学习和自主学习的方法自动注释新实例并将其纳入训练，以实现分类器的有监督微调。实验结果表明，该框架在两个具有挑战性的数据集上具有非常良好的表现。

    Jan, 2017

  • 自适应学习的稀疏编码算法

    本文提出了自适应稀疏编码（Self-Paced Sparse Coding，SPSC）框架，可逐步从简单到复杂地包含矩阵元素到编码学习中，以提高其学习鲁棒性并推广到不同层次的自适应学习。试验结果表明了该算法对于处理真实数据的有效性。

    Sep, 2017

  • 自适应权重巩固在连续学习中的应用

    我们提出了一个自主进程的权重整合（spWC）框架，通过评估以前任务的辨别贡献，以实现鲁棒的连续学习。

    Jul, 2023

  • SRIL: 用于类增量学习的选择性正则化

    本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

    May, 2023