Jan, 2024

使用元更新进行在线连续学习的样本权重估计

PDF
TL;DR本研究介绍了一种在线连续学习中使用样本重要性进行样本权重估计的策略，通过适应样本权重来提高学习性能和保留准确性。研究通过在噪声标注的数据流和标准基准测试中进行评估，旨在促进自适应连续学习领域的深入探索。
发现论文，激发创造
  • 在线损失函数学习

    提出了一种新的在线学习损失函数的方法，通过每次更新底层模型参数进行自适应更新，相比于交叉熵损失函数以及离线学习损失函数技术，在各种神经网络体系结构和数据集上稳定表现更好。

    Jan, 2023

  • 元重置中的关键样本选择学习

    本研究提出了一种学习框架，将元样本选择问题通过严格的理论分析降低到加权 K 均值聚类问题中，提出了两种聚类方法 RBC 和 GBC 以解决 “样本权重不均匀” 问题，并在实际应用中得到了验证。

    Feb, 2023

  • 在线软挖掘与类别感知注意力的深度度量学习

    本文研究了深度度量学习中样本挖掘方法的两个关键局限，并提出了应对这些限制的解决方案，结合 Online Soft Mining (OSM) 和 Class-Aware Attention (CAA) 提出了一种新的加权对比损失方法，实验结果表明该方法在细粒度视觉分类和人员重识别任务中取得了良好的性能。

    Nov, 2018

  • 深入研究样本损失曲线以应对嘈杂和不平衡的数据

    该论文提出了一种名为 CurveNet 的曲线感知网络，并采用探测和分配的方法，通过元学习自适应地分配适当的样本权重，以解决深度神经网络中常见的数据偏见和样本不平衡问题，并利用 skip layer meta optimization 方法加速了训练速度，该方法在多项具有挑战性的评估指标上取得了最先进的性能。

    Dec, 2021

  • 群体学习优化

    本文提出了一种新的元优化器，该优化器能够在基于点和基于种群的优化算法算法空间中进行学习，提高了预测的准确性和优化能力，并在非凸测试函数和蛋白质对接应用中的实验结果表明，该元优化器优于现有竞争对手。

    Nov, 2019

  • 关于在一致性正规化中应用隐式元学习的训练

    通过对不同的 Hessian 逼近方法进行系统性比较分析，研究了隐式元训练在收敛点曲率估计方面的局限性以及其稳定性问题，并利用所得见解提出并评估了一种新型半监督学习算法，该算法通过培训 “信心网络” 来加权一致性正则化损失，提高了基准 FixMatch 效果。

    Oct, 2023

  • 深度神经网络的元学习损失函数

    探索利用元学习概念来改善性能，尤其是通过损失函数这个常常被忽视的组成部分。损失函数是学习系统的重要组成部分，它代表了主要的学习目标，在系统成功优化该目标的能力上进行了量化。

    Jun, 2024

  • 强化元主动学习

    该论文提出了一种基于强化学习的在线流式元主动学习方法，它从数据中直接学习信息度量，并结合模型训练来训练主动学习器，可应用于一般类别的分类问题，优于现有最先进的方法。

    Mar, 2022

  • 高效的多重重要性采样估计器

    本文介绍了一种基于集合划分的新的多重重要性采样方法，该方法通过权重计算的高效折衷来减少方差和计算复杂度，并提供了相关的计算机模拟结果。

    May, 2015

  • 编排潜在专业知识：通过多级监督和反向自蒸馏推进在线持续学习

    在线连续学习中引入多层在线顺序专家 (Multi-level Online Sequential Experts, MOSE) 方法，通过多层监督和反向自蒸馏，培养模型为堆叠子专家，以实现学习新样本和保留过去知识的显著效果，大大提升 OCL 性能。

    Mar, 2024