终身流浪:一种逼真的少样本在线持续学习环境
该论文通过在一个在线,不断变化的环境中扩展少样本学习的框架,介绍了一种上下文依赖的新颖学习数据集和一种新的上下文典型记忆模型,旨在缩小人类和机器学习环境之间的差距。
Jul, 2020
该研究为连续性小样本学习引入了一套灵活的基准测试框架 ——SlimageNet64,并使用流行的少样本学习算法提供了基线,以暴露这些算法在连续和数据受限情况下的优点和缺点。
Apr, 2020
该研究论文提出一种新的基于连续数据流的在线不断学习方法,并建立了一个大规模的在线视觉学习基准测试,研究了梯度下降优化在不断学习中的关键未被观察到的现象,并提出有效的策略来改进深度学习模型的性能。
Aug, 2021
本文提出了一种新的少样本生命周期学习方法,通过仅训练模型的部分参数来防止过拟合,同时最大程度上减少了灾难性遗忘,并通过减小新旧类别原型之间的余弦相似度以最大化它们的分离来提高分类性能,同时还证明了结合自我监督的方法可以显著提高模型性能。
Mar, 2021
在线持续学习在不断变化的数据流中直接学习,并存储来自该流中的最少量数据,本文通过对国内外文献中解决在线持续学习问题的方法进行实证评估,重点关注图像分类中的增量类别设置,通过比较在 Split-CIFAR100 和 Split-TinyImagenet 数据集上的平均准确率、遗忘性、稳定性和表示质量的指标,发现大多数方法都存在稳定性和欠拟合问题,但所学习的表示与相同计算预算下的独立同分布训练相当。同时发现基本的经验回放方法,经过适当调整和实施,是一种非常强大的基准方法。我们在 avalanche 框架上发布了我们的模块化和可扩展的代码库来复现我们的结果,并鼓励未来的研究。
Aug, 2023
家用机器人上安装的视觉系统需要与不可见的类别在多变的环境中进行交互。我们提出了 RobOCLe 作为一种少样本在线持续学习模型,通过构建富化特征空间和计算样本的高阶统计矩来改善连续学习模型的鲁棒性。
Jul, 2023
本文定义了一个新问题:不断出现的少样本学习;提出了 Continual Meta-Learner 来解决此问题,并在 MiniImageNet 和 CIFAR100 两个图像数据集上进行了广泛实验,表明 CML 在少量样本学习任务的分类准确性方面实现了现有最先进水平并避免了灾难性遗忘。
Jul, 2022
本文提出了一种用于在线连续学习问题的简单算法,该算法采用 kNN 分类器和通用预先训练的特征提取器,可以在小的计算预算下紧凑存储和利用整个数据流,既能减少过往数据的灾难性遗忘,同时也能快速适应快速变化的数据流,同时在 Continual LOCalization (CLOC) 和 Continual Google Landmarks V2 (CGLM) 两个大规模 OCL 数据集上取得了最新的技术水平。
May, 2023
该论文提出了一种增量学习框架,针对在线学习场景下的两个主要障碍,即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题(1),并提供通过更新范例集合减轻问题(2)的简单而有效的方法,并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。
Mar, 2020
该研究提出了一个新的学习框架 CLIF,可以在不断更新的多个 NLP 任务中提高模型的泛化能力,同时保留早期任务的表现,作者使用了多种方法对该框架进行了评估,并提出了一种新的适配器生成方法。
Apr, 2021