Jun, 2020

OvA-INN：可逆神经网络的连续学习

PDF
TL;DR本文提出了一种新的方法，即 OvA-INN，它可以一次学习一个类别，不需要存储任何以前的数据，其利用预训练模型和具有逆变性的神经网络在连续学习问题上的性能优于现有的最佳方法。
continual learningova-inninvertible neural networkpretrained modelsaccuracy
发现论文，激发创造
  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 强化连续学习

    本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。

    May, 2018

  • 利用可逆神经网络分析逆问题

    本文探讨了逆问题的数学定义，提出了一种称为 Invertible Neural Networks (INNs) 的神经网络模型，利用预定义的正向过程和额外的 latent output variables 来解决参数估计问题，并在人工数据和实际问题中发现 INN 是解决参数分布分析、寻找多模态和相关性较强的关键性分析工具。

    Aug, 2018

  • 神经网络中的持续学习

    通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

    Oct, 2019

  • 深度神经网络不确定性的一对多量化（OVNNI）

    这项研究提出了一种新技术，即利用混合一组深度神经网络的预测与标准深度神经网络的预测来量化数据的认识不确定性，从而在多个数据集和架构中实现高水平的预测表现。

    Jun, 2020

  • 可逆神经网络中爆炸反演的理解和缓解

    本文研究了可逆神经网络的数值稳定性，发现常用结构存在逆爆炸现象及无法逆运算等问题，针对不同问题提出了逆问题的解决方法，证明了构建稳定可逆神经网络是重要的。

    Jun, 2020

  • 基于条件逆神经网络的多样化图像到图像转换

    介绍了一种新的结构，称为条件可逆神经网络（cINN），并将其用于解决自然图像的多样化图像到图像的转化任务。cINN 结合了纯生成 INN 模型和一个无限制的前馈网络，有效地将调节图像预处理为最大信息特征。通过最大似然优化，稳定地联合优化 cINN 的所有参数。利用双向 cINN 结构，进一步探索和操作潜在空间的新兴属性，例如以直观的方式更改图像风格。

    May, 2021

  • 端到端渐进式学习

    一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

    Jul, 2018

  • 无灾难遗忘的目标检测的增量学习

    通过使用一种新的损失函数，这篇研究提出了一种解决卷积神经网络增量学习中 “灾难性遗忘” 的问题的方法，可以在没有原始训练数据或注释的情况下适应新类别，并在 PASCAL VOC 2007 和 COCO 数据集上实现了物体检测。

    Aug, 2017

  • 在线情境下的增量学习

    该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

    Mar, 2020