Dec, 2023

适应和对齐：生成模型潜空间对齐的持续学习

PDF
TL;DR利用生成模型中的潜在表示对神经网络进行迭代学习的 Adapt & Align 方法在论文中被介绍。该方法通过将生成模型的潜在表示对齐，解决了神经网络在重新训练时由于来自不同分布的额外训练数据而出现的性能突然下降的问题，并通过利用全局模型对局部模型的潜在表示进行整合，将知识转化为可用于下游任务（如分类）的方法进行连续知识整合。
发现论文，激发创造
  • 生成对抗网络中的持续学习

    通过减少灾难性遗忘，本研究将最新工作应用于在一系列不同分布的序列上训练生成对抗网络并实现连续生成建模。

    May, 2017

  • 语义对齐下的潜在空间翻译

    通过简单的转换，我们的研究展示了神经网络模型中学习到的表示可以在不同的预训练网络之间进行转化，从而有效地连接编码器和解码器，并实现在多模态设置下的出色分类性能。

    Nov, 2023

  • 生成模型的自适应密度估计

    该论文研究了无监督学习中生成模型的训练方法，提出了一种在对抗网络与似然训练之间进行混合训练的方法，其中使用深度可逆变换来解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。

    Jan, 2019

  • 广义对抗学习推断

    通过将 self-supervised feedback 引入到 GANs 的训练中，匹配多个随机变量元组的联合分布，以获得超出现有方法的更高应用性。

    Jun, 2020

  • 区分性特征对齐：通过高斯引导的潜在对齐提高无监督领域自适应的可传递性

    该研究关注无监督域自适应问题，提出了一种基于高斯引导潜在对齐方法，通过先验分布间接对齐两个域的潜在特征分布来提高特征对齐性和实现知识转移，并在九个基准数据集上取得了优秀表现。

    Jun, 2020

  • 对抗学习推理

    介绍了通过对抗学习方法来共同学习生成和推理网络的 Adversarially learned inference 模型。其中，生成网络通过将样本从随机潜变量映射到数据空间，而推理网络则将数据空间中的训练样例映射到潜变量空间。同时利用对抗游戏学习判别网络以区分生成网络和推理网络的联合潜变量 / 数据空间样本，从而在半监督环境下获得了与先进技术相当的性能。

    Jun, 2016

  • 通过模型对齐提高对抗性迁移能力

    该研究介绍了一种新的模型对齐技术，旨在改善给定源模型生成可转移对抗干扰的能力。通过减小对齐损失来微调源模型的参数，该损失量化了源模型和另一个独立训练的模型（称为观察模型）之间的预测差异。在 ImageNet 数据集上进行的实验表明，与原始源模型相比，从对齐源模型生成的干扰具有明显更高的可转移性。

    Nov, 2023

  • 稀疏解耦潜在表示的斥力吸引驱动下的不断语义分割

    本文提出了一种新的持续学习方案，该方案通过神经网络的原型匹配、特征稀疏化和对比学习等三个新组件来纠正模型在学习新任务时遗忘旧任务的问题，在语义分割上进行了测试并在 Pascal VOC2012 和 ADE20K 数据集上取得了显著的准确性，远超过现有技术。

    Mar, 2021

  • 边缘上高效的模型适应用于持续学习

    通过使用 Encoder-Adaptor-Reconfigurator（EAR）框架，本文提出了一种高效的持续学习方法，用于处理领域转移下的非平稳数据分布以及新的数据，该框架利用深度神经网络（DNN）特征编码器和浅层网络进行训练，通过组合 DNN 和超维计算（HDC）检测新数据是否在分布之外，使用零样本神经架构搜索（ZS-NAS）识别低参数神经适配器以适应分布之外的数据，并通过根据需要动态增长神经架构，并通过适当的适配器和重构器来处理领域增量和类增量的持续学习，以最小化对之前任务的灾难性遗忘。通过在几个基准数据集上系统评估我们的方法，并与最先进的 ODD 检测和零样本 NAS 算法进行对比，证明了我们方法的强大性能。

    Aug, 2023

  • 潜在翻译：通过连接生成模型跨越模态

    本篇论文提出了一种基于先前训练的深度生成模型，利用潜变量空间进行无监督跨模态域迁移的新方法，并探索了通过学习一个后续接口来提高模块性的可能性。通过定量和定性的实验证明了该方法的有效性，证明了在迁移过程中局部性和语义对齐得到了保留，而且通过这种模块化结构可以大大加快新接口模型的训练速度。

    Feb, 2019