Sep, 2017

生成模型中的变分记忆寻址

PDF
TL;DR通过为生成模型增加外部内存，我们将内存模块的输出解释为条件混合分布，在这种分布中读操作对应着从内存中采样并且取回对应的内容。这个视角允许我们使用变分推理在进行内存寻址，从而通过使用目标信息指导对内存查找的方法来有效训练我们的内存模块以增强生成模型。
generative modelsexternal memorystochastic addressingvariational inferencefew-shot learning
发现论文，激发创造
  • 变分记忆编码器 - 解码器

    本文介绍了通过使用外部记忆的混合模型 —— 变分记忆编码器 - 解码器（VMED），在保持一致性的同时引入变异的方法来生成对话中的话语。在各种对话数据集上的实验证明，VMED 在指标和素质评估方面均取得了显著的改进。

    Jul, 2018

  • 记忆式生成学习

    该研究提出一种深度生成模型，在表示学习中采用了注意机制和大型外部记忆来捕捉局部详细信息，具有变分自编码贝叶斯方法的数据似然度上限，以及学习高级不变表示的非对称识别网络。实验结果表明，记忆单元可显着提高 DGMs 的性能，并在各种任务中达到最先进的结果。

    Feb, 2016

  • 学习学习变分语义记忆

    本文介绍将变分语义记忆引入元学习中，以获取长期知识进行少样本学习，从而形成一个新的长期记忆模块，具有适应个人任务的原则性召回和更新机制，从而为少样本识别带来了巨大的益处。

    Oct, 2020

  • 变分推断和自联记忆之间的关系

    该研究文章提出了一个变分推断的自联想记忆模型，可以结合感知推断和存储检索，通过将先验概率密度定义为于已存储的表达式依存，吸引后续推断流程向先前存储的表达式。通过比较一些变分自编码器和预测编码的方法，作者结合这些方法提出了新的自联想存储模型，并在 CIFAR10 和 CLEVR 图像数据集上进行了评估。同时，作者也将这些自联想存储模型与 Hopfield Networks、End-to-End Memory Networks 和 Neural Turing Machines 等其他联想存储模型进行了比较。

    Oct, 2022

  • 跨域 Few-shot 学习的分层变分记忆

    本研究提出了一种基于分层原型模型和层次内存的神经记忆方法，该方法能够在领域转移的情况下，灵活地依赖不同语义层面的特征来适应新任务，而数据驱动的学习方法进一步可以使模型自适应地选择最具通用性的特征。该方法通过大量消融实验验证了性能的显著提升，尤其在跨领域和少样本分类方面表现出了显著优势。

    Dec, 2021

  • 在线合作记忆的连续变分自编码器学习

    本研究提出了利用在线合作记忆框架（OCM）对变分自编码器（VAE）进行动态扩展混合网络的改进，以解决其在连续学习时的遗忘现象和图片生成的不足。使用 OCM 的短期记忆和长期记忆来存储和筛选样本，并结合动态 VAE，提高其后续多任务学习的性能。

    Jul, 2022

  • 元摊分变分推断与学习

    本文提出了一种双重摊销变分推理过程来解决传统推理技术训练的生成模型在适应新分布时遇到的困难，通过学习可转移潜在表示，在不同的概率模型之间推广，特别地，应用于图像分布上，该方法在 MNIST 和 NORB 的下游图像分类任务中显著优于基线（分别达 10-50% 和 10-35% 的准确率提升）

    Feb, 2019

  • 选择性遗忘：深度生成模型中遗忘的连续学习方法

    本文介绍了一种称为 Selective Amnesia 的方法，它可以被应用于条件变分似然模型，以进行控制性遗忘来避免模型生成有害、误导或不合适的内容。实验表明，这种方法在不同的模型上都能很好地工作。

    May, 2023

  • 异构存储增强神经网络

    通过引入可学习的记忆令牌和注意机制，我们提出了一种新颖的异构记忆增强方法，可以有效提升性能而不需要巨大的计算开销。

    Oct, 2023

  • 概率深度生成模型中的记忆化

    该论文研究了深度生成模型中可能出现的记忆问题，提供了一种衡量记忆现象的方式，并探讨了限制记忆的几种策略。

    Jun, 2021