Mar, 2016

深度生成模型中的单次泛化

HTML
PDF
TL;DR通过开发一类深度生成模型，结合深度学习的表示能力和贝叶斯推理的推理能力，我们开发了一类具有一次性泛化能力的机器学习系统，并在三个任务上展示了其能力：无条件采样、生成给定概念的新实例、以及生成一组概念的新实例，所有这些情况下我们的模型只需看到一次新的例子即可生成引人入胜且多样化的样本，这为单次机器学习提供了一类重要的通用模型。
发现论文，激发创造
  • 用生成匹配网络实现生成模型的快速适应

    我们开发了一种基于“匹配网络”的新生成模型Generative Matching Network，该模型通过在额外输入数据集的条件下学习新的概念，无需使用广泛推理过程进行训练或适应，且在可用的更多附加数据的情况下显着提高了预测性能，优于现有的最先进条件生成模型。

    Dec, 2016

  • 深度、分层生成模型的架构设计

    本文介绍了一种基于深度生成模型的架构，该架构在训练过程中使用多层的潜在变量，并且在所有潜在变量和输出之间包括确定性路径，以及提供了一组更丰富的连接，这些连接在推理和生成计算之间实现了更有效的信息通信。我们在重构分布中引入了轻量级自回归模型以提高自然图像的性能。实验表明，我们的方法在标准图像建模基准测试中达到了最先进的性能，并且在没有标签信息的情况下可以暴露潜在的类结构，同时可以提供自然图像中被遮挡区域的令人信服的估计。

    Dec, 2016

  • 基于类条件深度生成模型的零样本学习

    本论文提出了一个利用深度生成模型进行类预测的研究方法，不同于其他类似方法依赖于语义嵌入，我们基于属性条件设计了特定于类别的潜在空间分布，并利用这些潜在空间分布作为监督变分自编码器的先验，使其有更强的区分特征表达能力；同时通过无监督学习利用未标记的未见类别数据进行半监督 / 转导学习，并在少样本学习下与现有方法进行了对比测试。

    Nov, 2017

  • 深度生成模型中的偏差和泛化: 一个实证研究

    本文提出一个系统研究深度生成模型的偏差和泛化的框架，并通过认知心理学实验方法探讨其生成新属性和组合的特点与人类心理学的相似之处。作者发现这些模式与常用模型和结构一致。

    Nov, 2018

  • SCHA-VAE: 面向少量样本生成的分层上下文聚合

    本文提出了一种名为SCHA-VAE的全层次聚合变分自编码器方法，将当前的潜变量模型扩展到一种更好地捕获小数据集内固有变化、适合深度生成模型的层级形式，实现了远离分布范围归纳的少样本生成数据的目标。

    Oct, 2021

  • 多样性 vs. 可识别性: 一次性生成模型中的类人泛化

    本文提出了一种新的评估单次生成模型的框架，用于比较其与人类生成的差异，确定其代表人体模型的模型以及模型参数。该框架通过对样本可识别性和样本多样性（即类内差异）两个方面进行评估，并对代表性单次生成模型在 Omniglot 手写数据集上进行了详细地分析。研究表明，GAN 型和 VAE 型模型的多样性和可识别性具有互补性，同时，空间注意和上下文整合在多样性和可识别性之间具有线性贡献，而解缠效应则能沿着拱形曲线传递模型，从而最大化可识别性。评估结果可用于推动人工智能技术的发展。

    May, 2022

  • 用于零样本泛化的通用判别器

    本文挑战传统的生成建模方法，提出较好的判别式方法，实验结果表明，该方法在自然语言处理任务上具有更好的性能，无需复杂的提示即可获得最新的状态-良好的零-shot结果

    Nov, 2022

  • 单次适应的目标感知生成增强

    本文提出了一种新颖的域适应方法SiSTA，该方法利用单次训练目标任务样本 fine-tuned 生成模型，以产生配对的真实目标标注数据，并证明在面部属性检测和多类对象识别等基准测试中，SiSTA 相对其他方法表现更优秀。

    May, 2023

  • 生成分类器的有趣性质

    当前主要的建模人类物体识别的范式是辨别性推理，但零样本生成模型出奇地接近人类物体识别数据。

    Sep, 2023

  • 抽象高斯原型用于一次性概念学习

    本研究针对一次性分类任务，提出了一种基于集群的生成图像分割框架，以编码视觉概念的高级表示。这种方法通过抽象高斯原型（AGP）生成新的类变体，显示出生成的视觉概念实例在质量上与人类非常接近。研究显示，该体系在理论和计算复杂性上都相对较低，推动了对学习和推理系统在单一示例基础上生成灵活概念的理解。

    Aug, 2024