Feb, 2015

MADE: 遮蔽自编码器用于分布估计

PDF
TL;DR本研究提出了一种简单的神经网络自编码器模型，可以遵守自回归约束实现强大的生成模型，其输出结果可以被理解为一组条件概率，可以用于多种架构，包括深度架构，并通过实验证明其与现有的可计算分布估算器的表现相当竞争力，并且测试时速度显著更快，规模更大。
neural networkautoencodergenerative modelsconditional probabilitiestractable distribution estimators
发现论文，激发创造
  • 掩蔽自动编解码器是一种有效的多任务视觉通才

    通过引入双向注意力机制、并行解码框架和掩码序列建模方法，设计了一种名为 MAD 的多任务视觉通用模型，用于统一各种视觉任务，实验证明 MAD 在性能和推理效率方面优于自回归模型，并在与任务专用模型相比获得竞争力的准确性。

    Mar, 2024

  • 使用遮蔽自编码器进行的测试时间训练

    本文通过自我监督，使用遮蔽自编码器来进行一样本学习的测试时间训练，从而优化每个测试输入的模型，实验证明该简单方法可以提高许多视觉基准的分布性能。理论上，我们以偏差 - 方差权衡的角度来描述这种改进。

    Sep, 2022

  • 深度自回归网络

    本文介绍了一种深度、生成式自编码器，它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法，我们证明了该方法在几个经典数据集上取得了最先进的生成性能。

    Oct, 2013

  • 用于自回归模型的局部掩蔽卷积

    使用 LMConv 实现了生成模型的任意序列生成，可以用于图像完成等任务，在整体图像密度估计（2.89 bdp 无条件 CIFAR10）方面取得了改进的性能，同时实现了全局连贯图像完成。

    Jun, 2020

  • 掩码自编码器是强大的神经架构搜索学习者

    提出了一种基于遮蔽自编码器的新型神经架构搜索（NAS）框架，该框架在搜索过程中不需要标记数据。通过用图像重构任务替代监督学习目标，我们的方法能够在不损害性能和泛化能力的情况下，有效地发现网络架构。此外，我们通过引入多尺度解码器来解决在无监督范式中广泛使用的 Differentiable Architecture Search（DARTS）方法遇到的性能崩溃问题。通过在不同的搜索空间和数据集上进行大量实验证明了所提方法的有效性和鲁棒性，并提供了其优于基线方法的经验证据。

    Nov, 2023

  • 基于掩码自编码的可扩展通用决策制定

    本文提出了一种名为 MaskDP 的简单、可扩展的自监督预训练方法，用于强化学习和行为克隆。这种方法利用了掩码自编码器（MAE）在状态 - 动作轨迹中的作用，可以更好地学习多个下游任务的模型。实验表明，MaskDP 模型的零 - shot 迁移和有前途的规模化行为与模型大小有关。

    Nov, 2022

  • SdAE: 自我蒸馏的遮蔽式自编码器

    本文提出了一种名为 SdAE 的简单自蒸馏掩码自编码器网络，该网络具有带有编码器 - 解码器结构的学生分支来重构缺失信息，以及产生蒸馏编码代码本的老师分支。通过分析信息瓶颈，提出了一种构建良好视图以产生潜在表示的方法，并使用多重蒙版策略来提供平衡信息的多个蒙版视图，以增强性能。

    Jul, 2022

  • 神经自回归分布估计

    本研究提出了使用神经网络模型通过权值共享和概率乘积规则实现无监督分布和密度估计的新方法，并探讨了如何构建深度神经网络在建模二进制和实值观察方面具有竞争力的性能以及如何利用深度卷积神经网络来处理图片中的拓扑结构。

    May, 2016

  • 掩码自编码器在视觉和其他领域的自监督学习中的调查

    本文是针对掩膜自编码器在自监督学习中扮演的角色所做的综述，着重于介绍其在视觉模式识别领域中的应用，包括历史发展、最新进展以及对各种应用的影响。

    Jul, 2022

  • 基于注意力引导的蒙版自动编码器用于学习图像表示

    利用注重对象的重建过程来指导复原能力的建议，通过在损失函数中利用场景的注意力图获取的注意力图，提供更多的重建相关对象的强调，从而激励模型学习更加注重对象的表示，同时通过改进的线性探测和 k-NN 分类在几个基准测试中展示出我们预训练模型具有更好的潜在表示能力，同时使 ViTs 对不同背景更加稳健。

    Feb, 2024