ICMLJun, 2018

自回归分位数网络用于生成建模

PDF
TL;DR通过引入自回归隐式分位数网络 (AIQN)，本文提出了一种与传统模型不同的生成模型方法，通过量化回归隐式地捕获分布，AIQN 可以在不损失样本多样性的情况下实现优越的感知质量和评估度量的改进，使用 Inception score、FID、非樱桃挑选样本和修补结果等指标，我们将 AIQN 扩展到 PixelCNN 模型，并在 CIFAR-10 和 ImageNet 上展示结果，结果表明，AIQN 可以稳健地提高感知质量，同时仍保持高度多样化的分布。
发现论文，激发创造
  • IGN：隐式生成网络

    利用 GAN 模型的生成器和判别器函数与分位数回归来近似状态行动返回分布的完整分位数值，结合最近的分布强化学习的进展，实现了基于 IQN 的最新分布式变体模型，并在 ALE 中基于 57 种 Atari 2600 游戏的基准数据集上演示了改进的性能，进而使用策略优化和评估的方式展示了对风险敏感策略的最新训练表现。

    Jun, 2022

  • 使用隐式分位数网络的概率时间序列预测

    本文介绍了一种概率时间序列预测的一般方法，通过结合自回归循环神经网络和隐含量子网络来建模时间动态并学习一系列时间序列预测模型，在真实数据和模拟数据上得出的结果表明，该方法在预测准确性和估计潜在时间分布方面具有优势。

    Jul, 2021

  • 隐式分位数网络用于分布式强化学习

    本文介绍了一种基于分布式强化学习的方法，通过使用分位回归来逼近状态 - 动作回报分布的全量位函数来得到一个灵活、高效且可应用于各种环境的动态规划方法，并通过在 57 个 Atari 2600 游戏中的表现来展示算法的性能，并使用其隐式定义的分布来研究风险敏感性政策在 Atari 游戏中的效果。

    Jun, 2018

  • 自回归图像生成与集成量化

    本文提出了一个基于深度生成模型的图像生成网络，结合卷积神经网络的归纳偏置和自回归的序列建模，通过多重领域特征的变量规范，设计了分布估计的 Gumbel 采样策略来提高图像的生成质量并克服于训练和推理过程中所产生的偏差和误差，取得了当前同类算法中最优秀的生成表现。

    Jul, 2022

  • AutoQ: 自动化的基于内核的神经网络量化

    本论文提出了一种基于分层深度强化学习的自动量化技术 AutoQ，可以自动搜索每个权重核的量化位宽，以及每个激活层的另一个量化位宽，并极大地提高了卷积神经网络的推断性能，同时保持了推断精度。

    Feb, 2019

  • 生成式零样本网络量化

    本研究提出了一种基于 Batch Normalization 统计量的生成建模方法，能够为高层图像识别任务生成逼真的图像样本集合，来支持无需依赖真实数据的量化模型，实验表明该方法在 benchmark 数据集上有很好的性能表现。

    Jan, 2021

  • 在自回归图像生成中引入强化对抗学习

    使用基于策略梯度优化的强化对抗学习 (RAL)，结合 GAN 启发的对抗损失，实现了图像生成中自回归模型的敌对性学习，提高了生成图像的质量和多样性。该方法在合成和真实数据集上都取得了显著的改善，并在 64*64 图像分辨率上实现了 Celeba 数据集的最优结果。

    Jul, 2020

  • 深度生成分位数 - 统合模型用于概率预测

    本研究介绍了一种新的多元条件生成模型，并展示了它在概率时间序列预测和模拟中的性能和多功能性。

    Jul, 2019

  • 无需采样的贝叶斯量化神经网络学习

    该论文提出了 Bayesian quantized 网络（BQN），并引入了一系列有效算法，用于在离散参数上学习和预测，实现了对图像分类的有效完成。

    Dec, 2019

  • AutoQNN: 一种自动量化神经网络的端到端框架

    本文提出一种名为 AutoQNN 的端到端框架，通过引入量化方案搜索（QSS）、量化精度学习（QPL）和量化架构生成（QAG）三种技术，自动实现对不同深度神经网络（DNN）模型的不同层进行不同方案和不同精度的量化，无需人工干预，实现对深度神经网络的自动量化。实验表明，AutoQNN 相对于现有的量化算法在准确性和效率上都表现得更优秀。

    Apr, 2023