Oct, 2023

图像建模的 MixerFlow

PDF
TL;DR通过使用双射变换将复杂密度转化为简单密度的统计模型，我们提出了一种名为 MixerFlow 的新型架构，基于 MLP-Mixer 架构，进一步统一生成和判别建模架构。MixerFlow 提供了一种用于流模型的有效权重共享机制，并在固定的计算预算下，在图像数据集上展示了更好的密度估计，随着图像分辨率的增加，缩放效果良好，使 MixerFlow 成为 Glow-based 架构的一个强大而简单的替代方案。我们还显示 MixerFlow 提供比 Glow-based 架构更丰富的嵌入。
发现论文，激发创造
  • 密集连接归一化流

    该文研究了通过交叉单元耦合和密集连接等方法增强正常化流模型表达能力并提高密度估计精度的问题。

    Jun, 2021

  • 使用归一化流进行半监督学习

    FlowGMM 是一种基于正则化流的端到端方法，用于生成半监督学习，具有可解释性，适用于广泛的数据类型，包括文本数据、表格数据和半监督图像分类，并能够发现可解释的结构、提供实时的无优化特征可视化等。

    Dec, 2019

  • 小波流：高分辨率归一化流的快速训练

    本文介绍了基于小波变换的多尺度归一化流 Wavelet Flow，它具有低分辨率信号的显式表示和高分辨率信号的条件生成等多个优点，并在比特 / 维度标准测试中表现出与以前的归一化流相媲美的性能。

    Oct, 2020

  • 自由形式流动：使任何架构成为标准化流量

    我们通过使用梯度的有效估计器来克服了正规化流设计受到解析可逆性需求的约束，并实现了任意保持维度的神经网络作为最大似然训练的生成模型，在分子生成基准测试中取得了出色的结果，同时采用现成的 ResNet 架构在一个反问题基准测试中具有竞争力。

    Oct, 2023

  • 核化归一化流

    本研究提出了 Ferumal 流，一种新型的基于核的归一化流范式，将核函数与框架结合。结果表明，与基于神经网络的流相比，基于核的流可以在保持参数效率的同时产生竞争性或更好的结果。基于核的流在数据稀缺情况下表现出色，可在应用中进行灵活的非参数密度估计。

    Jul, 2023

  • 噪声流：带条件的标准化流噪声建模

    介绍了基于 normalizing flow 的强大而精确的噪声模型 Noise Flow，结合了基本参数噪声模型和神经网络的灵活性和表现力。与已有的噪声模型相比，Noise Flow 具有显著的改进，是第一次试图超越简单的参数模型，利用深度学习和数据驱动的噪声分布来建模和综合图像噪声。

    Aug, 2019

  • DynaMixer：一种具有动态混合的视觉 MLP 架构

    本文提出了一个称为 Dyn Mixer 的高效 MLP-like 深度学习网络结构，用于动态信息融合，并且通过一个过程生成融合矩阵，以应对 tokens 的内容，并通过采用降维技术和多段融合机制来减少时间复杂度和提高鲁棒性。Dyn Mixer 模型不需要额外的训练数据，在 ImageNet-1K 数据集上达到了 84.3％的准确率，参数数量减少到 26M 时，仍然获得 82.7％的 top-1 准确率，胜过类似容量的现有 MLP-like 模型。

    Jan, 2022

  • 利用正则化流进行低光照图像增强

    本文提出利用正则流模型建立低光图像与正常曝光图像之间的一对多映射关系，通过一个可逆网络，将低光图像 / 特征作为条件，学习将正常曝光图像的分布映射到高斯分布，从而得以更好地建模正常曝光图像的条件分布，在提高图像亮度、减少噪声和伪影、增强色彩方面表现出更好的定量和定性结果。

    Sep, 2021

  • ButterflyFlow: 使用蝶矩阵构建可逆层

    提出了基于蝴蝶层的可逆线性层族，构建了一种新型正则化流模型 ButterflyFlow， 在天然图像（如 MNIST、CIFAR-10 和 32x32 的 ImageNet）和结构化数据集（如星系图像和 MIMIC-III 病人群）上获得了更强的密度估计结果和更好的对数似然，同时在内存和计算方面比相关基线更高效。

    Sep, 2022

  • 从有条件的归一化流中提取知识

    本研究通过提出一种简单的蒸馏方法，证明了在图像超分辨率和语音合成领域，可以将基于流的模型提炼为更高效的替代模型。

    Jun, 2021