Apr, 2024

通过最小体积压缩潜空间

PDF
TL;DR该论文介绍了一种名为最小体积的简单而有效的正则化方法，它可以减少自动编码器所需的潜在维度数量，而无需任何关于数据集固有维度的先验知识。通过证明解码器的 Lipschitz 连续性是其有效性的关键，论文揭示了 PCA 仅是其线性特例的证明，并表明在应用于非线性模型时具有类似于 PCA 的重要性排序效果。作者通过在一些教学玩具问题上演示正则化的直观理解，并在包括 MNIST、CIFAR-10 和 CelebA 在内的几个基准问题上展示了其有效性。
发现论文，激发创造
  • 变分自编码器中潜空间的自适应压缩

    这篇文章介绍了一种对变分自动编码器 (VAEs) 进行简单扩展的方法，通过渐进性减小潜空间大小来自动确定训练过程中的最佳潜空间大小，并将该方法与传统的超参数网格搜索进行比较，结果表明其速度显著更快，且在四个图像数据集上实现了最佳的维度。此外，还证明了我们方法的最终性能与从头开始训练的最佳潜空间大小相当，因此可能作为一种便利的替代方法。

    Dec, 2023

  • 科学数据压缩的稀疏 L1 自编码器

    使用高维稀疏特征表达式通过 L1 正则化的自编码器产生的信息丰富潜在空间，可以有效地用于科学数据压缩，解决高性能分布式计算环境下传输、存储和分析的瓶颈问题。

    May, 2024

  • 在高斯 - 勒让德节点下，由于潜在空间正则化，确保自动编码器压缩时的拓扑数据结构保持

    我们提出了一种基于数据无关的潜在空间正则化约束，用于一对一重新嵌入初始数据流形到其潜在表示。通过神经网络的正则化，我们实现了拓扑保持，从 FashionMNIST 数据集到 MRI 脑部扫描等真实世界的编码问题，这种正则化技术可以提供可靠的复杂高维数据的低维表示。

    Sep, 2023

  • 我们是否以错误方式使用自编码器？

    在该文中，我们重新审视了欠完备自动编码器的标准训练方法，通过修改潜在空间的形状而无需在损失函数中使用任何显式正则化项。我们迫使模型重构的不是相同的观测输入，而是从同一类分布中抽样得到的另一个观测值。我们还探讨了在重构来自整个数据集的随机样本时潜在空间的行为。

    Sep, 2023

  • 复杂性的重要性：重新思考生成建模的潜空间

    本研究探讨了生成建模中潜在空间选择的最优解以及其确定过程，并提出了一种新的距离度量方法和具体的训练策略来优化潜在空间的选择，进而提高生成效果。

    Jul, 2023

  • 最小卷积潜空间中带有条件 Sinkhorn 生成对抗网络的贝叶斯反问题

    利用最少体积这一新颖的非监督非线性降维方法解决高维、非线性和模型不确定性等问题，从而实现后验推断，为逆问题提供了潜在条件生成模型的训练方法。

    May, 2024

  • 正则化线性自编码器的损失景观

    证明了 L2 正则化线性自编码器在所有临界点处均对称并学习到解码器的左奇异向量作为主方向，相关结果说明了主成分分析算法、计算神经科学和学习的代数拓扑性质。

    Jan, 2019

  • 潜空间非线性统计

    本文提出一种基于非线性流形统计学的技术，可在低维非线性表示学习的潜空间中实现数据的统计分析，并通过训练神经网络来近似描述数据流形的黎曼度量。

    May, 2018

  • 使用深度潜变量模型进行小样本非参数学习

    本研究提出了一种称为 NPC-LV 的学习框架，它可以使用非监督学习中的生成模型来利用数据分布来构建压缩器，并结合少量标记数据进行分类，能够胜过监督方法和半监督学习方法，用于图像分类。

    Jun, 2022

  • Compress3D：来自单张图像的 3D 生成的压缩潜空间

    通过使用 triplane 自编码器将 3D 模型编码为紧凑的 triplane 潜空间，本文提出了一种有效压缩 3D 几何和纹理信息的方法，并引入了 3D 感知交叉注意机制，从高分辨率的 3D 特征体积中查询特征，提高了潜空间的表示能力。同时利用图像嵌入和形状嵌入作为条件，通过扩散先验模型估计形状嵌入，实现了优于现有算法的性能，且仅在单个 A100 GPU 上耗时 7 秒。

    Mar, 2024