基于 AEVB 的智能通信系统
提出了一种基于深度学习和变分推断的框架,用于设计具有噪声传输符号的端到端通信系统,同时系统性地集成了通道类型等领域知识,在多个流行通道模型中击败了以前利用深度学习模型的先前工作,实现更好的打包密度和更快的速度。
Apr, 2019
该研究提出了一种将遗传算法和变分自编码器相结合的进化变分自编码器方法,通过动态生成和更新不确定性权衡学习,解决了现有方法中面临的问题,包括 KL 消失问题和基于深度学习中的早期收敛和随机搜索问题。实验结果表明,与竞争方法相比,eVAE 在文本生成、图像生成质量等方面均有显著改善。
Jan, 2023
本研究介绍了一种改进的变分自动编码器(VAEs),该编码器包含了一个额外的神经网络分支。这个分支 VAE(BVAE)通过将分类标签基于总损失中的类别信息加入到潜在表示中,从而提供了分类信息。结果上,输入类别的潜在空间分布被分离和排序,从而提高了分类准确性。通过使用基准 MNIST 数据集对未旋转和旋转数字进行数值计算来量化提升程度。然后将所提出的技术与具有固定输出分布的 VAE 进行比较并整合。研究发现,这种方法在广泛的输出分布范围下可以获得改进性能。
Jan, 2024
该论文介绍了一种新的最大似然估计方法,使用变分自编码器来进行盲信道均衡,在符号重构的误差率方面比常数模块均衡器有显著和一致的改进。此外,作者还展示了该方法相对于常数模块算法具有显著的低延迟通道获取的优势。
Mar, 2018
本文探讨了建筑选择对于学习文本生成变分自编码器(VAE)的影响。与之前引入的使用 RNN 的 VAE 不同,本文提出了一种新颖的混合架构,将完全前馈卷积和反卷积组件与递归语言模型混合在一起。我们的架构具有几个有吸引力的属性,如更快的运行时间和收敛速度,能够更好地处理长序列,并且更重要的是,它有助于避免训练 VAE 模型时出现的一些主要困难。
Feb, 2017
本文提出了使用 Dirichlet 优先的 DirVAE 模型,利用随机梯度法来推论模型参数,解决了潜变量坍塌问题,并在 MNIST,OMNIGLOT,和 SVHN 等数据集上进行了半监督和监督分类任务的实验,结果表明 DirVAE 模型在生成的潜在表达方面与其它基线模型相比具有最佳的对数似然,并且没有出现基线模型出现的坍塌问题,同时,对比基线模型,利用 DirVAE 模型学到的潜在表达还能够实现更好的半监督和监督分类性能。
Jan, 2019
本文对可变自编码器 (VAE) 拓展至处理序列数据的方法进行了综述,提出并讨论了动态变分自编码器 (DVAEs) 这一类模型,详细介绍了七种 DVAE 模型,并通过语音分析 - 重构任务的实验基准进行了验证,最后探讨了 DVAE 模型的重要问题和未来的研究方向。
Aug, 2020
该研究利用基于期望最大化算法的训练技术提高 VQ-VAE 模型在 CIFAR-10 数据集上的图像生成结果,并通过知识蒸馏技术,开发出一种非自回归机器翻译模型,其准确性几乎与强贪婪自回归基线变压器相当,但在推理速度上快 3.3 倍。
May, 2018
本文论述了使用卷积神经网络自编码器解决长码和短码的问题,通过对一系列信噪比的探索,与其他编码方案相比,发现该方案可以逼近理论最大可实现速率,解决了在无线网络中实现低延迟应用需要高可靠性编码的挑战。
May, 2023
这篇论文提出了 PixelVAE,这是一种基于 PixelCNN 的 VAE 模型,可以高效地捕获大型结构和保留压缩的潜在表示,适用于无监督学习的挑战。
Nov, 2016