潜在翻译：通过连接生成模型跨越模态

Feb, 2019

潜在翻译：通过连接生成模型跨越模态

Latent Translation: Crossing Modalities by Bridging Generative Models

Yingtao Tian, Jesse Engel

TL;DR本篇论文提出了一种基于先前训练的深度生成模型，利用潜变量空间进行无监督跨模态域迁移的新方法，并探索了通过学习一个后续接口来提高模块性的可能性。通过定量和定性的实验证明了该方法的有效性，证明了在迁移过程中局部性和语义对齐得到了保留，而且通过这种模块化结构可以大大加快新接口模型的训练速度。

Abstract

end-to-end optimization has achieved state-of-the-art performance on many specific problems, but there is no straight-forward way to combine pretrained models for new problems. Here, we explore improving modularity by learning a post-hoc interface between two existing models to solve a

end-to-end optimization cross-modal domain transfer deep generative models latent space modular structure

发现论文，激发创造

语义对齐下的潜在空间翻译

通过简单的转换，我们的研究展示了神经网络模型中学习到的表示可以在不同的预训练网络之间进行转化，从而有效地连接编码器和解码器，并实现在多模态设置下的出色分类性能。

Nov, 2023

交叉领域潜在调制的变分迁移学习

通过引入一种全新的跨域潜在调制机制来实现有效迁移学习，利用源域和目标域的深度表示进行交叉调制，通过可视化的证据得到支撑，我们提出了一种基于变分自编码器框架的解决方案，并在多个迁移学习基准任务中展示了强大的表现，特别是在无监督领域适应和图像到图像翻译方面。

May, 2022

多模态无监督图像到图像转换的潜在过滤器缩放

我们提出了一种简单的方法，它能够在不增加超参数的情况下产生高质量的多模态输出，将潜在代码视为卷积滤波器的修改器，从而使源域内容与目标域风格解耦。

Dec, 2018

跨语言转移的潜在翻译模型

提出一种新颖的潜变量翻译分类模型，在多语言 NLU 任务中表现优异，实现了迁移学习。

Jul, 2021

多模态潜在扩散

介绍了一种基于确定性自编码器和遮蔽扩散模型的多模态生成模型，结果优于现有竞争对手的生成质量和一致性。

Jun, 2023

多模式图像到图像翻译

利用条件生成模型和低维潜在向量，通过鼓励输出和潜在编码间的双射一致性的方法解决图像转换中一对多的映射问题，并产生更丰富多样的结果。

Nov, 2017

用于组合表示学习的多模态生成模型

该文介绍了一种基于多模态数据边缘似然的分层变分自编码器的族群。文章使用 VAEGAN 及基于流的模型构建了模型。实验结果表明，对于图像、标签和文本数据，这些模型在很多领域中达到了最优结果，并且使用 GAN 图像模型和 VAE 语言模型可以得到更好的表现。最后，在配合口语的任务中，该文章发现用于学习图像表达的表示比只使用视觉数据中学习的等效表示更抽象、更组合。

Dec, 2019

多模式深度生成模型的变分混合专家自编码器

本文阐述了成功学习多模态生成模型的四个判定标准，提出了一种混合专家多模态变分自编码器（MMVAE）来学习不同模态的生成模型，并展示了其在具有挑战性的图像 - 语言数据集上实现四个标准的能力，从质量和数量两方面进行了定性和定量。

Nov, 2019

通过逆向相对投影的潜空间转换

通过对相对空间的角度保持相对表示的可逆性进行形式化，并假设神经模型中解码器模块的尺度不变性，我们将两种方法结合起来，通过相对空间获得潜在空间转换的新方法。通过在各种架构和数据集上进行大量实验证实了我们的尺度不变性假设，并证明了我们方法在潜在空间转换中的高准确性。我们还将我们的方法应用于任意预训练文本和图像编码器及其分类器之间的零射缝，甚至跨模态。通过组合性，我们的方法具有促进模型实际重用的显著潜力。

Jun, 2024

图像文本分类的稳健潜在表示调整

通过引入模态潜在转换模块和新设计的融合模块，提出了一种强大的大型模型的潜在表示调优方法，以最大化模态之间的相关性，并提供在某一模态缺失情况下的稳健表示，同时保留图像和文本基础模型的冻结状态以保留其大规模预训练所获得的能力。实验证明了该方法的有效性。

Jun, 2024