通过逆向相对投影的潜空间转换

Jun, 2024

Latent Space Translation via Inverse Relative Projection

Valentino Maiorca, Luca Moschella, Marco Fumero, Francesco Locatello, Emanuele Rodolà

TL;DR通过对相对空间的角度保持相对表示的可逆性进行形式化，并假设神经模型中解码器模块的尺度不变性，我们将两种方法结合起来，通过相对空间获得潜在空间转换的新方法。通过在各种架构和数据集上进行大量实验证实了我们的尺度不变性假设，并证明了我们方法在潜在空间转换中的高准确性。我们还将我们的方法应用于任意预训练文本和图像编码器及其分类器之间的零射缝，甚至跨模态。通过组合性，我们的方法具有促进模型实际重用的显著潜力。

Abstract

The emergence of similar representations between independently trained neural models has sparked significant interest in the representation learning community, leading to the development of various methods to obtain communication between latent spaces. "→

neural models latent space communication scale invariance latent space translation

发现论文，激发创造

语义对齐下的潜在空间翻译

通过简单的转换，我们的研究展示了神经网络模型中学习到的表示可以在不同的预训练网络之间进行转化，从而有效地连接编码器和解码器，并实现在多模态设置下的出色分类性能。

Nov, 2023

相对表示使零样本隐空间通信成为可能

本文主要研究利用神经网络将数据流形的几何结构嵌入到潜在表征中，提出了根据潜在表示中样本与预设锚点之间的相对关系来实现所需不变性的方法，并在不同数据集、不同架构、不同任务下进行了验证。

Sep, 2022

从图表到图谱：将隐藏空间合并为一体

通过在语义相关的数据集和任务上训练的模型，我们研究了聚合这些潜在空间以创建包含组合信息的统一空间。我们引入了相对潜在空间聚合（Relative Latent Space Aggregation）作为一个两步方法，首先使用相对表示使空间可比较，然后通过简单平均聚合它们。我们把一个分类问题细分为三种不同的设置下的学习任务，并训练每个任务的模型并聚合结果的潜在空间。我们将聚合空间与在所有任务上训练的端到端模型产生的空间进行比较，并表明两个空间是相似的。我们观察到聚合空间更适合于分类，并通过实验证明这是由于任务特定嵌入器遗留在表示中的独特印记。最后，在不存在共享区域的情况下测试我们的框架，并显示它仍然可以用于合并空间，尽管相对于简单合并而言其好处有所降低。

Nov, 2023

从砖头到桥梁：增强潜在空间通信的不变性乘积

直接将一组不变性直接融入表示中，构建一种不变分量的产品空间，旨在解锁合并、拼接和重用不同神经模块的应用，并观察到分类和重建任务中的一致潜在相似性和下游性能改进。

Oct, 2023

潜在翻译：通过连接生成模型跨越模态

本篇论文提出了一种基于先前训练的深度生成模型，利用潜变量空间进行无监督跨模态域迁移的新方法，并探索了通过学习一个后续接口来提高模块性的可能性。通过定量和定性的实验证明了该方法的有效性，证明了在迁移过程中局部性和语义对齐得到了保留，而且通过这种模块化结构可以大大加快新接口模型的训练速度。

Feb, 2019

人工神经网络中的潜在通信

通过识别神经表示、潜在空间、潜在交流、相对表示和数据模态关键词，研究发现神经网络的潜在表示具有普适性和可重用性，可以在不同模型之间传递和转化，实现生成、分类和检索等任务，跨图像、文本、音频和图形等各种数据模态。

Jun, 2024

基于表现性潜变空间的无监督人机动作转接

利用深度学习方法实现人到机器人动作重定向，无需人与机器人动作数据对齐，构建共享的潜空间并进行机器人运动控制，通过简单线性插值生成中间动作，多种输入模态下的机器人控制全面评估，与现有工作相比，在增加自然人机沟通的能力和提升机器人融入日常生活的信任度方面展示了有效性。

Sep, 2023

非自回归神经机器翻译中两种语言共享的潜在空间

本研究提出一种新的潜变量建模方法，名为 LadderNMT，并通过在非自回归神经机器翻译中的实验结果展示了其在跨语言翻译任务中显著提高翻译质量的优势。该方法基于双重重建视角和先进的分层潜变量建模方法，共享两种语言的潜空间，以减轻或解决了以前方法中存在的多模态问题，参数过多，无法获取全部输入信息的缺点。

May, 2023

潜在图像动画师：通过潜在空间导航学习动画图片

介绍了一种名为 LIA 的基于自我监督的自编码器模型，该模型可以在潜在空间中进行线性导航以运动图像。LIA 避免了使用结构表示，通过同时学习正交运动方向和其线性组合来生成视频，结果在 VoxCeleb、Taichi 和 TED-talk 数据集上的质量明显优于现有方法。

Mar, 2022

面向目标的语义沟通的动态相对表示

在未来的 6G 无线网络中，语义和效能方面的通信将起到基础作用，将意义和相关性融入传输中。本文提出了一个新的面向目标的语义通信框架，通过潜在空间对齐来减轻语义不匹配问题。我们提出了一种动态优化策略，适应相对表示、通信参数和计算资源，实现了高效能、低延迟、面向目标的能源储效率的语义通信。数值结果表明我们的方法在减轻设备间不匹配问题的同时，优化了能源消耗、延迟和效能。

Mar, 2024