语义对齐下的潜在空间翻译
通过对相对空间的角度保持相对表示的可逆性进行形式化,并假设神经模型中解码器模块的尺度不变性,我们将两种方法结合起来,通过相对空间获得潜在空间转换的新方法。通过在各种架构和数据集上进行大量实验证实了我们的尺度不变性假设,并证明了我们方法在潜在空间转换中的高准确性。我们还将我们的方法应用于任意预训练文本和图像编码器及其分类器之间的零射缝,甚至跨模态。通过组合性,我们的方法具有促进模型实际重用的显著潜力。
Jun, 2024
本篇论文提出了一种基于先前训练的深度生成模型,利用潜变量空间进行无监督跨模态域迁移的新方法,并探索了通过学习一个后续接口来提高模块性的可能性。通过定量和定性的实验证明了该方法的有效性,证明了在迁移过程中局部性和语义对齐得到了保留,而且通过这种模块化结构可以大大加快新接口模型的训练速度。
Feb, 2019
直接将一组不变性直接融入表示中,构建一种不变分量的产品空间,旨在解锁合并、拼接和重用不同神经模块的应用,并观察到分类和重建任务中的一致潜在相似性和下游性能改进。
Oct, 2023
本文主要研究利用神经网络将数据流形的几何结构嵌入到潜在表征中,提出了根据潜在表示中样本与预设锚点之间的相对关系来实现所需不变性的方法,并在不同数据集、不同架构、不同任务下进行了验证。
Sep, 2022
本研究通过无监督方法分析表示空间中的潜在概念,并考察了预训练模型和微调后模型间的相似性。结论显示:较高层次的潜在空间向任务特定概念演变,而较低层次则保留了预训练模型获得的通用概念;某些概念向输出类别具有极性,并可用于生成对抗性触发器。
Oct, 2022
本研究提出一种新的潜变量建模方法,名为 LadderNMT,并通过在非自回归神经机器翻译中的实验结果展示了其在跨语言翻译任务中显著提高翻译质量的优势。该方法基于双重重建视角和先进的分层潜变量建模方法,共享两种语言的潜空间,以减轻或解决了以前方法中存在的多模态问题,参数过多,无法获取全部输入信息的缺点。
May, 2023
本文提出了一个名为 InterFaceGAN 的新框架,用于解释 GAN 学习到的语义面部编辑,并深入研究不同语义如何编码在 GAN 的潜在空间中。我们发现,精心训练的生成模型的潜在编码实际上学习了一个分离的表示,在线性变换后解旋,通过子空间投影来解开某些绑定属性,实现更精确的面部特征控制,并产生可控的面部属性表示的结果表明 GAN 具有生成高保真图像的能力。
Jul, 2019
通过在语义相关的数据集和任务上训练的模型,我们研究了聚合这些潜在空间以创建包含组合信息的统一空间。我们引入了相对潜在空间聚合(Relative Latent Space Aggregation)作为一个两步方法,首先使用相对表示使空间可比较,然后通过简单平均聚合它们。我们把一个分类问题细分为三种不同的设置下的学习任务,并训练每个任务的模型并聚合结果的潜在空间。我们将聚合空间与在所有任务上训练的端到端模型产生的空间进行比较,并表明两个空间是相似的。我们观察到聚合空间更适合于分类,并通过实验证明这是由于任务特定嵌入器遗留在表示中的独特印记。最后,在不存在共享区域的情况下测试我们的框架,并显示它仍然可以用于合并空间,尽管相对于简单合并而言其好处有所降低。
Nov, 2023
使用翻译数据作为词表示模型的语义相关学习信号的源,利用翻译中的等价性作为分布式上下文进行联合嵌入和对齐,通过概率归一化的隐变量词汇对齐实现嵌入词,并比较上下文中的词的重叠度。应用于多个语义任务上获得了良好的性能表现。
Feb, 2018