为相对表示法引导并行锚点
本文主要研究利用神经网络将数据流形的几何结构嵌入到潜在表征中,提出了根据潜在表示中样本与预设锚点之间的相对关系来实现所需不变性的方法,并在不同数据集、不同架构、不同任务下进行了验证。
Sep, 2022
通过对相对空间的角度保持相对表示的可逆性进行形式化,并假设神经模型中解码器模块的尺度不变性,我们将两种方法结合起来,通过相对空间获得潜在空间转换的新方法。通过在各种架构和数据集上进行大量实验证实了我们的尺度不变性假设,并证明了我们方法在潜在空间转换中的高准确性。我们还将我们的方法应用于任意预训练文本和图像编码器及其分类器之间的零射缝,甚至跨模态。通过组合性,我们的方法具有促进模型实际重用的显著潜力。
Jun, 2024
基于语义锚点的正则化方法(SAR)可以通过使用预定义的类锚点来引导特征学习,从而提高紧凑度和类间可分性,避免引入偏差和错误。该方法在现有模型中可以以即插即用方式使用,并在大规模实验中优于之前的方法。
Dec, 2023
本研究提出了一种基于弱监督(仅有相同单词列表)的方法,通过固定目标语言的嵌入并学习与之对齐的源语言的嵌入来解决不同语言的单词嵌入相似性不一致的问题,并在双语词表归纳和 XNLI 任务上取得了较好的结果,相比于传统的映射方法表现更好。
Dec, 2020
提出了一种新颖的图像生成方法:latent space anchoring,可以实现在不需要调整现有域的编解码器的情况下扩展到新的视觉域,该方法通过学习轻量级编码器和回归器来将不同域的图像锚定到相同的冻结 GANs 的潜在空间中,并且其编码器和解码器可以任意组合进行图像翻译,实验表明,该方法在标准和可伸缩的 UNIT 任务上均表现优异。
Jun, 2023
本文提出了一种名为 “Anchor & Transform (ANT)” 的简单而高效的嵌入算法,它能够处理大容量的离散对象嵌入,通过从中学习少量的锚点和稀疏的转换矩阵,将对象嵌入成为锚点的稀疏线性组合。这种算法是可扩展、灵活和端到端训练的。同时,研究人员还将其解释为一种贝叶斯非参数先验,旨在促进稀疏性并利用对象间的自然分组关系,我们在多个基准测试中发现,ANT 特别适用于大词汇量,相较于现有压缩基线提供了更强的性能表现(高达 40 倍压缩的低参数)。
Mar, 2020
提出了一种用于视觉故事叙述任务的学习模型,其主要思想是从图片中预测锚定词嵌入,并联合使用嵌入和图片特征生成叙述句,方法设计简单,易优化,在大多数自动评估指标中取得最佳结果,在人员评估中也优于竞争方法。
Jan, 2020