随机共享嵌入:嵌入层的数据驱动正则化
该论文提出了一种名为 $d$-SNE 的域适应技术,通过使用随机邻域嵌入技术和一种新的修改 Hausdorff 距离,学习端到端,使其非常适合训练神经网络,并且在实验中表现出优于当前最先进技术的性能,并且能够同时推广到多个领域。
May, 2019
该研究介绍了一种可以在并行或分布式设置中利用的计算效率高和随机图正则化技术,以进行深度神经网络的半监督训练,这种技术基于亲和图的合成分区进行随机梯度下降的小批量构建,证明我们的方法可以让基于图表的半监督损失函数分解成目标求和,从而方便可扩展的机器学习模型训练。实证结果显示,相比完全监督情况,当标记数据比例较低时,我们的方法显著提高了分类准确性,并在并行情况下实现了显著的收敛时间加速。
Dec, 2016
本文提出了一种新的高阶随机图嵌入方法(SGE),主要通过一种新的随机搜索过程来提取 / 采样无限高阶图小区域,并将其分布映射到一个给定的图,然后结合最大间隔分类器,能够对数据进行图像识别,并在标准基准数据库上得到了积极的影响。
Feb, 2017
本文提出了一种新的方法,通过利用信息丰富的潜在嵌入及其高内类相关性,从同质样本的子集中创建虚拟嵌入,并使用这些虚拟嵌入来降低它们在潜在嵌入空间中的类间相似度,以达到模型规范化的目的且不需要昂贵的超参数搜索,并在两个流行和具有挑战性的图像分类数据集(CIFAR 和 FashionMNIST)上验证了方法的有效性。
Apr, 2023
使用参数稀疏化的方法,通过在标准语义文本相似性任务和迁移学习任务中进行更多实验,研究表明提出的 SparseCSE 在性能上优于 SimCSE,并通过深入分析展示 SparseCSE 生成的嵌入空间比 SimCSE 具有更好的对齐性,而一致性保持不变。
Nov, 2023
通过引入独立分布惩罚作为正则化项,我们提出了一种名为私有变分图自编码器(PVGAE)的新方法,特别地,我们通过使用两组编码器来学习敏感和非敏感潜在表示,同时引入了一种新的正则化方法来强制编码器的独立性,实验证明 PVGAE 在私有嵌入学习方面优于其他基线,并在效用性能和隐私保护方面取得了成功。
Aug, 2023
本文提出一种名为 MSBReg 的动态模型,用于图像嵌入的多视角聚类。该模型结合吸引力、扩散力和纠正力,通过对相似图像的嵌入进行优化,能够在多种图像分类和迁移学习任务中表现出色,并可以用于对其他方法进行正则化以提高性能和稳定性。
Jul, 2022
本文探讨了无监督自学习对偶损失模型(SSCL)的理论基础,提出了在随机邻居嵌入(SNE)视角下,使用数据增强构建 “正” 偶对实现了对输入空间对比度的优化,通过与 SNE 对应,进一步提供了方法学指导并证明了使用域不可知增强与隐式偏见得到的潜在优势,同时证明了从 SNE 到 t-SNE 转换的适用性并在实验中取得了相应的优化效果。
May, 2022
本文介绍了一种通过在 RNN 中的输入和输出嵌入层共享参数来压缩模型参数的方法,实验证明该方法可大幅减小模型参数的大小,但仍能在自然语言处理中保持模型的准确性和性能表现。
Nov, 2017