Oct, 2017

标签嵌入网络：学习标签表示以软训练深度网络

PDF
TL;DR本研究提出了一种标签嵌入网络的方法，在深度网络的训练过程中学习标签表示（标签嵌入）。通过反向传播，该方法可以自适应地自动地学习标签嵌入，将原来的单热表示丢失函数转换成带有软分布的新的丢失函数，使得原来不相关的标签在训练过程中具有连续的相互作用。实验结果表明，所提出的方法可以在竞争任务中获得更高的准确性和更快的收敛速度，并且所学习的标签嵌入是合理且可解释的。
label embedding networkdeep networkslabel representationback propagationloss function
发现论文，激发创造
  • 利用特征嵌入实现对带有噪声标签的坚韧学习

    本文提出了一种基于特征嵌入的深度学习带标签噪声的方法（LEND），该方法能利用嵌入特征的内在韧性来有效减少误标签，采用深度学习进行训练并获得鲁棒性分类器。

    Jun, 2022

  • 元学习中的软标签学习

    提出了一种利用可学习标签和动态正则化来解决固定标签产生的过拟合、泛化性能下降等问题的框架方法，并应用于数据集噪声过大的情况中取得了显著的改进。

    Sep, 2020

  • 大规模图像分类的信息理论标签嵌入

    本文介绍了一种用于训练多标签、大规模多类别图像分类模型的方法，通过将高维稀疏标签嵌入到具有单位范数的低维密集球体上，并将分类问题视为该球体上余弦相似度回归问题，其比基于逻辑回归的 sigmoid 交叉熵损失函数的监督方法更快更准确，经过在 300 million 高分辨率图像和 17,000 标签的数据集上测试，相对于逻辑回归，该方法收敛速度明显提高，平均精度也提高了 7%。

    Jul, 2016

  • 基于嵌入的层级动态标注的半监督分类的拓展研究

    使用 Hierarchical Dynamic Labeling（HDL）算法，不依赖于模型预测的方式利用图像嵌入生成样本标签，进而改善半监督学习中伪标签生成的表现，验证了表示网络比分类器或预测器更可靠的动机。

    Apr, 2024

  • MetaLabelNet: 从噪声标签中学习生成软标签

    提出了一种标签噪声鲁棒的学习算法，该算法使用具有元目标的软标签来训练基础分类器，软标签由数据实例的提取特征生成，并使用单层感知器网络进行学习，算法使用少量的无噪声数据作为元数据，实验结果表明，该算法优于现有基线。

    Mar, 2021

  • 网络嵌入的对抗训练方法

    本文主要介绍了如何使用经过改进的对抗训练方法来解决网络嵌入过程中的过拟合问题，最终取得了较好的模型健壮性和泛化性能，并从节点分类和链接预测两个方面评估了模型的有效性。

    Aug, 2019

  • 超越 One-hot 编码：低维目标嵌入

    本研究提出了一种将目标嵌入到低维空间以提高神经网络收敛速度的方法，其中采用随机投影技术以零计算成本提高了收敛速度，并使用归一化的特征值表示类流形以提高编码的准确性。实验证明该方法能显著提高 CIFAR-100、CUB200-2011、Imagenet 和 MIT Places 数据集上的神经网络收敛速度和准确率。

    Jun, 2018

  • 极大输出空间的快速标签嵌入

    本文提出了利用排名约束估计与低维标签嵌入之间的对应关系来发现一种新的、快速的标签嵌入算法，并展示了其在多类问题和多标签问题中的应用，最终实现了指数级的运行时间优化，其中在两个大规模公共数据集上的结果优于现有技术。

    Mar, 2015

  • 利用质量嵌入的有噪声图像标签深度学习

    本文提出了一种质量嵌入模型，通过将质量变量嵌入到不同的子空间中，有效减小了噪声对标签的影响，并提出了一个对抗加性噪声网络模型（CAN）用于训练分类器，现有实验数据显示 CAN 在多种噪声图像数据集上优于深度学习等现有方法。

    Nov, 2017

  • 使用所有标签：一种分层多标签对比学习框架

    本文提出了一种层次化多标签表征学习框架，该框架可以利用所有可用标签并保留类别之间的层次关系，并引入新颖的层次保持损失。该方法是数据驱动的，自动适应任意多标签结构。实验表明，我们的关系保持嵌入在各种任务上表现良好，优于基线监督式和自监督式方法。

    Apr, 2022