- 数据集精炼中，一个标签胜过千张图片
数据质量是机器学习模型性能的关键因素，数据集精馏方法通过将训练数据集压缩为保持相似下游性能的较小版本来利用数据质量。通过剔除实验，我们发现当前最先进的精馏方法的性能取决于使用软标签而不是生成合成数据的具体技术。此外，我们还发现软标签的有效性 - 节点分类的后验标签平滑
在图结构化数据的节点分类任务中，本研究提出了一种简单但有效的软标签平滑方法，通过邻近标签分布来封装目标节点的局部上下文，提高了大多数情况下 10 个节点分类数据集的分类准确率，同时缓解了训练时的过拟合问题，提高了泛化性能。
- ACL通过软对比学习改善多语言对齐
提出新的方法来对齐多语种嵌入，基于单语种嵌入模型中句子的相似性测量；实验证明我们的方法在多语种数据集上表现出色，优于现有的多语种嵌入方法和对比损失方法。
- GIFT：在接近零成本的缩减数据集中挖掘标签的全部潜力
近期关于数据集蒸馏的研究表明，采用预训练教师模型生成的软标签具有显著优势。本文从一个新的角度强调标签的充分利用。我们首先对用于数据集蒸馏的软标签利用的各种损失函数进行了全面比较，发现在合成数据集上训练的模型对于损失函数的选择具有很高的敏感性 - ReffAKD: 资源高效的基于自编码器的知识蒸馏
提出了一种新方法来提高知识蒸馏效率，同时不需要资源密集的教师模型。通过使用紧凑的自动编码器提取特征并计算不同类别之间的相似度得分，然后对这些相似度得分应用 softmax 函数以获得软概率向量，这个向量在学生模型的训练中作为有价值的指导。在 - MD-PK: 通過提示學習和知識蒸餾進行隱喻檢測
通过知识蒸馏和提示学习，我们设立了一种为隐喻检测任务设计的提示学习模板，使得模型能够准确推断目标词的上下文含义，并使用先验知识的教师模型生成有意义的软标签，从而使得模型能够更好地应对数据稀疏性和过度自信的问题，并在多个数据集上取得了最新的实 - CVPR缓和以防御：通过自引导标签完善实现对抗鲁棒性
鲁棒训练是为了提高深度神经网络对抗攻击的鲁棒性的最有效方法之一，但大多数鲁棒训练方法存在鲁棒过拟合的问题。本文从梯度范数角度首次找到了鲁棒过拟合与噪声标签过渡记忆之间的联系，并提出了一种自我导向的标签优化方法，它能提高标准准确度和鲁棒性，在 - CVPR知识蒸馏中的 Logit 标准化
知识蒸馏通过使用共享的基于温度的软最大函数，从教师向学生传递软标签。然而，教师和学生之间的温度共享假设意味着在 logit 的范围和方差方面需要强制精确匹配。为了解决这个问题，我们提出将温度设定为 logit 的加权标准差，并在应用 sof - ICLR软件电子设计自动化：以软标签重构基于规则的数据增强
我们提出了一种简单直接的技术，通过应用软标签来改善基于规则的文本数据增强方法在自然语言处理任务中的性能。通过在七个不同的分类任务上进行实验，我们在经验证明了我们的方法的有效性，并公开了源代码以便复现。
- ACLAutoAugment 是您所需的：增强基于规则的增强方法在低资源环境中的应用
本文提出了一种基于 AutoAugment 的方法来解决文本数据增强中的语义损害问题，并实验证明该方法可以改善现有的增强方法，并增强先进的预训练语言模型。
- 基于数据驱动的 Bayes 二元分类器假阳性率估计与软标签
本文提出了一种用于估计贝叶斯分类器中的假阳性率的估计器，并对其进行了广泛的理论分析，包括一致性、无偏性、收敛速度和方差。此外，还通过利用去噪技术和 Nadaraya-Watson 估计器，开发了一种用于估计有噪声标签情况下的假阳性率的有效估 - 通过反偏见软标签蒸馏来改善对抗鲁棒公平性
通过对软标签的平滑程度进行深入分析和理论分析，我们提出了一种反偏差软标签蒸馏（ABSLD）方法，以在知识蒸馏（KD）框架中减轻对手性鲁棒性公平问题，通过调整训练过程中样本的软标签的类别平滑程度来减少学生模型在不同类别之间的错误风险差距，软标 - EMNLP不浪费任何一个注释：通过软标签改进单标签分类器
本文主要研究了数据注释和训练方法在客观单标签分类任务中的局限性，并提出了使用软标签的方法来改善性能。
- 学生大型语言模型是否能和老师一样表现出色？
深度学习模型、知识蒸馏、软标签、温度缩放和模型性能在知识蒸馏中的关键决定因素及其潜力。
- 使用模糊精确率和召回率评估分类系统对软标签的准确性
分类系统通常通过最小化系统输出和参考标签之间的交叉熵进行训练，Kullback-Leibler 散度是衡量系统与数据接近程度的自然选择。我们提出了一种新颖的方法，可以在不量化数据的情况下计算精度、召回率和 F 值，这些指标扩展了现有的度量标 - 减轻选民属性偏差以实现公正的意见聚合
使用包括意见聚合和公平选择在内的方法，平衡持不同意见的投票者属性以实现公正的意见聚合，并使用软标签评估聚合结果的公正性。
- 模拟退火自蒸馏纠正改进了对抗训练
提出一种通过生成软标签辅助来增强对抗训练模型的方法 Annealing Self-Distillation Rectification (ADR)，该方法显著改善了模型的鲁棒性并且易于与其他对抗训练技术进行无缝集成。
- Jaccard 度量损失：通过软标签优化 Jaccard 指数
本文提出了一种称为 Jaccard metric losses（JMLs）的 IoU loss 变体，可与软标签兼容，在 Cityscapes、PASCAL VOC 和 DeepGlobe Land 三个语义分割数据集上相对于交叉熵损失有显 - ICLR使用恒定内存扩展到 ImageNet-1K 的数据集蒸馏
本文研究了一种名为 MTT 的数据集压缩方法，提出了一种内存和时间更高效的轨迹匹配算法 TESLA，并且发现对于更大的数据集，为合成图像分配软标签至关重要。TESLA 在 ImageNet-1K 数据集上实现了 27.9% 的测试准确率，要 - AAAI从每个标注者获取和学习软标签
通过使用少量标注者的软标签实现模型性能和可靠性的提高，该方法在减少标注者数量的同时得到了与之前方法相当的模型性能，但需要在 elicitation 过程中付出显著的时间成本。