- 标签平滑改善机器反学习
该论文介绍了 UGradSL,一种使用平滑标签的简单且易于使用的机器遗忘方法,通过理论分析和实验证明了适当引入标签平滑如何提高机器遗忘性能,并且证明了 UGradSL 在不牺牲计算效率的情况下,能够在多个数据集上显著改善机器遗忘性能。
- 基于数据中心的标签平滑技术用于眼底图像可解释性青光眼筛查
本研究关注于如何通过数据为中心的方法改进视网膜图像中的青光眼筛查,并通过多个标注者的信息进行个性化标签平滑处理,从而提高模型性能。
- 通过将数据平滑与标签平滑耦合实现鲁棒分类
通过引入训练时增强技术来增强泛化能力和准备深度神经网络对测试时的错误。在图像损坏方面,借鉴生成扩散模型的成功,我们提出了一种新方法,将数据增强(通过图像加噪和模糊)与标签平滑结合起来,以使预测的标签置信度与图像退化相一致。该方法实施简单,引 - 节点分类的后验标签平滑
在图结构化数据的节点分类任务中,本研究提出了一种简单但有效的软标签平滑方法,通过邻近标签分布来封装目标节点的局部上下文,提高了大多数情况下 10 个节点分类数据集的分类准确率,同时缓解了训练时的过拟合问题,提高了泛化性能。
- 通过对齐的经验估计实现高效的基于偏好的强化学习
PbRL 方法 SEER 通过整合标签平滑和策略规则化技术,提高了反馈效率,取得了显著的性能优势。
- 通过半监督深度标签平滑技术增强社交媒体上的自杀风险检测
通过使用模糊或软标签的半监督深度标签平滑方法,在 Reddit C-SSRS 数据集上的五个标签多类分类问题中,我们将分类准确性从现有研究报道的 43%提高到 52%,这有潜力更好地支持那些经历心理困扰的人们。未来的工作应该探索在嘈杂数据集 - YOLOOC:基于 YOLO 的开放类增量目标检测与新类发现
通过构建新的基准测试,我们提出了一种基于 YOLO 架构的新型 OWOD 检测器 YOLOOC,在遇到新的类别时能够自动学习并避免忘记先前已知的类别,我们引入了标签平滑技术来防止检测器过度自信地将新类别映射为已知类别,并在我们的测试基准中的 - 理解标签平滑削弱选择性分类的原因及修复方法
标签平滑是一种用于训练深度神经网络分类器的流行的正则化方法,它通过均匀分布概率质量到其他类别来减少过拟合。然而,本研究揭示了标签平滑对选择性分类产生负面影响,并通过分析逻辑斜率梯度解释了这一现象。我们发现,采用逻辑斜率归一化的方法可以恢复由 - MM基于混淆惩罚的标签平滑化方法用于组织病理学图像的正则化 CNN
该论文介绍了一种基于混淆惩罚的新型标签平滑技术,相较于传统方法,针对每个类别的模型混淆给予更高的重视,通过对公开可用的结直肠组织学数据集进行广泛实验,并与最先进的方法进行对比,通过可靠性图和特征空间的 t 分布随机邻居嵌入图表明了该方法的有 - 学习最小方差特征通过标签增强
我们分析了标签增强方法在模型训练中的作用,证明了采用标签增强的线性模型仅仅学习数据中的最小方差特征,而标准训练则能够学习到更高方差的特征。我们的结果表明,与标准训练相比,标签平滑和 Mixup 在对抗性扰动下对训练数据的鲁棒性较差。通过对合 - ICLR消除梯度反转攻击中的硬标签约束
本论文研究梯度反转攻击在联邦学习框架下从中间梯度中重建本地训练数据,提出了一种基于分析的算法来同时恢复单输入梯度中的真实增强标签和最后全连接层的输入特征,并证明了该算法对标签恢复的准确性以及对随后的图像重建的好处,强调了分类任务中软标签在梯 - 跨领域少样本学习:自适应变换网络
提出了一种自适应变压器网络 (ADAPTER) 作为跨领域少样本学习的简单而有效的解决方案,它建立在双向交叉注意力的思想上,学习两个领域之间的可转移特征,并通过 DINO 训练以避免监督崩溃问题。进一步提出了标签平滑方法来提高嵌入空间中近邻 - 文本情感分类的标签平滑优化
这项研究通过使用不同程度的平滑化技术来实现情感分类的标签平滑化,从而提高情感分类准确性,并在八个不同的数据集和深度学习架构(TextCNN、BERT 和 RoBERTa)中的训练和微调两种学习方案下,通过大量实验展示了标签平滑化在文本情感分 - 谨慎平滑选择:标签平滑既可以成为隐私保护,又可能成为模型逆向攻击的催化剂
标签平滑是一种用于深度学习的广泛采用的正则化方法,本研究探究了标签平滑对模型反演攻击的影响,发现传统的标签平滑会增加模型的隐私泄露,而采用负因子的平滑可以阻止类相关信息的提取,从而提高隐私保护性并增强模型的鲁棒性。
- ICCVACLS:自适应和条件标签平滑用于网络校准
我们提出了一种新的损失函数,称为 ACLS,可以有效地调整深度神经网络的网络校准问题,同时避免了现有正则化方法的局限性。
- 2023 Ego4D 长期行动预测挑战技术报告
本报告描述了我们在 Ego4D 長期動作預測挑战赛 2023 中的技术细节,我们引入了三个改进,包括 SlowFast 和 SlowFast-CLIP 模型的集合,放松未来动作的顺序限制,以及基于词共现的操作类(动词、名词)的预测,优化了基 - 一种新的用于无人机车辆再识别的双池化注意力模块
本文提出了一种新的双池注意力模块(DpA),通过构建通道池注意力(CpA)和空间池注意力(SpA)的两个分支并采用多个池操作以提高对车辆的细节信息的关注度,将特征信息融合,并同时使用标签平滑交叉熵损失和难度挖掘三元损失进行训练,从而解决了由 - Team AcieLee: 2023 EPIC-SOUNDS 基于音频的交互识别挑战技术报告
介绍了 AcieLee 团队的技术细节和实验结果,他们使用了学习率衰减、骨干网络冻结、标签平滑和焦点损失等技术,通过多个模型合并得出一个性能优秀的模型,最终在 EPIC-SOUNDS 语音交互识别挑战赛中获得第三名。
- 序列置信度校准的感知和语义感知正则化
本文提出了一种注意变化、语义相关的序列正则化框架去加强模型对相关序列的监督,同时使用自适应校正强度模块来实现对样本困难度的更细粒度正则化,并在多项序列识别任务中达到先进水平的效果。
- 混合数据增强中的自我进化学习:增强少样本文本分类任务
本文提出一种基于自适应学习的 mixup 方法,采用实例专属标签平滑技术,通过数据增强技术产生更具适应性和友好性的假样本用于文本分类,实验证明该方法显著提高了分类精度和模型的泛化能力。