Dec, 2023

文本情感分类的标签平滑优化

PDF
TL;DR这项研究通过使用不同程度的平滑化技术来实现情感分类的标签平滑化，从而提高情感分类准确性，并在八个不同的数据集和深度学习架构（TextCNN、BERT 和 RoBERTa）中的训练和微调两种学习方案下，通过大量实验展示了标签平滑化在文本情感分类任务中的卓越性能。
label smoothingtext sentiment classificationmodel overfittingdeep learning architecturestraining from scratch
发现论文，激发创造
  • 文本平滑处理：增强文本分类任务中不同的数据增强方法

    该研究提出了一种有效的数据增强方法，又称文本平滑，在神经网络中将一个句子从其单热表示转换为可控的平滑表示，以增强低资源情况下的性能，并发现该方法可以与其他数据增强方法相结合，实现更好的性能。

    Feb, 2022

  • 标签平滑在什么时候有帮助？

    通过使用软分布，可以提高多类神经网络的泛化性能和学习速度。基于标签平滑的网络不会变得过于自信，而且可以显著提高模型的校准性。但是，如果使用了平滑标签，知识蒸馏的效果就会减弱。标签平滑可通过训练样本的表示，将同一类别的相同样本聚为紧密的簇，这样就导致了这些实例之间的信息损失。

    Jun, 2019

  • 标签平滑是否缓解标签噪声？

    本文通过研究标签平滑是否能够缓解标签噪声的影响，发现标签平滑可以与标签噪声文献中的一类损失校正技术相竞争，同时发现在从嘈杂数据中提取模型时，对老师标签进行标签平滑可以提高模型性能，这对于噪声无关问题的最近发现提供了进一步的启示，说明标签平滑在某些情况下是有益的。

    Mar, 2020

  • 标签平滑化提高领域内外文本对抗鲁棒性

    通过研究标签平滑策略在 NLP 领域不同任务中的应用，发现其可以有效地提高预训练模型的对抗鲁棒性，特别是在对抗攻击方面，并降低过度自信错误。

    Dec, 2022

  • 基于实例的标签平滑技术用于更好的校准分类网络

    提出了两种新的基于实例的标签平滑方法，其中使用以硬独热标签训练的教师网络来确定应用于每个实例的每个类别的平滑度量。根据类别与实际类别的相似性，分配平滑因子。在各种深度神经体系结构和图像分类数据集上，我们的方法显示出比标准标签平滑更好的泛化和校准性。

    Oct, 2021

  • 语义标签平滑用于序列到序列问题

    本文提出了一种针对 seq2seq 问题的标签平滑技术，能够克服大量输出的难题，通过充分的 n-gram 重叠和语义相似性，取得了明显的效果提升，并且在不同的数据集上超越了现有技术的最佳水平。

    Oct, 2020

  • 深入研究标签平滑

    本文研究了如何生成更可靠的软标签，提出了一种基于 Online Label Smoothing (OLS) 策略的方法，通过构建更合理的概率分布来监督深度神经网络；实验证明，该方法可以有效地提高 CIFAR-100，ImageNet 和细粒度数据集的分类性能，并显著提高 DNN 模型与嘈杂标签的鲁棒性。

    Nov, 2020

  • 通过标签平滑实现对抗鲁棒性

    研究了标签平滑作为改善监督深度学习模型对抗鲁棒性的手段，在多个数据集和模型上证明了标签平滑的普遍优越性以及提出了几种变化形式。

    Jun, 2019

  • 节点分类的后验标签平滑

    在图结构化数据的节点分类任务中，本研究提出了一种简单但有效的软标签平滑方法，通过邻近标签分布来封装目标节点的局部上下文，提高了大多数情况下 10 个节点分类数据集的分类准确率，同时缓解了训练时的过拟合问题，提高了泛化性能。

    Jun, 2024

  • 结构标签平滑正则化

    本文研究标签平滑的结构化方法，通过对训练数据中真实标签进行软化处理，有助于避免过度自信的输出，提高神经网络泛化能力的同时，兼顾不同训练数据的特性，为机器学习领域中的正则化技术提供了一种有效的手段。实验结果表明，该方法在合成与各类真实数据集中均取得了较好的性能表现。

    Jan, 2020