ACLMar, 2022

使用边缘下面积和显著性指导混合训练对预训练语言模型进行校准

PDF
TL;DR本文研究了 mixup 训练在自然语言理解（NLU）任务的作用，提出了一种用于预训练语言模型的 mixup 策略，并与模型 miscalibration 修正技术相结合来提高模型校准的方法，实验结果表明该方法在低预期的校准误差方面具有竞争优势。
neural modelmixup trainingnlu tasksmodel calibrationpre-trained language models
发现论文，激发创造
  • 混合数据增强何时如何提高校准性能

    本文通过理论与实验证实，Mixup 数据增强技术可以在高维机器学习模型中提高模型信心值的校准性，同时可减少半监督学习中加入未标注数据所带来的校准性问题。

    Feb, 2021

  • 基于数据制图的预训练语言模型 MixUp 技术

    本文提出 TDMixUp 方法，利用训练动态，基于易于学习或模糊样本测量置信度、可变性、AUM 特征，让更具备信息量的样本相互插值，生成新样本，实验证明该方法不仅在较小的训练数据子集上取得竞争性能，而且在广泛的自然语言处理任务中，使用预训练语言模型 BERT 取得较低的期望校准误差。我们公开发布了我们的代码。

    May, 2022

  • 混合训练：改进的深度神经网络校准和预测不确定性

    通过将混合样本与标签训练，混合训练方法 (mixup) 在图像分类任务中表现出更好的数据增强效果，并且得到了更好的预测可靠性，表现为更好的校准性和更少的过于自信的预测。

    May, 2019

  • RankMixup: 基于排名的 Mixup 网络校准训练

    RankMixup 是一种基于混合的框架，通过 Ordinal Ranking Relationship 实现网络校准，通过混合系数和置信度之间的顺序关系来提高校准能力，并减少混合标签的问题。

    Aug, 2023

  • Mixup-Transformer：NLP 任务的动态数据增强

    本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域，特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明，Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术，能够显著提高其性能。

    Oct, 2020

  • 引导 Mixup：由显著图引导的高效 Mixup 策略

    提出了一种新的基于 saliency-aware 的 mixup 方法 ——GuidedMixup，通过一种高效的配对算法来最小化配对图像的显著区域间的冲突，平滑地插值两幅图像以更好地保留显著区域，并且可以在分类数据集上提供良好的计算效率与泛化性能之间的平衡。

    Jun, 2023

  • 关于 Mixup 正则化

    本论文研究数据增广技术 Mixup 的理论基础，指出 Mixup 可被解释为标准经验风险最小化估计器，通过数据转换和随机扰动来实现。该方法在测试时能够提高分类器性能，同时还获得了自校准和有效的正则化效果，以防止过度拟合和过度自信的预测。

    Jun, 2020

  • 基于动态数据过滤的训练可能不适用于自然语言处理数据集

    探讨了使用 Area Under the Margin（AUM）度量方法来识别和去除 / 修正自然语言处理数据集中错误标记的样本，表明该方法可以滤除 NLP 数据集中的错误标记，但也会去除大量正确标记点并导致大量相关语言信息的丧失。模型依靠分布信息而非依赖句法和语义表示。

    Sep, 2021

  • AUC-mixup：混合深度 AUC 最大化

    通过混合数据增强技术，即 AUC-mixup 损失，改进了 DAM 在小样本数据集上的推广性能，该方法在不平衡的基准和医学图像数据集上比标准的 DAM 训练方法表现更有效。

    Oct, 2023

  • 不确定性感知学习的语言模型对齐

    我们提出了一种基于样本不确定性的学习方法，通过引入更能体现样本不确定性的模型，来改善不同任务情景下的模型对齐，实验证明我们的方法能显著提高模型性能和数据效率。

    Jun, 2024