Apr, 2023

基于预训练模型学习样本难度以实现可靠预测

PDF
TL;DR本文提出了一个方法，即基于样本难度感知熵正则化，利用经过大规模训练的预先训练模型指导下游模型训练，并同时提高了准确性和不确定性校准的可靠预测，克服了现代神经网络的困难，这是一个未被充分探索的领域。
large-scale pre-trained modelsprediction reliabilitysample difficulty-aware entropy regularizationaccuracyuncertainty calibration
发现论文，激发创造
  • 对比学习中的不确定性：下游性能可预测性研究

    本文研究了基于对比学习的深度学习模型的嵌入向量的不确定性评估问题，并提出了一种方法，直接在嵌入空间中估计数据分布并考虑其局部一致性，结果表明该方法可以有效预测嵌入向量的下游性能。

    Jul, 2022

  • 用快速对抗校准实现深度神经网络中值得信赖的预测

    为了让实际应用的人工智能系统更加被广泛认知，模型的可信度至关重要。文章提出了一种新的训练策略，结合熵鼓励损失项和对抗校准损失项，以提高样本在领域世界偏移下的校准性和适应性。文章在不同的数据模式、数据集和网络架构上进行了全面的评估，结果显示该方法明显高于现有的最先进方法，应用于领域漂移下预测方面具有技术上的可信度。

    Dec, 2020

  • 不使用训练或测试数据预测最先进神经网络质量趋势

    该研究利用基于规范的容量控制指标和基于幂律的重尾自正则化理论的度量方法对数百个公开可用的预训练模型进行了详细的元分析，发现基于幂律的度量方法可以更好地区分预训练模型的良好培训和质量低劣的模型。

    Feb, 2020

  • 大规模预训练的极限探索

    通过调整数据规模、模型大小和训练时间，提高预训练的准确性可以有利于大多数下游任务的表现，但是当上游准确度提高时，下游任务的表现会饱和，并且与上游和下游任务的性能呈非线性关系，因此需要对下游性能建立一个模型以反映这种饱和现象。

    Oct, 2021

  • 对抗训练的稳健性从预训练到下游任务的迁移

    在机器学习中，预训练模型对于下游任务的使用已经成为一种标准方法，虽然其实证明了效果提升，但是预训练模型的鲁棒性如何传递到下游任务中还未被充分理解。我们证明了预测器的鲁棒性可以通过其基础表示的鲁棒性来界定，与预训练协议无关。综上所述，我们的结果明确了可靠性表现在部署时所需要的表示函数的要求。

    Aug, 2022

  • 面向最坏情况下游适应的任务鲁棒预训练

    本文提出了一种新的预训练模型方法，使其在从任务中保持鲁棒性，既在自然语言处理数据集上，又在计算机视觉数据集上都具有较好的表现。

    Jun, 2023

  • 从非现实数据学习缺陷预测

    通过提取高维嵌入并评分人工样本相对于最接近的真实世界样本的距离，我们展示了在基于代码的两个流行预训练模型上训练仅包含表示最相似样本且舍弃与表示完全不相似样本的方法对两个代码理解任务取得了一致的改进。

    Nov, 2023

  • 一种简单的统一框架用于检测样本的离群点和对抗攻击

    本文提出了一种简单而有效的方法，可用于检测任何异常样本，适用于任何预训练的 softmax 神经分类器，在高鲁棒性方面表现优越，同时在检测离群样本和对抗样本方面都取得了最先进的性能，在分类增量学习中有着更广泛的应用。

    Jul, 2018

  • Difficulty-Net: 学习长尾识别的难度预测

    该研究提出了一个名为 Difficulty-Net 的模型，使用元学习框架来预测长尾数据集中难度较大的类别，利用相对难度和驱动器损失来指导学习，并且在多个长尾数据集中取得了最先进的性能。

    Sep, 2022

  • 使用陡峭斜率损失函数学习预测可信度

    本文研究了在真实世界的大规模数据集中预测可信度的问题，引入了一种新的陡峭斜率损失函数，来提高预测器的泛化能力，并在 ImageNet 数据集上对其进行了实验和分析。

    Sep, 2021