Jul, 2023

曲率损失函数视角下的记忆化

PDF
TL;DR本文提出通过损失函数对训练样本曲率的测量来对神经网络的记忆化能力进行研究和分析。通过对 popular image datasets 的样本进行测量、可视化和排序，研究展示了神经网络在长尾数据、错误标签和冲突样本方面的记忆化失效，并发现了 CIFAR100 数据集中存在的重复标签问题。实验结果表明，通过曲率排序可以有效地找到疑似错误标签的样本。
neural networksoverparametrizedcurvature of loss functiongeneralizationmislabeling
发现论文，激发创造
  • 揭示隐私、记忆和输入曲率之间的联系

    通过推导上限并利用 CIFAR 和 ImageNet 数据集的深度模型进行验证，本文不仅探索了 DNN 中记忆化与输入损失曲率之间的联系，还建立了差分隐私、记忆化和输入损失曲率之间的理论联系，进一步证实了理论预测和实践结果之间的强相关性。

    Feb, 2024

  • 深度神经网络中的记忆化：损失函数是否重要？

    研究了损失函数的选择对神经网络记忆能力的影响，发现使用对称损失函数能有效降低过拟合风险并提高网络的记忆鲁棒性。

    Jul, 2021

  • 几何视角下的焦点损失：降低曲率以增强模型校准

    机器学习算法在决策情境中的关键因素不仅是模型的准确性，还包括模型的置信水平。然而，模型在分类问题中的置信水平常常与实际预期的模型置信明显偏离。本研究旨在通过对焦损失函数进行几何重新解释，以理解焦损失的行为。我们的分析表明，焦损失可以降低训练模型时损失表面的曲率，这表明曲率可能是实现模型校准的关键因素之一。我们设计了数值实验来支持这一推测，揭示了焦损失的行为以及校准性能与曲率之间的关系。

    May, 2024

  • 损失地形的曲率研究

    通过分析嵌入的黎曼流形的微分几何性质，我们研究了损失景观，并展示了与潜在推理相关的几个设置之间的联系。

    Jul, 2023

  • 利用记忆效应学习受损标签

    本文利用机器学习自动化的方法，设计出一个基于记忆效应的特定领域的搜索空间，并且提出了一种新的牛顿算法，能够有效地解决二级优化问题，在多个数据集上进行的实验结果表明，该算法比现有嘈杂标签学习方法更好，并且比现有自动 ML 算法更加高效。

    Nov, 2019

  • DiscrimLoss: 一种用于困难样本和错误识别样本的通用损失函数

    本文提出了针对有标签噪声（即不正确的数据）的深度神经网络训练方法，通过引入一个新增的损失函数 DiscrimLoss 可以增强模型对易样本和难样本（包括困难和错误样本）的学习程度，并且能够动态自适应地模拟课程学习的主要原则，多种实验结果证明本文方法在存在不同的噪声级别时具有多样性和有效性。

    Aug, 2022

  • 课程学习理论与凸损失函数

    通过对困难得分和收敛速率的理论分析，研究了以适度难度曲线为基础的课程学习在凸问题中的作用并阐述它与硬数据挖掘的矛盾之处。

    Dec, 2018

  • 大型图像分类器记忆了什么？

    现代神经网络的成功引发了对记忆和泛化之间关系的研究：过参数化的模型能够很好地进行泛化，尽管它们能够完美地拟合（记忆）完全随机的标签。本文通过对图像分类基准上 ResNet 的记忆度量进行实证计算，全面分析了神经模型大小对记忆能力的影响，结果发现不同模型大小的训练样本表现出意想不到的多样化记忆轨迹：较大模型下大多数样本减少了记忆，而部分样本呈现帽状或者递增型记忆。此外，我们发现知识蒸馏作为一种有效且流行的模型压缩技术，往往抑制记忆，同时提高了泛化能力，尤其是对于记录递增轨迹的示例，蒸馏技术能够有效提高泛化能力。

    Oct, 2023

  • 深入研究样本损失曲线以应对嘈杂和不平衡的数据

    该论文提出了一种名为 CurveNet 的曲线感知网络，并采用探测和分配的方法，通过元学习自适应地分配适当的样本权重，以解决深度神经网络中常见的数据偏见和样本不平衡问题，并利用 skip layer meta optimization 方法加速了训练速度，该方法在多项具有挑战性的评估指标上取得了最先进的性能。

    Dec, 2021

  • 数据集选择和压缩的损失曲率匹配

    使用新的 LCMat 目标函数，匹配神经网络模型参数空间中原始数据集和减小后的数据集的损失曲率，以提高数据集减小的泛化性能。实验结果表明，LCMat 相较于现有基线算法具有更好的性能。

    Mar, 2023