Feb, 2022

关于 “通过差异性评估 SGD 的泛化能力” 注释

PDF
TL;DR本文介绍了深度神经网络的预测误差可以通过模型的预测不一致性进行估计，其中，“广义差异等式” 遵循了深度集合的良好校准性，并提出了 “类别聚合校准” 的概念。但我们发现该理论可能不实用，因为预测不一致性增加时，深度集合的校准性可能会降低，并需要标签来估计新数据集上的校准性。我们简化了理论陈述和证明，并在概率上下文中展示它们是简单明了的。
deep neural networksprediction disagreementgeneralization disagreement equalitycalibrationlabels
发现论文，激发创造
  • 通过分歧评估 SGD 的泛化能力

    该研究表明，通过在同一训练集上使用不同的 Stochastic Gradient Descent 算法训练相同结构的神经网络，并测量两个网络在无标签测试数据上的不一致率，我们可以简单地估计深度网络的测试误差。同时理论上证明了该现象产生的原因是 SGD 训练模型集成的校准状态。这不仅提供了一种简单的经验测量方法，可以直接使用无标签测试数据预测测试误差，还建立了广义上的泛化和校准之间的新概念联系。

    Jun, 2021

  • 不一致性如何帮助对抗标签破坏的泛化？

    提出了一种名为 Co-teaching + 的稳健学习范例，它将 “Update by Disagreement” 策略与原始的 Co-teaching 相结合，以解决由于与同伴网络达成一致而导致 Co-teaching 退化为自训练的 MentorNet 的问题。实证结果表明，Co-teaching + 在训练模型的稳健性方面比许多最先进的方法优秀。

    Jan, 2019

  • (几乎) 通过分歧差异证明分布偏移下的误差界

    本研究通过使用无标签测试数据来推导深度神经网络在分布转移下的误差（几乎）保证上界，并提出了一种理论上合理、在实践中表现更优的 “不一致损失” 用于评估误差保证上界的较紧估计。

    Jun, 2023

  • 标定泛化差距

    通过将校准误差分解为训练集的校准误差和校准泛化间隙，我们理论证明了深度神经网络在训练集上通常是校准的，校准泛化间隙受到标准泛化间隙的限制，因此具有小的泛化间隙的模型是校准的。

    Oct, 2022

  • 深度神经网络训练的不一致性、不稳定性和泛化差距

    研究深度神经网络的泛化差距问题，发现模型不一致和不稳定性是影响泛化差距的关键因素，通过算法降低不一致性可以提高性能，并为现有方法（如协同蒸馏和集成学习）提供了理论基础。

    May, 2023

  • 寻求鲁棒的泛化测量方法

    本文讨论了深度学习中的一项科学挑战，即解释归纳泛化问题，通过关注经验性评估方法，提出了将泛化度量评估纳入分布强健性框架的看法。

    Oct, 2020

  • 同意不同意：通过异议实现更好的可转移性的多样性

    本文提出 D-BAT 算法，通过学习一组包含多样化的预测特征的模型，解决了梯度学习在样本库之外泛化的问题，同时在多个实验中得到了证实。

    Feb, 2022

  • 转移学习中的越界泛化测量

    本研究探讨了如何测量和改善模型的鲁棒性，并提供了五个包括准确性、校准误差、对抗攻击、环境不变性和综合污染的数据集对深度学习网络进行了分析与比较，发现鲁棒性的提升与具体数据集相关，且关系更为复杂。

    Jul, 2022

  • 跨尺度泛化误差的建设性预测

    本论文提出基于模型缩放的方法来构建适合各类模型和数据规模的函数形式，针对神经网络的泛化误差进行观测并给出了精确预测。

    Sep, 2019

  • 有效的人工标注代理：工业自然语言处理中大型语言模型的集成不一致得分

    在这篇论文中，我们通过在关键词提取任务上的评估，展示了集成不一致分数作为语言模型在零样本、少样本和微调设置下人类标注的代理的良好效果。通过与真实错误进行比较，我们发现，不一致分数比使用另一个语言模型作为机器标签或银标签，更好地估计了模型的性能，其平均误差率低至 0.4％，平均比使用银标签提高了 13.8％。

    Sep, 2023