ICLRMay, 2022

校准的重要性：解决大规模广告推荐系统中的最大化偏差问题

PDF
TL;DR该论文提出了一种方案解决优化校准问题中的最大化偏差问题，即使用一种新的算法降低最大化偏差的影响，实验证明该算法对于协变量漂移的问题很有效，而且不会影响机器学习模型的性能表现。
calibrationoptimizationmaximization biasdebiasingrecommendation neural network
发现论文，激发创造
  • ExCalibR: 推荐期望校准

    本文提出了一种基于线性规划优化问题的方法来平衡推荐系统或搜索问题中多种类别需要协调的目标，通过学习一个双重随机矩阵来实现权衡与适应，最终实验结果表明该模型可以取得更好的平衡效果。

    Apr, 2023

  • 后验概率的重要性：在线广告神经预测的双适应校准

    通过 AdaCalib 模型的双重适应方法，我们可以根据后验统计信息学习保序函数族，进行精细校准，并确保后验概率适合于校准的场值。实验证明，AdaCalib 在校准性能上获得了显著的提高，可在线部署并超越先前的方法。

    May, 2022

  • Field-aware Calibration：可靠概率预测的简单有效方法

    本文提出了一种新的评估指标，称为 “field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和 AUC）以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。

    May, 2019

  • 深度学习中的校准度量

    本文探讨了机器学习分类器中出现的过度置信和欠置信问题，介绍了衡量分类器置信度的度量标准 —— 准确率校准度，以及该度量标准不足的缺点；进而进行了一项全面的实证研究，并开源了一种度量方法的库。实证研究发现，不同的度量标准对于分类器校准度的优化与评价可能会带来截然不同的结论。

    Apr, 2019

  • 升高声音：协作式推荐中的偏好偏差放大

    本文研究了推荐系统中的个性化、校准、偏差差异等主题，检验了不同算法和物品类别之间的显著差异。

    Sep, 2019

  • 多类别分类中的校准测试：一个统一的框架

    文章讨论了多类别分类中的概率模型拟合和校准问题，并提出了一种基于矩阵核的估计器来解释校准度量的测试统计量。

    Oct, 2019

  • 贝叶斯自适应校准与最优设计

    这篇论文介绍了一种基于贝叶斯自适应实验设计的数据高效算法，用于校准自然现象的计算机模型，并展示了该方法在人工合成数据和真实数据问题中相比其他方法的优势。

    May, 2024

  • 校准攻击：一种面向校准的对抗攻击框架

    我们引入了一种名为校准攻击的对抗攻击框架，该框架通过生成和组织攻击来使受害模型误校准而不改变其原始准确性，从而严重危及模型的可信性和基于其置信度分数的决策。我们鉴别了四种新颖的校准攻击形式：低置信度攻击、高置信度攻击、最大误校准攻击和随机置信度攻击，并在黑盒和白盒设置中对典型受害模型使用全面的数据集进行了测试，证明即使只有相对较少的查询次数，这些攻击也能造成显著的校准错误。我们进一步详细分析了校准攻击的不同方面，并研究了广泛使用的对抗防御和校准方法对这些攻击的有效性，从而激发我们设计出两种新的防御措施来对抗此类校准攻击。

    Jan, 2024

  • 预测结果校准：一种新的多类校准方法

    本文提出了一种新的概念 —— 决策校准，指预测分布与真实分布在一组决策者下是 “不可区分的”。在选择有界行动的决策者的情况下，作者设计了一种重新校准算法，其样本复杂度多项式时间，并在皮肤病和 ImageNet 分类等领域中验证了该算法的有效性。

    Jul, 2021

  • 推荐系统中流行度偏差、校准和公平性之间的关联

    本研究考虑不同推荐算法对不同用户偏好的响应度进行测量，并揭示了算法中流行度偏差可能是导致推荐偏差的重要因素。两个真实数据集的实验结果表明，用户群体受到算法中流行度偏差程度与他们对流行物品的兴趣程度之间存在关联，并且受到算法中流行度偏差影响越大，他们的推荐结果就越有偏差。

    Aug, 2020