测试二元预测的评分规则
本论文探讨了当预测可以影响结果时,如何激励专家准确报告其信念,发现最大化预期得分的报告通常不反映专家的信念,给出了其不准确性的界限,并讨论了其他激励机制。
May, 2023
本文提出了一个理论框架,建模了目标人群对已部署分类器的响应,同时研究了基于重复风险最小化和一种更懒惰的方法的两个重新训练算法的收敛性,能够更好的控制已部署分类器的影响,同时探讨了不同人群获取信息和资源的差异对已部署分类器的响应影响。
Nov, 2020
该文研究了几种评分规则,以便为概率预测模型评分或估计模型参数。研究发现,采用对数评分规则以在更不确定的情况下犯错为优势,采用球形评分规则则以在较低不确定性下犯错为优势,而其他评分规则则对两种选择都不关心。
Dec, 2011
社会世界中的预测通常会影响预测的目标,这称为表现性,而表现性预测又可分为自我实现和自我否定的预测。在机器学习的发展中,表现性这个概念在经济学、金融学和社会科学中具有基本重要性,但在机器学习应用中往往表现为分布转移。我们对最近建立的表现性预测领域进行了调查,提供了定义和概念框架,以研究机器学习中的表现性。表现性预测的一个结果是自然均衡概念的出现,从而产生了新的优化挑战。另一个结果是学习和操纵之间的区别,这是表现性预测中发挥作用的两种机制。操纵的概念与数字市场中的权力问题密切相关。我们审查了表现性权力的概念,给出了这样一个答案:一个平台通过其预测有多大程度上能够操纵参与者。最后,我们讨论了未来的方向,比如表现性对抗算法系统中的作用。
Oct, 2023
本研究提出了可解释的生成模型,应用于四个体育联盟十年的得分数据中,成功在团队运动的两个在线预测问题(谁会得下一分和最终谁会赢)中优于基准模型,进一步分析了每种运动背后的得分动态机制,并对团队技能进行了量化评估。
Apr, 2015
文章探讨了预测可能影响其预测目标的可执行性预测,并提出了一种风险最小化框架,引入了统计学、博弈论和因果性的概念,并给出了最小化损失的稳定点的必要和充分条件。在全面性上,表现性预测严格包含战略分类设置,并给出了克服战略反馈效应的重新培训的首个充分条件。
Feb, 2020
本文研究带有机构的二元预测问题,提出了一个模型并采用激励兼容算法设计方法,证明了对于绝对损失函数,IC 算法具有很好的性能保证。同时,通过证明 IC 和非 IC 算法的下界,明确了自私专家在线预测性能与诚实专家在线预测性能之间的差异。
Feb, 2017
该研究提出一种分类法,以表征数据中的偏差,并研究了表现预测中的两种典型偏差:分布偏移和选择性标签对性能和公平性的危害,通过真实案例研究了欺诈检测中的不公平问题。
Jun, 2022
生存分析提供了关于各个领域中部分不完整的事件发生时间数据的关键洞察。它也是概率机器学习的一个重要示例。我们的提案以一种通用的方式利用了预测的概率特性,使用(适当的)评分规则而不是基于似然的优化来进行模型拟合过程。我们建立了不同的参数和非参数子框架,允许不同程度的灵活性。结合神经网络,它导致了一种计算高效和可扩展的优化程序,产生了最先进的预测性能。最后,我们展示了使用我们的框架,我们能够恢复各种参数模型,并证明在与基于似然方法相比时,优化同样有效。
Mar, 2024