Jun, 2024

基于预测集的决策支持系统中的反事实伤害控制

PDF
TL;DR基于预测集的决策支持系统通过缩小潜在标签值的集合（即预测集），并要求用户始终从预测集中预测标签值，来帮助人们解决多类别分类任务。本文的目标是通过设计控制决策支持系统频繁造成伤害的系统。通过结构性因果模型的理论框架来对伤害概念进行特征化，并在只使用人类自身的预测的情况下，估计系统造成伤害的频率，然后引入计算框架，使用符合性风险控制来设计基于预测集的决策支持系统，并验证了准确性和反事实伤害之间的权衡关系。
decision support systemsprediction setsharmstructural causal modelsconformal risk control
发现论文，激发创造
  • 使用反事实预测集设计决策支持系统

    本文提出了一种新型决策支持系统，通过嵌套结构的预测集和专家的设想单调性假设，实现比普通 bandit 算法更好的结果；大规模人类学科研究 ($n=2751$) 表明，这种限制专家代理水平的决策支持系统实用且可能提供比允许专家始终行使其代理权的系统更好的性能。

    Jun, 2023

  • 反事实伤害

    本文提出了第一个使用因果模型来形式化定义伤害和益处的方法，并证明了不能进行反事实推理的标准机器学习算法在损害易变的情况下必定追求有害政策。并利用我们对伤害的定义，设计了一种用于决策的框架，以减少伤害。这个框架是利用反事实目标函数。我们用药物反应模型从随机对照试验的数据中学习，展示了这个框架在识别最佳药物剂量问题上的应用。我们发现，使用治疗效果选择剂量的标准方法会导致不必要的伤害，而我们的反事实方法允许我们识别出大大减少伤害而不损失疗效的剂量。

    Apr, 2022

  • 基于反事实模型的可靠决策支持

    本研究提出一种新的监督学习目标，预测反事实情况而不是预测现有行动策略下的结果，以支持决策制定，使用我们提出的反事实高斯过程（CGP）来预测在未来行动序列下连续时间轨迹的反事实未来进展，并证明其在风险预测和个体化治疗规划等决策支持任务上的优势。

    Mar, 2017

  • 迈向人工智能与人类互补性的预测集

    采用贪婪算法，该论文发现了一种可比或更好性能的预测集构造方法，该方法能帮助基于预测集的决策支持系统有效解决分类任务。

    May, 2024

  • 公平临床风险预测的反事实推理

    本文使用机器学习系统支持决策制定在医疗保健中的问答涉及使用电子医疗记录中的观察性数据中隐含的偏见，进而进一步发展了组公平性标准，以在个体层面上扩展增益计数事实公正标准，探讨扩增的标准是否可以应用于使用观测性电子健康记录数据的病人长住和死亡的公平模型的开发。通过一个假设因果图的变分自动编码器来执行反事实推理，提供了一种在学习生成模型的背景下，在公平维护与预测性能下降之间权衡的方法。

    Jul, 2019

  • 基于一致预测集的人类决策改善

    在这项研究中，我们通过进行一项预先注册的随机对照试验，提供给人类被试一些确定度集合，从而研究了确定度集合对人类决策的辅助作用。结果表明，使用确定度集合来量化模型的不确定性对于人机合作决策和人工智能团队非常有帮助。

    Jan, 2024

  • 假设干预下的临床结果预测 —— 用表示学习框架进行反事实推理

    本研究提出了一种新的表示学习框架 - 部分概念瓶颈，该框架将反事实解释作为风险模型的嵌入式属性，有助于研究人员和临床医生改进个性化护理，探索干预的假设性差异效应。

    May, 2022

  • 无分布偏差，控制风险的预测集

    本文介绍了一种基于黑盒预测器实现集值预测、控制用户指定水平下的未来测试点期望损失大小以及使用 holdout 集来校准优化预测集大小的方法，这种方法能够提供简单、分布自由和严密的误差控制，适用于多个任务，如分类问题、多标记分类、分类问题中带有层次结构的标签、图像分割和蛋白质结构预测，还有拓展探讨。

    Jan, 2021

  • 准确的预测模型导致有害的自我实现预言

    使用预测模型做医学决策可能导致有害结果，即使部署后这些模型的预测能力良好，我们需要改变用于医学决策的预测模型的验证、部署和评估过程。

    Dec, 2023

  • 带有 s (CASP) 的反事实解释生成

    自动决策的机器学习模型在贷款批准、预审保释、招聘等领域越来越普遍，但大多数模型是不透明的，无法揭示决策依据。本文专注于自动生成反事实解释的问题，采用了答案集规划和 s (CASP) 目标导向 ASP 系统。我们展示了如何计算和证明反事实解释，并通过想象多个可能的世界来导航解释间的关系。此外，我们还展示了如何利用我们的算法为无法满足查询的一类答案集程序找到 Craig 插值。

    Oct, 2023