Feb, 2024
立足于 FURM 框架之上 —— 评估医疗系统中公平、有用和可靠的 AI 模型
Standing on FURM ground -- A framework for evaluating Fair, Useful, and Reliable AI Models in healthcare systems
Alison Callahan, Duncan McElfresh, Juan M. Banda, Gabrielle Bunney, Danton Char...
TL;DR使用人工智能（AI）指导患者护理或操作过程的影响是 AI 模型输出、基于该输出的决策制定协议以及参与方采取必要后续行动的相互作用。斯坦福医疗保健的数据科学团队开发了一种 “公平、有用和可靠 AI 模型（FURM）” 的机制，通过进行伦理审查来识别潜在的价值不匹配，通过模拟估计有用性，通过财务预测评估可持续性，以及通过分析来确定 IT 的可行性，设计部署策略，并推荐前瞻性的监测和评估计划，从而实现在部署之前估计其影响效果，以及在实时研究其影响效果。我们报道了对六个 AI 模型指导解决方案进行的 FURM 评估，以评估其潜在采用性的过程，涵盖临床和操作设置，每年可能影响数十个到数万个患者。我们描述了评估过程，总结了这六个评估，并分享了我们的框架，以使他人能够进行类似的评估。在我们评估的六个方案中，有两个已进入规划和实施阶段。我们的创新贡献，包括模拟估计的有用性、量化可持续性的财务预测以及进行伦理评估的过程，以及底层方法和开源工具，可供其他医疗保健系统进行可行的候选 AI 解决方案评估。