Feb, 2023

无 (地) 真相：人工智能决策中代理标签的因果框架

PDF
TL;DR本研究开发了一种因果关系框架，以阐明代理标签的有效性以及先前建模工作所假定的隐含假设并推荐验证这些假设是否符合实践的评估策略，进一步讨论了未来研究中更好地解决目标变量偏差的机会。
human-ai decision-makingpredictive modelsproxy labelstarget variable biascausal framework
发现论文，激发创造
  • 在评估可解释 AI 系统时，代理任务和主观度量可能会误导

    本研究通过在线实验和现场思考研究评估了两种当前常用的 XAI 系统评估技术，并发现代理任务和主观度量在实际决策任务中均未能预测评估结果，这表明当前的评估方法可能错误地拖慢了我们开发可靠执行出色的人工智能与人类团队的进步。

    Jan, 2020

  • 缺乏真实情况下提升建模公平性评估

    使用替代品来充当反事实标签以解决缺失真实后果问题，从而实现对基于 AI 的自动决策系统中使用提升模型进行公平评估的增强。

    Feb, 2024

  • 预测计算中朝向透视主义矫正的转变

    本文阐述 “数据透视主义” 的概念，提出通过采取人类主体在机器学习过程中所涉及到的知识表达方法，来代替传统的黄金标准数据集。文章探讨了如何在实践中采用透视主义态度来解决主观和客观机器学习任务的问题，并提出相关建议和研究议程。

    Sep, 2021

  • 使用代理变量进行因果发现

    本研究提出了一个基于代理变量的框架，通过观测因果发现算法估计两个静态实体之间的因果关系，并将其应用于自然语言中的词汇对，结果显示我们的方法可以发现 75％的因果关系并讨论了代理变量在机器学习中的作用。

    Feb, 2017

  • 不确定基础真相下的 AI 系统评估：皮肤病学案例研究

    文章提出了一种新的框架，通过对可能性进行后验推理的方式来聚合多个标注者的标注结果，并提供了适用于不确定性的结果评估指标，使得评估模型更准确地反映了真实的预测能力。

    Jul, 2023

  • 人类标注变异的 ' 问题 '：关于数据、建模和评估中的基础真相

    本文探讨人类标注变异的问题在机器学习中的影响及解决方法，并提供一个包含无聚合标签的公开数据集库以便以后进行研究。

    Nov, 2022

  • 无标记数据在公平决策中的应用

    该论文提出了一种基于变分自编码器的新方法，用于实现公平的决策制定，通过使用标记和未标记数据来学习无偏见的数据表示并在在线过程中使用这些表示来学习决策策略，实现了较低方差的最优（公平）政策，并比以前的方法提供了更高的公平性和效用。

    May, 2022

  • 训练至关重要的用途：学习将 AI 预测定位于人类知识的相对位置

    本文介绍了一个过程导向的适当依赖概念，称为关键使用，通过将人类的能力与 AI 模型无法获取的知识相对比，以帮助人们辅助 AI 决策时的判断。通过在一个复杂的社会决策环境下进行随机在线实验来探索如何支持关键使用的训练，我们发现通过在这种情况下为参与者提供加速的、低成本的机会来练习 AI 辅助决策，新手参与者开始表现出与经验工作者相似的与 AI 不一致的模式。参与者对其 AI 辅助决策的解释的定性研究表明，他们参考了 AI 模型无法获取的定性案例叙述，以学习何时（不）依赖 AI 预测。我们的研究结果为实现真实世界的 AI 辅助决策的培训提出了新的问题和设计思路。

    Aug, 2023

  • 发展可信人工智能系统中因果作用的评述

    本文综述了因果方法对于提高可信 AI 解决方案的应用和发展，因为现有的 AI 模型大多缺乏对人类真实世界理解的因果关系的认识，从而导致了模型泛化性能差、不公平以及难以解释等问题。

    Feb, 2023

  • 从有偏毒性标签学习的实证研究

    本研究探讨不同训练策略如何利用少量人工注释标签和大量但带有偏见的合成标签（针对身份群体）来预测在线评论的毒性，并评估了这些方法的准确性和公正性。虽然最初使用所有数据进行训练并在干净数据上微调能够产生具有最高 AUC 的模型，但同时我们发现没有一种策略在所有公正度量标准上表现最佳。

    Oct, 2021