ICCVNov, 2019

自动视频面试评估中人类偏见的研究

PDF
TL;DR该研究探讨了在自动评估人类行为任务过程中，人类对视频结构化面试的评分是否具有偏见，并且这些评分是否会影响使用它们作为训练数据的机器学习模型，研究结果初步表明此类标注中存在视觉上的偏差。
发现论文，激发创造
  • AI 用于人类评估：专业评估员需要什么？

    本文介绍了一种 AI 辅助人力资源发展和人员评估的方法。利用无监督异常检测算法从视频中提取非语言行为信息，为人员评估提供支持，并保持人工评估师对系统的信任度。

    Apr, 2022

  • 情感计算中偏见和公平性的心理测量与计算视角整合：自动视频面试的案例研究

    本研究基于心理测量学的原则，对机器学习应用于情感计算的偏差和公平性进行了论述，讨论了测试公平性和偏置的各种方法和指标，并提供了自动化个性化和招聘推理的案例研究。

    May, 2023

  • 误信：测量机器学习对人类决策的干扰

    研究人员探究了人们在处理两项困难任务时，对机器学习（ML）建议的信任程度；他们发现，即使人们了解这些任务，并给出了表明该系统不自信的信息，但在执行大部分时间正确的任务时，人们也会相信错误的 ML 建议，并且提供了四种不同类型的系统信息可增加人们对建议的信任，并且数学和逻辑技能对于使用 ML 建议的决策者来说可能与 ML 一样重要。

    May, 2020

  • 职业面试表现的自动分析和预测

    该研究提出了一个计算框架，用于自动量化招聘面试中口头和非口头表现，通过分析在麻省理工学院进行的 138 个面试过程的视频来训练该框架，并能够自动预测面试特征的评分，给出面试技巧建议和发现第一印象对整体评分有影响。

    Apr, 2015

  • 建立对自动推理的信任

    自从上世纪 40 年代起，计算机的自动推理逐渐成为科学研究中越来越重要的工具。现阶段，通过机器学习技术从大量数据中推导出的规则成为了一种互补的方法，并在积极发展中。然而，我们对于为何应该相信这些系统以及通过其帮助获得的结果的问题，在科学哲学家的讨论中却一直未引起从业者的足够关注。本研究关注独立评审，作为对科学的信任的重要来源，并确定了影响自动推理系统可评审性的特征。同时，探讨通过技术和社会措施相结合的途径来增强推理系统的评审性和可信度。

    Aug, 2023

  • 人类，人工智能和背景：理解最终用户对于实际计算机视觉应用的信任

    本文通过对一款实际计算机视觉应用进行的定性案例研究，提出了关于信任人工智能的全面而细致的理解。我们发现，领域知识和情境是评估和决策的重要因素，用户普遍认为该应用程序值得信任，但进行了确认行为，对于某些高风险情境，则决定不采用该应用程序。

    May, 2023

  • 关于人工智能和人类协同招聘团队表现和偏见的研究

    探讨了使用 AI 辅助决策时，人工智能的预测性能与偏差如何对人类决策产生影响的复杂动态，并通过大规模用户研究发现，高性能的模型显著提高了人类在混合环境中的表现，但有些模型削弱了混合偏见，有些则加重了混合偏见。这些研究结果表明，预先评估这些复杂动态对于部署人工智能具有明确的必要性。

    Feb, 2022

  • 人机交互中信任校准调查

    通过对该领域的文献进行梳理和分类，可以为未来的研究者和智能系统从业人员提供洞见和方向，以人为中心，信息为重点的角度探究人类对智能代理的信任感，并决定是否接受该代理的推荐或行动建议所需的额外信息。

    May, 2022

  • 自动化评估文本处理服务的可信度的进展

    基于食品行业中营养标签的成功，本文旨在评估和评级 AI 服务的用户信任度，并提出了面向现实世界场景如健康和食品建议的原则性、多模式、因果关系评级方法的挑战和远景。

    Feb, 2023

  • 自动化数据标注在战略人工智能代理下的风险和潜在解决方案

    机器学习模型在社会领域中应用越来越广泛，本文研究了当模型利用自身注释的样本进行重训练，并结合人类战略反应时的长期影响，分析了它们在动态交互下的演变，并提出了一种改进的重训练过程来稳定这种动态，最后研究了这些重训练过程如何影响算法公平性，发现在每个回合都强制执行公平性约束可能无法长期惠及弱势群体。

    May, 2024