WWWFeb, 2024

快速检查等效性：信息引导机制的可解释度度量

PDF
TL;DR通过协调不同的度量标准，本论文将展示两种度量标准事实上在某些情况下相同，并解释第三种度量标准的差异。此外，引入 “Spot Check Equivalence” 以统一这些不同的上下文，并提出了计算其效果的两种方法。模拟结果验证了我们提出度量标准的有效性。
dataai systemscrowdsourcing workersspot-checkingpeer prediction
发现论文，激发创造
  • 针对混合语言自动语音识别的基准评估指标

    研究了多语种自动语音识别中的代码切换问题，提出了基于人工判断的评价指标，并通过多种指标的比较得到了最优方法 —— 采用音译和文本规范化，同时发布了第一个阿拉伯语 / 英语对话语境中人类接受度的语料库。

    Nov, 2022

  • CrowdTruth 2.0: 众包质量度量与不一致性

    本文介绍了 CrowdTruth metrics，这是一种捕捉人群外包中标注者不一致性并对其进行解释的方法。该方法通过度量 worker，输入数据和注释三个主要组成部分之间的相互依赖关系来捕捉这种不确定度。

    Aug, 2018

  • 测量分类器准确性对人工标签等值性的程序

    在调查设置中，我们描述了一种过程，它能将分类器的准确度从混淆了分类器质量与人类评分一致性的惯常测量中重估为具有直观解释的测量。通过将分类器与单个人类评级者进行比较，可以比较预测者得分尤其是由多个人类评级者标记结果的预测者得分，所以此过程中的关键洞察力是将分类器评分不与评分者的大多数共识之类的最佳地面实况代理进行比较，而是一次与单个人类评级者进行比较。在此过程中，我们定义了调查等效性，即需要多少评分者才能产生与分类器相同的期望得分。

    Jun, 2021

  • 机器学习黑盒子中抽取的符号化知识的评估指标：讨论论文

    本文探讨了通过规则提取技术，以人类可解读的方式转化出来的模型的可读性评估及其度量方法，以及在比较不同知识表示和知识提取器的参数自动调优算法方面的应用和局限。

    Nov, 2022

  • 透明机器学习的质量指标与是否有人参与无关

    使用心理物理学技术研究了可解释计算机视觉算法的质量，发现经典的心理物理学方法可以用于机器学习应用程序中，而无需人为干预，使用传统的自动化质量指标计算出的质量指标不能提供一致的解释方法排名，这些发现强调了只有在人机交互的自然环境中评估解释能力才能获得真实的解释能力评估。

    Jul, 2021

  • 众包中的数据质量与垃圾行为检测

    通过方差分解来评估数据质量和检测垃圾信息威胁，提出垃圾信息指数评估整体数据一致性，并利用马尔可夫链和广义随机效应模型开发了两个指标来衡量群体工作者的可信度。

    Apr, 2024

  • 量化机器学习系统的可解释性和可信度

    本文提出了一种量化解释性方法质量的量化度量，并在众包实验中通过信息传输速率得到了实证证据，从而说明解释性方法的价值。同时，还提出了一种信任度量，以检测人类决策是否过度偏向机器学习预测。

    Jan, 2019

  • 学习评估图像字幕生成

    提出了一种基于学习的区分性评价指标，通过数据扩增方案显著提高了评价指标对病态构造的鲁棒性，并在 FLickr 8k 和 COCO 数据集上对其他指标表现良好。

    Jun, 2018

  • 硬度样本需量化以建立可靠的评估系统：探索新任务的潜在机会

    通过给基准数据集中的未注释样本打分，我们提出了一种模型评估方法，用语义文本相似性评估该任务的基于难度的分数，比单纯的评估模型性能更准确，可以避免潜在的偏差以及更广泛的应用。

    Oct, 2022

  • 均等混淆公平性：在自动决策系统中测量基于群体的不公平差异

    随着人工智能在影响人类和社会的决策中扮演越来越重要的角色，自动化决策系统的问责制越来越受到研究人员和从业者的关注。然而，在评估公平性方面，文献中存在着大量采用不同视角和假设的公平度量标准，这通常是不兼容的。本文提出了一个新的等混乱公平测试来检查自动化决策系统的公平性，并提出了一个新的混淆平等误差来量化任何不公平性的程度。通过对自动化决策系统 COMPAS 进行案例研究，证明了这里提供的测试、度量和事后分析的实用性。

    Jul, 2023