Dec, 2023

人工智能工作者的成本和绩效受规范和激励影响的经济学

PDF
TL;DR通过实验研究，本文揭示了人工监督、规范设计和激励机制对数据质量和成本的影响，强调数据质量与效率之间的权衡关系，并为讨论人工智能技术的经济、伦理和法律考虑方面提供了实验性见解。
ai applicationshuman oversightdata annotationnorm designmonetary incentives
发现论文，激发创造
  • 人工智能数据丰富化的伦理模棱两可性：评估研究伦理规范和实践中的差距

    本研究探讨人工智能领域的伦理规范问题，发现虽然现有的一些 AI 会议和出版物已经开始确立人类数据收集的协议和规范，但是这些规范往往被作者忽视，相比之下，在心理学领域进行与众包工人的合作时，生活方式和其他信息的道德审查披露要频繁得多。

    Jun, 2023

  • 人工智能监督及人为失误：中央法庭的证据

    人工智能系统对裁判员的监督影响了他们的决策，导致裁判员在网球比赛中减少错误率并更加关注叫球错误类型。

    Jan, 2024

  • 自动化数据标注在战略人工智能代理下的风险和潜在解决方案

    机器学习模型在社会领域中应用越来越广泛，本文研究了当模型利用自身注释的样本进行重训练，并结合人类战略反应时的长期影响，分析了它们在动态交互下的演变，并提出了一种改进的重训练过程来稳定这种动态，最后研究了这些重训练过程如何影响算法公平性，发现在每个回合都强制执行公平性约束可能无法长期惠及弱势群体。

    May, 2024

  • 盲点与偏见：探索在自然语言处理中注释者的认知偏差的作用

    人工智能的快速普及引发了对其可能加剧现有偏见和社会差异并引入新差异的担忧。我们的研究侧重于回顾现有方法和正在进行的调查，旨在了解对偏见产生影响的注释属性。

    Apr, 2024

  • 高级交互式人机学习界面用于收集和学习复杂的注释

    本文旨在通过为二分类任务提供人机学习界面，使人类注释者能够利用反事实例来补充标准的二分类标签，以缓解人类注释者适应传统标签所施加的限制。

    Mar, 2024

  • 谁的真实？考虑个体和集合身份的数据集标注

    本文调查了众包数据集标注的伦理考虑，提出了 ML 数据管道各阶段的一系列推荐和考虑因素。

    Dec, 2021

  • 社会契约 AI：将 AI 助理与隐含的团体规范进行一致化

    模拟框架中，研究通过反转模型来对齐 AI 助手与用户的偏好，并发现 AI 助手在经济最终决策游戏中能够准确对齐行为，但其学习的策略在未包含的情况下缺乏稳健性和普适性，并且发现语言使用与未知策略之间存在不一致时，学习策略的速度会减慢。

    Oct, 2023

  • 认真对待培训：人类引导和基于管理的人工智能监管

    在这篇论文中，我们讨论了 AI 管理型监管框架与训练过程中人类监督之间的联系，最终得出人类引导训练比仅依赖数据训练更能应对高风险 AI 用例，提高 AI 性能及解决公平性和可解释性问题的结论。

    Feb, 2024

  • 塑造 AI 的新规范

    人工智能的快速发展对新规范形成过程构成了前所未有的挑战，本文探讨了围绕人工智能形成新规范的可能关键问题，研究中央集权或分散化规范形成过程的不同情景，并报告了与 ChatGPT 的对话中观察到的一些新兴规范，旨在提供解读工具以了解社会对人工智能不断渗透的反应，并强调了开放社会在形成未来社会规范时将其正式论述过程锚定在开放、包容和透明的公众讨论中的重要性。

    Jul, 2023

  • 再审视用于可解释 NLP 的人工标注

    通过对可解释 NLP 中两个广泛使用数据集上人类注释行为及其质量进行的实验表明，工作者的资质和注释过程的细节有着显著影响，并且特定的可解释性方法会随着不同指导下获得的 ground truth rationales 而有所不同。因此，研究人员需要提供完整的注释细节并谨慎解释使用这些注释所得到的实验结果的重要性。

    Apr, 2022