Sep, 2022

重新思考和重新计算机器学习模型的价值

PDF
TL;DR本文指出机器学习模型在组织或社会环境中的应用为人们提供价值，因此应该重新评估和选择模型。同时，强调了学习和评估中的价值观念应该起到至关重要的作用，并且不同的模型需要在不同的应用环境中学习和提供不同的价值。最后，提出了这种新的视角和方法对实验数据和人类工作流嵌入模型的影响。
ml modelsevaluationorganizationapplication contextvalue
发现论文，激发创造
  • 机器学习研究中编码的价值观

    通过研究高度引用的机器学习论文，本文发现只有少数论文能够说明其与社会需要的联系，而且更少讨论负面潜力。同时，本文还发现，机器学习研究中经常突出强调的几个价值观，如性能、泛化、量化证据、效率、建立在过去的工作基础之上和创新性等，往往在支持权力集中方面存在着假设和影响。最后，作者发现高度引用的论文越来越多地与科技公司和精英大学有着紧密的联系。

    Jun, 2021

  • 有意义的机器学习

    机器学习的研究应更加关注数据集、评估指标、以及研究结果在学科领域中的传播，作者提出了 6 个目标挑战以促进机器学习的实际应用。

    Jun, 2012

  • 机器学习中的价值观学科转变

    通过科学哲学的视角分析机器学习学科，开发一个概念框架以评估机器学习模型发展的过程，并探讨价值观如何影响该学科的发展和模型类型的崛起。我们认为模型类型的崛起是自我强化的，并且模型类型的评估会编码社会和政治价值观，例如围绕计算和数据密集型环境的评估方式关注权力集中、隐私和环境保护等价值观。因此，需要考虑纪律层面的干预以应对与学科整体相关的不良价值观。

    Dec, 2019

  • 实现型人机协作的动态模型：理论和实证证据

    使用机器学习模型进行人机协作系统，研究展示了其动态过程、稳定状态和实际效果；通过针对背包问题的实验，发现人类在与机器学习模型合作中能够改进预测性能，同时发现货币激励对人类决策没有积极影响。

    May, 2024

  • 机器学习实践与基础设施

    通过对 Stack Exchange 论坛上的问题进行实证研究，探讨了互动式计算平台在机器学习工作中的使用，及其对机器学习实践和系统开发的影响，这可能导致使机器学习生命周期中的某些方面变得不可见，这些方面对于已部署的机器学习系统的社会影响尤为重要，这也是 AI 伦理学家一直强调的。

    Jul, 2023

  • 重新思考流式机器学习评估

    探讨了流式机器学习问题的本质，阐述了延迟标签等实际挑战，建议采用新的性能度量标准来评估模型。

    May, 2022

  • 垃圾输入，垃圾输出？社交计算机中的机器学习应用论文是否报道了人工标记训练数据的来源？

    本文研究了在社交计算领域，针对 Twitter 数据执行 ML 分类任务，是否具有遵循模板的最佳实践方法，结果显示，大多数人都没有遵循规则，从而导致数据不可靠。

    Dec, 2019

  • 部署临床机器学习？考虑以下事项

    通过调查拥有临床部署经验的从业者，本研究针对临床机器学习应用程序的主要挑战类别进行了分类，以更好地设计和开发临床机器学习应用程序。

    Sep, 2021

  • AI 推理中的人类价值建模

    构建与人类价值观相符的人工智能系统是当前面临的重要挑战之一。本研究提出了一个形式化模型，以明确计算地表示人类价值观，为基于人类价值观的人工智能推理提供了理论基础，并在实际应用中验证了该模型的适用性。通过这种自动推理人类价值观的能力，不仅能解决价值观一致性问题，还有助于设计支持个人和社区做出更明智、与价值观相符的决策的人工智能系统。

    Feb, 2024

  • 机器学习新领域：MLOps 政策制定者指南

    本论文通过对算法偏见的影响及其对边缘化人群的影响进行了探讨，详细介绍了如何在机器学习的生命周期中使用工具来识别可能被引入模型的偏见。

    Jan, 2023