Sep, 2023

深度学习测试中的风险：普遍性、影响和建议

PDF
TL;DR这篇论文调查了机器学习测试中常见的实证评估隐患，通过敏感性分析展示了这些隐患对实验结果的重要性，并提出了一套良好的实证实践以减轻这些隐患的影响。这项研究对软件工程社区的共同问题和良好实践进行了初步调查，并在深度学习测试领域为实证研究设定了特定的期望。
machine learning testingempirical studiesevaluation hazardssensitivity analysisgood empirical practices
发现论文，激发创造
  • 可验证的、可复制的和可重现的经验型机器学习研究的设计原则

    通过提出一种供应用于实证研究的模型和指南，旨在减少机器学习领域中研究实践的差异性，建立统一的质量标准，提高实证研究的一致性、可靠性和影响力。

    May, 2024

  • 机器学习实证研究的反思：解决实验的认识论和方法论挑战

    我们警告人们对机器学习领域的经验研究常常存在着一种不完整的理解，这导致实验结果不可复制、发现不可靠，进而威胁到该领域的进展。为了克服这种令人担忧的情况，我们呼吁更多地意识到获得知识的多样性方式以及一些认识论上的限制。特别是，我们认为当前大部分经验机器学习研究实质上是确认性研究，而应该视为探索性研究。

    May, 2024

  • 研究机器学习软件测试实践

    我们进行了第一项细致入微的实证研究，以填补现有研究中对机器学习软件测试实践的知识空白，从而识别机器学习质量属性、测试策略以及它们在机器学习工作流中的实施。

    Dec, 2023

  • 强化学习中的经验设计

    本文旨在提出在强化学习中进行良好实验的方法，并强调常见错误和潜在统计结果，覆盖了如何对性能进行妥善表征、假设检验、比较多个代理、基准和说明性例子的构建、如何处理超参数和实验偏差等等，旨在通过充分利用计算资源来进行良好的实证研究。

    Apr, 2023

  • 深度学习的 HARK 面 -- 从研究生下降到自动化机器学习

    本文探讨了机器学习研究中存在的反复假设问题、负面结果的报道和算法的泛化能力。此外，从算法决策的责任、公正、道德和隐私保护的角度讨论了机器学习研究和发展的前景。

    Apr, 2019

  • 人工智能安全中的具体问题

    讨论机器学习与人工智能技术对社会潜在影响的一个问题：机器学习系统中的意外事故风险和如何抵御。我们提出了五个与事故风险相关的实际研究问题，涉及到错误的目标函数、过于昂贵的监督、安全探索和分布变化等方面。最后，思考了如何更具生产力地思考人工智能前瞻性应用的安全问题。

    Jun, 2016

  • 克服 AI 集成系统开发和部署中的想象力失败

    介绍了计算系统杂交网络可能造成的几种潜在的伤害形式，探讨了这些潜在的伤害对不同利益相关方的影响，并提出了有效的伤害预防框架应该考虑包括计算系统特征、利益相关方和潜在伤害的广泛范围等在内的因素。

    Nov, 2020

  • 深度学习软件故障预测的可复现性研究

    分析软件工程领域的软件错误预测是否存在与其他机器学习领域相似的可复现性问题，发现大部分研究文章缺乏关键的复现元素，呼吁改进研究实践以确保基于机器学习的研究的可复现性。

    Feb, 2024

  • 测量机器学习偏见造成的伤害：需要了解哪种错误以什么方式伤害了谁

    通过社会心理学的视角，以性别刻板印象在图像搜索中的案例研究为例，本文研究了机器学习误差对人们心理体验的影响，发现刻板印象加强型误差会引起更多主观上的伤害体验，而对认知信念、态度或行为的影响较小，这种伤害对女性的影响较大。然而，某些违背刻板印象的误差对男性而言会造成更多主观伤害，可能是因为被认为威胁到男性气概。因此，本文得出结论，公平度量不能仅以伤害为唯一指南，应根据不同受伤者的感受和原因，提出更细致的观点。

    Feb, 2024

  • 提升深度学习错误的可复制性：实证研究

    本研究探讨了深度学习错误的可重现性，通过构建数据集、确定可重现性并识别编辑操作和有用信息，最终成功复现了 85 个深度学习错误并提出了十种编辑操作和五种有用信息类别，有效提高了错误的可重现性。

    Jan, 2024