May, 2024

务实审计：面向机器学习系统的驱动式审计方法

PDF
TL;DR机器学习系统的采用和部署引发了伦理事件和社会关注，需要有准确的伦理准则来审计这些系统，我们提出了一个基于机器学习生命周期的审计程序，以透明性和问责制为中心，并扩展了欧洲委员会发布的 AI-HLEG 指南，通过两个真实用例的试点测试，我们讨论了机器学习算法审计的不足之处和未来的发展方向。
发现论文，激发创造
  • 大规模语言模型审计：三层方法

    本文阐述了大规模语言模型 (LLMs) 的崛起代表了人工智能 (AI) 研究的重大进展，但是其广泛应用也带来了重大的伦理和社会挑战，需要开发新的审计程序来捕捉 LLMs 的风险。提出了一种三层审计方法，和其优缺点，并最终旨在扩展技术提供商和政策制定者的方法学工具箱来分析和评估 LLMs。

    Feb, 2023

  • 机器学习系统认证的形式和实践要素

    该论文将机器学习应用于自主飞行中的视觉着陆，并建立了一个模型无关且工具独立的认证框架，以解决机器学习模型的可信度与航空认证之间的挑战。

    Oct, 2023

  • 机器学习治理

    本文提出了机器学习治理的概念，并使用身份标识来确保机器学习系统的所有者对于系统的失败负责，从而增强人们对机器学习系统的信任，为未来的工作提供了机会。

    Sep, 2021

  • 适合工作的工具：机器学习中的开源审计工具

    本文强调了在机器学习中使用公平性、责任性、透明度和伦理 (FATE) 工具的紧迫性，并提供了使用开源工具的动机。

    Jun, 2022

  • 支持人工智能与人类合作审计 LLM 的 LLM

    本文介绍了一个新的大型语言模型审计工具 AdaTest ++，并展示了人类和生成模型在协作审计中的互补优势，该工具有效地利用人类的强项，包括模式化、假设形成和测试，帮助鉴定了之前鲜有报道的 26 种不同类型的失效模式。

    Apr, 2023

  • 算法审计的系统文献综述：问题机器行为

    本文通过系统性文献综述，总结了之前的算法审计研究，并且对未来的研究做了一些战略规划，主要聚焦在算法歧视和错误判断等方面。此外，还对一些公司和组织，例如谷歌和推特以及一些算法审计方法和工具进行了分类和总结，最后提供了成功算法审计的一些共通之处，并讨论了算法审计在全球算法公正问题中的重要性。

    Feb, 2021

  • 为视觉隐私研究提出交互式审计流程

    本篇论文旨在通过对视觉隐私问题的分析，系统地研究机器学习流程中的公平性、隐私、人类干预以及潜在的社会伦理问题，从而提高相关利益相关者（研究人员，模型构建者，企业等）的认识与责任意识。

    Nov, 2021

  • 关闭 AI 责任缺口：定义一个端到端框架用于内部算法审计

    本文介绍了一种算法审计框架，可支持人工智能系统从开发到部署的全生命周期，以评估决策的符合情况并通过确保审计的完整性来填补开发和部署大规模人工智能系统的问责制鸿沟。

    Jan, 2020

  • 机器学习系统的质量管理

    本文提出了一个基于现有进展的全面质量管理框架视角，并确定了软件工程研究的新领域，以实现更可靠的人工智能。

    Jun, 2020

  • 近似机器遗忘是否得到适当评估？从审计到副作用

    通过引入明确定义和有效的度量标准来解决黑箱取消学习审核任务的挑战，该论文分析了当前近似机器取消学习算法的实用性、韧性和公平性，并旨在将数据遗忘的理论权利转化为可审计的现实。

    Mar, 2024