Dec, 2023

开放数据表：机器可读的开放数据集文档和负责任的人工智能评估

PDF
TL;DR介绍了一种无代码、机器可读的开放数据集文档框架，关注负责任的人工智能考虑。旨在提高开放数据集的可访问性、可理解性和可用性，促进更容易发现和使用、更好理解内容和背景以及评估数据集的质量和准确性。该框架旨在简化数据集评估，帮助研究人员、数据科学家和其他开放数据用户快速识别满足其需求和 / 或组织政策或法规的数据集。论文还讨论了该框架的实施，并提供了最大化其潜力的建议。预期该框架将提高研究和决策中使用的数据的质量和可靠性，促进更负责任和值得信赖的人工智能系统的发展。
发现论文，激发创造
  • 负责任人工智能框架的快速综述：引导道德人工智能的发展

    简要介绍了几个提供负责人工智能应用程序的框架，发现大多数框架仅适用于需求调查阶段，仅有一些私人公司提供了支持工具。结果表明，还缺乏一个全面的框架，该框架包含所有负责人工智能的原则和所有 SDLC 阶段，并可由不同技能集和不同目标的用户浏览。

    Jun, 2023

  • 关于具有公平性、隐私和监管规范的负责任机器学习数据集

    在当前人工智能时代，本研究讨论了负责任的机器学习数据集的重要性，并提出了一个评估数据集的负责任框架。通过公平性、隐私保护和合规性等方面的考虑，我们分析了超过 100 个数据集，发现没有一个数据集能免于公平性、隐私保护和合规性问题。我们对数据集的文档化提供了改进建议，并认为在全球范围内的数据保护法规定下，科学界的数据集创建方法需要修订。

    Oct, 2023

  • AI Cards：面向机器可读 AI 和风险文档的应用框架，受欧盟 AI 法案启发

    该研究论文通过对 EU AI 法案规定的技术文档的深入分析，以 AI 风险管理为重点，提出了 AI 卡作为一种新颖的综合框架，通过人机可读的格式来表示 AI 系统的预期用途，以实现透明性、可理解性和互操作性，为法律合规性和一致性评估任务提供了自动化工具的开发能力。

    Jun, 2024

  • 数据卡片：负责任人工智能的有目的和透明的数据集文档

    本文提出了数据卡片 (Data Cards) 的概念以促进人性化的大规模模型开发过程中透明、有目的性和人性化的数据记录方法，数据卡片是必要的用户文档，提供关于机器学习数据各个方面的基本事实的结构化总结。本文描述了将数据卡片落实到实际应用的多种框架，并通过两个案例研究报告了支持领域、组织结构和观众群体的可采用特性，最后总结了 20 个数据卡片的部署经验。

    Apr, 2022

  • 生成 AI 应用中负责任 AI 危害自动测量框架

    我们提出了一个框架来自动化测量大型语言模型（LLMs）和相关产品与服务的负责任人工智能（RAI）指标。该框架基于现有的技术和社会技术专业知识，并利用了最先进的 LLMs（如 GPT-4）的能力来自动测量 LLMs 可能违反一系列 RAI 相关原则的伤害。该框架可以与领域特定的社会技术专业知识结合使用，以针对未来的新伤害领域创建测量。通过实施该框架，我们旨在推动更高级的伤害测量工作，并进一步促进 LLMs 的负责任使用。

    Oct, 2023

  • 收集，测量，重复：负责任人工智能数据收集的可靠性因素

    在这篇论文中，我们提出了一种负责任的人工智能（RAI）方法，旨在通过一套指标对数据进行迭代深入分析，从而引导数据收集并影响应用于现实世界中多样用户和内容的人工智能的数据鲁棒性评估。

    Aug, 2023

  • 数据集的数据表

    为了解决机器学习数据集缺乏标准化过程带来的严重后果，我们提出了数据集的数据表格，以促进数据集创建者和数据集使用者之间的更好沟通，并鼓励机器学习社区优先考虑透明度和责任性。

    Mar, 2018

  • 机器学习数据集的问责性：源于软件工程和基础设施的实践

    通过严格的数据集开发透明度框架，从软件开发生命周期中提取最佳实践，以决策和问责支持来关闭人工智能系统中的问责差距。

    Oct, 2020

  • 负责任 AI 工程的工具和实践

    本文提出了两个新的软件库，即 hydra-zen 和 rAI-toolbox，这两个库旨在解决对负责任的人工智能工程的关键需求，包括使复杂的 AI 应用程序可配置，并使它们的行为可复现，以及以可扩展的方式评估和增强 AI 模型的鲁棒性。

    Jan, 2022

  • 模型和数据卡片的自动生成：迈向负责任的人工智能的一步

    使用大型语言模型（LLMs）提出了一种自动化生成方法，以处理当前人类生成的模型和数据卡中的信息不完整问题，并建立了 CardBench 数据集和 CardGen 流水线，实现了生成模型和数据卡的完整性、客观性和真实性的提升，是负责任的 AI 文档实践中迈出的重要一步，确保更好的可追溯性和问责制。

    May, 2024