Jan, 2024

AI 代理的可见性

PDF
TL;DR增加商业、科学、政府和个人活动向 AI 代理地委托，可能加剧现有社会风险并引入新风险。了解和缓解这些风险需要对现有管理结构进行批判性评估，在需要时进行修订和调整这些结构，并确保关键利益相关者的责任追究。对特定 AI 代理的使用地点、原因、方式和使用者的信息，也就是所谓的 “可见性”，对于实现这些目标至关重要。本文评估了增加对 AI 代理可见性的三类措施：代理标识符、实时监测和活动记录。对于每个措施，我们概述了可能的实施方式，这些方式在侵入性和信息性方面存在差异。我们分析了这些措施如何适用于从集中式到分散式部署环境的各种情景，并考虑了供应链中的各种参与者，包括硬件和软件服务提供商。最后，我们讨论了我们措施对隐私和权力集中的影响。进一步研究这些措施并缓解其负面影响，有助于为 AI 代理的治理奠定基础。
ai agentsvisibilityagent identifiersreal-time monitoringactivity logging
发现论文，激发创造
  • 探索数据隐私增强技术对 AI 治理的相关性

    本文提出隐私增强技术在数据交换和分析中减小了隐私与性能之间的权衡，同样的工具可以为 AI 治理提供外部审查、审计和源代码验证的能力，并以信息流的方式查看这些不同的 AI 治理目标，强调了这些解决方案之间的互操作性和重要性。

    Mar, 2023

  • AI 代理的安全性

    通过研究典型 AI 代理的工作流程和体验，我们从系统安全的角度详细描述了 AI 代理中存在的潜在漏洞，强调了其原因和严重影响，并介绍了相应的防御机制及其有效性评估实验，从而让 AI 代理的安全性和可靠性得到进一步提升。

    Jun, 2024

  • 照古镜：企业 AI 知识系统的透明度意义与挑战

    人工智能知识系统与透明度的挑战，包括知识与人的关联性，对组织和个体视野的影响，以及系统透明度、程序透明度和结果透明度等方面，需要引起进一步研究和关注。

    Jan, 2024

  • 探讨高水平人工智能的差异化风险和控制问题

    本文使用分层复杂系统框架对人工智能（AI）风险进行建模，并从公共和私营领域的领域专家收集调查数据以分类 AI 影响和可能性，结果显示强大的 AI 代理情景有更多不确定性，对 AI 对齐失败和影响寻求行为的关注增加以及对多智能体环境的信心增强。

    Nov, 2022

  • 透明度：动机与挑战

    智能系统透明度对于有效的实际应用具有重要意义，但不同类型透明度的动机和效益由具体情境决定，难以确定客观测量标准。我们提供了一个简要的调查，阐述了挑战及相关担忧。我们重点关注和审查了透明度可能导致伤害的情景，并讨论了隐私、多智能体博弈论、经济、公平性和信任之间的联系。

    Jul, 2017

  • AI 代理面临威胁：主要安全挑战与未来发展路径调查

    通过系统地审查人工智能代理所面临的安全威胁，本文突出了在保护人工智能代理方面所取得的进展和现有的限制，并旨在激发进一步研究以解决与人工智能代理相关的安全威胁，从而促进更加稳固和安全的人工智能代理应用程序的发展。

    Jun, 2024

  • 负责任机器学习系统的 AI 治理简介

    本文探讨了人工智能技术的风险，并介绍了一种名为 AI 治理的框架，以确保人工智能的负责任使用，从而避免和减轻包括监管、合规性、声誉、用户信任、财务和社会风险在内的风险。

    Nov, 2022

  • 实现人工智能功能透明度与有意义的可解释性之路

    人工智能的功能透明性在透明系统中遵守设计框架中成为关键挑战，要求跨学科合作来推进透明和可解释的人工智能系统的发展。

    Oct, 2023

  • 人工智能的系统挑战：伯克利视角

    该论文探讨了人工智能的发展带来的挑战，提出了在系统、架构和安全方面的研究方向，以解决 AI 技术存储和处理数据量的限制，并提高数据隐私保护，以便这一技术能够更好地改善人们的生活和社会。

    Dec, 2017

  • 多利益相关者视角下的负责任人工智能与教育可接受性

    该研究调查了不同人群（包括学生、教师和家长）对教育中不同人工智能应用的可接受性，关注数据隐私、透明度、解释能力和人工智能的道德运用等问题。通过虚拟场景研究方法，参与者对四种人工智能应用场景的感知进行评估，结果发现接受和信任人工智能在不同利益相关者群体之间存在明显差异，其中全球效用、公正和信心是影响人工智能的接受程度和使用意愿的关键中介因素。该研究强调了人工智能在教育领域的接受是一个多方面、复杂的问题，需要综合考虑具体的人工智能应用及其特点与不同利益相关者的感知。

    Feb, 2024