Jun, 2024

PRISM: 开源基础模型安全的设计框架

PDF
TL;DR在开源基础模型的快速发展中，模型安全性问题变得尤为重要。本研究提出了 PRISM 框架，该框架强调私密性、鲁棒性、独立性和计算成本最小化，并通过识别使用政策违规行为，与开发者共同建立安全设计决策的共识，为创建最大化技术潜力并最小化个人和整个社会风险的安全开源生态系统做出贡献。
open-source foundation modelsmodel safetyacceptable use policiesprism frameworkopen-source ecosystem
发现论文，激发创造
  • 开放基础模型的社会影响

    开放基础模型具有创新、竞争、决策权分配和透明度等显著优势，但当前的研究还不足以有效地表征相对于现有技术的边际风险，因此需要进一步的研究来实证验证其理论上的利益和风险。

    Feb, 2024

  • 使翻译器对用户的隐私意识增强

    我们提出了 PRISM，以使机器翻译系统的用户能够保护其数据的隐私。PRISM 通过在用户端提供数据保护功能，解决了当前机器翻译引擎存在的隐私保护不足的问题，并在不显著影响翻译准确性的前提下增加了额外的安全保障。

    Dec, 2023

  • 基础模型透明度报告

    基礎模型透明度報告是一種基於社交媒體的透明度報告實踐，用於提供關於基礎模型開發和部署的透明度，以降低合規成本並加強監管要求。

    Feb, 2024

  • PristiQ：云中保护量子学习数据安全的协同设计框架

    提出了一个用于保护量子机器学习数据安全的共同设计框架 PrisitQ，通过引入一个带有用户定义安全密钥的附加安全量子位加密子电路，可以显著增强数据安全性，并提出了自动搜索算法来优化在加密量子数据上的模型以保持其性能。该框架在模拟和实际 IBM 量子计算机上的实验结果都证明了 PristiQ 提供高度安全性的能力，同时在量子机器学习中保持模型性能。

    Apr, 2024

  • 模型透明度基金指数

    基金会模型透明指数通过 100 个细分指标对 10 个主要的基金会模型开发者进行评分，以确定目前的透明水平，并通过行业标准和监管干预促进基金会模型治理的进展。

    Oct, 2023

  • 模型开放性框架：推动人工智能的可复制性、透明度和可用性的完整性与开放性

    生成人工智能（GAI）提供了前所未有的可能性，但其商业化引发了关于透明性、可重复性、偏见和安全性的担忧。我们提出了模型开放性框架（MOF），它是一个按照开放科学、开放源代码、开放数据和开放获取原则对机器学习模型进行评级分类的系统。MOF 要求模型开发生命周期的特定组成部分必须包括并以适当的开放许可发布。该框架旨在防止声称开放的模型的误导，指导研究人员和开发人员以自由许可发布所有模型组件，并帮助公司、学术界和爱好者识别可以安全无限制采用的模型。MOF 的广泛采用将促进更加开放的人工智能生态系统，加速研究、创新和采纳。

    Mar, 2024

  • 开源高度高效基础模型：风险、效益和追求开源目标的替代方法评估

    AI 模型的开放资源化带来了风险和益处，并提出了替代性策略以确保安全地共享模型。

    Sep, 2023

  • 平衡透明度和风险：开源机器学习模型的安全与隐私风险

    通过介绍隐私和安全威胁，我们致力于提高人们对于使用开源模型时负责任和安全的意识。

    Aug, 2023

  • 基础模型的机遇与风险

    AI 基础模型的兴起，具有广泛数据训练和可适应下游任务的特点，其机制、应用和社会影响需要更多的跨学科合作来研究。

    Aug, 2021

  • PsySafe：多智能体系统安全的心理攻守与评估的综合框架

    多智能体系统结合大型语言模型 (LLMs) 展示了集体智能的显著能力，然而对于潜在的恶意使用所带来的安全问题的全面研究仍然有限。本研究基于智能体心理学提出了一个综合框架，着重于确定智能体黑暗人格特质可能导致的风险行为，设计缓解这些风险的防御策略，并从心理和行为的角度评估多智能体系统的安全性。我们的实验揭示了多智能体之间存在的集体危险行为、智能体在危险行为中的自我反思倾向以及智能体的心理评估与危险行为之间的相关性等有趣现象。预计我们的框架和观察结果将为进一步的多智能体系统安全研究提供有价值的见解。我们的数据和代码可在 https:/github.com/AI4Good24/PsySafe 公开获取。

    Jan, 2024