Sep, 2022

关于基于大型预训练模型的安全性的不可能性研究

PDF
TL;DR本文系统化地分析了当前基础模型学习问题的关键特征和对应的低准确性下隐私保护和拜占庭容错异构学习的下界，阐述了设计一个高安全性和隐私保护基础模型的不可能性，并呼吁采取措施优先考虑安全和隐私，并减缓追求更大模型的竞赛。
foundation modelssecurityprivacyhigh accuracymachine learning
发现论文，激发创造
  • 基础模型的机遇与风险

    AI 基础模型的兴起，具有广泛数据训练和可适应下游任务的特点，其机制、应用和社会影响需要更多的跨学科合作来研究。

    Aug, 2021

  • 基础模型简介：历史、社会和技术焦点

    本文介绍了基础模型，深度学习中通过模型大小和训练数据广度和大小的扩展可以对未来的 AI 开发造成破坏。基础模型在各种任务领域（如自然语言处理和计算机视觉）中实现了最先进的性能，并且通过进一步的改进常常得到更好的表现。此外，模型的单一化可能会将众多特定任务的模型替换为由少数公司控制的更少数量的大型模型，从而导致对 AI 的权力和控制的转移，并出现新兴的行为方式：上下文学习。

    Dec, 2022

  • 基础模型能帮助我们实现完美保密吗？

    该研究探讨了在保持隐私的同时使用机器学习进行个人任务的挑战，使用预训练模型的上下文学习功能成为可能的替代方案，此方法与基于联邦学习的框架具有相似的性能表现。

    May, 2022

  • 建立隐私保护和安全的地理空间人工智能基础模型

    本文介绍了 GeoAI 基础模型的潜在隐私和安全风险，并提出了全面的预防和控制策略，旨在引起地理空间领域的研究人员和决策者对 GeoAI 基础模型固有的隐私和安全风险的重视，并倡导隐私保护和安全的 GeoAI 基础模型的发展。

    Sep, 2023

  • 关于基础模型的能力

    通过分类理论，我们证明了基础模型可以通过 fine tuning 和足够的资源解决下游任务，但只有当这些任务是可表示的；同时，我们提供了一种基于范畴论的监督学习和自监督学习框架，该框架可能具有独立的兴趣。

    Nov, 2022

  • AI 数据的真实性、同意和来源都存在问题：修复它们需要什么？

    基于对基础模型训练数据的大规模分析和现有解决方案，我们确定了促进负责任的基础模型开发实践所需的缺失基础设施，并概述了政策制定者、开发者和数据创造者如何通过采用通用数据溯源标准来促进负责任的基础模型开发。

    Apr, 2024

  • 自毁模型：增加基础模型有害双重用途的成本

    该研究提出了一种名为「任务屏蔽」的新的训练范式，使用元学习和对抗学习的技术训练出一种自毁机制的基础模型来预防对有害任务的适应，降低其潜在风险。

    Nov, 2022

  • 何时称为基础模型的基础模型

    最近，在医学领域中，有几项研究报道了利用像推特和 PubMed 这样的在线数据来源中的图像对基础模型进行微调以进行图像 - 文本建模。基础模型是能够通过在非常广泛的数据集上训练来学习特定领域上下文的大型深度人工神经网络。通过验证，我们观察到，与显著较小的传统深度网络生成的表示相比，这些模型生成的表示在数字病理学的检索任务中表现出较差的性能。

    Sep, 2023

  • 多模基础模型的对抗鲁棒性

    本文研究了使用图像中的不可察觉攻击来改变多模态基础模型的标题输出，揭示了恶意内容提供者如何利用此方式伤害诚实用户，并强调了部署的多模态基础模型应采取对抗性攻击的对策。

    Aug, 2023

  • 基础模型作为替代模型：迈向更实用的对抗攻击

    该论文通过选择基础模型作为代理模型，提出了在 no-box 设置下生成图像噪声以满足新兴趋势的对抗攻击的创新想法，并使用基于边界的损失策略对目标图像上的基础模型进行微调，以提高攻击的效率和 AI 系统的整体鲁棒性。

    Jul, 2023