Oct, 2024

模型开发安全：一种以安全为中心的方法及其在视觉-语言模型中的应用

HTML
PDF
TL;DR本研究解决了模型开发过程中老模型能力丧失（灾难性遗忘）带来的安全风险和经济成本的问题。提出了一种以安全为中心的框架，确保在模型提升性能的同时严格保留老模型的已有能力。实验结果表明，该方法在自动驾驶和场景识别任务中能有效提升视觉感知能力。
发现论文，激发创造
  • 学习保证安全：带安全评论家的深度强化学习

    为了将RL算法部署到实际场景中并在学习过程中确保安全性，我们提出了使用转移学习方法学习在一个任务环境中如何保持安全性，然后将所学用于约束在学习新任务时的行为，此方法在三个具有挑战性的领域中实证，相比于标准的深度RL技术和以前的安全RL方法，我们的方法不但减少了安全事故，还提高了学习的速度和稳定性。

    Oct, 2020

  • 持续预训练减轻语言和视觉遗忘问题

    本文研究了预训练模型在流畅学习中的应用，证明了组合使用自监督预训练和微调模型可以有效地保留模型先前学习的知识，有效防止灾难性遗忘。

    May, 2022

  • CLiMB: 用于视觉语言任务的持续学习基准

    本研究介绍了 CLiMB 基准测试，并提出了一种改进的视觉-语言 Transformer (ViLT) 模型，用于同时处理多模态任务和单模态任务的连续学习问题。通过实验发现，虽然常见的连续学习方法可以缓解多模态任务学习中的遗忘问题，但并不能实现跨任务的知识转移。该基准测试将有助于研究这个多模态场景下的新型连续学习算法。

    Jun, 2022

  • 构建安全可靠的用于安全关键任务的视觉与语言处理的人工智能系统

    AI系统在各个领域取得了令人瞩目的成绩，然而其安全性和可靠性仍然是一个重要的关注点，特别是对于安全关键任务。本论文旨在通过进一步开发当前技术来确保安全关键任务的准确模型不确定性。

    Aug, 2023

  • 基于图像控制的自主安全概率的校准预测

    通过基于生成世界模型的可配置学习流水线，在不需要低维状态的情况下解决了在线安全预测问题，并提供了统计校准的安全机会预测保证。通过对图像控制系统的两个案例研究（赛车和平衡杆）进行广泛评估。

    Aug, 2023

  • 通过选择性参数微调克服通用知识丢失

    本文介绍了一种更新基础模型以适应新信息并保留其原始能力的新方法，通过对一小部分参数进行本地化修改，并引入重要性评分机制来仅更新最关键的权重，在多样的持续学习任务中得到了全面评估，表明其能够提高现有的持续学习方法并减少已训练知识的损失。

    Aug, 2023

  • 部署的持续学习系统保证

    作者创建了一个新的安全框架，并验证了该框架在动态图像分类中的有效性，该框架可以用于安全地进行自动甲板跟踪，并显著扩展图像分类器的工作范围。

    Nov, 2023

  • 大型语言模型中学习和遗忘不安全示例

    即使在第三方定制微调数据中学习不安全内容，大型语言模型（LLMs）也可以采用“遗忘过滤器”算法过滤不安全的数据，确保安全，同时不影响后续任务性能。

    Dec, 2023

  • 几乎零成本的安全微调：视觉大型语言模型的基准

    当前的大型视觉语言模型存在生成有害内容的问题以及容易受到恶意攻击的问题。为了解决这个问题，我们筛选了一个视觉语言安全指令数据集 VLGuard，并将其整合到标准的视觉语言微调中，使模型在安全性方面得到了有效的提升，同时对模型的帮助性影响最小甚至有所增强。经验结果表明，经过微调的大型视觉语言模型能够有效拒绝不安全的指令，并大幅降低几种黑盒对抗攻击的成功率。

    Feb, 2024

  • 视觉-语言适应如何影响视觉语言模型的安全性？

    本研究主要探讨视觉-语言适应（VL适应）对原有大语言模型（LLM）安全性的影响，填补了这一领域的研究空白。通过深入分析，发现VL适应在安全性上存在显著降级，尽管采用安全微调方法仍无法完全消除风险。研究提出了权重合并方法，作为保持有用性的同时有效减少安全性下降的最佳解决方案，为未来更可靠的视觉语言模型提供指导。

    Oct, 2024