Feb, 2024

将保障放在自治之上：LLM 代理在科学中的风险

PDF
TL;DR通过全面考察科学领域的基于大语言模型的智能 Agent 的漏洞，找出潜在的风险、强调对安全措施的需求，以及提出人工监管、Agent 对齐、环境反馈三元框架来缓解风险，还强调了目前保护科学 Agent 的限制和挑战，并呼吁针对这些问题制定改进模型、鲁棒基准和全面规定。
large language modelsintelligent agentsvulnerabilitiessafety measuresscientific domains
发现论文，激发创造
  • LLM 风险与 AI 防护栏的现状

    大型语言模型 (LLMs) 的部署与安全性及可靠性密切相关，然而它们在引入的同时也伴随着固有的风险，包括偏见、潜在的不安全行为、数据集污染、不可解释性、幻觉和非可重复性，为了避免潜在的危害，本研究探讨了部署 LLMs 所面临的风险，并评估了目前实施防护和模型对齐技术的方法，从固有和外在偏见评估方法入手，并讨论了公平度度量方法，还探讨了能够进行现实世界行为的主动型 LLMs 的安全性和可靠性，强调了可测试性、故障保护和情境意识的需求，还提出了保护 LLMs 的技术策略，包括操作在外部、次要和内部层次的分层保护模型，突出系统提示、检索增强生成 (RAG) 架构以及最小化偏见和保护隐私的技术，有效的防护设计要求深入理解 LLMs 的预期用例、相关法规和伦理因素，在精确性和隐私等竞争需求之间取得平衡仍然是一个持续挑战，本研究强调了持续研究和开发的重要性，以确保 LLMs 在实际应用中的安全和负责任使用。

    Jun, 2024

  • 警惕您的代理人！调查针对基于 LLM 的代理人的后门威胁

    借助大型语言模型（LLMs）的快速发展，已经开发出了基于 LLM 的代理程序，用于处理各种实际应用，包括金融、医疗和购物等。然而，目前 LLM-based 代理的安全问题尚未得到充分研究。本研究首先调查了一种典型的安全威胁，即 backdoor 攻击，对 LLM-based 代理进行了初步研究，并提出了相应的数据污染机制来实施代理程序的 backdoor 攻击。广泛的实验结果显示，LLM-based 代理严重受到 backdoor 攻击的影响，表明迫切需要进一步研究防御 LLM-based 代理的 backdoor 攻击。

    Feb, 2024

  • 恶魔天才：深入探究基于 LLM 的智能体的安全性

    通过对大型语言模型（LLMs）进行安全评估，揭示了 LLM-based agents 面临的挑战、安全漏洞以及对未来研究的启示。

    Nov, 2023

  • LLMs 在非法目的中的使用：威胁、预防措施和漏洞

    本文在探讨大语言模型的发展和分发迅速增长的背景下，关注其安全和安全相关威胁和漏洞的最新研究工作，并提供了已有的科学努力概述，以识别和缓解与大语言模型相关的威胁和漏洞。通过我们的工作，希望在资深开发人员和新颖技术用户中增强对大语言模型的局限性和安全问题的意识。

    Aug, 2023

  • 多模态知识提取与分析中的 LLMs 在智能 / 安全关键应用中的应用

    大型语言模型在最近几年取得了迅猛的进展，其能力正在不断加速，通过各种基准测试，其能力接近于人类的水平。由于存在未解决的脆弱性和限制，人们在将这些模型应用于智能和安全关键应用之前需要谨慎。本文回顾了与 LLM 评估和脆弱性相关的最新文献，综合当前的研究进展，并帮助了解哪些进步对于在智能和安全关键应用中使用这些技术最为关键。这些脆弱性被分为十个高级类别，并与 LLM 的一个高级生命周期进行了叠加。还对一些常见的缓解措施进行了综述。

    Dec, 2023

  • 基于大型语言模型的自主代理的调查

    通过对基于大语言模型的自主代理的综合调查，本文提出了一个统一框架来概括以往研究，并总结了在社会科学、自然科学和工程领域中应用大语言模型的人工智能代理的各种应用及评估策略。同时，我们还讨论了该领域的挑战和未来方向。

    Aug, 2023

  • 保护大型语言模型：威胁、漏洞和负责任的做法

    对大型语言模型（LLMs）的安全与隐私问题进行了全面的研究，从安全与隐私问题、对抗性攻击的脆弱性、滥用影响、缓解策略以及当前策略的局限性等五个主题角度进行深入探讨，并提出了未来研究的有前景的方向，以增强 LLMs 的安全和风险管理。

    Mar, 2024

  • 通过大型语言模型探索自主代理：一项综述

    大型语言模型（LLMs）正在改变人工智能，使得自主代理能够在不同领域执行多样化任务。这些代理具备类似人类的文本理解和生成能力，有望在从客户服务到医疗保健等各个领域引发革命。然而，它们面临着诸如多模态、人类价值取向、幻觉和评估等挑战。推动、推理、工具利用和上下文学习等技术正在被探索，以增强它们的功能。像 AgentBench、WebArena 和 ToolLLM 这样的评估平台为在复杂场景中评估这些代理提供了强大的方法。这些进展正在引领更加有韧性和能力的自主代理的发展，预计它们将成为我们数字生活中不可或缺的一部分，协助我们完成从邮件回复到疾病诊断等任务。拥有 LLMs 带头的人工智能的未来充满了希望。

    Apr, 2024

  • 加强基于 LLM 的 AI 自动化代理的信任：新的考虑和未来挑战

    研究文献中广泛探讨了对 AI 代理的信任问题，随着大型语言模型和基于此模型的 AI 代理框架的快速发展，面临着新的挑战和研究机会。本文研究了新一代基于 AI 的代理在流程自动化领域崛起的新挑战和机遇，分析了现有文献中讨论的 AI 代理信任的主要方面，并确定了与这一新代理代际相关的具体考虑和挑战。同时，我们评估了该类别中新产品如何解决这些考虑因素，并强调研究界应在这一不断演变的领域中解决的几个挑战。

    Aug, 2023

  • 化学领域的大型语言模型和自主代理的综述

    大规模语言模型（LLMs）在化学领域中以其准确预测性能、设计新分子、优化合成路径和加速药物和材料发现等能力成为一个强大的工具。本综述讨论了 LLMs 的历史、性能、设计以及在化学领域的挑战和未来方向，特别关注于代理人（agents）及其作为一个跨化学模式的出现。代理人在化学的各个领域中表现出了很好的效果，但依然存在挑战。开发面向特定领域的代理人和开发自主流程与 “副驾驶” 系统的对比对于加速化学进程尚不清楚。一种新兴的方向是开发使用人工智能辅助的多代理人系统。由于该领域的快速发展，已经建立了一个仓库，以追踪最新研究。

    Jun, 2024