本研究探究了虚假信息在大语言模型中的传播机制及其对模型响应的影响，结果表明：虚假信息会通过语义扩散传播并污染相关记忆；大语言模型更容易受到权威偏见的影响；在上下文注入下，大语言模型对虚假信息更敏感。这些结果表明有必要研究新的抵御虚假信息的算法以应对其全局影响，并研究新的对齐算法以使大语言模型遵循内在的人类价值观而非表面模式。

May, 2023

本研究探索了大型语言模型在威胁推理、工具信息生成和自动化网络攻击方面的潜力，讨论了LLM在支持特定威胁相关行动和决策方面的手动与自动化探索，以及对威胁网络潜在影响和使用LLM加速威胁行为能力的伦理考量，对诱导可操作反应的提示设计进行了评估和启发，并提出了探索LLM在更复杂网络、高级漏洞和提示敏感性方面的未解问题。

Oct, 2023

大型语言模型的安全性评估和对抗攻击是一个新兴的跨学科领域，本文调查了该领域的相关研究，并提供了对大型语言模型、安全对抗、漏洞源及潜在防御措施的综述。

Oct, 2023

通过对大型语言模型（LLMs）进行安全评估，揭示了LLM-based agents面临的挑战、安全漏洞以及对未来研究的启示。

Nov, 2023

通过综述各种在大型语言模型上攻击的形式及机制，以及其潜在影响和当前的防御策略，该论文探讨了大型语言模型的安全性和脆弱性方面的问题。研究主题包括旨在操纵模型输出的对抗性攻击、影响模型训练的数据污染，以及与训练数据利用相关的隐私问题。论文还探讨了不同攻击方法的有效性、大型语言模型对这些攻击的弹性以及对模型完整性和用户信任的影响。通过研究最新的研究成果，提供对大型语言模型的脆弱性和防御机制的深入了解，旨在引起人工智能社区的关注，并激发切实解决这些风险的方法。

Mar, 2024

对大型语言模型（LLMs）中的提示泄漏进行了研究，发现在多轮LLM交互中存在漏洞和泄漏，并提出了防御策略。

Apr, 2024

利用大型语言模型构建智能代理存在潜在的后门攻击风险，即使在可信数据上进行微调也无法防御，这可能是第一项关于带有外部工具权限的大型语言模型代理的研究。

Jun, 2024

本研究探讨了大型语言模型（LLMs）作为聊天式社交工程（CSE）攻击的助手和防御者所面临的挑战，开发了一个模拟学术和招聘场景的数据集SEConvo，揭示了LLMs在这些情境中的利用和检测能力，设计了ConvoSentinel以提高检测效果，强化CSE攻击的辨识能力，凸显了在网络安全领域中利用LLMs的需求。

Jun, 2024

本研究针对大语言模型（LLM）在多代理环境中相互作用的复杂性，特别是在严格的社会层次结构下的行为模式进行了深入探讨。通过模拟“监狱实验”的情境，发现模型在权力动态下的对话效果不一，并指出了目标设定对说服力的影响以及角色分配如何引发反社会行为。这些发现为大语言模型代理的发展及其社会影响的讨论提供了重要见解。

Oct, 2024

本研究解决了多代理系统中LLM间提示注入的安全漏洞问题，指出现有的研究主要集中在单代理LLM的脆弱性上。提出的提示感染攻击类似计算机病毒，通过自我复制在互联代理间传播，可能导致数据盗窃、诈骗和系统大规模中断。研究结果表明，然而结合LLM标记的防护机制，可以显著减缓感染传播，提高多代理系统的安全性。

Oct, 2024