本文将集成的人工智能（AI）安全原则纳入 Chai 中，以优先考虑用户安全、数据保护和道德技术使用，特别探讨了 AI 安全研究的多维领域，在 Chai 的对话聊天机器人平台中进行了应用，并提出了 Chai 的 AI 安全原则，并提出安全框架：内容保障; 稳定和强大性; 和操作透明度和可追溯性，成功实施了安全AI框架，表明了在AI技术的可持续和道德使用方面缓解潜在风险的实用性。

Jun, 2023

利用大型语言模型（LLM）所提供的世界知识和普遍推理能力，我们提出了一种基于线性时态逻辑（LTL）的可查询安全约束模块，用于在协作环境中部署LLM代理，并通过自然语言到时态约束编码、安全违规推理、不安全行为修剪等功能，实现了显式指示禁止行为、评估机器人对限制的理解，并确保其合规性。实验证明我们的系统可以严格遵守安全约束并能很好地适用于复杂的安全约束，具备实际应用潜力。

Sep, 2023

通过检查最近在大型语言模型（LLMs）和视觉语言模型（VLMs）与机器人技术交叉领域的工作，我们展示了将大型语言模型和视觉语言模型整合到机器人应用中所涉及的稳健性和安全性的关键问题。我们定义并提供了几种可能的对抗性攻击的例子，并在三个重要的机器人框架上进行了实验，这些机器人框架集成了一个语言模型，包括KnowNo VIMA和Instruct2Act，以评估它们对这些攻击的易感性。我们的实证研究结果显示出LLM/VLM-robot集成系统的一个显著的脆弱性：简单的对抗性攻击可以显著削弱LLM/VLM-robot集成系统的有效性。特别是，在提示性攻击下，我们的数据显示出了平均性能下降21.2％，而在感知攻击下更为严重，达到30.2％。这些结果强调了确保部署先进的LLM/VLM基础机器人系统的安全性和可靠性的关键需求。

Feb, 2024

通过世界模型、安全规范和验证器的相互作用，提出了一系列保证安全的人工智能（AI）方法，旨在为AI系统提供高保证的量化安全保证，并描述了核心技术挑战和潜在解决方案。

May, 2024

通过将大型语言模型与具体机器人控制提示和具体知识图谱相结合，我们提出了一种新的集成方法，以增强服务机器人的安全框架，确保其行动与安全协议持续保持一致，并在各种情境下提供更安全的操作实践，从而促进安全的人机互动。

May, 2024

人机交互(HRI)和人工智能(AI)社区提出了大型语言模型（LLMs）作为机器人任务的一个有前景的资源，然而最近的研究引发了对LLMs在真实世界机器人实验和应用中产生歧视性结果和不安全行为的担忧。为了解决这些问题，我们在几个高评级的LLMs上进行了基于HRI的歧视和安全评估，发现它们在遇到具有多样性的受保护身份特征（例如种族、性别、残疾状况、国籍、宗教和交叉特征）的人时，产生了与直接歧视结果一致的偏见输出；此外，我们在自由语言输入环境中测试模型，发现它们不能安全行动，生成的回应接受有危险、暴力或非法指令，例如引发事故的错误陈述、夺取人们的移动辅助设备和性侵行为。我们的结果强调了迫切需要系统、常规和全面的风险评估和保证，以改善结果，并确保LLMs只在安全、有效和公正的情况下在机器人上运行。数据和代码将提供。

Jun, 2024

本研究针对集成大型语言模型（LLM）在移动机器人导航任务中的安全风险进行了探讨，尤其是提示注入攻击带来的挑战。提出了新的安全提示策略，研究结果表明，实施强有力的防御机制后，攻击检测和系统性能整体改善约30.8%，从而显著提升了任务导向的安全性和可靠性。

Aug, 2024

本研究针对基于大语言模型的具身代理在真实环境中可能面临的物理风险缺乏意识的问题，提出了RiskAwareBench框架，用于自动评估具身代理的物理风险意识。该框架通过安全提示生成、风险场景生成、计划生成和评估四个模块，构建了PhysicalRisk数据集，并通过实验表明当前大语言模型的物理风险意识普遍不足，提示未来需加强这一领域的研究。

Aug, 2024

本研究针对大语言模型在自主性和安全性方面的不足，提出了雅典娜框架，利用语言对比学习来增强代理的安全性，确保其在执行任务时避免风险。同时，我们创建了一个包含80个工具包和180个场景的安全评估基准，以评估LLM代理的安全推理能力。实验结果表明，该框架显著提高了代理的安全性。

Aug, 2024

本研究针对AI系统中的安全性问题，特别是在协作环境中，提出了三种新的安全架构框架，以增强AI代理的安全协议。通过对不安全用例进行综合评估，发现这些框架能够显著提升AI代理系统的安全性，降低潜在风险，从而为确保AI技术在实际应用中的负责任使用奠定基础。

Sep, 2024