llm robustness | BriefGPT - AI 论文速递

关键词llm robustness

搜索结果 - 5

RUPBench：基于干扰的推理鲁棒性评估大型语言模型的基准测试
通过对大型语言模型（LLMs）进行系统的鲁棒性评估，本研究提供了关于 LLMs 对多样化和噪声输入的处理能力方面的进一步改进的见解。
PDF18 days ago
Raccoon: LLM 集成应用的提示提取基准
介绍了一种全面评估模型对提示提取攻击易感性的新方法和基准测试，以及对现有防御和模型韧性的有效性进行评估，为评估 LLM 对提示提取攻击的鲁棒性建立了更系统的基准测试，并提出了攻击原因和潜在对策。
PDF24 days ago
通过数据整理提高安全对齐的大型语言模型鲁棒性
我们提出了一种数据筛选框架，以增强大语言模型的安全对齐性，通过减少含有有害信息的数据的影响或增加在下游微调期间的越狱难度。在研究中，我们通过预训练或微调采用经过筛选的干净文本对大语言模型进行训练，观察到在安全对齐方面对有害查询的响应性明显改
PDFa month ago
NoMIRACL: 稳健多语言检索增强生成中的不了解时知晓
利用外部知识源降低大型语言模型产生的事实幻觉，检索增强生成（RAG）通过对不同语言家族的全面评估，建立 NoMIRACL 数据集来评估 RAG 中 LLM 的鲁棒性。
PDF7 months ago
GPTFUZZER：使用自动生成的越狱提示对大型语言模型进行红队测试
通过自动化模板生成的黑盒取证模糊框架，我们实现了uzzer，它在大量商业和开源语言模型上具有高攻击成功率，甚至在所有人工制作的模板失败的情况下也能维持超过 90％的攻击成功率，从而有助于评估和促进语言模型的安全性及鲁棒性研究。
PDF9 months ago