Dec, 2023

推进 TTP 分析：利用仅编码器和仅解码器语言模型的威力进行检索增强生成

PDF
TL;DR使用编码器 - 解码器结构的大型语言模型（LLM）在解释攻击者行动方法（Tactics, Techniques, and Procedures）时存在问题，为此我们提出使用检索增强生成（Retrieval Augmented Generation）技术来提取相关上下文以改进解码器 - LLM 的表现。研究结果显示，直接使用解码器 - LLM 和仅对编码器 - LLM 进行监督微调的方法都无法准确解释网络攻击步骤，而将检索增强生成技术应用于解码器 - LLM 则显著提升了解释能力。本研究进一步揭示了在解释行动方法时使用检索增强生成技术的限制和能力。
tactics, techniques, and proceduresmitre att&ck frameworklarge language modelsencoder-only llmsretrieval augmented generation
发现论文，激发创造
  • 利用大型语言模型解释模糊的网络攻击描述

    通过使用大型语言模型 (LLMs) 以及对 MITRE AT&CK 框架中的 Tactics，Techniques 和 Procedures (TTPs) 进行训练，我们研究了它们在预测 ATT＆CK tactics 方面的能力，发现 BaseLLMs 提供更加集中和清晰的 ATT＆CK tactics 预测，而 LLMs 则提供更广泛的网络攻击技术解释。虽然 LLMs 具有强大的潜力，但它们的预测中存在内在歧义。因此，我们总结了现有的挑战，并建议 LLMs 研究方向以处理 TTP 描述的内在歧义。

    Jun, 2023

  • 对解码器专属的大型语言模型在语音到文本翻译中的研究

    大型语言模型在语音到文本翻译任务中的应用探索，提出一种仅使用解码器的架构，通过不同的参数优化技术和任务设计来达到最先进的性能。

    Jul, 2024

  • BadRAG：大型语言模型检测检索增强生成中的漏洞

    通过结合检索式方法和生成模型，提出了 TrojRAG 来识别检索部分（RAG 数据库）的漏洞和攻击，并间接攻击生成部分（LLMs），通过中毒定制内容来实现检索后门和语义操纵，这些攻击可以包括 RAG 的拒绝服务攻击和以触发器为条件的生成 LLMs 的语义操纵。

    Jun, 2024

  • 检索增强的思维过程作为顺序决策制定

    采用检索增强式思维过程（Retrieval-Augmented Thought Process）解决大型语言模型（Large Language Models）在隐私、幻觉和长上下文处理方面的挑战，从而在处理私人数据的问答任务中实现了与现有上下文检索增强语言模型相比 50% 的提升。

    Feb, 2024

  • 超越言语：大规模语言模型在重要风险分析中的可操作性

    风险分析中，检查了不同模型的效果，发现 LLMs 的速度快且具有实际行动性，而 RAG-assisted LLMs 能够有效发现隐藏的风险，成为精确性需要的 FTMs 和全面性可行性需要的基本模型的有效补充。因此，专家可以在紧凑的时间内利用 LLMs 进行风险分析，同时避免不必要的开支。

    Jun, 2024

  • 往返翻译防御大型语言模型越狱攻击

    通过往返翻译（RTT）方法防御大规模语言模型（LLM）上的社会工程攻击，提出了一种多功能、轻量级且可转移的算法，成功缓解了超过 70% 的攻击，并且减少了 MathsAttack 的攻击成功率近 40%。

    Feb, 2024

  • 通过使用大型语言模型，在 RST 篇章分析中能否取得显著成功？

    本文研究了具有数十亿参数的解码器预训练大型语言模型（LLMs）对修辞结构理论（RST）的语篇分析的影响，并且在基于自上而下和自下而上策略的语篇解析过程中，将此解析过程转化为 LLMs 可以处理的提示，并通过 Llama 2 进行了微调。实验结果表明，具有 700 亿参数的 Llama 2 在自下而上策略上获得了领先的成绩，相较于现有的 RST-DT 训练的解析器具有显著的差异。此外，在 RST-DT 上评估时，我们的解析器表现出了一定的泛化能力，尽管是使用 GUM 语料库进行训练，但获得了与使用 RST-DT 训练的现有解析器类似的性能。

    Mar, 2024

  • TrojanRAG: 大型语言模型中的检索增强生成可以成为后门驱动程序

    利用 Retrieval-Augmented Generation 进行联合后门攻击，针对大型语言模型（LLMs）的安全威胁进行探讨，通过构建精巧的目标上下文和触发器集合，通过对比学习优化多对后门快捷方式，从而限制触发条件以提高匹配率，并引入知识图谱进行结构化数据构建实现目标上下文的精确匹配，验证后门对 LLMs 的真实伤害以及上下文是否为越狱模型提供有利工具，实验证明 TrojanRAG 在正常查询中保持检索能力同时展示多样化的安全威胁。

    May, 2024

  • 基于生成检索增强的本体图和多智能体策略的解释性大型语言模型材料设计

    使用 Transformer 神经网络和大型语言模型进行材料分析、知识生成和力场开发的研究。

    Oct, 2023

  • 我们是否应该使用检索方法预训练自回归语言模型？一项全面研究

    通过引入检索机制可以提高大型解码器语言模型的困惑度和生成质量，本文提出了一种可扩展的预训练检索增强语言模型，它在实验证明了在知识密集型任务上优于标准 GPT，未来这可能是预训练自回归 LM 的有前途的方向。

    Apr, 2023