Jun, 2024

MemeGuard: 基于 LLM 和 VLM 的框架，通过梗图干预推进内容管理

PDF
TL;DR通过使用大语言模型（LLM）和视觉语言模型（VLM），本研究提出了一种全面框架 MemeGuard 用于干预恶意的 multimodal（多模态）网络迷因，测试结果表明 MemeGuard 在生成恰当和有效应对恶意迷因方面表现出色。
发现论文，激发创造
  • 大规模视觉语言模型中的多模态违法言论检测与纠正

    本研究探讨了使用视觉语言模型进行仇恨表情包检测和修正任务的能力，并通过实证实验证明了预训练的 LLaVA 模型在这些任务中的有效性和讨论了其优缺点。

    Nov, 2023

  • 通过大规模语言模型之间的多模态辩论实现可解释的有害表情包检测

    通过基于大型语言模型的多模态辩论和小型语言模型的调优，我们提出了一种可解释的方法来检测有害的互联网迷因，使模型能够对模糊和隐含的危害模式进行辨别，并提供可视化的解释。

    Jan, 2024

  • LLMGuard：防范不安全 LLM 行为

    通过使用一组检测器，我们提出了 “LLMGuard”，这是一个监视用户与 LLM 应用程序交互并对内容进行标记的工具，以应对大型语言模型在企业环境中带来的新机遇和挑战。

    Feb, 2024

  • OSPC: 使用大型语言模型作为催化剂检测有害的网络迷因

    通过图像字幕、OCR 和大型语言模型 (LLM) 分析来检测有害的 Internet 恶搞图片，并在新加坡的多元文化和多语言环境中实现对有害 MEME 的综合理解和分类。

    Jun, 2024

  • MLLMGuard：多模态大型语言模型的多维安全评估套件

    本文介绍了 MLLMGuard，一个针对 MLLMs 的多维安全评估套件，包括双语图文评估数据集、推理工具和轻量级评估器。通过对隐私、偏见、有毒性、真实性和合法性等五个重要安全维度进行全面评估，结果表明 MLLMs 在安全和责任方面仍有很长的路要走。

    Jun, 2024

  • 揭示具多模态推理所精炼之大型语言模型背后的有害迷因

    本论文提出了一种基于多模态信息相互作用的先进推理的检测有害模因的方法，通过利用大型语言模型的推理能力和生成框架，实现了对有害模因的优化检测。实验证明该方法在有害模因检测任务上表现优于现有方法。

    Dec, 2023

  • LEMMA: 用外部知识增强的 LVLM 增强型多模态误信息检测

    利用 Large Vision Language Model（LVLM）及外部知识增强的 LEMMA 方法，大幅提升了多模态错误信息检测的准确性。

    Feb, 2024

  • 零封闭式 VLM 用于仇恨迷因检测：我们到达目标了吗？

    这项研究探讨了视觉语言模型在处理令人费解任务（如仇恨迷因检测）中的有效性，并观察到大型视觉语言模型在零样本仇恨迷因检测方面仍然存在脆弱性。

    Feb, 2024

  • RigorLLM：大型语言模型抵御不良内容的弹性防护

    RigorLLM 是一种新颖的框架，通过多方面的方法包括基于能源的训练数据增强、通过极小化最大优化为输入优化安全后缀和通过融合 KNN 和 LLMs 的基于数据增强的模型来高效有效地调节 LLMs 的有害和不安全输入和输出，从而提供了一种强大的有害内容调节解决方案。与现有基准如 OpenAI API 和 Perspective API 相比，RigorLLM 不仅在检测有害内容方面表现出色，而且对越狱攻击表现出无与伦比的韧性。限制优化和融合防护栏方法的创新应用代表了发展更安全可靠的 LLMs 的重要进展，为应对不断演进的数字威胁树立了新的内容调节框架标准。

    Mar, 2024

  • MLLM-Protector：确保 MLLM 安全性而不影响性能

    为了应对多模式大型语言模型的安全性方面尚未解决的问题，我们提出了 MLLM-Protector，一种结合了轻量级有害检测器和响应解毒剂的即插即用策略。通过该策略，我们有效地减轻了恶意视觉输入带来的风险，同时不影响模型的整体性能。

    Jan, 2024