Feb, 2024

AuditLLM: 使用多探针方法审计大型语言模型的工具

PDF
TL;DR通过批量分析来自一个问题的多个探针生成的回答，AuditLLM 能够测试给定的 LLM 以评估其性能，并得出对 LLM 的一致性的易于解释的结果。它可通过实时查询分析响应进行即时审核，也可通过处理多个查询进行综合分析，旨在提供一个标准化的审核平台，以增进对 LLM 生成回答的能力的理解。
发现论文，激发创造
  • 使用人类参与的方法开展大型语言模型审计的框架开发

    我们提出了一种自动且可扩展的解决方案来对 LLM 进行审核，其中使用了不同的 LLM 以及人类参与。通过人类参与，我们可以验证回复的标准化评估准则以及生成所需的审核方法。在 TruthfulQA 数据集上的实验证明了我们可以从一个 LLM 生成可靠的审核方法，以用于审核另一个 LLM 的不一致之处。生成和应用审核方法的标准是普适的，适用于不同的 LLM，无论其底层结构或训练机制如何。

    Feb, 2024

  • 大规模语言模型审计：三层方法

    本文阐述了大规模语言模型 (LLMs) 的崛起代表了人工智能 (AI) 研究的重大进展，但是其广泛应用也带来了重大的伦理和社会挑战，需要开发新的审计程序来捕捉 LLMs 的风险。提出了一种三层审计方法，和其优缺点，并最终旨在扩展技术提供商和政策制定者的方法学工具箱来分析和评估 LLMs。

    Feb, 2023

  • GenAudit：使用证据修复语言模型输出中的事实错误

    LLMs 生成错误陈述时会产生错误，我们提出了 GenAudit，这是一个旨在辅助检查 LLM 响应的工具，通过修改或删除不被参考文献支持的主张，提供参考文献中支持的事实的证据，并设计一个交互界面将建议的修改和证据呈现给用户。

    Feb, 2024

  • 审计语言模型用于指导招聘决策

    在大型语言模型中检测算法偏见的对应实验方法，发现适用于 K-12 教职申请的各种模型存在中等程度的种族和性别差异，但同时也存在一些重要的限制。

    Apr, 2024

  • 支持人工智能与人类合作审计 LLM 的 LLM

    本文介绍了一个新的大型语言模型审计工具 AdaTest ++，并展示了人类和生成模型在协作审计中的互补优势，该工具有效地利用人类的强项，包括模式化、假设形成和测试，帮助鉴定了之前鲜有报道的 26 种不同类型的失效模式。

    Apr, 2023

  • 由学徒到研究助理：大型语言模型推动研究

    通过文献综述和第一手实验，本文研究了大型语言模型（LLMs）的潜力。尽管 LLMs 具有成本效益和高效性等优点，但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解，强调了成功和限制。此外，本文还讨论了缓解挑战的策略，如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作，并积极促进其负责任的应用，以此回应关于 LLMs 在研究中负责任应用的持续对话。

    Apr, 2024

  • 大型语言模型多轮医疗咨询自动评估框架

    该研究介绍了一种自动评估框架，评估了大型语言模型作为虚拟医生在多轮咨询中的实际能力，通过重构来自美国医疗执照考试的医学多项选择题，提出了一个基准测试集，并开发了综合评估指标。研究结果表明，使用培训集对大型语言模型进行微调，可以减轻幻觉并提高其在所提出基准上的性能。

    Sep, 2023

  • 关于 LLMs 的隐含风险评估：关于鲁棒性，一致性和可信度的实证研究

    本研究使用自动化工作流程，对 ChatGPT、LLaMA 和 OPT 等主流 LLM 进行了数百万次查询，得出了 LLM 在稳健性、一致性和可信度方面存在的问题，提出了一种新的关联数据集索引来评估使用 LLM 进行学术评估的可行性。

    May, 2023

  • TroubleLLM: 与红队专家对齐

    通过提出的第一个 LLM 模型 TroubleLLM 在 LLM 安全问题上生成可控的测试提示，广泛的实验和人工评估表明 TroubleLLM 在生成质量和生成可控性上的优越性。

    Feb, 2024

  • 软件渗透测试中使用大型语言模型的初步研究

    利用大型语言模型（LLM）构建用于软件渗透测试的人工智能代理，通过反复使用和提示工程来提高模型性能。

    Jan, 2024