EMNLPNov, 2023

在高风险领域评估大型语言模型

PDF
TL;DR高风险领域中的语言模型性能评估是一个重要问题，本研究对指导调优的语言模型进行深入分析，重点关注事实准确性和安全性，通过在法律和医学两个高风险领域的六个自然语言处理数据集上进行实验，发现目前语言模型存在的局限性，并强调了提高语言模型能力和改进领域特定指标的重要性，以及通过更人性化的方法来增强安全性和事实可靠性，研究结果对于适应高风险领域、履行社会义务并符合即将颁布的欧盟 AI 法案具有重要推动作用。
high-risk domainslanguage modelsfactual accuracysafety adherenceevaluating llms
发现论文，激发创造
  • 大型语言模型中的风险与应对：评估关键威胁类别

    本文对大型语言模型（LLMs）中的风险评估问题进行了探讨，并重点研究了奖励模型在感知和分类不同类型风险时面临的挑战，通过使用 Anthropic Red 团队的数据集，对信息风险、恶意用途和歧视 / 仇恨内容等主要风险类别进行了分析，研究结果表明 LLMs 倾向于认为信息风险较少有害，并通过特殊开发的回归模型对此进行了确认，此外，研究还揭示了 LLMs 在信息风险场景中对风险反应较不严格，强调了 LLM 风险评估中的关键安全问题以及对改进人工智能安全措施的需求。

    Mar, 2024

  • 使用风险调整置信度评分提升大型语言模型鲁棒性的形式化与方法

    尽管大型语言模型在自然语言处理方面取得了令人瞩目的成就，但它们也存在重要的风险。本文定义和形式化了决策风险和综合风险这两种不同类型的风险，并提出了评估这些风险的风险中心化评估框架和四个新指标。最后，我们提出了一种名为 DwD 的风险调整校准方法，帮助大型语言模型在整体自然语言推理架构中降低这些风险。实验证明了评估框架的实用性以及 DwD 在降低决策风险和综合风险方面的功效。

    Oct, 2023

  • 关于金融、医疗和法律领域的大型语言模型的调查

    在精密型行业中，通过对大型语言模型的调查，本文详细探讨了这些模型的方法、应用、挑战和未来机遇，并强调了大型语言模型在医疗保健、金融和法律领域中提高诊断和治疗方法、创新金融分析和完善法律解释和遵从策略方面的重要作用。此外，我们还对这些领域中大型语言模型应用的伦理问题进行了批判性检查，并指出了现有的伦理关切和尊重监管规范的透明、公正和强大的人工智能系统的需求。通过对当前文献和实际应用的全面综述，我们展示了大型语言模型的变革性影响，并勾勒了跨学科合作、方法论进步和伦理警觉的必要性。通过这种视角，我们旨在引发对话，激励未来致力于最大化大型语言模型的利益并降低其在这些精密型行业中的风险的研究。为了促进对这一主题中大型语言模型的未来研究，我们还提供了一个阅读列表，跟踪该主题下的最新进展，链接如下：https://github.com/czyssrs/LLM_X_papers。

    May, 2024

  • LLM 风险与 AI 防护栏的现状

    大型语言模型 (LLMs) 的部署与安全性及可靠性密切相关，然而它们在引入的同时也伴随着固有的风险，包括偏见、潜在的不安全行为、数据集污染、不可解释性、幻觉和非可重复性，为了避免潜在的危害，本研究探讨了部署 LLMs 所面临的风险，并评估了目前实施防护和模型对齐技术的方法，从固有和外在偏见评估方法入手，并讨论了公平度度量方法，还探讨了能够进行现实世界行为的主动型 LLMs 的安全性和可靠性，强调了可测试性、故障保护和情境意识的需求，还提出了保护 LLMs 的技术策略，包括操作在外部、次要和内部层次的分层保护模型，突出系统提示、检索增强生成 (RAG) 架构以及最小化偏见和保护隐私的技术，有效的防护设计要求深入理解 LLMs 的预期用例、相关法规和伦理因素，在精确性和隐私等竞争需求之间取得平衡仍然是一个持续挑战，本研究强调了持续研究和开发的重要性，以确保 LLMs 在实际应用中的安全和负责任使用。

    Jun, 2024

  • 关于 LLMs 的隐含风险评估：关于鲁棒性，一致性和可信度的实证研究

    本研究使用自动化工作流程，对 ChatGPT、LLaMA 和 OPT 等主流 LLM 进行了数百万次查询，得出了 LLM 在稳健性、一致性和可信度方面存在的问题，提出了一种新的关联数据集索引来评估使用 LLM 进行学术评估的可行性。

    May, 2023

  • 跨任务防御：面向内容安全的指令调优语言模型

    我们的研究旨在针对恶意文件开发强大的大型语言模型（LLMs）防御机制，并通过指导调整来提高它们处理危险内容的能力，同时维持其效用和安全之间的平衡。在我们的实证结果中，LLMs 可以通过适当的指导调整显著增强它们处理危险内容的能力。此外，加强易受滥用任务的防御策略对于保护 LLMs 免受处理有害信息的影响是有效的。我们还观察到防御策略中存在效用与安全之间的权衡，其中采用我们提出的方法的 Llama2 相比 Llama1 具有更好的平衡。

    May, 2024

  • IITK 参加 SemEval-2024 任务 2：探索 LLMs 在临床试验中安全生物医学自然语言推理方面的能力

    对大型语言模型在处理安全生物医学自然语言推理问题上的鲁棒性和一致性进行了研究，利用检索增强生成框架对预训练语言模型进行了比较分析，并在零样本设置下评估了它们的推理和解决问题能力。

    Apr, 2024

  • 语言障碍：剖析 LLMs 在多语言环境中的安全挑战

    本文探讨大型语言模型在多语言环境中的安全挑战，并讨论缓解此类问题的方法。通过比较先进的语言模型对高资源语言和低资源语言下恶意提示的响应，我们发现低资源语言中的恶意提示往往导致不安全的回答，并且语言模型对低资源语言的恶意提示产生更多的无关回答。此外，我们发现提高模型对高资源语言的训练并没有带来显著改善，表明跨语言对齐的瓶颈在于预训练阶段。我们的发现凸显了跨语言大型语言模型安全的挑战，并希望这些发现能指导未来的研究。

    Jan, 2024

  • 用于评估大型语言模型中的保障措施的中文数据集

    通过引入一个用于评估中文 LLM 安全性的数据集，我们扩展到其他两个场景，用于更好地识别有风险的提示拒绝的假阴性和假阳性示例，并提出了细化的每种风险类型的安全评估标准，为 LLM 响应的有害性进行手动注释和自动评估。我们在五个 LLM 上的实验表明，区域特定风险是最普遍的风险类型，是我们所研究的所有中文 LLM 的主要问题。

    Feb, 2024

  • 多模态知识提取与分析中的 LLMs 在智能 / 安全关键应用中的应用

    大型语言模型在最近几年取得了迅猛的进展，其能力正在不断加速，通过各种基准测试，其能力接近于人类的水平。由于存在未解决的脆弱性和限制，人们在将这些模型应用于智能和安全关键应用之前需要谨慎。本文回顾了与 LLM 评估和脆弱性相关的最新文献，综合当前的研究进展，并帮助了解哪些进步对于在智能和安全关键应用中使用这些技术最为关键。这些脆弱性被分为十个高级类别，并与 LLM 的一个高级生命周期进行了叠加。还对一些常见的缓解措施进行了综述。

    Dec, 2023