Feb, 2024

RITFIS: 基于 LLMs 的智能软件稳健输入测试框架

PDF
TL;DR本篇论文介绍了用于评估 LLM-based 智能软件鲁棒性的 RITFIS 框架，将 17 种自动化测试方法应用于 LLM-based 软件测试场景，展示了 RITFIS 在评价 LLM-based 智能软件方面的有效性，并通过综合分析提供了优化测试方法的策略。
natural language processinglarge language modelsrobust input testing frameworkllm-based intelligent softwarecombinatorial optimization problem
发现论文，激发创造
  • LLM 的输入扰动问题重新审视：噪声槽填充任务的统一鲁棒性评估框架

    使用大型语言模型来评估对话理解能力，在输入扰动场景下提高扰动稳健性表现。

    Oct, 2023

  • 多集合免疫接种：跨多个挑战集评估模型的稳健性

    探讨语言模型对输入扰动的敏感性以及通过不同训练策略来提高模型性能和鲁棒性的方法，通过在 Tabular-NLI 任务中的实例验证了该模型可对抗不同的扰动而不降低准确性。

    Nov, 2023

  • 大型语言模型用于进行高级文本分析信息系统研究

    数字内容的指数级增长引发了大规模文本数据集，需要先进的分析方法。大型语言模型作为处理和提取海量非结构化文本数据集的工具已经出现。为了帮助信息系统研究了解如何操作化大型语言模型，我们提出了一个用于信息系统研究的文本分析框架（TAISR）。我们的框架为如何进行有意义的基于文本的信息系统研究提供了详细的建议，这些建议基于信息系统和大型语言模型的文献。我们在商业智能领域进行了三个案例研究，用我们的 TAISR 框架来展示其在几个信息系统研究背景下的应用。我们还概述了采用大型语言模型进行信息系统研究可能面临的挑战和局限。通过提供一种系统化的方法并证明其实用性，我们的 TAISR 框架有助于未来将强大的大型语言模型添加到文本分析的信息系统研究流程中。

    Dec, 2023

  • 评估和缓解大型语言模型中的语言歧视

    通过使用多种语言进行训练，大型语言模型（LLMs）通常具有多语言支持，并展示出在不同语言描述的任务中解决问题的显著能力。然而，由于在不同语言之间训练数据的不均衡分布，LLMs 可能表现出语言歧视，即面对相同任务但在不同语言中描述时，难以保持一致的响应。在本研究中，我们首先从安全性和质量两个方面探讨 LLMs 在对各种语言的查询产生的输出的一致性。我们使用两个数据集（AdvBench 和 NQ）对四个 LLMs（Llama2-13b、Gemma-7b、GPT-3.5-turbo 和 Gemini-pro）进行分析。结果显示，与孟加拉语、格鲁吉亚语、尼泊尔语和迈蒂利语的查询相比，LLMs 对英语、法语、俄语和西班牙语的查询表现出更强的人类对齐能力（平均有 1.04％的有害查询成功越狱）。此外，对于英语、丹麦语、捷克语和斯洛文尼亚语的查询，LLMs 倾向于产生具有更高质量的响应（平均 F1 得分为 0.1494），与其他语言相比。基于这些发现，我们提出了一种基于相似度的投票机制 LDFighter 来减轻 LLMs 中的语言歧视。LDFighter 确保为不同语言使用者提供一致的服务。我们使用良性查询和有害查询来评估 LDFighter。结果显示，LDFighter 不仅显著降低了成功越狱的概率，还平均改善了响应质量，证明了其有效性。

    Apr, 2024

  • 基于大型语言模型的模糊测试技术综述

    本文调查总结了截至 2024 年的最新方法，统计分析了三个领域（即 LLMs、模糊测试和基于 LLMs 的模糊测试），并探讨了将基于 LLMs 的模糊测试技术广泛应用于未来的潜力。

    Feb, 2024

  • 针对可解释性人工智能（XAI）的符号 AI：评估 LFIT 归纳编程在公平和可解释自动招聘中的应用

    本文介绍了一种将归纳逻辑编程 (ILP) 技术应用于机器学习的通用方法，通过在自动工具中集成确定的解释，来实现公平招聘，并展示了对于特定问题而言，支持这种方法的表现力。

    Dec, 2020

  • 大语言模型对嘈杂指令的弹性

    通过人为嵌入 ASR 错误和语法错误等五种常见中断类型，我们的研究揭示了大型语言模型在处理包含错误的文本时表现的韧性，以及纠正噪音指令对其性能产生的显著影响。

    Apr, 2024

  • 利用大型语言模型的反馈加速机器人操控的强化学习

    通过利用大型语言模型的及时反馈，Lafite-RL（语言代理反馈互动式强化学习）框架使强化学习智能体能够有效地学习机器人任务，实验结果表明，Lafite-RL 智能体在自然语言的简单提示设计下，通过大型语言模型的引导在学习效率和成功率方面优于基准模型，凸显了大型语言模型所提供的奖励的功效。

    Nov, 2023

  • 软件渗透测试中使用大型语言模型的初步研究

    利用大型语言模型（LLM）构建用于软件渗透测试的人工智能代理，通过反复使用和提示工程来提高模型性能。

    Jan, 2024

  • NLPerturbator：研究代码 LLMs 对自然语言变化的稳健性

    本文研究了大型语言模型在现实场景中自然语言描述的变化对于代码生成的影响，并提出了一个自动化框架 NLPerturbator 来对不同类别的描述进行扰动，发现扰动后的描述可以显著降低代码生成的性能。研究强调了提高大型语言模型对于现实场景中描述变化的鲁棒性的重要性，以及构建描述时的细致性。

    Jun, 2024