test suites | BriefGPT - AI 论文速递

关键词test suites

搜索结果 - 7

CoverUp: 基于覆盖导向的 LLM 测试生成
CoverUp 是一个通过覆盖分析和大型语言模型 (LLM) 的组合驱动生成高覆盖率的 Python 回归测试的新颖系统，该系统通过与 LLM 的对话交替改进覆盖率，重点关注尚未覆盖的代码行和分支，从而显著提高测试套件的覆盖率，其效果的基础
PDF3 months ago
MutaBot: 一个针对聊天机器人的变异测试方法
该论文介绍了一种针对对话式聊天机器人的突变测试工具 MutaBot，通过在聊天流程、意图和上下文等多个层面进行突变，为多平台设计的聊天机器人进行测试，揭示了测试集的弱点。
PDF6 months ago
功能学习与规范指令
利用规范指令和测试套件，本文分析了功能学习的无微调方法，小模型很难遵循规范指令，但大模型（> 3B params.）能够从规范中受益并在不同功能上广义理想行为。
PDF8 months ago
测试套件任务：使用 MuST-SHE 和 INES 评估机器翻译的性别公平性
通过研究 WMT-2023 的测试套件，本文总结了 MuST-SHE-WMT23 和 INES 的两个测试套件的评估结果，重点关注 en-de 和 de-en 语言对，探究翻译系统在翻译女性和男性性别以及生成性别包容性翻译的能力。同时，我们
PDF8 months ago
推动 100 多种事件类型的事件参数提取的泛化极限
该研究介绍了一个新的数据集 GENEVA，涵盖了 115 个事件和 187 个参数角色，用于评估不同方面的模型泛化能力，并比较不同模型的相对普适性，最后提出了 SCAD 新模型，其性能优于以前的模型，并为这些测试套件提供强大的基准。
PDF2 years ago
ACL自然语言理解测试套件的快速几次调试
本文研究了使用测试套件进行少量样本的转换器调试的自然语言理解模型，旨在最大程度提高现象的正确性，最大程度减少对原始测试集的正确性成本，并介绍了一种新的快速方法来样本。
PDF2 years ago
低资源语言中的大规模与策划嵌入比较：以约鲁巴语和特威语为例
本论文针对两种非洲语言 —— 约鲁巴语和特威语，通过比较由无标注文本学习的词向量和有标注文本学习的词向量，以及不同深度学习模型的表现，分析公开语料库中的噪声，并收集了高质量的语料库数据和相应的测试套件，最终提供了这两种语言的语料库、嵌入向量
PDF5 years ago