model weaknesses | BriefGPT

关键词model weaknesses

搜索结果 - 7

利用反事实图像强化预训练模型
该论文提出了一种新的框架，通过语言引导生成对抗图片来加强分类模型。通过使用对抗图片数据集来测试模型的弱点，并将对抗图片作为增加的数据集来微调和加固分类模型，研究揭示了使用小规模对抗图片进行微调可以有效增强模型的性能。
PDF15 days ago
JailbreakLens：针对大型语言模型的越狱攻击的可视化分析
通过与领域专家合作，我们提出了一个辅助框架来简化对繁琐的破解分析过程，并设计了一个视觉分析系统，帮助用户评估模型安全性并识别模型弱点。
PDF3 months ago
COLINGGPT-HateCheck：LLM 能否为仇恨言论检测编写更好的功能性测试？
在线仇恨检测中存在由数据采样、标注和模型预训练导致的偏见。本研究提出了 GPT-HateCheck 框架，通过指导大型语言模型自动生成更多样化和真实的功能测试用例来解决现有数据集的限制，并以众包注释验证生成的测试用例质量，从而发现使用原始
PDF4 months ago
ACL双重扰动：关于鲁棒性和反事实偏差评估的稳健性
本文提出一种 “双重扰动” 框架，以揭示测试数据集之外的模型弱点。我们将该框架应用于研究两种基于扰动方法的分析模型稳健性和反事实偏差的方法，并引入新的攻击方法以找到易受攻击的案例。该方法可揭示在测试数据集中未直接显示的隐含模型偏见。
PDF3 years ago
CVPRAGQA：组合式时空推理的基准测试
本论文针对计算机视觉模型做了一个新的基准，名为 Action Genome Question Answering (AGQA)，并提供了 3.9M 个问题答案对的平衡子集，以最小化偏倚。AGQA 引入了多个训练 / 测试集来测试各种推理能力
PDF3 years ago
ACLHateCheck：仇恨言论检测模型的功能测试
介绍 HateCheck，一个用于针对仇恨言论检测模型的功能测试套件，其中包括 29 个模型功能，为每个功能编写测试用例，并通过结构化注释过程验证其质量。测试表明，近最先进的变换器模型以及两个流行的商业模型存在关键的模型弱点。
PDF4 years ago
CLEVR：一个用于组合语言和初级视觉推理的诊断数据集
通过建立人工智能系统，以便对视觉数据进行推理和回答问题，我们需要有诊断测试来分析进展并发现缺点。该研究提出了一种诊断数据集，测试了各种视觉推理能力，包含最小的偏差并具有详细注释，描述每个问题需要的推理类型，用于分析各种现代视觉推理系统，提供
PDF8 years ago