attribution scores | BriefGPT

关键词attribution scores

搜索结果 - 5

小型语言模型中实现稀疏激活
我们在小型语言模型（SLMs）中实现了稀疏激活，并通过新的归因测量指标以达到精确的稀疏激活，实验证明我们的方法可以在只损失 < 5% 的模型准确性的情况下实现 80% 的稀疏化比率，可与大型语言模型（LLMs）中实现的稀疏激活相媲美。
PDFa month ago
低资源环境下的预训练语言模型解释与归因分析
通过分析从基于提示的模型中提取的归因得分的合理性和忠实性，并将其与从微调模型和大型语言模型中提取的归因得分进行比较，我们发现使用基于提示的范例（无论是基于编码器的模型还是解码器的模型）比在低资源环境下微调模型产生更合理的解释，并且 Sha
PDF4 months ago
可解释机器学习中 SHAP 评分的分布性不确定性
本文提出了一个基于不明实体群体分布的 SHAP 得分推理的原则性框架，并通过研究函数最大值和最小值的基本问题来确定所有特征的 SHAP 得分的紧密范围，最终通过实验显示我们的框架可以为更稳健的特征评分做出贡献。
PDF5 months ago
CVPR在部分标注的多标签分类中弥合模型解释之间的差距
研究表明，在多标签分类领域中，将未观察到的标签假定为负标签会引入标签噪声，因此提议通过提高部分标记训练的模型的属性分数以改善其性能，并在三个不同数据集上进行测试。
PDFa year ago
EMNLP校准相遇解释：一种简单有效的模型置信度估计方法
本文提出 CME 方法，结合模型解释来降低非归纳属性的模型信心度，进而提高预测的后验概率校准性能。在六个数据集上的实验表明，该方法提高了所有设置下的校准性能，并在温度缩放的情况下进一步降低了预期校准误差。
PDF2 years ago