importance scores | BriefGPT

关键词importance scores

搜索结果 - 12

EMNLP变量逐层量化：一种简单而有效的低比特量化迁移学习方法
我们提出了一种简单的变量量化方法，该方法将大型语言模型的不同层在不同的比特级别上进行量化，通过将最重要的层量化为更高比特精度并将不太重要的层量化为较低比特以实现浮点量化级别。
PDF9 days ago
概念解释估计应该具备不确定性意识
用可理解的人类概念来解释模型的全局解释的不稳定性问题以及提出了一种基于不确定性的贝叶斯估计方法，可以提高概念解释的可靠性。
PDF7 months ago
通过高效的非参数替代品实现深度学习的自适应采样
通过使用非参数核回归进行采样，我们提出了一种新颖的采样分布，它能够在神经网络训练过程中学习到有效的重要性评分。我们的采样算法在墙钟时间和准确性上优于基准算法。
PDF7 months ago
基于冗余感知的无监督基因集合排名
利用重要性分数按照覆盖集的角度对基因集合进行排序，从而增加基因集合的可解释性，并在 Shapley 值计算中引入冗余感知。
PDFa year ago
XAISuite 框架及解释系统不协调的影响
本文比较两种解释系统（SHAP 和 LIME）的解释一致性，使用 14 种机器学习模型和 4 个数据集进行了实验，并得出两个结论：解释重要性的大小不重要；SHAP 和 LIME 重要性得分的相似度不能预测模型的准确性。此外，本文构建了一个名
PDFa year ago
对文本数据进行特征重要性和规则提取的可解释性比较
本文研究机器学习算法中普遍存在的可解释性方法，通过不同的解释方法应用到简单的模型中，发现不同之处并提出一种新的方法来比较不同解释间的差异。
PDF2 years ago
ICML利用权重重要性的置信上限对大型 Transformer 模型进行修剪
以 UCB（置信上界）为基础的 importance estimation 的 PLATON 方法有效地解决了传统剪枝方法因 mini-batch 采样和复杂训练动态而产生的不确定性和稳定性问题，从而在自然语言理解、问答和图像分类等任务中取
PDF2 years ago
EMNLP门控图卷积网络和基于语法规则的调控改进方面情感分析
本文提出了一种基于图的深度学习模型，该模型使用门向量从方面词的表征向量生成来定制基于图的模型的隐藏向量，并在模型中注入从依赖树中获取的每个单词的重要性得分，从而改善方面级情感分析的表征向量，实现了三个基准数据集上的最新成果。
PDF4 years ago
MM层次强化学习实现弱监督视频摘要
提出了一种基于弱监督分层强化学习框架的视频摘要算法，该算法将任务分解为多个子任务，通过训练管理器网络为每个子任务设置子目标，在此基础上使用策略梯度预测视频帧的重要性得分，通过定义的子奖励和全局奖励来解决稀疏问题，并在两个基准数据集上实验证明
PDF4 years ago
EMNLP通过多阶段训练和辅助损失对抗新闻摘要中的主观倾向
本文提出两种技术来使系统对文章不同部分的重要性敏感，一种是使用随机排序的句子进行预训练，一种是使用基于 ROUGE 的 Auxiliary Loss 来分散整个文档中的重要性得分，这些技术可以显着提高基于强化学习的抽取系统的性能。
PDF5 years ago
LS-Tree: 数据为语言时的模型解释
该研究通过分析语法结构提出了基于最小二乘法的重要性评分方法，以实现对训练的分类模型进行解释，并建立了这些重要性评分的公理化特征，发展了一种合理的检测和量化句子中单词之间交互的方法，证明了该方法在多种语言模型的可解释性和诊断中的作用。
PDF5 years ago
不只是一个黑盒子：通过传播激活差异学习重要特征
DeepLIFT（重要特征学习）是一种有效的神经网络重要性分数计算方法，可用于训练自然图像和基因组数据模型，并在梯度法方法上具有显着优势。
PDF8 years ago