interpretability analysis | BriefGPT

关键词interpretability analysis

搜索结果 - 9

基于时间融合变压器的机场延误预测
采用新型时间融合变压器模型，对美国前 30 个机场的 15 分钟级别的到达延误进行数值预测，并分析模型输出的重要输入因素。
PDF2 months ago
揭示 LLMs：时间知识图中潜在表示的演变
通过对 Large Language Models（LLMs）的实证分析，本文提出了一种新的端到端框架，能够解码 LLMs 中隐藏的事实知识，并使用时间性知识图表达其在各层中的演化，以实现对 LLMs 的机理解释。通过局部和全局的解释性分析
PDF3 months ago
EMNLP重新思考对预训练语言模型机制的有效度量构建
提出了一种通过拓扑探针度量预训练语言模型内部关系的方法，并在 BERT-large 上进行实验。基于实验结果，提出了关于 BERT-like 预训练语言模型工作机制的假设，并提出了通过拓扑探针提高特定子模块微调性能的策略。
PDF8 months ago
结合可解释性分析的分类感知神经主题模型 —— 用于冲突分类
通过引入解释性分析，本文提出了用于冲突信息分类和主题发现的分类感知神经主题模型（CANTM-IA），提供对分类结果和发现的主题的可靠解释。同时，将解释性引入模型架构以提高模型的分类性能，并允许将解释进一步集中在数据的细节上。最后，对模型的架
PDF10 months ago
ALMERIA: 用可扩展的方法增强分子配对对比度
ALMERIA 是一种用于估计化合物相似性和活性预测的决策支持工具，通过成对分子对比考虑它们的构象变化，覆盖了从数据准备到模型选择和超参数优化的整个流程，并使用可扩展软件和方法来利用大量数据进行实现。
PDFa year ago
基于 T5 编解码器软提示调整的受控文本生成并分析生成文本在 AI 中的效用
本文提出了一种新的软性提示调整方法，通过在 T5 模型的编码器和解码器级别都使用软性提示实现控制性文章生成，并研究了一个附加的软提示与 T5 模型的解码器相关性表现。作者通过内在和外在评估，以及人工生成数据，发现这个模型在与仅在编码器级别使
PDF2 years ago
对比学习在多标签文本分类中的应用研究
本文提出了五个用于多标签多分类任务的对比损失，探索了对比学习在不同策略下用于多标签多分类任务的有效性，并为对比学习技术在多标签分类任务上提供了一组基准方法。本文的实验结果表明，我们提出的对比损失可以为多标签多分类任务带来一定的提升。我们的研
PDF2 years ago
ACL倾听受影响社区定义极端言论：数据集和实验
我们采用包括巴西、德国、印度和肯尼亚在内的跨国社区制定标准，构建了一个包含 20,297 个社交媒体段落的数据集，用于进行多语种仇恨言论和基于社区参与的数据集构建和注释。我们建立了新的任务和相应的基线，并提供证据表明，由于不同国家之间的文化
PDF2 years ago
高斯过程在分类中的对抗性鲁棒性保证
本文研究了高斯过程分类模型的对抗鲁棒性，提出了一种计算 GPC 在输入空间中最小和最大分类概率的算法，并应用于 2D 合成数据集、SPAM 数据集和 MNIST 数据集的验证，表明我们的方法可用于 GPC 的可解释性分析和提高模型鲁棒性。
PDF5 years ago