deep nlp models | BriefGPT - AI 论文速递

关键词deep nlp models

搜索结果 - 7

在文本分类中生成分层解释且不需连接规则
本文提出了一种不需要连接规则的层次化解释生成框架，可以用于生成单词的层次式聚类，以提供高质量的解释，并反映模型决策过程。
PDF2 years ago
语言相关性分析：在深度 NLP 模型中发现显著神经元
该研究利用 Linguistic Correlation Analysis 技术，定位和提取能够预测不同语言任务的少量神经元，研究表明深度 NLP 模型中神经元的学习特征高度分布和冗余，预训练模型的微调也会影响学习到的语言知识，同时还发现多
PDF2 years ago
用于评估 NLP 模型概念合理性的顺序敏感的 Shapley 值
研究探讨使用新的解释方法 -- 顺序敏感的 Shapley Value 方法评估深度自然语言处理模型对单词顺序的概念正确性的影响，并发现在处理 HANS 数据集和情感分析任务时，某些深度模型对否定构造和主语动词一致性的语法和顺序理解存在局限
PDF2 years ago
ACL深度自然语言处理模型中的细粒度解释和因果分析
本文介绍了深度 NLP 模型中的细粒度解释和因果分析，包括如何分析单个神经元和神经元组，输入特征的作用以及如何应用这种神经元分析技术，如网络操作和域适配。同时，本文介绍了两个工具包：NeuroX 和 Captum。
PDF3 years ago
EMNLP对预训练语言模型中个体神经元的分析
本研究探讨了使用深度 NLP 模型学习的表示来捕捉语言知识。在核心语言学任务上进行了神经元级别的分析，研究了预训练的语言模型中的神经元是否捕捉了语言信息，哪些部分学习了某些语言现象，信息分散或集中在哪里，以及不同架构在学习这些属性方面的差异
PDF4 years ago
EMNLP分析预训练 Transformer 模型中的冗余
本文旨在研究 Deep NLP 的 Transformer 模型中的冗余性，并从两个角度对 BERT 和 XLNet 这两个流行预训练模型进行了分析。在这篇论文中，我们提出了一个特征转移学习的方法，可以在只使用原始的 10％神经元的情况下，
PDF4 years ago
EMNLP借助稀疏潜在结构实现动态计算图
本篇研究介绍了一种使用 SparseMAP inference 进行训练的方式，可以在维持可区分性的同时，实现从全局潜在结构建立不受限制的动态计算图，从而助力于深度神经网络建模的训练。
PDF6 years ago