hidden representations | BriefGPT

关键词hidden representations

搜索结果 - 11

隐藏式问题表征揭示大型语言模型内外的非事实性
本研究通过使用轻量级探针从问题的隐藏表示中唤起 “语言模型是否知道” 的能力，对非真实反应预测（NFP）进行了广泛分析，发现非真实性探针在多个语言模型中采用类似模式，并提出了跨语言模型的有效迁移学习并使用问题对齐策略进行小批量训练以确保其效
PDFa month ago
调查和揭示卷积神经网络对对抗扰动的特征级漏洞
通过对深度学习模型的不同层进行敌对性扰动攻击验证，研究表明浅层的通道组合对模型的干扰较大，在不同攻击类型中具有共享的易受攻击通道组合，而不同攻击对隐藏表示的影响存在差异且与卷积核大小呈正相关，以此为基础为未来应用开发高效的应对性防御机制奠定
PDFa month ago
TrojFM: 面向超大规模基础模型的高效后门攻击
我们提出了一种适用于非常大的基础模型的全新后门攻击方法 TrojFM，通过开发一种新的后门注入方法，使被后门化的模型在对输入进行隐藏表示时生成相似的表示，从而实现对非常大的基础模型的高效后门攻击。我们的攻击方法可以通过仅使用一个 A100
PDFa month ago
COLING自然语言模型中地理表现的缩放规律
扩展大型语言模型 (LLM) 到研究结果，观察语言模型在扩展时地理知识是如何演变的，并显示较大的语言模型不能消除训练数据中固有的地理偏见。
PDF4 months ago
定位论文：朝着研究模型表示的新框架
通过文献综述，我们对特征和行为进行了正式化，并强调了它们的重要性和评估，以及在研究表示的机制性解释性方面进行了基本的探索。通过讨论和探索性结果，我们证明了研究表示是一个重要且未被充分研究的领域，当前的机制性解释性方法不足以理解表示，因此推动
PDF5 months ago
Patchscope：语言模型隐藏表示的统一检查框架
使用 Patchscopes 框架可以解释大型语言模型的内部表示，统一之前的解释技术并扩展新的应用，如使用更强大的模型来解释较小的模型的表示和多跳推理中的自我校正。
PDF6 months ago
诊断灾难：连续学习中的大部分准确性损失可归因于读出失调
在这篇论文中，我们研究了导致人工神经网络在变化的数据分布上训练后旧任务性能迅速下降的表征性变化，并确定了解释这一现象的三个不同过程。最主要的成分是隐藏表征与输出层之间的不对齐，这种不对齐是由于在其他任务上的学习造成的，它导致内部表征发生位移
PDF9 months ago
ACLTransformer 模型中的各向异性是否固有？
本文探讨了 self-supervised learning 方法在 transformer 架构的模型中出现的表示退化问题，提到了表征中的各向异性现象，并且指出该问题在表示学习、自然语言处理等领域都具有普适性。
PDFa year ago
L2 正则化 DNN 中的特征学习：吸引 / 排斥和稀疏性
本研究探讨使用 $L_{2}$ 正则化的 DNNs 的损失曲面，并证明了通过特征学习来实现最优隐藏表示，以及如何通过隐藏表示的协方差来证明 $N (N+1)$ 神经元的局部最小值，并且在传统设置中远不需要 $N^{2}$ 神经元即可达到最小
PDF2 years ago
文本分类中识别、检测和区分超出分布样本和对抗样本
对比分析了文本分类模型中常见的三种输入样本：分布内、分布外和对抗样本，并提出一种基于模型隐藏表示和输出概率的简单方法，有效地区分了这三种输入样本。
PDF2 years ago
EMNLP使用 Transformers 的无监督问答评估
本研究探讨了基于 Transformer 的 QA 模型中问题、答案和上下文的隐藏表示，并通过观察回答表示中的一致性模式来自动评估预测出的答案跨度是否正确，其方法不需要任何标记数据且优于强启发式基线，在两个数据集和七个领域上均能够达到较高准
PDF4 years ago