activation patterns | BriefGPT

关键词activation patterns

搜索结果 - 12

ICMLReLU 网络输入优化的激活 - 下降正则化
我们提出了一种新的 ReLU 网络输入优化方法，明确考虑了激活模式变化的影响。我们分析了输入空间和激活模式空间中的局部优化步骤，提出了具有优越局部下降性质的方法。为了实现这一目标，我们将激活模式的离散空间转化为可微分表示，并提出了改进每个下
PDFa month ago
大型语言模型中的叙事处理分析：使用 GPT4 测试 BERT
使用基于 transformer 的大型语言模型（LLMs）的 ChatGPT 作为研究对象，通过分析 BERT 隐藏单元的激活模式，发现其在不同层次上根据文体变异（1）和叙事内容（4-5）进行聚类，揭示了 LLMs 内部的区别任务处理机制
PDF2 months ago
理解 FFNs 在 LLMs 中推动多语言行为的角色
多语言模型（LLMs）中的多语言能力和处理机制的体系结构、激活模式和处理方法的深入分析的研究结果表明模型的层次结构和深度对多语言处理能力有影响。
PDF2 months ago
发现：通过竞争和分解使视觉网络可解释
这项研究工作旨在通过多模态视觉 - 文本模型和基于线性单元之间的随机局部竞争的网络层，提出了一种框架，以更容易地发现视觉任务网络中每个神经元的个体功能，并生成描述性文本以解释网络的决策过程。
PDF9 months ago
探索随机过程来理解人工神经网络中的激活模式
使用随机过程模型神经网络中的激活模式，从而提供关于网络行为的有价值洞见。
PDFa year ago
神经网络在协变量转换下的安全性能
基于神经网络的激活模式和操作数据的近似分布，我们提出了一种基于约束的方法，通过重塑初始测试集来重新评估神经网络的安全性能，以解决协变量转移对操作安全性能的影响问题。
PDFa year ago
ICLR人工神经网络探究：来自神经科学的启示
这篇文章探讨从神经科学角度出发，在进行机器学习的探索性研究时，通过指定研究目标且明确探针设计的方向和表现性来实现对于感兴趣特征激活模式的监督模型
PDF3 years ago
ACLBERT 所执行的首要处理的确定因素
通过探索神经模型对下游任务的表现能力以及它们的激活模式，我们发现在比较神经网络的表现时，预测结果的语境长度可能是其间的文献中一个中介因素，需要加以控制才能得到准确的结论。本研究以 BERT 为例，发现在操纵探测数据集的语境长度分布时，可能会
PDF3 years ago
神经网络的内部结构：基于功能神经元群和网络消融的学习表示特征表征
本文研究神经网络的透明度缺乏问题，通过对激活模式和网络消融的表征，揭示了在完成学习任务时单个神经元和神经元群体的作用，强调了为未来的转移学习和现代神经科学发展提供必需指标的重要性。
PDF4 years ago
AAAI深度神经网络作为协同分类器的层
本文探讨了全连接前馈神经网络中隐藏节点的激活模式，提出了从两个信息处理系统，即连续性和离散性的角度来看待这种网络分类能力的新方式，并且重点突出了这两者搭配的重要性，为深度学习中神经网络的泛化能力提供了新的思路。
PDF4 years ago
深度的 ReLU 网络具有惊人地少的激活模式
本文研究表明，深度神经网络的理论表达能力与实际学习能力存在较大差距，即使在初始化和训练期间模型中的激活模式数量也呈现出一定限制，这可能限制了现有方法实现深度神经网络的全部表达能力。
PDF5 years ago
多层感知器图像去噪，第二部分：训练的权衡和机制分析
本文详细讨论多层感知器在图像去噪中需要考虑的权衡问题，分析隐藏单元的激活模式，从而观察训练的原理，并取得了良好的结果。
PDF12 years ago