neuron activation | BriefGPT

关键词neuron activation

搜索结果 - 9

ACL研究神经元激活作为统一视角来解释 LLM 的引发思维链的算术推理
通过研究神经元激活，我们探索了大型语言模型中算术推理能力的重要性，以及神经元激活对 CoT 提示的 components 的影响，并提出了一个基于 GPT-4 的方法来自动识别涉及算术推理的神经元。
PDF22 days ago
基于检索辅助生成的大型语言模型中的提示扰动
本研究通过引入一种新的优化技术（称为 GGPP），系统评估了在 Retrieval-Augmented Generation 模型上插入前缀对输出结果的影响，并通过神经元激活差异提供了一种改善该模型的鲁棒性的方法。
PDF5 months ago
PowerInfer：在消费级 GPU 上快速提供大型语言模型服务
PowerInfer 是一个高速的 GPU-CPU 混合推理引擎，利用大型语言模型 (LLM) 推理中固有的高局部性，并通过预加载热激活的神经元到 GPU 以快速访问、在 CPU 上计算冷激活的神经元，从而显著降低 GPU 内存需求和 CP
PDF7 months ago
NP-SBFL：连接基于频谱的故障定位与错误的神经途径诊断间的鸿沟
这篇论文提出了一种新颖的 NP-SBFL 方法，它通过使用层次相关传播（LRP）技术来确定关键神经元并确定哪些关键神经元是有问题的。该方法通过多阶段梯度上升（MGA）有效激活一系列神经元，并在维持以前神经元的激活的同时确定故障神经元。实证结
PDF8 months ago
大型语言模型中的神经元：死亡，N-gram，定位
我们在单个 GPU 上以轻量级的方式分析了一族大型语言模型，重点研究了参数从 125m 到 66b 不等的 OPT 家族模型，仅仅依靠 FFN 神经元的激活与否。我们发现网络的早期部分是稀疏的，并且代表许多离散特征；很多神经元从未在大量多样
PDF10 months ago
IJCAI能否在深度生成网络中找到导致不真实图像的神经元？
本研究分析了通过使用 “顺序消蚀法” 对生成对抗网络 (GANs) 的输出图像上的缺陷进行修复的可行方法，并探索了稀疏激活神经元如何导致图像中的 “缺陷物体” 出现问题。
PDF2 years ago
使用蜜罐捕获神经网络上的对抗攻击
我们在此论文中探讨一种新的防御机制来保护深度神经网络模型，该机制引入了陷阱门，通过激励攻击者搜索对抗性示例，它形成了防御系统，并证明了该防御系统能够避免最先进的攻击，并在分类方面几乎没有影响。
PDF5 years ago
CVPR联合神经元解决深度学习中的内部协变量转移问题
本文提出一种用链接神经元解决内部协变量转移和死亡神经元问题的方法，通过将多个神经元链接在一起，在保持相同操作点和至少一个非零梯度的情况下，有效避免神经元死亡，从而减少训练时间和去除归一化需求。
PDF7 years ago
ICML通过输入重采样实现卷积神经网络的可视化解释
我们提出了一种通过检测神经网络中的信息流来分析预测的框架，该框架使用两个指标选择神经元，这些神经元既对网络输出产生巨大影响又能激活通用特征并比较不同度量筛选的神经元集合，从而提出了一种调查卷积神经网络内部注意机制的方法。
PDF7 years ago