information capacity | BriefGPT

关键词information capacity

搜索结果 - 6

神经网络的热带表达能力
我们提出了一种代数几何框架来研究线性激活神经网络的表达能力。我们在热带几何的环境中工作，利用热带有理映射和前馈神经网络之间的已知连接，构建了一个丰富的研究神经网络的热带几何理论。我们的工作在选择采样域、对具有对称性的网络架构进行引导性采样域
PDFa month ago
最近邻表示的信息容量
本文提出一种基于向量空间的联系性计算模型，其源于大脑的集成架构，模型中的记忆是由一组向量定义的，计算通过从输入向量到最近邻锚点的收敛执行，输出是与锚点相关联的标签。作者研究了该模型中布尔函数的表示，其中输入是二元向量，相应的输出是最近邻锚点
PDFa year ago
ICLR非确定性堆栈循环神经网络的惊人计算能力
通过给循环神经网络增加非确定性堆栈数据结构，可以扩展循环神经网络的语言识别能力，识别上下文无关语言和更多的非上下文无关语言，同时提高信息容量，这可以通过模拟向量堆栈来实现。
PDF2 years ago
黑盒解剖仪：面向基于擦除的硬标记模型窃取攻击
该研究提出了一种新的黑盒模型窃取方法，主要包括基于 CAM 的擦除策略和基于随机擦除的自知识蒸馏模块，通过从受害者模型中获取潜在的信息容量并使用替代模型的软标签缓解过度拟合问题，最终能够提高模型窃取效果达到最多 8.27％的提升，并有望在实
PDF3 years ago
NIPS理解 $β$-VAE 中的解缠
本文以率失真理论为角度，探讨优化 $eta$-VAE 的修正 ELBO 下界时，在训练过程中的潜在编码信息容量逐渐增加的情况下，哪些情况下会出现与数据生成因素相对应的编码表示，我们基于这些洞见提出了一种修改 $eta$-VAE 训练机制
PDF6 years ago
神经层面平衡的大脑网络中，信息容量和传输通过神经级联最大化
通过测量不同物种大脑内多地点局部场电位（LFP）的活动模式和信息交互能力，该研究发现在适度的兴奋 / 抑制（E/I）比例下产生的神经元阵列的规模和信息容量最大，同时也揭示了局部神经元阵列互动峰值的本质 —— 神经元落像是 “局部临界” 现象
PDF14 years ago