circuits | BriefGPT - AI 论文速递

关键词circuits

搜索结果 - 7

Transformer 规范化层与语义子空间的独立性
传统的预归一化（Pre-Norm）方法在 transformer 模型中引入线性子空间干扰，导致电路塌陷现象；相比之下，将归一化操作放在注意力头的线性操作之后（QKV-Norm）能更好地保持表示的稳定性。
PDF11 days ago
如何使用和解读激活修补
激活修补是一种流行的机械解释技术，但在应用和解释结果方面存在许多细微之处。我们根据使用这种技术的经验提供了建议和最佳实践的摘要，包括不同的激活修补应用方式的概述及结果解释的讨论。我们着重介绍激活修补实验对电路的提供的证据以及度量选择及相关陷
PDF2 months ago
关系神经网络能解决哪些规划问题？
本论文通过建立关系性神经网络的电路复杂度分析与目标回归搜索之间的联系，揭示了策略学习中的规划问题有三类，同时证明了电路宽度和深度与物体数量和规划周期成正比，从而得出了设计策略学习神经网络的实用性。
PDF7 months ago
非平凡节省的不可知成员查询学习：新结果和技术
设计剩余计算量较少的算法来解决在不确定学习模型中的问题是一项具有挑战性的任务。本文通过提出多个不确定学习算法，重点是针对大小与计算能力相关的电路的学习，探讨了如何节省计算时间，并在统一分布下进行学习。
PDF8 months ago
定位 Transformer 中的跨任务序列延续电路
通过对序列相似性任务的电路分析与比较，我们揭示了语义相关的序列依赖于具有类似角色的共享电路子图，并且共享计算结构的记录有助于更好地预测模型行为、识别错误和更安全的编辑过程，这对于构建更健壮、对齐和可解释的语言模型是一个关键步骤。
PDF8 months ago
少非克利福门单比特态高效学习二：单次测量
使用单次测量，以多项式时间和样本量来学习由具有最多 t 个单量子比特非克利福德门的电路输出的 n 量子比特态的得到的跟踪距离为 ε 的最新算法。
PDFa year ago
搜索的语言
本文提出了一种搜索算法与命题语言相结合的框架，有效地将知识归纳整理而成各种有用语言，通过对称式、迭代式等搜索方法的分析得出，能够相应的引出哥德尔公式、区间逻辑、一阶逻辑等语言。
PDF13 years ago