hidden state | BriefGPT - AI 论文速递

关键词hidden state

搜索结果 - 6

DGMamba: 通过广义状态空间模型实现域泛化
该研究提出了一种名为 DGMamba 的新型域泛化框架，具有对未知领域的强大普适性和全局感受野以及高效的线性复杂度，通过引入 HSS 和 SPR 两个核心组件来改进分布偏移问题；其中，HSS 减少了与特定领域特征相关的隐藏状态对输出预测的影
PDF3 months ago
QuaRot：无异常值的旋转 LLMs 中的 4 位推断
利用 QuaRot 的旋转新量化方案，对 LLMs 进行端到端的量化，包括所有权重、激活以及 KV 缓存，并且通过旋转隐藏状态和前馈组件的激活来实现计算的不变性，从而能够以 4 位执行所有矩阵乘法，保留 99% 的零 - shot 性能。
PDF3 months ago
递归神经网络的动态分析和特征值初始化器
在本文中，我们通过权重矩阵的特征分解提出了一种分析循环神经网络中隐藏状态空间的新视角，解释了激活函数中的信息保存功能，基于特征分析为长期依赖提供了一个解释，并指出了回归任务和分类任务中特征值的不同行为。通过对训练良好的循环神经网络进行观察，
PDFa year ago
一种生成预训练变压器的相干波动态和语言生成
研究了波动力学在小型 GPT 中的表现，发现波动动力学提供了一种内在的振荡模式，同时具有上下文感知的可塑性和表达能力，在分析波动模式、相干性和聚类的基础上，为人们提供了系统地识别和解释隐藏状态通道功能的方法。此外，研究了在文本序列生成中不同
PDFa year ago
AAAI在真实世界中减少视频超分辨率模型中的伪影
该文提出了一种视频超分辨率方法 FastRealVSR，使用了 Hidden State Attention 和 Selective Cross Attention 模块来减轻现实世界视频超分辨率中隐藏状态中的不良伪影。通过使用这些过滤器来
PDF2 years ago
ICML多智能体强化学习中以自我为本地对他人建模
本文提出了一种基于 Self Other-Modeling 的学习方法，用于解决多智能体强化学习中的信息不完全问题，并可用于解决合作和敌对情境下的任务。
PDF6 years ago