autoregressive prediction | BriefGPT

关键词autoregressive prediction

搜索结果 - 4

认知启示的能量基世界模型
通过训练基于能量的世界模型，我们引入了一种能够模拟人类认知的方法，其通过预测上下文和未来状态的兼容性来解决传统的自回归模型的局限性，并展示了在计算机视觉和自然语言处理中的潜在应用。
PDF21 days ago
RALL-E: 强大的编解码器语言建模与思维链刺激在文本合成中的应用
RALL-E 是一种用于文本到语音合成的鲁棒语言建模方法，通过链式思维提示和自注意力机制来增强基于大型语言模型的语音合成的稳健性。
PDF3 months ago
AMP：自主驾驶中基于下一个令牌预测思想的自回归运动预测再研究
本文在自动驾驶领域中引入了 GPT 风格的下一个标记预测技术以实现运动预测的自回归，结合三个分解注意模块和不同的位置编码方式来捕捉驾驶场景中的复杂空间 - 时间和语义关系，实验结果显示该方法在 Waymo Open Motion 和 Way
PDF3 months ago
ICMLTransformers 是 RNN：具有线性注意力的快速自回归 Transformers
通过使用线性核特征图将自注意力表示为线性点积，并利用矩阵积的结合律特性将复杂性从 O (N^2) 降至 O (N)，我们的线性变压器实现比循环神经网络快 4000 倍，但在自回归预测上达到了与基本变压器类似的性能。
PDF4 years ago