sequence modeling | BriefGPT

关键词sequence modeling

搜索结果 - 101

ICML一个优秀的复制能力的全 MLP 序列建模架构
Causal Relation Network (CausalRN) is an MLP sequence modeling architecture that can match Transformers on the copying t
PDF9 days ago
槽位状态空间模型
我们介绍了一种新颖的框架 SlotSSMs，用于在状态空间模型中引入独立机制以保持或促进信息的分离，评估表明我们的设计在多对象建模和长期时间依赖性的任务中显著提高了性能。
PDF14 days ago
状态汤：上下文技能学习、检索和混合
探索利用状态序列模型的内部状态作为任务向量进行快速模型合并的方法，并通过简单的线性状态插值方法提高下一个标记的困惑度和上下文学习任务性能。
PDF20 days ago
MambaLRP: 解释选择性状态空间序列模型
借助相关性传播的层次和 Mamba 架构的分析，我们提出了 MambaLRP 算法，以增强深度学习模型的可解释性，并取得了多个模型和数据集上的最先进解释性能。
PDF21 days ago
Samba：高效无限上下文语言建模的简单混合状态空间模型
Samba 是一种简单的混合架构，使用 Mamba（一种选择性状态空间模型）与滑动窗口注意力机制（SWA）相结合，以有效地建模具有无限上下文长度的序列，并实现了完美的内存回忆。
PDF21 days ago
基于双向 SSM 的扩散曼巴高效三维形状生成
为了解决传统 attention 机制在高分辨率三维形状生成中的可扩展性问题，我们引入了一种新颖的基于 Mamba 架构的扩散生成模型（DiM-3D），通过利用 Mamba 架构的高效性和线性复杂度，DiM-3D 在维持线性复杂度的同时实现
PDF25 days ago
计算效率时代：医学图像分析中状态空间模型的综合调查
该论文通过对 Mamba 模型在医学图像中的应用进行全面回顾，介绍了该模型的架构、分类和未来研究方向。
PDFa month ago
状态空间模型在估计具有动态平滑性的函数中与变压器可比
基于状态空间模型的深度神经网络在序列建模中引起了广泛关注，本文从估计序列到序列函数的角度出发，理论探讨了状态空间模型可以替代 Transformers 的任务范围，并证明了状态空间模型能够在特定类别的函数估计中取代 Transformers
PDFa month ago
PointRWKV：高效的 Hierarchical Point Cloud Learning 模型
PointRWKV 是一种基于 RWKV 模型的线性复杂度模型，用于点云学习任务，通过全局处理和并行分支编码有效提取点云的几何特征，具有多尺度特征学习能力，在各种点云学习任务中表现出色且节约计算资源。
PDFa month ago
ICML离线强化学习的最大回报序列建模
该论文介绍了最大回报的序列建模概念，提出了 Reinforced Transformer（Reinformer）作为一个整合了最大化回报目标的序列模型。Reinformer 在训练阶段将最大化回报的目标纳入模型，并在推断时引导最优动作的选择
PDF2 months ago
神经形态语言模型中的权重稀疏性与活动稀疏性相辅相成
通过研究神经网络的活动稀疏性和参数稀疏性，探讨了在序列建模中将两者相结合的权重剪枝的效果，结果表明稀疏连接的基于事件的神经网络是有效和高效的序列建模模型。
PDF2 months ago
Mamba-360：状态空间模型作为长序列建模的 Transformer 替代方案调研：方法、应用和挑战
序列建模是跨多个领域的一个关键领域，包括自然语言处理、语音识别、时间序列预测、音乐生成和生物信息学。历史上，循环神经网络（RNNs）和长短时记忆网络（LSTMs）在机器翻译、命名实体识别等序列建模任务中占主导地位，但转换器的进步改变了这一范
PDF2 months ago
Megalodon: 高效的 LLM 预训练与无限上下文长度的推断
Megalodon 是一种用于有效的序列建模，能处理长序列的神经架构，通过引入多个技术组件，包括复杂的指数移动平均值、时间步归一化层、归一化注意机制和双跳剩余配置，提高了其能力和稳定性，在与 Llama2 的对比中在 70 亿参数和 2 万
PDF3 months ago
LocalMamba：具有窗口选择性扫描的视觉状态空间模型
通过优化顺序建模的扫描方向，并采用局部扫描策略和动态方法，本文提出了 Vision Mamba (ViM) 模型的改进方法，大幅度提高了图像表示的效果。
PDF4 months ago
用于在线监督连续学习的变压器
基于 Transformer 的在线继续学习方法，利用其在上下文学习和元学习方面的潜力，结合重放机制以实现快速自适应和持续长期改进，在图像地理定位等任务上展示了显著的改进。
PDF4 months ago
Orchid：灵活和数据相关的序列建模卷积
Orchid 是一种新颖的架构，通过整合一种新的数据相关卷积机制，重新定义序列建模，以实现表达能力与计算效率之间的平衡。通过在核上采用专用条件神经网络，Orchid 核心部分是数据相关的卷积层，它根据输入数据动态调整其核。通过门控操作和动态
PDF4 months ago
重症监护作为一个大的序列建模问题
在健康护理领域，强化学习通常涉及狭窄的自包含任务，如败血症预测或麻醉控制。然而，先前的研究已经证明了通用模型（最典型的例子是大型语言模型）由于其隐式迁移学习能力而能够胜过特定任务的方法。为了训练健康护理领域的基础模型并利用最先进的 Tran
PDF4 months ago
BeTAIL: 人工赛车游戏中基于行为转换的对抗模仿学习
BeTAIL 是一种结合行为转换（BeT）和在线对抗仿真学习（AIL）的方法，用于建模人类专家的顺序决策流程并纠正动态环境状态的变化，从而改善赛车性能和稳定性。
PDF4 months ago
Mamba-ND：针对多维数据的选择性状态空间建模
本文介绍了一种名为 Mamba-ND 的通用设计，将 Mamba 架构扩展到任意多维数据，并通过与其他替代方案的比较实证表明 Mamba-ND 在多个多维基准测试中表现出与最先进方法相竞争的性能。
PDF5 months ago
重复之我见：变压器优于状态空间模型的复制
在这篇论文中，我们研究了使用不依赖于序列长度的固定大小的潜在状态的模型（我们将其称为 “广义状态空间模型”（GSSMs））与 transformer 模型在需要从输入上下文中进行复制的任务上的性能差异。我们从对简单的字符串复制任务的理论分析
PDF5 months ago