Jun, 2024

GrootVL：在状态空间模型中，树拓扑是唯一所需

PDF
TL;DR借助于动态生成的树形拓扑结构和特征传播，GrootVL 网络可超越传统状态空间模型在建模长距离依赖关系上的局限，具备强大的表示能力；此外，通过引入线性复杂度的动态规划算法，还能在不增加计算成本的情况下增强长距离交互，并在图像分类、目标检测、分割以及文本任务中取得显著改进。
state space modelsgrootvl networkfeature propagationlong-range dependenciesmultimodal framework
发现论文，激发创造
  • 时态图上的状态空间模型：第一原理研究

    本研究通过将结构信息整合到在线逼近目标中，采用拉普拉斯正则化项，将状态空间模型理论扩展到时间图，提出了 GraphSSM 框架，用于建模时间图的动态性，实验证明 GraphSSM 在各种时间图基准测试中的有效性。

    Jun, 2024

  • 门控状态空间实现的长序列语言模型

    本论文介绍了一种基于门控状态空间（GSS）的自回归序列建模方法，该方法使用自注意力来建模局部依赖关系，从而能够有效地处理长距离依赖关系，且在英语书籍、Github 源代码和 ArXiv 数学文章上的实验表明，该方法训练速度明显快于传统方法并且具有零样本推广能力。

    Jun, 2022

  • 加强型结构化状态演进的视觉语言导航

    本文提出了一种新的结构化状态演化（SEvol）模型，采用基于图的特征来表示导航状态，利用增强学习策略通过 Reinforced Layout clues Miner（RLM）挖掘和检测关键的布局图，并通过结构演化模块（SEM）来维护结构化基于图的状态，从而提高了 Vision-and-language Navigation 任务的性能。

    Apr, 2022

  • 学习使用语言树结构合成和推理视觉基础

    本文提出了一种基于 RVG-TREE 的自然语言基础模型，其可以自动组成二叉树结构进行语言解析，并沿着树进行自底向上的视觉推理，实现更具解释性的推理效果。

    Jun, 2019

  • 3VL：使用树结构教授视觉与语言模型组合概念

    通过引入树增强视觉语言（3VL）模型架构和训练技术，以及我们提出的锚定推理方法和差分相关性（DiRe）可解释性工具，本研究扩展任意图像 - 文本对的文本内容为分层树状结构，并将该结构引入模型学习的视觉表示，提高了模型的解释能力和组合推理能力，同时展示了锚定和差分相关性工具的应用。

    Dec, 2023

  • DeepTree：利用情境潜变量建模树木

    本文引入了 DeepTree 方法，该方法利用深度神经网络对树木的生长规则进行建模，从而生成各种形态的树木，同时展示了这种方法的有效性。

    May, 2023

  • 大型轨迹模型是可扩展的运动预测与规划器

    通过引入一种可扩展的轨迹模型 (State Transformer)，该论文通过模型扩展解决了自动驾驶中的运动预测和运动规划问题，并在实验结果中展示了该模型的出色适应性和学习效率。

    Oct, 2023

  • 使用状态空间视频模型进行长视频片段分类

    提出了一种结合自我关注和 S4 层优点的高效长范围视频模型，具有复杂的长范围时空依赖性，比传统的全自注意模型快 2.63 倍，占用 8 倍更少的 GPU 内存，并在视频分类等任务中取得了最先进的结果。

    Apr, 2022

  • 可扩展高效的层次视觉拓扑映射

    通过评估全球特征表示法的适用性和性能对分层拓扑映射技术进行定量比较，发现基于无监督学习的变分自编码器（VAE）的全球特征表示法在连续性和独特性方面表现出色，能够实现高效和可扩展的分层映射，运行速度比次优的 NetVLAD 全球特征表示法快 2.3 倍，比手工制作的 PHOG 全球特征表示法快 9.5 倍，而不损失整体的检索性能。

    Apr, 2024

  • 利用结构化状态空间高效建模长序列

    提出了一种结构化状态空间序列模型（S4），它在处理长依赖序列数据方面与传统模型相比有着更好的结果，通过调整状态矩阵可以将模型计算复杂度降低，达到了 SOTA 水平。

    Oct, 2021