ICLRFeb, 2020

利用网格细胞进行空间特征分布的多尺度表示学习

PDF
TL;DR提出了一个名为 Space2Vec 的表示学习模型，用于将地点的绝对位置和空间关系进行编码，并在地理数据和图像分类两个任务上得到了比径向基函数和多层前馈神经网络等传统机器学习方法更好的效果，其特点是具有多尺度表示能力。
unsupervised text encoding modelsneural networksgeographic objectsspace2vecmulti-scale representations
发现论文，激发创造
  • Sphere2Vec: 多尺度球面表示学习，用于地理空间预测

    提出了一种新的多尺度定位编码模型 Sphere2Vec，可以直接编码球形表面上的点坐标，避免地图投影扭曲问题。通过应用于地理感知图像分类任务的实验，证明了该模型在极地和数据稀疏区域的图像分类任务中性能优于其他二维定位编码模型。

    Jan, 2022

  • Tile2Vec: 面向分布式空间数据的无监督表示学习

    Tile2Vec 是一种无监督的表示学习算法，旨在为地理空间分布数据提供类似于自然语言处理中词向量表示和预训练网络的方法，通过学习分布假设将相似空间数据转换为语义上有意义的向量表示，并演示了其在下游分类任务中的显著表现提升。

    May, 2018

  • 自监督学习空间表示产生多模块网格细胞

    通过结合编码理论、动力系统、函数优化和监督深度学习等多个方法，我们提出了一个自监督学习框架，通过数据、数据增强、损失函数和网络架构等方面的优化，能够在没有监督位置信息的情况下训练出多个栅格细胞模块，且这些网络和形成的表示在训练分布之外也能很好地泛化。该研究对于对栅格细胞起源感兴趣的神经科学家以及对于新颖自监督学习框架感兴趣的机器学习研究人员具有重要洞见。

    Nov, 2023

  • Sphere2Vec：一个通用的球面位置表示学习模型，用于大规模地理空间预测

    该研究提出了一种名为 Sphere2Vec 的多尺度位置编码器，可在编码球面上点坐标时保留球面距离，与现有编码方案相比具有更优异的分类效果。

    Jun, 2023

  • GridPE: 基于网格细胞启发框架统一位置编码的 Transformer 算法

    通过傅立叶分析和计算神经科学的最新发现，本研究引入一种新颖的位置编码方案，受到网格细胞的启发，利用嵌入到金字塔视觉变换器架构中的 GridPE 技术，提供了一个在任意高维空间中进行位置编码的统一框架，并在转换器的性能上显著提高表现。

    Jun, 2024

  • 通过大规模多任务学习学习通用分布式句子表示

    本论文探讨了利用多个训练目标来学习句子表示的多任务学习框架，提出了一种有效实现的方法，通过多项实验得出该方法可以在转移学习和低资源环境中大幅度提高语言处理的效率。

    Mar, 2018

  • 使用神经继承网络和词嵌入形成概念认知地图

    介绍了一种使用继任表示和神经网络的模型，以及单词嵌入向量，用于构建三个不同概念的认知图，从而根据输入提供多模态上下文信息，基于输入和预先存在的知识表示的相似性度量。

    Jul, 2023

  • 通过训练循环神经网络进行空间定位，出现网格状表示的现象

    通过训练循环神经网络在 2D 区域中进行导航任务的方式，我们发现神经网络中出现了类似于网格细胞、边界细胞和其他空间相关细胞的响应模式，这些表现形式与实验观察到的现象相吻合，表明在神经回路中，类似于网格细胞和边界细胞等细胞对于有效表示空间是自然的解决方案。

    Mar, 2018

  • 基于神经网络的空间和语言的后继代表

    使用神经网络学习多尺度接班人表达，进而构建认知地图和神经网络接班人表达的结构化知识表示形式，实现了在监督学习、强化学习和非空间任务中精确学习并逼真模拟了海马 - 内部子网所观察到的神经元放电模式，为克服深度学习在人工通用智能方面的一些缺陷提供了一种有前途的途径。

    Feb, 2022

  • 使用混合密度网络对地理定位和词汇方言学进行位置的连续表示

    本文提出了一种基于神经网络模型和高斯分布混合的方法，用于将二维位置嵌入到连续向量空间中。该模型包括两个变体，用于基于文本的地理定位和词汇方言学。在 Twitter 数据上进行评估，该模型优于传统的基于回归的地理定位，并提供更好的不确定性估计。我们还展示了从位置预测词汇在词汇方言学中的有效性，并使用 DARE 数据集进行评估。

    Aug, 2017