spatial structures | BriefGPT

关键词spatial structures

搜索结果 - 6

Transformer 在屏蔽图像建模中证明能够学习特征 - 位置相关性
本文提供了首个关于 MIM 自监督预训练中使用 softmax 注意力的一层 transformer 的端到端理论，旨在解释 transformer 的理论机制，并分析其训练动态，以同时考虑输入和位置嵌入，在数据分布中产生局部和多样化的注意
PDF4 months ago
评估大型语言模型的空间理解能力
大型语言模型（LLMs）展现出在各种任务中的卓越能力。我们探索 LLMs 对于一种特别显著的基于实际距离的知识，即空间关系的表示。通过设计自然语言导航任务，我们评估了 LLMs（特别是 GPT-3.5-turbo，GPT-4 和 Llama
PDF8 months ago
利用可扩展的图神经网络进行机会性空气质量监测和预测
本文提出了一种可扩展的图注意力网络（EGAT）模型，它从现有和新添加的基础设施中收集数据，并适用于具有不断变化的空间结构的情景，用于空气质量预测模型中。
PDFa year ago
异质社会中的社会公共品困境
研究不同空间结构和社会公共物品在生物进化中如何影响互惠行为，发现异质性网络能够促进互惠行为的出现，但这也可能导致少数人受益，大多数人受益较少或负面影响。此外，研究还发现即使总成本超过总利益，社会产品的制作者也可能受到选择的青睐。
PDF5 years ago
ECCV重新思考图像描述中的潜在状态形式
研究了使用二维地图来编码潜在状态的图像字幕模型，发现使用 2D 状态通常在字幕生成方面更加有效，且能够保留空间局部性，并通过这种方式揭示了字幕生成过程中的内部动态和输入视觉领域与输出语言领域之间的联系。
PDF6 years ago
利用图卷积循环神经网络进行结构化序列建模
本文介绍了图卷积循环网络（GCRN），这是一种深度学习模型，能够预测结构化数据序列。GCRN 是经典递归神经网络（RNN）在任意图结构数据上的泛化。该模型将图上的卷积神经网络 (CNN) 与 RNN 相结合，以找出动态模式和空间结构，并将其
PDF8 years ago