Mar, 2024

TrafficGPT：突破标记壁垒的高效长程交通分析与生成

PDF
TL;DRTrafficGPT 是一个使用生成预训练模型和线性注意力机制解决长流分类和生成任务中的复杂挑战的深度学习模型，在分类任务中表现出卓越性能并达到了最新水平，在生成任务中，它与真实流量非常相似，并以低的 JS 散度和接近 0.5 的 F1 分数（代表随机猜测）区分生成的数据。
network traffic analysisdeep learning techniquespre-trained deep neural networkstrafficgpttraffic flow classification
发现论文，激发创造
  • NetGPT：面向网络流量的生成式预训练 Transformer

    本文提出了一种用于网络流量理解和生成任务的生成预训练模型，优化了适应预训练模型到多样化任务的效果，并在一系列流量理解和生成任务中展现了其显著的有效性，显著优于现有技术方案。

    Apr, 2023

  • TrafficGPT：查看、处理和交互交通基础模型

    通过将 ChatGPT 和交通基础模型相结合，TrafficGPT 在交通管理领域中不仅推动了交通管理的进步，也为在该领域利用人工智能能力提供了一种新的方法。

    Sep, 2023

  • TrafficGPT：面向多尺度空间 - 时间代理框架的交通分析与生成

    利用 AI 代理、多尺度交通数据、语义信息以及可视化，设计了 TrafficGPT 系统，实现多尺度交通预测和交互性能，通过实验验证其在真实道路数据集上的卓越表现。

    May, 2024

  • TransGPT：用于交通领域的多模态生成预训练 Transformer

    TransGPT 是一个多模态的大型语言模型，基于不同领域的交通数据，通过提供交通分析、模拟交通现象、回答交通问题、提供交通建议和生成交通报告等功能，推动了交通学领域中自然语言处理技术的发展，为智能交通系统的研究人员和实践者提供了有用工具。

    Feb, 2024

  • TrackGPT -- 用于跨领域实体轨迹预测的生成式预训练转换器

    TrackGPT 是一种基于 GPT 的模型，可用于实体轨迹预测，并在测距和空间两个领域表现出强大的性能，同时保持领域无关性和最小化数据特征要求。

    Jan, 2024

  • BjTT: 用于交通预测的大规模多模态数据集

    研究探索了如何将生成模型与描述交通系统的文本结合起来应用于交通生成，并命名为 Text-to-Traffic Generation (TTG) 任务。通过将扩散模型与图卷积网络 (Graph Convolutional Network, GCN) 相结合，提出了 ChatTraffic，这是第一个用于文本到交通生成的扩散模型。实验结果表明 ChatTraffic 可以从文本中生成逼真的交通情况。

    Mar, 2024

  • 使用 Transformer 学习动态和分层交通时空特征

    本研究提出了 Traffic Transformer 模型，通过多头和掩码多头机制，动态地从数据中抽取时空特征，提高了交通预测性能，比现有技术表现更好。

    Apr, 2021

  • GraphGPT：使用生成式预训练 Transformer 进行图学习

    我们介绍了一种名为 GraphGPT 的自我监督建模方法，该方法通过将图或抽样子图转化为表示节点、边和属性的可逆令牌序列，并使用欧拉路径优先进行预训练，最后通过监督学习任务进行微调，该模型在大规模分子数据集 PCQM4Mv2、蛋白质相互作用数据集 ogbl-ppa 以及开放图基准数据集 ogbn-proteins 上取得了接近或优于现有方法的结果，并且能够训练超过 400M 个参数的 GraphGPT，具有一致提升的性能，这超出了 GNN 和先前的图变换模型的能力。

    Dec, 2023

  • TrTr：一种基于 Transformer 的多功能预训练大型交通模型，用于捕捉车辆群体中的轨迹多样性

    使用 Transformer 技术，通过分析其注意机制并设计特定的预训练任务，可以学习车辆群体内轨迹的多样性，同时预训练模型在捕捉车辆群体的空间分布方面表现出色，并能准确预测时间序列中的轨迹速度。

    Sep, 2023

  • 预训练语言模型渐进式生成长文本

    该论文提出了一种通过逐步完善领域特定的关键词，并在多个阶段逐步把它们转换为完整段落生成文本的简单而有效的方法，该方法利用了预先训练的大规模语言模型，在质量和样本效率方面显着优于仅仅在小语料库上微调的大型语言模型和其他规划 - 生成方法。

    Jun, 2020