TrackGPT -- 用于跨领域实体轨迹预测的生成式预训练转换器
使用 GPT 技术提出了 ProcessGPT 作为增强数据中心和知识密集型流程决策的新技术，它可以通过使用深度学习和 NLP 来开发训练模型和生成流程来帮助提高流程管理效率，降低成本并支持业务运营的质量提升。
May, 2023
我们介绍了一种名为 GraphGPT 的自我监督建模方法，该方法通过将图或抽样子图转化为表示节点、边和属性的可逆令牌序列，并使用欧拉路径优先进行预训练，最后通过监督学习任务进行微调，该模型在大规模分子数据集 PCQM4Mv2、蛋白质相互作用数据集 ogbl-ppa 以及开放图基准数据集 ogbn-proteins 上取得了接近或优于现有方法的结果，并且能够训练超过 400M 个参数的 GraphGPT，具有一致提升的性能，这超出了 GNN 和先前的图变换模型的能力。
Dec, 2023
本研究探讨了在过程性文本中使用预训练的 transformer 网络跟踪实体的能力，发现通过调整输入结构，可以取得更好的实体跟踪结果，在配方中实现了材料检测以及在科学过程中进行了问答，达到了最先进的结果，但我们的模型仍然主要关注表面上下文线索，没有形成中间实体或进程状态的复杂表示。
Sep, 2019
TEMPO 是一个基于时间序列的新框架，通过利用时序任务的两个基本归纳偏好来有效学习时间序列表示，展现出超过 20% 至 60% 的改善性能，并在标准监督学习和之前未见数据集的情景中观察到。
Oct, 2023
通过提出地理感知的生成模型 MobilityGPT，该研究利用生成预训练变压器（GPT）将人类移动性建模为一个自回归生成任务，并采用基于引力的抽样方法和道路连接矩阵来确保生成的轨迹符合地理空间限制，在减轻挑战的同时生成高质量、接近真实数据的移动轨迹。
Feb, 2024
TimeGPT 是时间序列的首个基础模型，能够生成准确的预测结果，我们通过评估其与统计学、机器学习和深度学习方法的性能对比发现，TimeGPT 在性能、效率和简洁性方面表现出色，研究结果显示了人工智能其他领域的洞见能够有效应用于时间序列分析，大规模时间序列模型为普遍获取精确预测和降低不确定性提供了激动人心的机会。
Oct, 2023
TransGPT 是一个多模态的大型语言模型，基于不同领域的交通数据，通过提供交通分析、模拟交通现象、回答交通问题、提供交通建议和生成交通报告等功能，推动了交通学领域中自然语言处理技术的发展，为智能交通系统的研究人员和实践者提供了有用工具。
Feb, 2024
提出了一种基于 PoseGPT 的自回归变换器的方法，该方法可以生成人体运动序列，利用离散的潜在空间使 GPT-like 模型集中于长程信号预测，获得了在几个数据集上实现最先进的结果。
Oct, 2022
研究表明在历史电负荷数据有限的情况下，机器学习模型在负荷预测中的准确性受到限制。该论文探讨了大规模时间序列模型（TimeGPT）在历史数据有限的负荷预测中的潜力，并通过训练模型适应数据分布和特征，取得了在短期预测中超越其他机器学习模型和统计模型的成果。然而，由于负荷数据与训练数据之间的分布差异可能会影响 TimeGPT 的性能，因此在实际应用中需要使用验证集损失来确定是否选择 TimeGPT。
Apr, 2024
本文提出了一种基于大规模生物医学文献预训练的领域特定生成 Transfomer 语言模型 ——BioGPT，用于生物医学领域的自然语言处理任务，结果表明 BioGPT-Large 在 PubMedQA 任务上取得了 81.0% 的准确率，并提高了 BC5CDR、KD-DTI 和 DDI 关系提取任务的 F1 得分。
Oct, 2022