Jan, 2024

基于多智能体的数据驱动型空中交通应用的迁移学习

PDF
TL;DR提出了一种名为 MA-BERT 的多智能体双向编码器转换模型和预训练及微调迁移学习框架，通过在大型数据集上进行预训练并在其他机场和特定航空交通应用中进行微调，实现了减少总训练时间和利用少量数据实现高性能的目标。
data-driven modelsair traffic managementmulti-agent bidirectional encoder representations from transformerspre-training and fine-tuning transfer learning frameworkma-bert
发现论文，激发创造
  • TourBERT：面向旅游业的预训练语言模型

    本文介绍了 TourBERT，它是一种旅游专用的预训练语言模型，评估表明，TourBERT 在所有旅游特定任务中均优于 BERT。

    Jan, 2022

  • 使用预训练的 Transformer 生成上下文感知的数据报文表示，用于加密流量分类：ET-BERT

    本文提出了一种新颖的流量表示模型称为 ET-BERT，该模型在大规模未标记的数据上对 Deep contextualized datagram-level 进行预训练，然后在少量特定任务的有标签数据上进行微调，取得了在五个加密流量分类任务上的最新成果，尤其是在 ISCX-Tor 任务上的 99.2％的 F1 分数所达到的显着的提高是本文的重点，作者解释了预训练模型的强力原因，并分析了加密流量之间边界的分类能力，为未来的研究和应用提供了新的思路。

    Feb, 2022

  • 用于无监督学习的快速准确的深度双向语言表示

    提出了一种基于 Transformer 的文本自编码器（T-TA），可以在不需要重复推理的情况下计算上下文语言表示。实验结果表明，在 CPU 环境下，T-TA 在 reranking 任务中比基于 BERT 的模型快六倍，在语义相似性任务中快十二倍，并在这些任务上表现出与 BERT 相当甚至更好的准确性。

    Apr, 2020

  • 关于高速公路交通分布式决策的迁移学习与多智能体学习比较

    研究在 MIT 深度交通模拟中，针对分布式决策在混合智能交通中的影响，分别采用强化学习和多智能体学习等方法，并根据不同比例的 AI 驱动交通进行评估，分析了影响交通流的模式。

    Oct, 2018

  • BERT: 深度双向变换器的预训练用于语言理解

    介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

    Oct, 2018

  • TrTr：一种基于 Transformer 的多功能预训练大型交通模型，用于捕捉车辆群体中的轨迹多样性

    使用 Transformer 技术，通过分析其注意机制并设计特定的预训练任务，可以学习车辆群体内轨迹的多样性，同时预训练模型在捕捉车辆群体的空间分布方面表现出色，并能准确预测时间序列中的轨迹速度。

    Sep, 2023

  • 多智能体决策的屏蔽预训练

    提出了一种基于 Transformer 架构的 MaskMA 预训练框架，通过分布式执行和部分观察的方式，同时解决了多智能体决策中分布式预训练和执行不匹配以及智能体数量和行动空间多样性的问题，实验结果显示 MaskMA 在多个任务上都表现出色，包括 77.8％的零 - shot 胜率和有效的策略协作和临时团队游戏能力。

    Oct, 2023

  • FlightBERT++：一种非自回归多时空间隔飞行轨迹预测框架

    本论文提出了一种名为 FlightBERT++ 的新框架，采用了广义的编码器 - 解码器架构，通过考虑先前时间步长的信息，以及采用比特加权二元交叉熵的丢失函数，以完成多时域非自回归航班轨迹预测任务，并在真实飞行轨迹数据集上完成实验，取得了比其他基本模型更高的预测性能。

    May, 2023

  • 利用 Transformer 的双向编码表示进行答案选择

    本文探讨了在大规模数据集上对 transformer 模型进行语言模型的预训练，并在 QA 和 CQA 数据集上微调 BERT 模型进行答案选择任务，在 QA 数据集中观察到了最大 13.1% 的提升，在 CQA 数据集中观察到了最大 18.7% 的提升。

    Nov, 2020

  • 小语料下 LSTM 和 BERT 的对比

    本文利用小型数据集对比了双向 LSTM 模型和预训练 BERT 模型的表现，结果表明对于小数据集，使用双向 LSTM 模型的性能显著优于使用 BERT 模型，且训练时间更短，因此在选择模型时需要考虑任务和数据等因素。

    Sep, 2020