层次光变换器集成用于多模态轨迹预测

Mar, 2024

层次光变换器集成用于多模态轨迹预测

Hierarchical Light Transformer Ensembles for Multimodal Trajectory Forecasting

Adrien Lafage, Mathieu Barbier, Gianni Franchi, David Filliat

TL;DR我们提出了一种名为 HLT-Ens 的新方法，利用一种新的分层损失函数，通过组合的全连接层来捕捉多模态分布，有效地训练 Transformer 架构的集合，在轨迹预测技术上取得了最先进的性能水平，为改进轨迹预测技术提供了有希望的途径。

Abstract

Accurate trajectory forecasting is crucial for the performance of various systems, such as advanced driver-assistance systems and self-driving vehicles. These forecasts allow to anticipate events leading to collisions and, therefore, to mitigate them. →

trajectory forecasting deep neural networks deep ensembles multimodal distributions hierarchical light transformer ensembles

发现论文，激发创造

HUTFormer：用于长期交通预测的分层 U-Net Transformer

我们首次尝试研究长期交通预测的问题，并提出了一种名为 HUTFormer 的新型模型，通过多尺度表示来有效改善长期交通预测的挑战，并在多个交通数据集上证明其在预测性能上显著优于现有的基准模型。

Jul, 2023

全景变压器：一种联合神经网络，用于自主车辆的轨迹预测和决策制定

提出了名为全局变压器的神经网络，结合多个线索同时预测轨迹和作出行为决策，在降低计算成本和提高场景语义关系方面具有更好的性能，并使用三种注意机制来更好地探索内在关系。

Jun, 2022

多模态车辆轨迹预测的分层潜在结构

利用层级潜在结构和车道级上下文向量，提升了变分自编码器在基于轨迹预测模型中的性能，生成复杂的多模态轨迹分布，并在预测准确度方面优于现有模型。

Jul, 2022

层次化生成预训练变压器用于时间序列预测

提出了一种名为 GPHT 的新型生成预训练分层变压器架构，通过引入高级网络结构和自监督预训练策略来提高时间序列预测的准确性，并在充足的实验验证中证明其超越了传统预训练模型和监督模型，在传统长期预测任务中取得了良好的效果。

Feb, 2024

语言模型作为层次编码器

利用超几何空间重新训练语言模型中的分层转换器编码器（Hierarchy Transformer encoders，HiTs），为回归语言模型中隐含的分层结构提供了一种新的方法，通过聚类与层级组织相关实体来提高在推论、预测和跨层次知识传递等任务中的性能和可转移性。

Jan, 2024

互为传输集成的准确可靠预测

通过引入相互传输集成（MTE）方法，本研究提出了一种改进深度神经网络（DNNs）中不确定性校准的方法，可以同时提高准确性和不确定性校准，通过在各个基准测试上的研究表明，与现有最先进方法相比，MTE 方法在 CIFAR-100 数据集上的 ResNet34/50 模型显著提高了 2.4%/3.7% 的准确度，减少了 42.3%/29.4% 的 ECE 和 11.6%/15.3% 的类别 ECE。

May, 2024

TENET: 用于有效时序流的 Transformer 编码网络，用于运动预测

本报告提出了一种用于自主驾驶的有效的运动预测方法，采用基于 Transformer 的输入编码和轨迹预测，引入了 Temporal Flow Header 以增强轨迹编码，最后使用高效的 K-means 集成方法，在 Argoverse 2 Motion Forecasting Challenge 赢得了第一名，最小 brier-FDE 评分达到 1.90，表现优于现有技术。

Jun, 2022

利用深层集成技术在感应不确定性下进行行人轨迹预测

提出了一种能够同时考虑感知不确定性和预测不确定性的端到端估计器 —— 基于编解码器的深度合奏网络，比较了该模型与其他近似贝叶斯推断方法。实验表明，该方法可以更准确地进行鲁棒的未来状态预测。

May, 2023

基于 Transformer 的多模式神经网络用于自动驾驶的运动预测

本文介绍了一种基于 Transformer 结构的神经预测框架来模拟车辆之间的社交关系和预测可能的轨迹，其中采用了多模态注意机制来解决运动预测的多模态问题，并在 Argoverse 运动预测数据集上得到了最佳预测精度。

Sep, 2021

自适应精调 Transformer 集成模型用于 LLM 生成文本检测

大语言模型生成文本内容的多样性接近于人类的能力，因此为了避免潜在的风险如社交媒体上的假新闻，需要有效的假文本检测。本研究通过在内部和外部分布数据集上测试五种专门的基于 Transformer 的模型来研究它们在 LLM 生成文本检测任务中的性能和泛化能力。结果表明，单个基于 Transformer 的分类器在内部数据集上取得了不错的性能，但在外部数据集上的泛化能力有限。为了改进这一点，我们使用自适应集成算法结合了个体分类器模型，将在内部测试集上的平均准确率从 91.8% 提高到 99.2%，在外部测试集上的准确率从 62.9% 提高到 72.5%。结果表明自适应集成算法在 LLM 生成文本检测中具有有效性、良好的泛化能力和巨大的潜力。

Mar, 2024