粒子跟踪语言模型

Feb, 2024

A Language Model for Particle Tracking

Andris Huang, Yash Melkani, Paolo Calafiura, Alina Lazar, Daniel Thomas Murnane...

TL;DR粒子跟踪是大型强子对撞机几乎所有物理分析程序的关键，深度学习模型广泛应用于与粒子跟踪相关的任务。然而，目前的做法是为一个任务设计和训练一个深度学习模型，采用有监督学习技术。训练的模型对于训练过的任务效果良好，但在泛化能力方面显示出很少或没有。我们提出用语言模型统一这些模型。本文提出了一种标记化探测器表示法，可以用来训练粒子跟踪的 BERT 模型。训练的 BERT 模型，即 TrackingBERT，提供了可以用于其他任务的潜在探测器模块嵌入。这项工作代表了为粒子探测器理解开发基础模型的第一步。

Abstract

particle tracking is crucial for almost all physics analysis programs at the Large Hadron Collider. deep learning models are pervasively used in particle tracking related tasks. However, the current practice is t

particle tracking deep learning models supervised learning techniques bert model detector representation

发现论文，激发创造

语言模型中的实体跟踪

本文探讨了大语言模型在跟踪实体状态和关系变化方面的能力，发现只有预训练于大量代码的 GPT-3.5 模型具有此能力，而使用预训练于文本的较小模型进行微调后也可以完成一定程度的实体追踪。但这种能力不仅取决于模型的大小，大文本库的预训练也不是必要条件。

May, 2023

从 BERT 中提炼出特定任务的知识并转化为简单的神经网络

本文主要研究神经网络中的自然语言处理，通过将 BERT 知识蒸馏成单层 BiLSTM 及其同侧对应的句对任务，证明了浅层神经网络仍然可以在不使用架构变化、外部训练数据或其他输入特征的情况下，与 ELMo 相比获得可媲美的结果。

Mar, 2019

规划、消除和跟踪 —— 语言模型是装备智能体的良师益友

使用大型语言模型的知识来简化控制问题，而不是直接解决它，作者提出了 Plan, Eliminate, and Track (PET) 框架，并在 AlfWorld 指令跟随基准测试中取得了显着的 15% 性能提升。

May, 2023

利用预训练语言模型简化自我追踪的自然语言交互

提出了一种基于 NLP 和 GPT-3 的领域不可知的自然语言交互框架，可以从自述性的日志文本中提取信息，解决了自我追踪设计空间广阔且追踪主题和数据格式多样化的挑战。研究显示，该方法明显优于基线 QA 模型，为未来 NLP 与 HCI 领域的合作提供了前景。

May, 2022

什么 [MASK]？理解特定语言的 BERT 模型

本文研究了自然语言处理中的 BERT 模型及其多语言版本 (mBERT)，比较并探究了语言特定的 BERT 模型与 mBERT 在架构、数据领域和任务上的差异和共性，为读者提供了一个直观的综述和交互式展示网站。

Mar, 2020

高效易解释的实体追踪神经模型

本文提出了一种能够以高效的方式对实体进行追踪的模型，它使用预训练的语言模型来表示实体，并将实体追踪集成到语言模型中，为自然语言理解和 NLP 应用带来了很大的便利。

Aug, 2022

迈向视觉语言跟踪的统一标记学习

该研究提出了一种简单、灵活且有效的视觉 - 语言（VL）跟踪管道，称为 MMTrack，它将 VL 跟踪视为一个标记生成任务，并通过将语言描述和边界框序列化为一系列离散标记来实现。通过避免多个子任务的学习和手动设计的损失函数，该设计范式极大地降低了 VL 跟踪建模的复杂性，并允许跟踪器使用简单的交叉熵损失作为统一的优化目标。在 TNL2K、LaSOT、LaSOT_ext 和 OTB99-Lang 基准测试上的广泛实验表明，与其他最先进的方法相比，我们的方法取得了令人满意的结果。

Aug, 2023

WikiBERT 模型：多语言深度迁移学习

本文介绍了一种从维基百科数据中创建特定语言 BERT 模型的简单完全自动化流程，并引入 42 个新的这种模型，以往缺乏专门深度神经语言模型的语言。我们使用现有的 UDify 解析器对这些模型的优点进行评估，并发现 UDify 使用的 WikiBERT 模型在平均性能方面优于使用 mBERT 的解析器，这些特定语言模型在某些语言方面表现出显著的改进，而在其他语言方面改进有限或性能下降。我们还提供了初步结果作为了解特定语言模型最有益的条件的第一步。

Jun, 2020

运用大型语言模型革新网络威胁检测

本文介绍了 SecurityLLM，它是一个旨在检测网络安全威胁的预训练语言模型，其中 SecurityBERT 作为网络威胁检测机制，而 FalconLLM 则是一种事件响应和恢复系统，实验结果表明，我们的 SecurityLLM 模型可以在 98% 的准确率下识别 14 种不同类型的攻击。

Jun, 2023

BERT: 深度双向变换器的预训练用于语言理解

介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

Oct, 2018