基于 Fine-Tuning Transformers 的生物医学数据生成文本
通过提出图灵程序，将算法任务分解为模仿图灵机计算步骤的链式思维策略从而实现对一系列算法任务的稳健长度泛化，并证明了变压器模型能够实施图灵程序，并构造了一个模拟任意图灵机的简单 RASP（Weiss et al.）程序。
Jul, 2024
通过对规则集进行三种简单的扩充，并剪枝低质量规则，实验结果表明这些简单的扩充方法能够持续改善结果，使得使用扩充规则的模型在 MRR 上获得高达 7.1 百分点的增益，并在 Hits@1 上获得 8.5 百分点的增益。
Jul, 2024
本文介绍了一种用于 transformers 的上下文分解的解释方法，可以捕捉不同输入特征或源内部组件对最终预测或目标内部组件输出的贡献，用于电路发现等任务，并通过实验验证了其在局部解释方面的出色能力。
Jul, 2024
通过实施序列标记神经模型，本文首次尝试解决 Ancient Egyptian 文本中分类符号的辨识问题，并对比了以频率为基础的基准模型，取得了令人满意的性能。
Jun, 2024
我们提出了一种基于 transformers 和概率图模型的多个相互作用代理（道路用户）轨迹模拟方法，并将其应用于 Waymo SimAgents 挑战。我们的方法基于 MTR 模型，使用先验知识编码因子来生成并改进轨迹预测，该模型通过执行高斯牛顿方法的（近似）最大后验推理来采样数十个代理的未来轨迹。我们的方法名为 “模型预测模拟”（MPS），在安全关键指标（如碰撞率）方面改进了 MTR 基线，并且与任何潜在预测模型兼容，不需要额外的训练。
Jun, 2024
自动生成可视化工具的标题是很不新鲜的，但是最近大规模语言模型 (LLMs) 的进步为此带来了令人激动的新可能。本文在对信息可视化（InfoVis）原理和过去的标题工作进行简要回顾后，介绍了在通用 LLMs 中使用的神经模型和变压器架构。接下来，我们讨论了它们在 InfoVis 中的最新应用，重点是标题。此外，我们还探讨了这个领域未来的有希望的研究方向。
Jun, 2024
通过将 transformers 视为将导致点在欧几里得空间中演化的离散时间动态系统，并利用基于超平面分离的自注意力机制的几何解释，我们严格描述了层数趋近于无穷大时具有硬最大自注意和规范化子层的 transformers 行为。我们的理论理解使我们能够使用一个完全可解释的 transformer 模型来解决语言处理中的情感分析问题，这个模型通过将无意义的单词聚类到携带最有意义的主导单词周围来有效地捕捉 ` 语境 '。最后，我们概述了将 transformers 的数学分析与实际实现之间的差距的剩余挑战。
Jun, 2024
大型语言模型具有存储和提取事实的能力，并且可以通过改变上下文来操纵提取事实的能力，揭示出它们可能像联想记忆模型一样行为，其中上下文中的某些令牌作为提取事实的线索。我们通过研究 transformer 如何完成此类记忆任务，对这一属性进行了数学探索，使用一个简单的单层 transformer 研究了简单的潜在概念关联问题，理论和经验都表明 transformer 使用自注意力来收集信息并使用值矩阵进行联想记忆。
Jun, 2024
传统的预归一化（Pre-Norm）方法在 transformer 模型中引入线性子空间干扰，导致电路塌陷现象；相比之下，将归一化操作放在注意力头的线性操作之后（QKV-Norm）能更好地保持表示的稳定性。
Jun, 2024