自回归神经序列模型的预测查询

Oct, 2022

Predictive Querying for Autoregressive Neural Sequence Models

Alex Boyd, Sam Showalter, Stephan Mandt, Padhraic Smyth

TL;DR本文介绍了一个用于神经自回归序列模型中预测查询的通用分类方法，并展示了基于波束搜索，重要性抽样和混合方法的新查询估计方法，在四个大规模序列数据集（来自不同的应用领域）以及 GPT-2 语言模型中展示了在指数级预测路径空间中任意查询的查询回答能力，并发现在搜索和抽样方法之间的成本 - 精度权衡存在明显差异。

Abstract

In reasoning about sequential events it is natural to pose probabilistic queries such as "when will event A occur next" or "what is the probability of A occurring before B", with applications in areas such as user modeling, medicine, and finance. However, with machine learning shifting towards neural autoregressive models such as RNNs and transformers, proba

probabilistic queries neural autoregressive models query estimation methods large-scale sequence datasets cost-accuracy tradeoffs

发现论文，激发创造

关于概率序列模型的高效边缘化

使用自回归模型回答超出单步预测的复杂概率查询，包括未来事件的时机和特定事件在另一事件发生之前的可能性。通过开发一类宽泛的、高效的近似技术，对顺序模型中的边缘化进行建模。这些技术仅依赖于对预先训练的自回归模型的下一步条件分布的访问和采样，包括传统参数模型和最近的神经自回归模型。针对离散顺序模型、标记的时间点过程和随机跳跃过程，提出了具体的方法，每个方法都适用于一类明确定义的信息丰富、长程概率查询。

Mar, 2024

连续时间下集合序列的概率建模

连续时间中的神经标记时间点过程为连续时间事件数据的统计参数模型工具箱增添了有价值的内容。本文提出了一个通用框架，用于建模连续时间中的集合值数据，并开发了适用于任何基于强调的递归神经点过程模型的推理方法。在四个真实世界数据集上进行系统实验，通过对基于集合的序列进行重要性抽样，证明了效率大幅提升。通过展示如何使用该框架来执行不涉及一步预测的似然度进行模型选择。

Dec, 2023

循环事件网络：在时间知识图谱上进行自回归结构推断

本篇论文提出了一种使用循环事件网络的方法，针对具有时间戳的知识图谱中的推理问题，通过对已知事实的模型化预测未来事件，通过对未来时间戳上的链接预测实现多步推理。

Apr, 2019

整合行为假设进行查询生成

通过提出行为偏差的假设，本文提出了一种通用的编码器 - 解码器变压器框架，以聚合任意假设，进而在检索任务中实现了较大的性能提升，包括 top-$k$ 词语错误率和 Bert F1 得分。

Oct, 2020

概率自回归预测模型的对抗攻击

我们针对神经模型输出概率分布序列的情况，开发了一种更有效的对抗攻击方法。我们解决的关键技术挑战是如何通过蒙特卡罗估计输出序列的联合分布统计量。此外，我们将概率预测的先前工作扩展到贝叶斯设置中，可以对未来观测进行调节。我们证明了这种方法可以在股票市场交易和电力消耗预测等两项关键任务中成功生成具有小输入扰动的攻击。

Mar, 2020

基于预测自回归模型的预测采样

本论文提出了一种预测采样算法，利用 ARMs 的快速推断能力加速采样，证明其在二元 MNIST 等设置下可显著提高推断调用次数和采样速度。

Feb, 2020

循环神经网络中的序列预测计划抽样

本文提出课程学习策略，用于训练循环神经网络，以尽量减小实际工作场景中训练和推理之间的差异，如在 MSCOCO 图片注释挑战赛中实测有效。

Jun, 2015

自回归下一个单词预测器是通用学习者

大型语言模型在逻辑和数学推理方面显示出令人瞩目的能力，使它们能够解决复杂的任务。本文提出了一个理论框架来研究自回归的下一个标记预测器。我们证明，即使是简单的模型，如线性的下一个标记预测器在 Chain-of-Thought（CoT）数据上训练，也能有效地近似于图灵机计算的任何函数。我们引入了一个新的复杂度度量方法 —— 长度复杂度，它衡量了实现某个目标函数所需的 CoT 序列中的中间标记数，并分析了长度复杂度与其他复杂度概念之间的相互关系。最后，我们通过实验证明，简单的下一个标记预测器，如线性网络和浅层多层感知器（MLP），在文本生成和算术任务中显示出非平凡的性能。我们的结果表明，语言模型的强大能力很大程度上归功于自回归的下一个标记训练方案，而不一定取决于特定的架构选择。

Sep, 2023

条件生成有序事件序列

提出了一个 BART-based 条件生成模型，可以同时处理事件之间的时间排序和事件插入预测。使用延迟自编码器进行训练并证明了在不使用显式标签的情况下，该模型优于 BERT-based 方法和指针网络，并且在事件的时间上更优于 GPT-2 completion 模型。

Dec, 2020

NAPG: 混合表格 - 文本问答非自回归程序生成

通过提出一种非自回归程序生成框架，可以同时独立生成包含运算符和操作数的完整程序元组，从而显着提高程序生成速度，同时解决了误差积累问题，实验结果显示在 MultiHiertt 数据集上，我们的模型比强基准模型有很大的改进（+7.97EM 和 + 6.38F1 分），并且在程序生成方面速度更快（21 倍），同时我们的方法在增加数值推理步骤的情况下性能的下降也显着小于基线模型。

Nov, 2022