Mar, 2024

关于概率序列模型的高效边缘化

PDF
TL;DR使用自回归模型回答超出单步预测的复杂概率查询，包括未来事件的时机和特定事件在另一事件发生之前的可能性。通过开发一类宽泛的、高效的近似技术，对顺序模型中的边缘化进行建模。这些技术仅依赖于对预先训练的自回归模型的下一步条件分布的访问和采样，包括传统参数模型和最近的神经自回归模型。针对离散顺序模型、标记的时间点过程和随机跳跃过程，提出了具体的方法，每个方法都适用于一类明确定义的信息丰富、长程概率查询。
autoregressive modelsprobabilistic queriessequential modelsmarginalizationpre-trained autoregressive model
发现论文，激发创造
  • 自回归神经序列模型的预测查询

    本文介绍了一个用于神经自回归序列模型中预测查询的通用分类方法，并展示了基于波束搜索，重要性抽样和混合方法的新查询估计方法，在四个大规模序列数据集（来自不同的应用领域）以及 GPT-2 语言模型中展示了在指数级预测路径空间中任意查询的查询回答能力，并发现在搜索和抽样方法之间的成本 - 精度权衡存在明显差异。

    Oct, 2022

  • 全局自回归模型用于数据高效的序列学习

    介绍了一个基于 seq2seq 模型的 GAM（Global Autoregressive Models）的类，将自回归组件与对数线性组件相结合，在小数据条件下使用全局先验特征来补偿数据不足，并使用两个步骤来训练此模型，实验表明，使用第二个自回归模型可以强有力地减少混乱度。

    Sep, 2019

  • 概率自回归预测模型的对抗攻击

    我们针对神经模型输出概率分布序列的情况，开发了一种更有效的对抗攻击方法。我们解决的关键技术挑战是如何通过蒙特卡罗估计输出序列的联合分布统计量。此外，我们将概率预测的先前工作扩展到贝叶斯设置中，可以对未来观测进行调节。我们证明了这种方法可以在股票市场交易和电力消耗预测等两项关键任务中成功生成具有小输入扰动的攻击。

    Mar, 2020

  • 正确地训练和推断任意阶自回归模型

    本文针对任意条件建模中的核心问题，提出了一种针对 Any-Order 自回归模型（AO-ARMs）的新的、有效的训练方法，通过训练一组更小的一元条件分布同时提升性能并保证可计算性，在文本、图像和连续数据等领域中取得了最先进的结果。

    May, 2022

  • 生物医学信号处理的自回归模型

    该论文提出了一种基于超参数化损失函数的自回归模型框架，用于处理神经科学等领域中存在的时间序列数据误差和模型不确定性问题，并验证该方法能够成功去噪、重构系统参数，为脑机接口数据分析以及癫痫等脑部疾病的研究提供了新的方法。

    Apr, 2023

  • 深度自回归循环网络的概率预测

    该论文提出 DeepAR 方法，通过基于大量相关时间序列训练自回归循环网络模型，实现准确的概率预测，并在多个真实预测数据集上展示了与现有方法相比约 15％的准确度提升。

    Apr, 2017

  • 基于自回归生成的后验采样

    使用历史数据进行预训练的自回归模型，在新闻推荐任务中通过端到端微调预训练语言模型来处理新闻文章标题文本以提高性能，并在在线决策中展示了能够理解不确定性和主动收集信息以解决环境变化的新的学习算法框架。

    May, 2024

  • 基于预测自回归模型的预测采样

    本论文提出了一种预测采样算法，利用 ARMs 的快速推断能力加速采样，证明其在二元 MNIST 等设置下可显著提高推断调用次数和采样速度。

    Feb, 2020

  • 生成式边缘化模型

    介绍了一种名为边缘化模型（MaMs）的新的高维离散数据生成模型，通过明确建模所有诱导边际分布，提供可扩展和灵活的生成建模方法，具有可计算的似然度，并以单次神经网络正向传递的方式快速评估任意边际概率。该模型适用于特定概率（由未归一化（对数）概率函数，如能量函数或奖励函数指定）与学习分布匹配的能量训练任务，并在多个离散数据分布上展示出了显著的性能优势。

    Oct, 2023

  • 迭代自回归：提高低延迟语音增强模型的新方法

    本文介绍了一种简单、有效的技巧，用于训练自回归低延迟语音增强模型，证明了该技术在不同架构和训练场景下均导致了稳定的改进。

    Nov, 2022