May, 2024

序列建模用交流发电机

PDF
TL;DR此篇论文介绍了交替器（alternators），一种新颖的非马尔可夫动力学模型家族，用于序列分析。交替器包括观测轨迹网络（OTN）和特征轨迹网络（FTN）两个神经网络，通过在观测空间和特征空间之间交替输出样本来学习数据的动态特征。交替器具有多种用途，可用作动态潜变量生成模型或序列预测器，能揭示复杂时序数据中的潜在动力学，准确预测和填补缺失数据，并生成新的轨迹。本文通过三个应用展示了交替器的能力，包括模拟描述混沌行为的洛伦兹方程、将脑活动映射到身体活动的神经科学以及海表温度预测的气候科学。在所有实验中，我们发现交替器训练稳定、样本生成速度快、生成样本和潜在变量质量高，并在所研究的领域中胜过神经 ODE 和扩散模型等强基线模型。
alternatorsnon-markovian dynamical modelsneural networkslatent dynamicssequential data
发现论文，激发创造
  • 通过交替反向传播时间来学习动态生成器模型

    本研究研究了动态生成模型的空间 - 时间过程，如视频数据中的动态纹理和动作序列，模型通过一个生成模型产生视频序列中的每个时间帧，生成模型是潜在状态向量的非线性转换，并由自回归模型控制。

    Dec, 2018

  • TLNets：用于长序列时间序列预测的转换学习网络

    提出了基于变换的网络架构设计计划，包括傅里叶变换、奇异值分解、矩阵乘法和卷积块。这些变换机制在学习中具有增强的可接受范围，可以跨尺度融合特征。经过多次测试比较，基于该设计计划的 TLNets 在长期时间序列预测方面表现有明显的潜力。

    May, 2023

  • 生成拓扑网络

    生成模型的新类别 - 生成拓扑网络（GTNs）使用简单的监督学习方法并基于拓扑理论进行确定性训练。在 MNIST、celebA 和 Hands and Palm Images 数据集中展示了 GTNs 的优势，并通过 GTNs 的理论提供了改进性能的培训方法。

    Jun, 2024

  • 生成教学网络：通过学习生成合成训练数据加速神经架构搜索

    本论文通过介绍生成性教学网络 (Generative Teaching Networks, GTNs) 和对其在监督学习和神经架构搜索领域的应用实例说明了利用算法自动生成训练数据和学习环境帮助 AI 代理快速学习的可能性以及潜在影响，并提出了一些有趣的研究方向。

    Dec, 2019

  • 磁滞建模的神经振荡器

    通过开发基于普通微分方程的递归神经网络 (RNN) 方法来建模和量化滞后现象，这一研究突出了神经振荡器相对于传统 RNN 方法在捕捉磁性材料中复杂滞后模式方面的优势。

    Aug, 2023

  • 用于连续高效时间序列建模的粗糙变换器

    在医学背景下，基于时间序列的数据通常具有长程依赖并且在非均匀时间间隔下进行观察。为了解决这个问题，研究者们用基于神经 ODE 的模型取代了传统的基于序列的循环模型，来对不规则采样的数据进行建模，并使用基于 Transformer 的架构解决长程依赖的问题。尽管这两种方法都取得了成功，但是对于中等长度的输入序列而言，它们都需要非常高的计算代价。为了缓解这个问题，我们引入了 Rough Transformer，这是 Transformer 模型的一种变体，它能够对连续时间表示的输入序列进行操作，并且具有显著减少的计算代价，这对于处理医疗背景下的长程依赖是至关重要的。具体而言，我们提出了多视角签名注意力，它利用路径签名来增强原始注意力，并在输入数据中捕捉局部和全局依赖关系，同时对序列长度和采样频率的变化保持稳健性。我们发现，Rough Transformers 在合成和真实的时间序列任务中，始终优于其原始注意力对照组，并且只需要部分计算时间和存储资源，就能够获得基于神经 ODE 模型的好处。

    Mar, 2024

  • 哈密尔顿生成网络

    本文介绍了哈密顿生成网络 (HGN) 和神经哈密顿流 (NHF)，这是第一种能够从高维度观察中连续地学习哈密顿动力学而无需限制性条件的方法，它能够可靠地从机器学习的角度解决很多问题。

    Sep, 2019

  • GEANN：用于多时域时间序列预测的可扩展图增强技术

    使用图神经网络作为数据增强来改善编码器，在冷启动产品的需求预测中取得明显的收益。

    Jul, 2023

  • AMLNet：非自回归多时标时间序列预测的对抗求知神经网络

    AMLNet 是一种创新的非自回归模型，通过在线知识蒸馏方法实现真实的预测，结合了自回归和非自回归模型的优势，并通过两个关键机制实现知识传递。大量的实验表明，AMLNet 优于传统的自回归和非自回归模型，提供了一个提高准确性和加快计算速度的多时间段时间序列预测的有希望途径。

    Oct, 2023

  • 高效 Transformer 的交替更新

    本文介绍了一种名为 AltUp 的方法，通过在表示层的子块上工作来拓宽学到的表示，从而实现所谓的 Alternating Updates，提高了模型容量而无需增加计算成本，并与现有方法结合以获得更高效的模型。

    Jan, 2023