- ICML检测和识别连续数据中的选择结构
我们探讨基于潜在目标的数据点选择在实际情境中普遍存在,这一选择过程常常扭曲统计分析。然而,我们认为该选择不仅仅是一种偏差,而是提供了深入了解隐藏生成过程的机会。因此,我们研究了选择在顺序数据中的因果结构,并证明了其可识别性,同时提出了一种算 - 捕捉时间序列分类的时间组成部分
通过从连续数据中提取统计一致的成分进行训练的多尺度变化空间上的无监督分段方法,用于时序数据分类的符合组合表示学习的序列编码模型的效果得到广泛实验验证。
- PrAViC:实时视频分类的概率适应框架
我们提出了一个适应在线分类问题的新颖、统一和基于理论的自适应框架,该框架旨在通过建立强大的数学基础来处理序列数据的分类,并在早期阶段返回结果,同时不影响准确性。
- 长序列处理中的状态空间建模:对 Transformer 时代中的循环的调查
对基于循环模型的顺序数据处理的最新方法进行了深入总结,并提供了关于体系结构和算法解决方案的完整分类,引导研究者在这一吸引人的研究领域进行进一步研究。
- 序列建模用交流发电机
此篇论文介绍了交替器(alternators),一种新颖的非马尔可夫动力学模型家族,用于序列分析。交替器包括观测轨迹网络(OTN)和特征轨迹网络(FTN)两个神经网络,通过在观测空间和特征空间之间交替输出样本来学习数据的动态特征。交替器具有 - 将指数平滑法纳入 MLP:一种简单而有效的序列模型
建模序列数据中的长程依赖是序列学习中关键的一步,本研究提出了一种新模型 Structured State Space(S4),通过结构化状态空间模型在建模长程序列方面表现出了显著的有效性。与 S4 相比,本研究采用指数平滑(ETS)作为简单 - Markovletics: 学习连续时间马尔可夫链混合模型的方法及一种新应用
该研究介绍了一种新颖的连续时间马尔可夫链混合模型,重点研究了观察路径长度和混合参数对问题范畴的影响,并通过实验证明了离散化连续时间路径对混合模型的可学习性有重要影响,为不同问题情境下的算法选择提供了关键见解。
- KDD对一类序列异常检测模型的后门攻击
探索深度序列异常检测模型的后门攻击策略,通过生成触发器和注入后门触发器,有效地破坏现有异常检测模型。
- ICML增强时间变换循环神经网络的多个时间观点
我们引入了多个时间视角的概念,一种适用于循环神经网络(RNN)架构,以增强其对顺序数据的理解的新方法。我们将此方法应用于 Receptance Weighted Key Value(RWKV)架构,并取得了显著的改进效果,解决了在单个隐藏状 - 通过反馈改善回波状态网络的性能
通过将一些储备态的组成部分反馈到网络中的输入端,我们可以显著改善给定回声状态网络的性能。我们严格证明,对于任何给定的回声状态网络,反馈几乎总是会提高输出的准确性。在三个代表不同问题类别的任务中,我们发现通过反馈,平均误差的度量减少了 30% - Transformer 模型能否在上下文中学习顺序功能类别?
我们的研究扩展了前文所提到的上下文学习在转换模型中的应用,通过探索转换模型是否能够从序列、非文本函数类数据分布中学习。我们引入了一种新颖的滑动窗口序列函数类,并使用了具有 GPT-2 架构的规模较小的转换模型进行实验。我们的分析表明,这些模 - 利用注意力机制:基于注意力的自编码器的高效序列缩减
通过引入一种新的基于注意力的方法,使得序列长度可以直接调节的自动编码器模型,在将输入序列减小到原始大小的一半时仍能以约 90% 的准确率复原原始序列。
- ICML使用时间本地规则学习循环模型
生成模型对顺序数据的拟合通常涉及两个循环计算,一个向前,一个向后。本文探讨了一种不同的解决方法:要求生成模型学习当前状态和前一个状态之间的联合分布,而不仅仅是转移概率。在玩具数据集上展示了不同架构使用这一原则能够学习通常需要向后传递的数据方 - SigFormer 深度对冲的签名变换器
SigFormer 是一种深度学习模型,结合了路径签名和 Transformer 的优点,用于处理具有不规律性的序列数据,特别适用于金融领域中的对冲策略设计。模型在合成数据上的实证比较展示了其更快的学习速度和增强的稳健性,尤其是在存在不规律 - 您可以拥有您的集成并运行它 -- 深度集成随时间传播
这篇论文介绍了一种名为 Deep Ensembles Spread Over Time (DESOT) 的方法,该方法将深度集成模型应用于序列数据,通过对数据点的序列进行预测融合来实现预测和不确定性估计的性能优势,在无需额外计算成本的情况下 - 一种基于三元马尔可夫链的概率半监督方法
本文提出了一种基于变分贝叶斯推理的通用框架,用于在半监督环境中训练参数化的三元马尔可夫链模型,从而实现对顺序贝叶斯分类的多种生成模型的半监督算法。
- T-SaS:面向流数据的移动感知动态适应
在没有任何先兆的情况下,本文旨在解决连续数据建模中突发分布转变的问题。具体而言,我们设计了一个名为 T-SaS 的贝叶斯框架,使用离散分布建模变量捕捉数据的突变。然后,我们设计了一个模型,通过学习判断在完整网络中应该激活哪些神经元来实现与该 - 拆分序列数据的复杂性解析:克服视频和时间序列分析中的挑战
对于顺序数据的分割是各种数据分析任务中的重要步骤,本文就分割顺序数据所面临的挑战进行概念性研究,包括数据获取、数据表示、分割比例选择、建立质量标准和选择适当的选择策略等方面的挑战,并通过两个真实案例(电机测试台和液体中的粒子跟踪)进行探讨。
- 潜在动态隐式扩散过程
本文提出了一种名为 LDIDPs 的新型隐式扩散过程潜在动态变量模型,它利用隐式扩散过程对潜在动态过程进行采样,并相应地产生连续观测样本,LDIDPs 成功地在合成和仿真神经解码问题上得到了测试,并展示了其能够在潜在尺寸上准确地学习动态,同 - 减缓长短期记忆网络的灾难性遗忘
本文研究在序列数据上的持续学习问题,重点讨论了 LSTM 网络的遗忘和多任务学习问题,并提出了两种有效的解决方案,证明了这种方法比现有的权重正则化方法更为简单、高效,可应用于计算机系统优化和自然语言处理等领域。