- 重新审视结构化变分自编码器
通过现代机器学习工具来实现硬件加速、并行化和自动微分的消息传递算法,探讨并展示了 SVAE 模型的优势,从而表明现在是重新审视结构化变分自编码器的时候了。
- 签名核函数
Signature Kernel 是一个用于顺序数据的正定核函数。介绍了该核函数的基本知识及理论性质,同时强调其在计算上的高效性及实证性能。
- ICML多分辨率卷积记忆的序列建模
我们提出一种基于多分辨率分析的序列模型,通过引入 multiresolution 卷积来捕捉输入序列的多尺度趋势,该模型性能优异,适用于各种序列分类和密度估计任务。
- 机器学习的确定性新信息理论
提出了新概念 troenpy,用于量化概率分布的确定性,以替代熵的应用,泛用于机器学习中,尤其在文本分类和序列数据处理方面表现突出。同时定义了量子 troenpy 以量化量子系统的确定性。
- 离散优化的可解释异常检测
提出从序列数据中学习可解释异常检测器的框架,采用确定性有限自动机 (DFA) 作为模型,并通过约束优化算法和正则化策略提高模型的可解释性和准确性。
- 上下文感知选择性标签平滑以校准序列识别模型
本文提出了一种基于上下文的选择性标签平滑方法(CASLS),以解决训练过程中的过度拟合问题以及置信度校准问题,通过利用顺序数据中的上下文依赖性来构造混淆矩阵,并使用类特定错误率来调整平滑强度的权重,从而实现自适应校准。在场景文本识别和语音识 - 基于 Hankel 矩阵表示的张量串行学习用于下一物品推荐
本研究提出了基于张量分解的模型来嵌入一些关于顺序数据的结构性知识,从而在解决下一个物品推荐任务时比深度神经网络更加轻便高效
- GAMMT:使用多个 Transformer 进行生成性歧义建模
介绍了一种基于概率集的序列数据模型 GAMMT,运用多重变压器连接机制处理模糊的概率,以多种方式表示输入令牌和输入序列,探索了注意力机制和模糊性的组合作用,通过深度神经网络实现模糊性建模,为机器学习的新研究提供框架,提高我们对关注度 - 模 - 对角状态空间与结构状态空间同样有效
本研究旨在探索长序列数据中的长程依赖性,评估 S4 和 DSS 模型在多种模态下的性能提升,并针对包括 Long Range Arena 任务和语音分类在内的不同任务进行了性能测试。结果表明,在某些任务上 DSS 模型的表现可媲美 S4 模 - ICMLSigGPDE:在序列数据上扩展稀疏高斯过程
本文我们提出了 SigGPDE,它是一个新的可扩展的稀疏变分推理框架,用于处理序列数据上的高斯过程。我们的贡献有两个方面:首先,我们构造了诱导变量来支撑稀疏近似,使得得到的证据下限 ELBO 不需要任何矩阵求逆;其次,我们展示了 GP 签名 - 使用扩散模型生成符号音乐
本文提出了一种基于预训练变分自编码器的离散领域参数化的扩散模型训练技术,用于离散和连续领域的生成导致更优结果,并在应用于符号音乐领域时表现出很强的无条件生成和条件填充结果,相比基于自回归语言模型的连续嵌入操作更具可行性。
- 动态神经网络:一项综述调查
本文综述了动态神经网络在深度学习领域的最新研究进展和主要研究方向,分析了其在计算效率和适应性等方面的优势,总结了架构设计、决策方案、优化技术和应用开发等方面的研究问题以及未来发展的方向。
- CKConv:连续核卷积用于序列数据
本文提出一种新的卷积神经网络架构,通过将卷积核建模为连续函数,解决了传统神经网络处理序列数据时的梯度爆炸、记忆短视、非定长序列等问题,并在多个数据集上获得了最先进的结果。
- ICLR解缠脱的递归 Wasserstein 自编码器
本文提出了一种新的循环 Wasserstein 自编码器 (R-WAE) 框架,可用于序列数据的生成建模,通过将输入序列的表示分离成静态和动态因素,并同时最大程度优化输入数据和不同的分离潜在要素之间的互信息,进一步扩展和优化了 (循环) V - 动态图协同过滤
该论文提出一种名为 DGCF 的动态图协同过滤框架,利用动态图来同时捕捉项目和用户的协作和顺序关系,以解决传统的序列模型无法准确捕捉协作信息的问题,并在实验中表现出优越的性能。
- KDDTimeSHAP: 通过序列扰动解释循环模型
本研究提出了一种模型无关的循环网络解释器 TimeSHAP,它能计算特征、时间步和单元层面的归因,可用于解释银行账户接管欺诈检测的预测结果,并发现一些关键洞察。
- HiPPO: 带有最优多项式投影的循环记忆
该研究提出了一种在线压缩连续信号和离散时间序列的通用框架, 通过投影到多项式基上,该框架可以制定每个时间步骤的重要性的度量,提出了一个新的记忆更新机制来避免对时间尺度的先验, 并且被应用于循环神经网络以捕捉复杂的时间依赖性, 并在瞬移 MN - KDD序列异常检测器的统计评估
本研究提出了基于时间容限的点异常检测的精度和召回率的概念并进行统计模拟研究,结果表明当计算时间容限后,精度和召回率可能会高估检测性能。我们展示了如何获得这两个度量的空分布来评估结果的统计显着性。
- ICML通过对抗性对比最优输运进行表示学习
本文提出了一种通过优化转移距离来学习捕捉数据时间空间关系的紧凑(低维)表示,与此同时通过 Wasserstein GANs 和分类器连接的新框架产生对比学习的负分布,结果在人类动作识别任务中表现良好。
- ICLR循环神经网络中的持续学习
本文针对循环神经网络 (RNNs) 顺序数据的连续学习 (CL) 方法进行了全面评估,发现了应用权重重要性方法时的特殊性,并提出了一种基于超级网络的正则化方法,有效解决了 RNNs 上的连续学习问题。