后估计平滑: 学习辅助信息的一个简单基准
本文利用几何视角将混合成分随机块、主题模型和敌对聚类等多种潜变量模型进行了统一,并针对潜变量进行了解析,提出了一种高效算法和子集平滑多面体的概念。
Apr, 2019
本文提出了一种名为“空间平滑”的方法,通过对卷积神经网络中相邻的特征点进行空间集成,以减少Bayesian神经网络(BNNs)在可靠结果需要预测大量次数的计算代价,实验证明该方法在一系列集合大小上提高了BNNs的准确性、不确定性估计和鲁棒性。同时,该方法亦可用于传统的确定性神经网络,并且此前的一些方法,如全局平均池化、预激活和ReLU6,亦可被看作空间平滑的特殊情况,可用于改善神经网络的准确性、不确定性估计和鲁棒性。
May, 2021
从因果表征的角度提出了一种用于解决模式预测中分布偏移脆弱性和知识转移低效性挑战的学习框架,通过不同的损失函数分别处理动态过程中三组潜在变量:不变变量,样式混淆变量和虚假特征。该方法显著优于当前先进的动态模式预测模型。
Nov, 2021
本文提出了一种基于因素解耦的灰色时空系统学习框架FDG2S,用于处理存在缺失观测的非连续预测问题。该框架通过语义邻近序列采样和因子解耦聚合策略实现了对非连续状态预测的模拟。与此同时,该文中提出了一种解开不确定性的方法DisEntangled Uncertainty Quantification以保证模型的可靠性和可解释性。
Aug, 2022
以人工智能和机器学习为基础,本文研究了预测后推断问题的统计挑战,包括预测结果与真实结果之间的关系、机器学习模型对训练数据的鲁棒性以及将预测的偏差和不确定性传播到最终推断过程中。同时与传统领域的相关研究进行对比,揭示了设计在经典和现代推断问题中的作用。
Jan, 2024
考虑一个预测器,一个学习者,其输入是一系列离散项目。预测器的任务是在每个时间点进行概率多类别预测,即通过输出一个或多个候选项目,每个项目附加一定概率,从中推测可能出现的下一个项目,然后实际项目被揭示,预测器从这次观察中学习。
Feb, 2024
现在的研究趋势是将数据库索引结构视为机器学习模型,通过训练单个或多个机器学习模型来学习从键到数据集内位置的映射关系,从而实现改进搜索性能和减少空间需求。该调查重点关注学习多维索引结构,介绍了该研究领域的现状,解释了每个方法的核心概念,并根据多个明确定义的标准对这些方法进行分类。我们提供了一个分类法以对每个学习多维索引进行分类和归类,并根据此分类法对现有的学习多维索引文献进行了调查。此外,我们还提供了一个时间线来说明学习索引研究的发展历程,并重点介绍了这个新兴且非常活跃的领域中的几个挑战和未来研究方向。
Mar, 2024
通过分析常用的'共平滑'预测框架的局限性,并提出一种改进的少样本预测方法,我们利用隐马尔可夫模型的学生-教师设置展示高共平滑模型空间在其潜在表示中可以包含任意外部动态,并引入次要度量-共平滑的少样本版本来解决这个问题。结果表明,在几乎最优的共平滑模型中,相对于不具有此类动态的'最小'模型,那些具有外部动态的模型在少样本共平滑中表现较差。我们还通过两种最先进的方法:LFADS和STNDT,在真实神经数据上验证了我们的发现。最后,我们提供了一种测量外部动态的代理指标,并发现少样本共平滑性能与该新指标之间存在相关性。综上所述,我们提出了一种新的预测度量标准,旨在获取更准确反映实际情况的潜在变量,为潜在动态推断提供了显著的改进。
May, 2024
大多数实际应用中的数据收集通常包含缺失值,这些缺失值通常是非随机缺失,从而降低了模型的预测性能。本文首先从理论上揭示了正则化技术的局限性,并进一步说明,对于更一般的估计器,无偏性必然导致方差无界。然后,我们开发了一种系统的精细动态学习框架,通过预定义的目标函数为每个用户-项对自适应选择适当的估计器,从而联合优化偏差和方差。通过这种操作,模型的泛化界限和方差减少并且有理论保证。通过大量实验证实了理论结果和所提出的动态学习框架的有效性。
May, 2024
基于观测数据的领域自适应问题,通过线性结构因果模型和表示学习方法,研究使用不变的协变量表示来解决概念漂移和改善目标预测的可行性,并通过在 Stiefel 流形上约束优化来证明大多数局部最优解与不变的线性子空间一致。通过验证实现方法和理论的三个真实数据集。
Jun, 2024