产品 Kanerva 机:分解贝叶斯记忆
本研究提出了一种端到端训练的内存系统,可以快速适应新数据并生成类似的样本。它具有强大的分布式读写机制和可分析的内存,可以通过贝叶斯更新规则进行最优在线压缩,以内存作为数据依赖的先验概率分布的层次性条件生成模型,将自适应内存与自底向上感知相结合产生表示观察的代码。经验证明,与 Differentiable Neural Computer (DNC) 及其变种相比,我们的内存模型具有更高的容量和更容易训练。
Apr, 2018
本文提出 BayesPCN,一个具有层级结构的关联记忆,能够进行连续的一次性记忆写入,而无需元学习,并能逐渐遗忘过去的观察结果,以释放存储空间。实验表明,BayesPCN 能够回忆起数百到数千个时间步长以前观察到的损坏的高维数据,与现有的线下学习的参数记忆模型相比,不会出现大幅下降的召回能力。
May, 2022
介绍了一种概率生成模型 ——OrMachine,用于布尔矩阵分解和推导出马尔科夫链蒙特卡罗 (Metropolised Gibbs) 采样器,实现了高效的并行后验推断,并在真实世界和模拟数据上优于目前所有现有的布尔矩阵分解和完整方法,首次为布尔矩阵分解提供了完整的后验推断,在协同过滤中用于控制假阳性率,并关键地提高了推断模式的可解释性。提出的算法在通用硬件上扩展到大型数据集,如在 1.3 百万只老鼠脑细胞上分析 11 千个基因的单细胞基因表达。
Feb, 2017
介绍了基于社会心理学理论的 profile 在知识预测中的应用,提出了两种可实例化的神经架构,经过对维基数据和众包期望的评估和比较,揭示了各种 profiling 方法捕获知识的本质,同时将所有代码和数据公开,以促进未来的研究。
Oct, 2018
本研究通过使用分解机(FM),一种回归或分类的模型,展示了它是目前已有的一些教育文献中现有模型的特例,可精确快速地估计学生知识,适用于多种知识组件和技能水平尝试的学生模型,提供了一个试验平台,以尝试新的特征组合,以改进现有模型。
Nov, 2018
本文提出了一种用于大规模数据的变分 Factorization Machines 算法,通过标准的 Mini-Batch 随机梯度下降法实现优化,从而为预测结果提供可靠的置信度,并在多个数据集上展示了其在预测准确性上具有与现有方法相媲美甚至更好的性能,同时提出了在偏好调查技术等活动策略中的应用。
Dec, 2022
使用 Willshaw Memory 模型和 Multiple-Modality 框架实现稀疏编码,能够储存和检索大量的现实数据,并且支持多模态同步存储与检索以及缺失模式进行推理,该框架可用于其他的学习任务。
Jul, 2022
本研究提出了一种稀疏情况下基于因子分解的脑机接口信号处理方法,通过采用不同的特征提取器从潜空间获取不同表示并最小化潜空间共享情况,成功地提取到了稀疏条件下的脑电信号的决定性特征。
Jun, 2022
本文提出了一种基于核矩阵分解的新型模型,可以更好地分析阿尔茨海默病,处理来自不同视图和遗传模式的数据,并提高预测性能,实验证明了该方法在 ADNI 数据集上的有效性和核应用于 AD 分析的前景。
Mar, 2023
该研究文章提出了一个变分推断的自联想记忆模型,可以结合感知推断和存储检索,通过将先验概率密度定义为于已存储的表达式依存,吸引后续推断流程向先前存储的表达式。通过比较一些变分自编码器和预测编码的方法,作者结合这些方法提出了新的自联想存储模型,并在 CIFAR10 和 CLEVR 图像数据集上进行了评估。同时,作者也将这些自联想存储模型与 Hopfield Networks、End-to-End Memory Networks 和 Neural Turing Machines 等其他联想存储模型进行了比较。
Oct, 2022