HTM 系统的数据编码
研究了神经皮层表征信息的稀疏分布式表示方法(Sparse Distributed Representations,SDRs)的核心属性对于缩放、鲁棒性和泛化的作用,并提供了实用指南,说明将 SDRs 作为 HTM 的基础的潜在和理论意义。
Mar, 2015
这篇论文介绍了一种针对不稳定、部分可观测环境下决策的在线隐藏表示学习方法。提出的分布式赫比时态记忆(DHTM)算法基于因子图形式和多组分神经元模型,它旨在捕捉序列数据关系,并对未来观察作出累积预测,形成继承者表示。经实验证明,DHTM 算法在应对动态环境中的时序差异学习方面表现优于经典 LSTM,并与更高级的类似 RNN 的算法相当,加速了继承者表示中的时间差异学习。此外,我们将 DHTM 产生的继承者表示与另一种生物启发的类 HMM 算法 CSCG 进行了比较,发现 DHTM 是解决在线隐藏表示学习动态环境挑战的一种有前途的方法。
Oct, 2023
本文提出了分层时序记忆(HTM)的序列记忆,使用无监督的 Hebbian-like 学习规则可以连续学习大量变序列。 HTM 序列记忆能够处理多元序列及预测,还具有连续的在线学习、处理多元及多分支序列的能力、传感器噪声稳健性和容错性等优点,可应用于离散和连续序列预测、异常检测和序列分类等多领域。
Dec, 2015
本文提出了一种超高维度的表示方案,结合了符号和潜在形式的稀疏表示和神经模型的密集表示,具有直接可控的稀疏度,可以用于高效存储和搜索,并且在 MS MARCO 和 TREC CAR 数据集上得到了比其他稀疏模型更好的性能。
Apr, 2021
本文介绍了 H-BERT,该模型采用完整的图树扩展表示 EHR 中的医疗编码,提高了病患归属感的预测,并创建了相关但临床不同表型的患者的不同表示。
Nov, 2022
提出了一种基于超维计算的新型轻量级编码方法,通过兴趣点选择和局部线性映射来保留附近位置模式的相似性,达到了对 MNIST 和 Fashion-MNIST 数据集分别为 97.35% 和 84.12% 的准确率,并且相对于基准编码方法,该方法还表现出更高的噪音和模糊容忍度。
Dec, 2023
提出了一种完整的内存中超维计算(HDC)系统,该系统通过语言分类、新闻分类和电肌图信号手势识别三种典型的 HDC 相关学习任务,实验性地使用 760,000 个相变存储器件执行模拟内存中计算,实现了与软件实现相当的准确性。
Jun, 2019
通过模仿人脑记忆层次结构,我们提出了分层记忆 Transformer(HMT)框架,以提高模型的长上下文处理能力,并通过在限定上下文和长上下文模型上的评估验证了其有效性。
May, 2024
本文介绍了一种使用隐藏半马尔科夫模型(HSMM)解码器学习潜在的离散模板以及生成的神经生成系统,展示了该模型学习到有用的模板,从而使生成过程更具可解释性和可控性,并且在真实数据集上的表现与编码器 - 解码器文本生成模型接近。
Aug, 2018