- 预测编码模型中的音乐感知与预测关系
通过基于预测编码的神经网络模型研究人类音乐感知,模型经过大量 Classic 音乐和流行旋律训练后,发现预测误差依赖于音符,音高间隔和时间上下文等信息,提示可用预测编码神经网络来表征影响音乐感知的特征和主题。
- 主动预测编码:一种用于学习层次化世界模型以进行感知和规划的统一神经框架
提出了一种新的预测编码框架,称为主动预测编码,利用超网络、自监督学习和强化学习来学习层次化的世界模型,并成功解决了细分视觉和复杂动作序列组合等多个问题。
- 预测编码网络中的推理和学习的理论框架
本文主要针对预测编码理论进行理论分析,展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能,同时保持其独特的优点。
- 能量模型微观推断极限下的反向传播:预测编码、平衡传播和对比性赫布学习的统一
本文提供了能量基模型(EBMs)在逼近反向传播(BP)方面的综合理论,统一了预测编码、平衡传播和对比 Hebbian 学习等算法,从 EBMs 的自由相平衡这一简单而普遍的数学特性出发,在不同的能量函数下进行选择以得出一类逼近 BP 的算法 - ICLR学习是什么和在哪里:无监督分离位置和身份跟踪
介绍了一种被称为 Loci 的自监督位置和身份追踪系统,通过处理分离的 “何处” 和 “何物” 的槽状编码解决了绑定问题,可以从视频流中有效地提取对象并将其分离成位置和整体组件,从而在概念层面上促进了有效的规划和推理。
- 预测编码和随机共振作为听觉感知的基本原理
通过人工智能、心理学和神经科学等领域相交的最新工作,特别关注所谓的耳鸣(听觉幻觉的主要例子),我们讨论为什么每个患有耳鸣的人都会听力损失,但并非每个听力损失的人都会患上耳鸣。我们认为:由于固有神经噪声和向贝叶斯推理的感觉精度的提高可能导致大 - 混合预测编码:推断,快与慢
提出了一种混合的预测编码网络,通过描述单个目标函数的双重优化,以原则性地将迭代和摊销推理结合起来,并在在仿生神经结构中实现,将受益于摊销和迭代推理的优势,同时保持迭代推理方案的上下文敏感性,精度和采样效率,在视觉感知中提供了新的功能相关性视 - 多分辨率集合和预测编码的循环自编码器用于多元时间序列异常检测
本研究提出了一种名为 RAE-MEPC 的无监督多变量时间序列异常检测模型,利用多分辨率集成和预测编码学习具有非线性时间动力学的正常行为的信息丰富的表示,实验结果表明该模型在多变量时间序列异常检测方面胜过基准模型。
- 预测编码:走向超越反向传播的深度学习未来?
回传误差算法已经成为深度学习成功的基础之一,而预测编码则利用局部学习,具有潜力克服其限制并在当前深度学习技术之上发展。本文综述了有关这个问题的各种作品及其理论联系,并展示了预测编码网络相对于深度神经网络具有更高的灵活性及其在机器学习分类任务 - 预测编码:理论和实验综述
该论文提供了对预测编码理论的全面评估,包括其核心数学结构和逻辑以及在神经科学领域的实现和应用。该理论适用于皮层功能的统一解释,主张大脑的核心功能是通过一个世界的生成模型来减少与预测误差。
- 非自回归 预测编码:从局部依赖学习语音表示
本研究提出非自回归预测编码 (NPC) 的自学习方法,通过仅依赖语音的本地依赖,在非自回归方式下学习语音表示。使用新引入的蒙版卷积块实现 NPC 的概念简单、易于实现的目标,并且在每个时间步长上具有固定的推断时间,从而加速了推理速度。理论和 - ICML小数据中音素预测编码模型的学习分析
本研究基于两个不同语言的数据集,研究了两种预测编码模型(APC 和 CPC)的行为,发现 CPC 模型在短时间内已经取得了更好的表现,其预测损失优化后的表现也符合语音识别领域中音素特征学习的最优化要求。
- ICLR预测编码近似计算任意计算图上的反向传播
研究发现,通过局部学习规则,预测编码可以渐近(且实际上很快)地收敛到任意计算图上的精确反向传播梯度,这使得标准机器学习算法理论上可以直接用神经电路实现,从而为分布式神经形态结构的开发做出了贡献。
- ACL多目标自回归预测编码改进语音表示
通过未标记的语音学习有意义的表示方法,将预测编码的培训目标应用于自回归预测编码(ARPC),并提出了一种辅助目标以提高未来帧预测任务的泛化能力和语音内容。不仅支持假设,还证明了该方法在学习含有更丰富语音内容的表示方面的有效性。
- ECCV基于预测编码的图卷积网络用于噪声鲁棒的基于骨架的动作识别
本研究提出了一种骨架动作识别方法,该方法对给定骨架特征的噪声信息具有鲁棒性,通过最大化正常和噪声骨架之间的互信息以预测编码方式来训练模型,并在 NTU-RGB + D 和 Kinetics-Skeleton 数据集上进行了综合实验,结果表明 - 基于局部线性控制的预测编码
使用信息论的 Learning Controllable Embedding (LCE) 方法,通过使用预测编码来代替显式的下一个观察预测,提出了一种无解码器的 LCE 模型,其潜在动力学适于局部线性控制,并在基准任务上展示了可靠的控制潜在 - 基于对比预测编码特征的自动语音说话人验证
本论文介绍了基于对比性预测编码(CPC)特征的说话人验证的相关工作,重点是将 CPC 特征纳入标准的自动说话人验证系统中,并提出了相应的方法、实验和分析。同时还详细阐述了过去和最近的自动说话人验证系统工作、传统语音特征以及 CPC 背后的动 - 神经预测信念表示
本文探讨了使用现代神经网络结构学习信念表示的可能性,并使用一步帧预测和两个变体的对比预测编码作为目标函数来学习表示。我们发现,神经表示能够捕获到环境的信念信息,这有潜力在部分可观测领域中促进学习和规划的新进展。
- AAAI用生物学启发的算法传播本地目标表示
提出了一种名为误差驱动局部表示对齐 (LRA-E) 的学习算法,它与预测编码有强烈的联系,可以在训练深度非线性网络时得到更稳定的性能和更强的泛化能力,并且通过与其他生物启发算法的比较,表现最佳。
- 具有局部循环处理的深度预测编码网络用于对象识别
这篇论文介绍了一种新的基于神经科学理论 “预测编码” 的神经网络,该网络包含反馈和前馈连接,能够让相邻层次间逐渐优化表征以最小化预测误差,并在图像分类和对象识别等任务上获得了具有竞争力的性能。