该研究对现有的物体中心模型的概念限制进行了识别和分析,提出了一种基于复值激活和对比学习的改进同步模型。通过引入新的构架和方法,该同步模型可以在多物体彩色数据集中无监督地发现物体,并同时表示超过三个物体。
May, 2023
本研究提出复杂自编码器方法用于无监督物体发现,采用基于生物神经元的编码方案,通过复杂值表示对象的存在和组合关系,相较于传统方法,在性能和效率上有显著提高。
Apr, 2022
本文提出了旋转特征作为高维度中的复数特征的一种推广,并使用新的评估程序提取分布式表示中的对象,以更好地解决机器学习中的连接问题。
Jun, 2023
研究复数域上的线性自编码器及其学习算法、一般性质,发现它们的误差函数都具有一些变换不变性和全局最小值与鞍点,同时给出了一些能应用于其它自编码器的算法和一些应用方面的思路,揭示了信息理论、无监督学习、聚类和自编码器之间的联系。
Aug, 2011
基于自动编码器的异常检测范式中,依靠具有实时学习能力的边缘设备实现自动编码器是一项极富挑战性的任务。通过设计具有低分辨率的非挥发性存储器型突触的自动编码器,并采用一种有效的量化神经网络学习算法,我们证明这些限制可以得到解决。我们提出了一种带有工程化凹槽的铁磁记录道,以磁域壁作为自动编码器的突触,其中通过自旋轨道涡流脉冲来操作有限状态(5 状态)的突触权重。我们在 NSL-KDD 数据集上评估了所提出的自动编码器模型对异常检测的性能。通过对突触进行有限分辨率和 DW 器件随机性感知的训练,我们得到了与拥有浮点精度权重的自动编码器相当的异常检测性能。虽然量化状态的有限数量和纳米尺度器件中固有的随机性对性能有负面影响,但我们的面向硬件的训练算法被证明可以利用这些不完善的器件特性,从而提高异常检测的准确性(90.98%),相较于使用浮点训练权重的准确性。此外,我们的 DW-based 方法在训练过程中相较于浮点训练方法重要减少了至少三个数量级的权重更新,意味着我们的方法可以大大节省能量。这项工作有望推动非挥发多状态突触型处理器的极高能效、能够在边缘上对无监督数据进行实时训练和推断的发展。
Sep, 2023
最近开发的降阶建模技术旨在从数据中学习的低维流形上近似非线性动力系统。我们介绍了一种由约束的自动编码器神经网络描述的参数化非线性投影类,其中流形和投影纤维都是从数据中学习得到的。此外,我们还提出了一些新的动力学感知成本函数,以促进学习考虑快速动力学和非正常性的斜投影纤维。为了展示这些方法及其解决的特定挑战,我们提供了一个关于涡街现象的三状态模型的详细案例研究。同时,我们还提出了几种基于我们提出的非线性投影框架构建计算高效的降阶模型的技术。这包括一种用于避免计算 Grassmann 流形上有害的权重矩阵收缩的新型稀疏促进惩罚项的编码器。
Jul, 2023
本研究提出了一种高效的层级无监督训练深度卷积神经网络的学习策略,采用随机凸化的重构压缩自编码学习目标,并通过坐标下降法在频域中解决 resulting large-scale convex minimization problem,具有单个可调优化参数,快速且有保证的收敛以及全并行计算的可能性,在实验中得到良好的效果。
Nov, 2016
这篇论文介绍了一种利用神经网络来解决从单一图像生成多角度视角的问题,并且在人脸和椅子等特定物体类别的数据上取得了良好的效果,同时展示了模型无需完全监督就可在多个应用中使用的能力。
Jan, 2016
提出一种新型的神经网络模型 SWWAE,它同时整合了判别和生成的路径,并提供了一种统一的无监督、半监督和有监督的学习方法。其中,该模型使用卷积神经网络(Convnet)编码输入,使用反卷积网络(Deconvnet)重建输出。它的目标函数包括重建项,促使反卷积网络中的隐藏状态与卷积网络中的隐藏状态相似。
Jun, 2015
使用自编码器的非线性降维和神经网络的非线性操作推断,通过在降维空间中引入合成约束,解决了混沌动力学的降阶建模问题,使模型既能够保持完全非线性和高度不稳定,又能防止发散,在经典的 Lorenz 方程中进行了演示,并表明我们的方法可以使用更少的数据产生较低误差的中长程预测。