Jun, 2024

NeuroMoCo：一种用于脉冲神经网络的神经形态动量对比学习方法

PDF
TL;DR本文介绍了一种名为神经形态的动力对比学习（NeuroMoCo）的方法，该方法通过自监督预训练的方式有效激发了脉冲神经网络的潜力，并使用适用于时间特征的 MixInfoNCE 损失函数进一步提高了神经形态数据集的分类准确性，实验证明其在 DVS-CIFAR10、DVS128Gesture 和 N-Caltech101 数据集上均取得了新的最先进结果，分别为 83.6%、98.62% 和 84.4%。
发现论文，激发创造
  • 无监督视觉表征学习的动量对比法

    用于视觉表示学习的动量对比（MoCo）利用队列和移动平均编码器构建动态字典，并提供具有竞争力的结果并实现下游任务的迁移。

    Nov, 2019

  • TS-MoCo: 基于 Momentum Contrast 的时序动量对自监督生理学表示学习

    本文提出了一种新的编码框架，它依赖于自监督学习来学习各种生理领域的多元时间序列的表示，从而解决有限可用性的标记生理数据通常防止在生物医学机器智能领域使用强大的监督深度学习模型的问题，并得出新方法可以学会区分特征被用于下游分类任务。

    Jun, 2023

  • 脉冲神经网络的时间对比学习

    本研究提出了一种时域监督对比学习的方法，可以使神经网络在处理时间序列信息时具备低延迟和高性能，取得了 CIFAR-10、CIFAR-100 和 DVS-CIFAR10 等数据集的最新性能水平。

    May, 2023

  • 改进的动量对比学习基线

    通过在 MoCo 框架中实现 SimCLR 的两个设计改进（使用 MLP 投影头和更多数据增强），我们建立了更强的基线模型，而不需要大的训练批次，从而检验了对比无监督学习的有效性。

    Mar, 2020

  • 共同学习脉冲神经网络中的突触延迟、权重和自适应

    通过协同学习连接权重、神经元适应过程和突触传播延迟等生物灵感神经元特征，本文展示了脉冲神经网络 (SNN) 在数据处理方面的增强，进而在具有丰富时间动态的任务上表现出与等效人工神经网络 (ANN) 类似大小的最先进效果。

    Sep, 2023

  • 基于原型动量对比学习的自监督文本无关说话人验证

    本研究针对发音者验证（SV）探索了自我监督表示学习方法，其中，提出了一种动量对比学习框架的简单对比学习方法（SimCLR），使用排队机制的 MoCo 说话人嵌入系统来维护大量负面例子，通过波形的变形处理方法等方式以规范化两个随机部分的内在发音人的变异性，进一步将提出的 MoCo 说话人嵌入引入到典型的内存银行中，并对半监督框架进行推广，取得了与现有技术相当的性能。

    Dec, 2020

  • 神经形态 MNIST 是否具备神经形态特征？—— 分析神经形态数据集在时域中的判别能力

    研究了 spiking neural networks 在 N-MNIST 和 N-Caltech101 数据集上的表现，使用后向传播训练的人工神经网络在这些数据集上表现出了最好的分类精度，但是，使用非监督学习训练的 spiking neural networks 在 N-MNIST 上达到了 91.78％的准确率，并且揭示了 spiking neural networks 在具有更好表现的率编码模式下不需要精确的尖峰时间。

    Jul, 2018

  • 动量对比自监督学习中中间层的重要性

    通过自我监督学习的方法，采用不同的损失函数，在三个医学成像数据集上，比标准的 MoCo 方法表现更好，特别是在低标记数据情况下，平均增益为 5％，通过更高的特征重用性和更早学习信息提示，提出的预训练方法能够让模型在低标记数据清中呈现更好表现，为预训练方法提供了更多证据。

    Oct, 2021

  • UniMoCo: 无监督、半监督和全监督的视觉表示学习

    提出 Unified Momentum Contrast (UniMoCo) 方法，支持任意比例的有标签数据和无标签数据的训练，在理论和实践上优于有监督对比损失，对于无监督、半监督和监督视觉表示学习具有很好的泛化能力。

    Mar, 2021

  • 神经形态算法硬件协同设计用于时间模式学习

    本文介绍了一种针对 Leaky Integrate and Fire 神经元的高效训练算法，该算法能够训练 SNN 学习复杂的时空模式，并且通过与硬件结合的方式，展示了神经元和突触基于忆阻器的网络实现的原理及优点。

    Apr, 2021