Jul, 2020

现代 Hopfield 网络和注意力机制在免疫库分类中的应用

PDF
TL;DR研究表明，转换器体系结构的关注机制实际上是现代 Hopfield 网络更新规则，可以存储指数级多个模式，在免疫库分类等具有大量示例的问题中可以利用这种高存储容量来解决问题。通过将转换器类似的关注与现代 Hopfield 网络相结合，我们提出了 DeepRC 方法，对于包括模拟和真实世界病毒感染数据在内的大规模实验，DeepRC 能够在预测性能方面胜过所有其他方法，并可以提取与给定疾病类别相连的序列模体。
发现论文，激发创造
  • Hopfield 网络是您所需的全部

    引入了一种新型的 Hopfield 神经网络，具有连续状态和相应的更新规则，可存储指数数量的模式，具有很小的检索误差。该网络可用作深度学习架构的一层，以允许存储和访问原始输入数据、中间结果或学习原型，并提供池化、记忆、关联和注意机制。

    Jul, 2020

  • 免疫库分类和疾病相关免疫受体序列识别的噪声标签学习方法

    通过噪声标签学习的方法解决免疫库分类任务，设计了鲁棒的训练策略，并通过同时训练两个具有相同结构但参数初始化不同的模型来改善已知的 “确认偏差” 问题。在 Cytomegalovirus（CMV）和癌症数据集上的实验验证了该方法在序列级和免疫库级任务上的有效性和优越性。

    Jul, 2023

  • 基于循环发现注意力区域的多标签图像识别

    本文提出了一种利用深度学习技术中的循环记忆 - 关注模块来实现图像多标签分类识别的新方法。通过不使用候选区域提取方法，从卷积特征图中定位注意区域，并使用 LSTM 子网络对这些区域进行语义标记和全局依赖性的序列预测。试验表明该方法在识别准确率和效率上均优于现有技术。

    Nov, 2017

  • 带有种植模式的 Hopfield 模型：教师 - 学生自监督学习模型

    借助 Boltzmann 机的适当泛化 Hopfield 模型的结构化模式，构建了一个教师 - 学生自我监督学习问题模型，通过研究相图性质以及训练集大小，数据集噪声和推断温度对学习性能的影响，机器可以通过记忆来学习，并实现泛化学习。

    Apr, 2023

  • 基于注意力机制的深度多示例学习

    本文提出了一种基于神经网络的置换不变聚合运算符，并展示了其在多个 MIL 数据集上的实验表现，特别是在两个真实组织病理学数据集上的表现，同时保持了可解释性。

    Feb, 2018

  • 分层联想记忆

    本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

    Jul, 2021

  • AIRIVA：自适应免疫库的深度生成模型

    采用自适应免疫库不变变分自编码器（AIRIVA）模型，成功地将 T 细胞受体（TCR）免疫库在不同群体遗传学和测序深度的条件下的变化分离，实现了病原特异性 TCR 识别，并应用于 COVID-19 的感染和疫苗，以及单纯疱疹病毒（HSV-1 和 HSV-2）的研究。

    Apr, 2023

  • MDMLP: 使用 MLP 在小数据集上从零开始进行图像分类

    本文研究了注意力机制对于自然语言处理和图像识别任务的应用。通过提出一种轻量级的基于 MLP 的多维 MLP 结构，并采用新型的 MLP 注意力工具，我们实现了在小数据集上的从头训练的 SOTA 结果，同时具备出色的解释能力。

    May, 2022

  • 非参数化现代 Hopfield 模型

    我们提出了一种用于深度学习兼容的现代 Hopfield 模型的非参数构建方法，并利用该框架推出了一种高效的变体。

    Apr, 2024

  • 使用循环神经网络预测 SARS-CoV-2 肽段与主要组织相容性复合物的结合

    利用机器学习预测病毒肽与主要组织相容性复合物的结合有助于疫苗开发，并成为抗击大流行病的关键组件。本研究基于循环神经网络，将来自不同数据源的回归器（结合亲和力数据）和分类器（质谱数据）组合以获得更全面的预测工具，并在最近发布的 SARS-CoV-2 数据集上进行了评估，结果表明 USMPep 不仅在选定的单一等位基因上创造了新的最佳表现，而且在某些度量标准上甚至是整体最佳表现的方法之一。

    Apr, 2021