Aug, 2023

存储编码模型

PDF
TL;DR我们通过将与记忆相关的信息作为输入来探索一种新的脑编码模型。在视觉 - 记忆认知任务中，我们发现非视觉脑部在很大程度上可以通过先前看到的图像进行准确预测。我们的记忆编码模型（Mem）在 Algonauts 2023 视觉脑竞赛中获胜，即使没有模型集成（单一模型得分 66.8，集成得分 70.8）。我们的没有记忆输入的集成模型（61.4）也获得了第三名。此外，我们观察到周期性延迟的脑响应与第 6-7 个先前图像相关，并且海马体的活动也与这种周期性保持一致。我们推测周期性重放可能与增强工作记忆的记忆机制有关。
发现论文，激发创造
  • 基于联想存储模型的现实世界数据分类和生成

    使用 Willshaw Memory 模型和 Multiple-Modality 框架实现稀疏编码，能够储存和检索大量的现实数据，并且支持多模态同步存储与检索以及缺失模式进行推理，该框架可用于其他的学习任务。

    Jul, 2022

  • 一种辅助引入语义信息的多模态视觉编码模型

    基于刺激图像和相关文本信息的多模态视觉信息编码网络模型，将口头语义信息作为新信息嵌入视觉编码模型，通过 Transformer 网络对图像和文本特征信息进行对齐，构建多模态特征空间。实验结果表明该模型的性能优于先前的模型，并且消融实验证明我们提出的模型更好地模拟了大脑的视觉信息处理。

    Aug, 2023

  • 深度神经网络与脑部对齐：脑编码与解码（调研）

    研究通过功能性磁共振成像对大脑的记录，分析了编码模型和解码模型的应用，尤其关注深度学习算法的效果、好处和限制，并总结了神经科学数据集的代表性研究。

    Jul, 2023

  • 基于视网膜地形学的大脑编码模型及全能训练法

    使用多个小型模型聚合知识并保留不同功能区域之间的差异，利用大量公开数据和生物知识构建了最全面的脑部编码模型，该模型可用于替代常用的视觉模型，并应用于脑解码。

    Jul, 2023

  • 通过参照信息的重复和预测支持流式数据问答的记忆模型

    本文借鉴了人类记忆的机制，提出一种新的记忆模型，在处理输入时进行了排练和预测以记住重要信息，成功应用于问题回答数据集并得到了重大改进。

    May, 2023

  • 视听语言大脑编码

    本文系统探讨了图像转换器和多模态转换器在大脑编码方面的有效性，发现多模态转换器 VisualBERT 在编码上远优于之前提出的单模态 CNN、图像转换器以及其他先前提出的多模态模型，这表明视觉语言模型的优越性，产生了人们是否在被动地查看图像时，视觉区域的响应是否受到语言处理的影响的问题。

    Apr, 2022

  • 任务专用语言模型集成的脑编码

    通过将 10 种常用语言模型进行集成，我们的研究在所有感兴趣区域上比当前基准结果提高了平均 10% 的性能。

    Oct, 2023

  • 基于多模态 Transformer 的大脑编码模型可跨越语言和视觉进行转移

    本研究旨在探究多模态变形器提供的洞察能力，通过对多模态编码模型进行训练，发现多模态变形器学习了语言和视觉中概念表示的更多对齐性，并且可以有效预测大脑对于故事和电影的 fMRI 反应，从而揭示了多模态处理的潜力和相关的概念表示模型的比较。

    May, 2023

  • 记忆、空间和计划：多尺度预测表示

    记忆与预测与规划密不可分。灵活的生物和人工智能代理行为取决于学习过去和预测未来在不断变化的环境中的相互作用。本章回顾了计算、行为和神经证据，表明这些过程依赖于学习经验的关系结构，即认知地图，并得出两个关键点。首先，这些记忆结构以多尺度、紧凑的预测性表示形式组织在海马体和前额皮质层次结构中。其次，我们认为这种预测性记忆结构对海马体和前额皮质的互补功能至关重要，既能回忆出详细一致的过去片段，又能以不同尺度对经验进行概括，以实现高效的预测和规划。这些见解提升了我们对大脑中记忆和规划机制的理解，对推进人工智能系统具有重要意义。

    Jan, 2024

  • 利用脑部活动预测想象的内容

    研究使用机器学习技术对人脑成像数据进行分类，统计分析显示无论奖励是想象还是视觉呈现，人类中脑区域都会被激活。

    Jun, 2021