- UniBrain:将图像重建与字幕生成统一于一个扩散模型之中从人脑活动
通过人脑活动诱发的视觉刺激来进行图像重建和字幕生成,UniBrain 提出了一种统一的人脑活动扩散模型,通过 fMRI 转换文本和图像潜在信息,并通过 CLIP 引导反向扩散过程,从而生成具有低级细节和高语义真实感的图像和字幕。在图像重建和 - 视觉编码模型与缩放定律的适用性
探索如何构建高性能视觉编码模型以预测脑活动,通过研究功能性磁共振成像(fMRI)数据中的视觉模型参数大小和样本量对预测准确性的影响,结果表明增加训练集样本量和视觉模型参数大小能够提高预测准确性,从而更好地理解视觉神经科学。
- Brain2Music: 从人类脑电活动重构音乐
通过功能性磁共振成像(fMRI)捕获的脑活动,我们介绍了一种从脑活动重构音乐的方法,该方法使用音乐检索或 MusicLM 音乐生成模型,根据 fMRI 数据的嵌入来生成类似于人类主体经历的音乐,包括语义特征如流派、乐器和情绪。我们通过体素编 - GOKU-UI: 连续时间生成模型的注意力和多次射击普遍推理
本文介绍了 GOKU-UI,一个基于 Scientific Machine Learning(SciML)演化而来的生成模型,它通过在潜空间中使用注意力机制和新型的多发射训练策略,结合不同种类的微分方程,实现分布式推理,显著提高了模型的性能 - 利用多个解码输入通过潜在扩散模型改进从人脑活动中重建视觉图像
通过深度学习和神经科学的整合,本研究使用多种不同的解码技术对视觉体验的再建进行了实验,证明了这些技术能够大大提高基线准确率。
- Second Sight: 使用脑部优化的编码模型将图像分布与人类脑活动对齐
提出了一种名为 Second Sight 的新型重建过程,该过程通过迭代方式显式最大化挑战任何目标图像所引起的脑活动模式的体素编码模型的预测与脑活动模式之间的对齐,从而在语义内容和低级图像细节方面不断改进损伤图像,解决了多种输入图像问题。
- 以基于质量的图为基础的记忆:构建人类记忆在 AI 中的概念性框架的模拟模型
本文提出了一种用于模拟记忆和学习的模型,该模型将记忆的地形差异转化为节点上的量,并且可以动态地发展和修改。
- 通过引导性随机搜索从人脑活动中重建已见图像
利用条件生成扩散模型对大脑活动中的语义描述符进行可视化重建,有效改善了搜索策略,同时保持了低级图像细节的精细度和语义信息的一致性,并且发现该过程的收敛时间与视觉皮层的区域差异有关。
- 时延多特征相关性分析从 EEG 信号中提取微小依赖
该论文提出了一种自动分解和提取脑电信号的方案,将信号的统计依赖作为多项式建模,并使用 PCA 降维找到显著的依赖方向,从而获取描述分离统计依赖的滞后相关特征,此方法提取了更复杂的行为并有助于理解皮层的潜在动力学,诊断癫痫等病症,确定精确的电 - 研究人类大脑句子理解的深度学习模型
回顾了和人脑活动相关的人工语言模型研究,发现人工神经网络中单词意义的神经表征与其使用的密集词向量高度吻合,并且人工神经网络内部的处理层次与人脑有相似之处,但是依据研究的不同而有所不同。因此,建立人工神经网络作为自然语言理解过程模型的当前挑战 - 从非侵入式脑记录中解码语音
通过对大量受试者进行对比学习,使用自我监督方法设计的神经网络可以从无创脑电图数据中有效识别自由自然语言,为实现从脑电图中实时解码自然语音处理提供了有前途的途径。
- 自然视觉图像重建的脑启发解码器
本文介绍一种基于深度学习的神经网络结构,通过脑电波等脑活动信号重构视觉图像,将感受野特性结合到损失函数中,有效地提高了视觉重构的精度和效果
- 神经语言模型并非一出生就适合大脑数据,但训练有助于改善
本文探讨了使用神经语言模型对大脑活动进行研究的方法,主要研究了测试损失、训练语料库和模型架构对捕捉大脑活动的影响,并提出了未来研究的良好实践建议。
- 基于脑机制编程的决策认知架构
本文介绍了一种认知体系结构,其基于五个已确定的大脑活动原则,以三个子系统的实现为基础:逻辑概率推理、概率形式概念和功能系统理论。建立体系结构需要实现任务驱动方法,以允许将应用程序的目标函数定义为在应用本体中表达的任务,因此我们提供了一组基本 - MM脑动力学多重空间时间模型中社区的排名
该研究使用隐藏马尔科夫模型(HMM)来构建多层的带有时空结构的网络模型,探索动态脑活动和区域之间的交互。结果显示出支持神经熵理论的新证据,同时也支持原有的模块化处理假设。
- 我的大脑关注哪里?从脑活动预测视觉注意力
本文研究基于 EEG 采集数据的图像视觉注意力识别算法,结果表明其效果与传统基于图像分析的方法相当,数据集和代码已提供。
- ICML使用深度网络在大脑中区分语法和语义
通过对 GPT-2 的激活进行统计的方法,将语言模型的高维度激活分解成四个组合类别:词汇、组合、句法和语义表示,并发现组合表示比词汇表示更广泛地招募了大脑皮层网络,并且句法和语义共享一个分布式神经基础。该研究提出了一个多功能的框架来分离神经 - 诱导自然语言处理模型中的大脑相关偏倚
本研究证明对 BERT 模型进行微调,可提高其对人们阅读文本时脑活动的预测能力,模型学习到的语言与脑活动之间的关系可以跨越多个参与者,同时不影响模型在自然语言处理任务方面的表现,这对于研究大脑中的语言理解具有显著意义。
- ChronoNet: 一种用于异常 EEG 识别的深度循环神经网络
本文介绍了一种基于 RNN 的神经网络 ChronoNet,通过对 EEG 数据进行自动分析来诊断癫痫等脑部疾病。ChronoNet 可显著提高患者诊断水平,并成功地应用于分类语音命令。
- IJCAI连接 LSTM 结构与阅读过程中的神经动态
本文研究了长短时记忆神经网络(LSTM)的认知合理性,并通过将其内部架构与读故事时观察到的脑活动进行对齐来验证其工作机制,实验结果表明 LSTM 人工记忆向量可以精确预测连续性的脑活动,揭示了 LSTM 架构和阅读故事的认知过程之间的相关性