- 使用特征文本化方法研究 BERT 神经元中单词的编码
计算机视觉中可视化特征提供了一种将视觉模型的神经元信息分解解释的方法,我们的研究受到这一方法的启发并针对大型预训练语言模型进行了活化最大化的尝试;我们提出了特征文本化技术,用于提取预训练语言模型中神经元的知识表示,发现这些表示可以揭示关于神 - 从个体神经元的群体动态学习时不变表达
神经元的高度变化动力学,提出了一种基于自监督学习的方法,通过对种群记录进行置换和不变总结对个体神经元赋予时间不变性表示,对神经元活动进行动力学建模,可实现对转录组标签的预测,大约提升了 35% 的预测转录组亚类别的准确性,并且相对于最先进的 - 使用大型模型对深度视觉神经元进行自动化自然语言解释
通过研究神经元来解释深度神经网络并生成语义解释,以解决目前在此方面的限制、缺乏可伸缩性和适用性的问题。
- 自动神经元解释的提示调整的重要性
通过研究大型语言模型的个别神经元,改进解释提示的方式可以显著提高神经元解释质量并大幅减少计算成本。
- 自适应白化(Adaptive Whitening)基于快速增益调制和慢突触可塑性
通过多时间尺度机制建立的自适应白化模型,使用突触可塑性和增益调节作为生物学适应性的基础,通过短时间尺度的增益调节,长时间尺度的突触学习来实现神经响应的自适应白化。
- 深假视频检测器的普适性研究
研究了 deepfake 检测器的泛化能力,发现现有模型难以适应未经训练的 deepfakes 数据集,但鉴于它们普遍学习合成方法的特定属性并难以提取区分特征,发现有神经元对已见和未见数据集都起到检测作用,为实现零样本泛化能力指明了可能的方 - 预训练纯文本 Transformer 中的多模态神经元
通过向文本转换器添加视觉信息,我们研究了冻结的文本转换器如何使用自监督视觉编码器和单一线性投影将一种模态的学习表示迁移到另一种模态,在转换器内部发现了模态之间的转换,并通过识别多模态神经元和解码它们注入模型剩余流的概念来验证其作用。通过一系 - 音素检索;语音识别;元音识别
提出了一种音素检索技术,其特殊之处在于网络的构建方式。
- 面向脑启发式设计以解决人工神经网络的不足之处
研究了神经科学的机制对 AI 算法的发展具有重要价值,人工神经网络应该借鉴大脑神经元的学习方式,建立个性化的错误空间以预测更加准确的类别和特征,取得更好的迁移性能。
- 生物学可信的语言器官的构架
通过实验,我们展示了一个仿生学上可行的模拟语言器官,由风格化但逼真的神经元、突触、大脑区域、可塑性和感知模型组成,通过希伯规可塑性完成了语言习得的重要早期阶段:只从有限的句子输入中学习名词、动词及其含义。
- 信息形态网络:基于部分信息分解导出的本地学习神经网络
本文提出了一种新型的模型神经元,通过优化抽象本地信息处理目标模拟生物神经元的功能特征,并且提出了一种相应的参数本地学习规则作为神经网络的基础,称为 “infomorphic 网络”,通过利用 PID 框架的解释能力和可解释性,这些 info - 使用深度学习进行神经元细胞类型分类
使用深度学习框架和 Allen 细胞类型数据库,对小鼠和人类的神经元进行分类,实现了解释性和推理,同时发现了神经元类型与其电生理特性之间的相关性。
- 通过非局部先验进行贝叶斯尖峰列车推断
神经科学的进步使得研究人员能够同时测量行为动物中大量神经元的活动。我们提出了一种基于混合半非局部先验密度和点质量的贝叶斯方法,用于从荧光迹线中确定神经元的确切尖峰,以实现对神经活动的近似。与基于优化的频率方法相反,我们的方法能够自动量化与尖 - 通过神经网络的随机多样性进化学习行动
本文提出将神经网络的神经元进行参数优化,以获得能够执行复杂计算的不同类型的神经元,并展示了如何通过演化神经元参数来解决各种强化学习任务。研究结果表明,神经元的多样性有助于提高神经网络的计算能力。
- 通过强化学习和无监督学习的融合控制神经网络的突触可塑性
提出了一种基于突触可塑性动态的学习规则,该规则通过融合强化学习和非监督学习模拟误差反馈机制和两个重要机制,包括错误反馈系统以及非监督学习。
- EMNLP在预训练的基于 Transformer 的语言模型中寻找技能神经元
本论文研究了预训练 Transformer 中某些神经元的激活与特定任务的关联性,发现这些神经元被称为技能神经元,并证实它们对于任务的处理至关重要且具有任务特异性,可通过适当的微调或冻结车舱重用提取得到。此外,还探索了技能神经元的应用,包括 - 循环神经网络神经元的自动合成
我们介绍了一种新的神经元 ——ARNs,它们通过时间上的跨度、每个神经元的内部存储状态以及一些新的激活函数来提高机器学习在时间序列数据上的表现。利用自动编程生成这些新的神经元,可以显著提高性能,成为任何处理时间序列数据(如传感器信号)的机器 - 语言相关性分析:在深度 NLP 模型中发现显著神经元
该研究利用 Linguistic Correlation Analysis 技术,定位和提取能够预测不同语言任务的少量神经元,研究表明深度 NLP 模型中神经元的学习特征高度分布和冗余,预训练模型的微调也会影响学习到的语言知识,同时还发现多 - 一种新的机器学习分类问题的提出与验证
本文提出了一种新的机器学习算法,它基于研究神经元的特性,利用神经元的 EPSP / IPSP 抵消现象,通过对神经元进行精确刻画,实现对分类问题的最优化预测,实验结果表明,该方法在鸢尾花分类、二手车排名和鲍鱼环分类问题上比神经网络更优。
- CVPR导航代理学习到了哪些关于环境的信息?
本文介绍了一种解释具有符号感知(Embodied)的 Point Goal 和 Object Goal 导航代理的方法,即 “Interpretability System for Embodied agEnts (iSEE)”,并使用该方