神经表示基准及其在脑和机器上的评估
通过核方法评估,本文针对实验和计算考虑,比较了深度神经网络和灵长类动物视觉系统在目视物体识别任务中的表现,结果表明最新的深度神经网络做到了与灵长类动物视觉皮层相匹敌的表现水平,并发现在表示学习性能良好的模型在表示相似度和特定皮层多单元反应预测方面也表现良好。
Jun, 2014
本文提出了一种基于伪核的新工具,用于分析和预测网络学习到的表示,通过验证其在简单测试案例上的使用,本文论证了该方法可预测权重初始化和训练计划对表示学习和下游并发多任务执行表现的影响。
Jul, 2023
通过对非侵入式脑电图记录进行对齐,我们提出了 “Re (presentational) Al (ignment) Net”,这是一个与人类大脑活动对齐的视觉模型,其与人类大脑表征更加相似,从而在人工智能领域取得了突破。
Jan, 2024
通过对小鼠大脑(涉及多个皮层区和亚皮层区)成像图像的研究,发现自监督方法可以用来学习能够捕获图像多个属性的表征,并在多个下游任务上表现良好的特征。提供了多任务神经影像基准(MTNeuro)的数据集,注释和多个下游任务,其中包括对大脑结构和架构的不同预测挑战。
Jan, 2023
在这项工作中,我们探讨了表示学习和解释所学的表示在机器学习和神经科学中的关键领域,并发现了表示与计算之间一些令人惊讶的脱节现象,这可能对相关工作构成挑战。我们通过创建数据集来匹配不同特征的计算角色,并操纵特征或数据的其他属性。我们训练各种深度学习架构以计算这些关于输入的多个抽象特征,并发现他们学到的特征表示在表示一些特征时存在系统性的偏倚,这些偏倚依赖于特征的复杂性、特征学习的顺序和特征在输入中的分布。同时我们还探索了这些偏差对体系结构、优化器和训练方案的影响。这些结果有助于描述基于梯度的表示学习的归纳偏差,同时突出了理解性或对比模型和大脑之间表示的关键挑战,即区分系统内部表示的外部偏差和计算上重要的方面。
May, 2024
为了理解生物和人工神经网络的操作,研究者们需要一个标准化的工具集来量化其结构等因素对神经表征的影响,这篇论文提出了一族量化表征不同神经网络之间相似性的度量空间,利用这个框架使得神经网络表征可以整合进任意的机器学习方法中,然后利用大规模生物和深度学习数据集来验证这些方法,最终找出了神经表征之间与结构和性能之间的关系。
Oct, 2021
本文提供一个综合性的比较不同无监督学习方法在图像特征表达方面的表现,使用线性评估、最近邻分类和聚类等多个基准测试来定量比较,分析了不同嵌入度量的均匀性、容忍性和中心内核对齐,并提出了两个新的度量。通过比较分析发现不能以单一流行的方法来代表整个领域的研究,在未来的工作中,应考虑如何利用这些方法的互补性。同时提供了一个统一的框架来定量数据增强不变性,并提醒不同任务需要的增强不变性类型各有差异。
Jun, 2022
通过对多单元猴 IT 皮质的记录对比了几种具有不同深度和正则化技术的 ConvNets 的表征相似性,并评估其对灵长类视觉皮层的影响。我们发现,随着深度和验证性能的增加,ConvNet 特征越接近皮质 IT 的表征。
Sep, 2016