CaDeX: 通过神经同胚学习表征动态表面的规范变形坐标空间
通过识别神经表示、潜在空间、潜在交流、相对表示和数据模态关键词,研究发现神经网络的潜在表示具有普适性和可重用性,可以在不同模型之间传递和转化,实现生成、分类和检索等任务,跨图像、文本、音频和图形等各种数据模态。
Jun, 2024
重建现实世界的模型,包括三维几何、外观和场景的运动,是计算机图形学和计算机视觉的核心问题。该研究汇总了最新的技术,并讨论了非刚性场景的三维重建、场景分解和编辑、通用建模等内容,同时探讨了其中的限制和挑战。
Mar, 2024
研究目的是调查言语知觉的复杂机制,并最终解码在听取言语时发生的大脑电生理学变化。我们尝试使用深度学习方法从颅内脑电数据中解码听到的言语,目标是促进言语合成的脑 - 机接口技术的发展,并为言语知觉的认知过程提供额外的视角。这一方法不同于传统的言语产生焦点,而选择调查感知言语的神经表达。通过利用深度学习模型的能力,研究旨在建立这些复杂神经活动与相应言语声音之间的联系。尽管该方法尚未取得突破,但研究揭示了解码言语知觉期间神经活动的潜力。我们目前的努力可以作为基础,并且我们对拓展和改进这项工作以更接近先进的脑 - 机接口、更好地理解言语知觉过程及其与口语之间的关系的潜力持乐观态度。
Feb, 2024
人和动物可以认识到环境中的潜在结构,并将这些信息应用于有效地导航世界。本论文开发了一个分析理论,将神经群体活动的中等统计特性与多任务学习问题上的泛化性能相联系。利用这个理论,我们发现实验观察到的因素化(或解缠)表示自然地成为多任务学习问题的最优解,同时验证了来自生物和人工神经网络数据的理论预测。这些结果将神经群体几何学与多任务学习问题联系起来,并对这些场景中的群体活动结构进行正式预测。
Feb, 2024
利用对比学习的表现力,本研究通过 Electroencephalogram (EEG) 技术构建了一种共享时间空间脑电图(EEG)表示的通用框架,被称为 CL-SSTER。通过在不同个体之间最大化相似度的神经网络,CL-SSTER 能产生可靠的空间和时间模式,并有助于识别自然神经科学中跨个体共享的神经表示。
Feb, 2024
通过引入度量学习编码模型(MLEMs)作为一种新方法,本研究运用 MLEMs 将从 BERT 提取的神经表示应用于跟踪各种语言特征,并发现:(1)语言特征被排序,不同层次中句子的表示有不同程度的分离;(2)神经表示按层次组织,某些层次中,表示被嵌套在更大的表示群集中,遵循连续重要的语言特征;(3)语言特征在中间层次被解耦,不同语言特征激活不同的单位。在方法上,MLEMs 优于多变量解码方法(4),更 robust 于 Ⅰ 类错误,并且优于单变量编码方法(5),能够预测局部和分布式表示。这证明了度量学习编码方法在研究语言模型中语言特征如何神经编码以及 MLEMs 相较传统方法的优势。MLEMs 可以用于其他领域(例如视觉)和其他神经系统,如人脑。
Feb, 2024
通过权重、Jacobian 和谱规范化评估性能和对抗性鲁棒性,研究了表示平滑性和谱之间的关联,为未来探究动物和人工系统中的幂律谱和最优平滑编码机制奠定基础,从而更好地理解实现哺乳动物大脑中鲁棒神经网络和开发更加稳定可靠的人工系统的机制。
Feb, 2024
生成 3D 模型是计算机图形学的核心,并且已经成为几十年研究的重点。随着先进的神经表示和生成模型的出现,3D 内容生成领域正在快速发展,使得越来越高品质和多样化的 3D 模型得以创建。本文调查了 3D 生成方法的基本方法,并建立了一个结构化的路线图,包括 3D 表示、生成方法、数据集和相关应用。最后,我们讨论可用的数据集、应用和面临的挑战。希望本调查能帮助读者探索这个激动人心的主题,并促进 3D 内容生成领域的进一步发展。
Jan, 2024
通过神经表征,当前人类头部建模的进展允许生成逼真的 3D 头部模型。然而,构建完整的高保真度头部模型,并在明确控制动画的同时保留细节仍然是一个问题。我们引入了一种生成模型,用于在可显式动画和高细节保存之间创建详细的 3D 头部网格。
Dec, 2023
采用深度学习和脑解码技术,本研究通过跨参与者对齐脑响应视频和静态图像,提高了脑解码性能,并将神经表征与脑解剖结构相一致,为扩展神经成像数据集和增强有限脑记录的个体解码奠定了基础。
Dec, 2023