解读超复数：超复数深度学习中的归纳偏好

May, 2024

解读超复数：超复数深度学习中的归纳偏好

Demystifying the Hypercomplex: Inductive Biases in Hypercomplex Deep Learning

Danilo Comminiello, Eleonora Grassucci, Danilo P. Mandic, Aurelio Uncini

TL;DR为了更高效和准确地解决多维信号处理问题，本文提供了一个基础框架来解释超复深度学习方法成功的原因以及如何充分利用其潜力，并以归纳偏差的理论框架来描述。这一新颖的超复深度学习视角将有助于使这一类方法更为清晰与易懂，并将其作为传统实数深度学习的替代选择推广至多维信号处理。

Abstract

hypercomplex algebras have recently been gaining prominence in the field of deep learning owing to the advantages of their division algebras over real vector spaces and their superior results when dealing with mu

hypercomplex algebras deep learning inductive bias multidimensional signals hypercomplex deep learning

发现论文，激发创造

深度生成模型中的偏差和泛化：一个实证研究

本文提出一个系统研究深度生成模型的偏差和泛化的框架，并通过认知心理学实验方法探讨其生成新属性和组合的特点与人类心理学的相似之处。作者发现这些模式与常用模型和结构一致。

Nov, 2018

迈向归纳偏差的精确计算

我们提出了一种计算归纳偏差的新方法，该方法涉及对来自假设空间的随机假设的损失分布进行建模，以估计相对于这些假设需要的归纳偏差，从而提供了一种信息理论解释特定模型架构对特定任务的好处的度量，并为开发需要更大归纳偏差的任务提供了定量指导，从而鼓励更强大的归纳偏差的发展。

Jun, 2024

关于深度强化学习中的归纳偏差

本文研究了深度强化学习算法中的归纳偏见及其对算法性能的影响，并通过实验发现了某些领域特定组件的更有效的自适应解决方案可能会提高算法性能。

Jul, 2019

深度学习高层认知的归纳偏好

本文提出了一个假设，认为人类和动物的智能可以由少数原则解释，这些原则可以帮助我们建立灵活、具有系统化泛化能力的人工智能系统，从而弥补当前机器学习与人类智能之间巨大的差距，并提供 AI 研究和神经科学理论的灵感来源。

Nov, 2020

输入级别感应偏置用于 3D 重建

本文通过将几何归纳偏置直接注入模型作为额外输入，而非使用特殊架构，来解决 3D 重建问题。研究将摄像机、投射光线和对极几何编码为模型输入，并在多个基准测试上展示具有竞争力的多视图深度估计性能。

Dec, 2021

基于分层张量分解的卷积网络分析与设计

本文通过等价于分层张量分解的方式，分析了各种卷积神经网络架构特征的表达效率和归纳偏置，并提供了新的网络设计工具。

May, 2017

探索超复数神经网络

本文提出了内在可解释的 PHNNs 和矩形网络，并使用 PHB-cos 变换方法对参数化超复域进行解释。对超复型网络进行了深入分析，发现其倾向于将注意力集中在感兴趣的目标形状及其周围的形状上。

Mar, 2024

深度卷积网络中归纳偏见的理论分析

本文研究卷积神经网络中的归纳偏差，证明了一定深度下 CNN 可以进行连续函数的逼近以及 CNN 具有吸收长距离稀疏相关性的能力，并通过对称性分析证明权重共享与局部性对学习的重要性。

May, 2023

InBiaseD: 通过感知形状来改善归纳偏置蒸馏从而提高泛化性能和鲁棒性

提出了 InBiaseD 来提取感知偏倚和为神经网络带来形状意识。该方法通过偏差对齐目标来强制学习更通用的表示，从而减轻了深度神经网络中的一些缺点，如易受损的数据。 InBiaseD 通过无缝插入现有的对抗训练方案，对改善分类和鲁棒性之间的平衡起到了帮助的作用。

Jun, 2022

归纳偏置学习模型

本文研究了自动学习偏见的模型，该模型假设学习者嵌套在相关学习任务的环境中，并在此环境中搜索包含良好解决方案的假设空间，进而获得更好的推广效果。

Jun, 2011