- 基于等变性的幻觉理论
不足的等变性可以导致幻觉,提出了一种基于 T5 模型的新技术来破译密码,该模型在字符级别上几乎能完全解决密码,证明了它在获取等变性方面的能力。该方法可扩展到单词级和句子级替换密码,适用于研究等变性获取不足与幻觉出现之间的关联。
- MM对称破缺与等变神经网络
对称性在深度学习中作为归纳偏置已经被证明是一种高效的模型设计方法。然而,在神经网络中对称性与等变性的关系并不总是显而易见。本研究分析了等变函数中出现的一个关键限制:它们无法针对单个数据样本进行对称性打破。为此,我们引入了一种新的 “放松等变 - (可证明的)群等变任务中的对抗鲁棒性:图形,点云,分子等
机器学习模型的稳健性不仅需要考虑输入微扰对其预测的影响,还要考虑任务的等变性。本研究首次提出了适用于等变性任务的对抗稳健性概念,并证明了通过选择符合任务等变性的模型和进行传统的对抗稳健性认证可以实现可证稳健性。此外,本研究还通过等变性保持随 - 等变的即插即用图像重建
通过强制使去噪器对特定变换群(旋转、反射和 / 或平移)保持等变性,本研究展示了在插拔式算法中如何提高算法的稳定性和重建质量,并通过理论分析说明了等变性在性能和稳定性上的作用。我们提出了一种简单的算法,通过在算法的每次迭代中对去噪器的输入应 - EquivAct: SIM (3) 对称视觉运动策略的非刚性物体操控
利用等变结构和数据增强技术,通过训练简单任务模型以实现物体的平移、旋转、缩放等变换,并直接将其迁移到不同尺寸、位置和方向的物体上,从而实现机器人在可变形和关节物体的操作任务中的泛化。
- 等变换器即所需
通过引入对称等变性注意力机制,我们将其应用于自学习蒙特卡洛方法,并在二维格上的自旋 - 费米模型中观察到类似于大型语言模型的缩放率的接受率,并克服了线性模型的低接受率。
- 通过李代数卷积实现准等变性
在机器学习领域,最近,模型对于群作用的等变性已经成为重要的研究主题。本研究通过利用 Lie 群的 Lie 代数,提出了一种新颖的几乎等变性定义,并给出了一种将几乎等变性编码到模型中的实用方法。进一步,该研究还证明了等变性与等距性的关联以及几 - 等变神经网络的李群分解
使用李群和李代数的结构与几何学,提出了一个框架,用来在大多数情况下处理几何变换的不规则群,重点关注李群 GL+(n, R) 和 SL (n, R),以及它们作为仿射变换的表示。通过将 `较大的` 群分解为子群和子流形来实现不变积分和全局参数 - ICCV提升现有的监督式深度和法向预测模型的等变性
提出了一种新的正则化技术,通过平均过程和自洽损失来显式促进深度和法线网络在剪裁和调整大小方面的等变性,改善了密集预测模型在 Taskonomy 任务上的监督和半监督学习性能。
- FRS-Nets:傅立叶参数化旋转和尺度等变网络用于视网膜血管分割
通过构建傅立叶参数化的 FR-Conv(旋转和缩放等变)卷积操作符,来在卷积神经网络中嵌入更多的等变性,用于视网膜血管分割,实现对精确度的要求,并在公共数据集上进行全面实验验证,结果表明 FRS-Nets 在参数量约为基线模型的 13.9% - 流分解表示学习
流式因式分解表示学习是一个新颖的结构化表示学习视角,该模型通过动态最优输运的梯度场生成一组不同输入变换的潜在概率路径,并在标准表示学习基准上获得更高的似然度,同时接近于近似等变模型,具有鲁棒性和广泛适用性。
- 使用与滥用等变性
我们研究了群等变卷积神经网络如何使用子采样来打破对其对称性的等变性,并探讨了对网络性能的影响。我们发现,即使输入维度只有一个像素的微小变化,常用的架构也会变得近似等变,而不是完全等变。当训练数据中的对称性与网络的对称性不完全相同时,近似等变 - 旋转等变对比学习结构化表示几何
本文提出了一种自我监督的学习方法,通过向嵌入空间添加额外的几何结构以获得更有意义的数据差异性表示,并引入等变目标使旋转操作在球面嵌入空间上的表现更佳,从而取得了更好的性能表现。
- $E (2)$- 等变视觉转换器
本文介绍了一种利用新型有效的位置编码操作符来设计 Group Equivariant Vision Transformer(GE-ViT)模型来解决 Vision Transformer(ViT)模型中的内在等变性学习问题,通过实验在标准基 - 群等变傅里叶神经算子用于偏微分方程
本研究旨在通过傅里叶神经算子来求解偏微分方程,从而将对称性编码到神经算子中以获得更好的性能和更容易的学习,通过将群卷积扩展到频域并设计傅里叶层使其在旋转、平移和反射等变换下等变,从而实现了广义的 G-FNO 体系结构。
- 使用 NERO 评估机器学习模型:在轨道上揭示非等变性
提出一个名为 NERO Evaluation 的新型评估流程,旨在关注模型的等变性、紧密捕捉模型的可靠性,并通过模型输出的交互式可视化效果有效地解释模型行为。同时,提出一种替代基于真实值的方法 —— 共识方法,以评估模型的等变性。
- 神经网络中线性群的学习
本文介绍了一种神经网络的架构 —— 线性群网络 (LGNs),其不需要提前规定对称性,在不需要监督或知道数据中隐藏的对称性的情况下,学习作用于神经网络权值空间上的线性群,并且可映射到机器学习中的已知操作。我们使用 LGNs 在多个数据集上学 - Banana: Banach 定点网络在点云分割中的应用,具有 Inter-Part 等变性
本文介绍了一种名为 Banana 的 Banach 不变点网络,用于将分割等变性与部分分配标签和部分 SE (3) 等变性同时演化。通过实验,我们证明了我们的方法在形状和拓扑结构发生大量变化时,即使在受到部分间转换的影响时,也能有效地实现强 - 深度等变超球
提出了一种基于超球体和正则 n - 单纯形的学习 nD 特征使点云分析在正交转换下等变的方法。实验结果验证了该方法的理论贡献,并展示了深度等变超球体的实际应用潜力。
- HARD:用于鲁棒蒸馏的强化增强
本文介绍了一种称为 HARD 的数据增强框架,它使用数据增强技术改进了知识蒸馏 (KD) 的过程,并使得 KD 对于准确性、收敛速度和泛化能力都有了显著提高。