拍卖设计中的模式连接性
本文研究神经网络损失景观的模式连接性,提出了机制相似性的定义,并证明缺乏线性连接意味着两个模型使用不同的机制进行预测。作者还介绍了一种名为基于连接性的微调方法用于正确修改一个模型的机制,以减少对于虚假属性的依赖。
Nov, 2022
本文提出了一种更一般的框架来研究对称性对深度神经网络损失曲面中模式连通性的影响,该框架考虑了网络权重置换的影响,提出了称为神经元对齐的廉价启发式方法来近似最优置换,从而证明了该方法在模式连通性方面的实际效果优越。
Sep, 2020
理论上解释了以往实验观察到的两次随机训练之后找到的两个不同解经常通过简单连续路径(例如线性)通过权重的排列变换相连的现象,基于经验测度的 Wasserstein 距离的收敛速度,我们证明了用随机梯度下降训练的足够宽的两层神经网络的线性连接性,并且对具有独立神经元权重的两个深度神经网络的每层宽度的上下界给出了线性连接性,最后通过展示权重分布支持的维度与线性模式连接性的相关性来验证我们方法的有效性。
Oct, 2023
本文介绍的是一个名为 MenuNet 的神经网络框架,它可以自动化地设计出最优拍卖机制,且在实验中得到的机制都是 incentive-compatible 的,能够在多项收入最优设计中应用,并经过理论证明的机制是最优的。
May, 2018
本文提出使用模态连通性来研究深度神经网络的对抗鲁棒性,并提供了提高对抗鲁棒性的新方法。实验结果表明,使用少量的真实数据学习到的路径连接可以有效地减轻对抗攻击的影响,同时在干净数据上保持原有的准确性。同时,该研究还使用模态连通性来对比分析正常模型和鲁棒模型的损失,在对抗鲁棒性损失的路径上存在壁垒,该损失与输入 Hessian 矩阵的最大特征值之间存在高度相关性。
Apr, 2020
本研究提出了 PreferenceNet,一种基于神经网络的拍卖机制,并利用人类提供的样本对所提出的机制进行了约束编码。同时,该研究引入了一种新的指标来评估拍卖分配的社会可取性,并通过人类主体研究验证了方法的有效性。
Jun, 2021