- 从心理测量学角度攻击大型语言模型以评估隐性偏见
大型语言模型（LLMs）的普及引发了对其可能产生的不道德内容的增加关注。本文通过利用精心设计的指令进行攻击，以评估 LLMs 对特定群体的潜在偏见。我们提出了三种攻击方法（伪装、欺骗和教授），并构建了四种常见偏见类型的评估数据集。对典型 L - Adam 算法在可分数据上的隐含偏差
当训练数据是线性可分的时候，Adam 会收敛到一个线性分类器，能够达到最大的 l∞- 边界，并且此收敛在多项式时间内发生，这一结果从理论角度揭示了 Adam 和（随机）梯度下降之间的差异。
- 半梯度 Q-learning 中的隐性偏差探究：通过福克 - 普朗克方程可视化有效的损失景观
该论文介绍了在二维参数空间中构建和可视化有效损失景观，揭示了全局最小值如何转化为有效损失景观中的鞍点，以及半梯度方法的隐含偏差。此外，论文还证明了高维参数空间和神经网络设置下，从损失景观中的全局最小值产生的鞍点仍存在于有效损失景观中。该论文 - 对抗鲁棒广义化中隐性偏见的代价
我们研究了鲁棒经验风险最小化（鲁棒 ERM）中的优化隐性偏差及其与鲁棒泛化的关系。在面对带有线性模型的对抗干扰的分类设置下，我们研究了应该为给定的扰动集合理想地应用什么类型的正则化来改善（鲁棒）泛化。然后，我们表明鲁棒 ERM 中的优化隐性 - 大型語言模型中線性表示的起源
高层语义概念在大型语言模型的表示空间中按线性方式编码；本研究通过引入简单的潜在变量模型来研究这种线性表示的起源，并证明了下一个标记预测目标和梯度下降的隐式偏差共同促进了概念的线性表示。
- 下一标记预测的隐性偏见
利用渐进式下降算法在 NTP 训练中获得最佳性能解决方案，研究了梯度下降方法在 NTP 训练中的偏向性和最优解相关性，并提出了进一步研究的方向，以更好地理解使用 NTP 进行训练的模型的优化、泛化和鲁棒性原则。
- 含噪声 SGD 中的隐式偏差：与差分隐私训练的应用
使用小批量随机梯度下降（SGD）训练深度神经网络（DNNs）相对于大批量训练具有卓越的测试性能。这种随机梯度下降的特定噪声结构被认为是导致这种隐式偏差的原因。使用差分隐私（DP）确保 DNN 的训练时，DP-SGD 会向截断梯度添加高斯噪声 - 自注意力的隐性偏见和快速收敛速率
通过对自注意力机制进行梯度下降的隐式偏差研究，我们在二进制分类中的固定线性解码器上训练自注意力层，证明了全局收敛并量化了关注图的稀疏化速率，同时分析了自适应步长规则对自注意力收敛速度的加速效果，从而进一步加强了自注意力的隐式偏差视角并强化了 - 深度线性网络中初始化对隐性偏差的作用
该研究聚焦于探索深度学习中的隐含偏差现象，具体研究了权重初始化对优化和泛化问题的影响，通过调查使用深度网络解决欠定线性系统问题时初始化的隐式正则化的作用，有助于更全面地理解深度学习的性能特点。
- 将统计学习理论应用于深度学习
从学习理论的角度来理解深度学习时，我们讨论了一些主要问题，包括统计学习理论、随机优化、梯度下降对线性对角网络的隐式偏差。
- 通过感知机的最小范数插值：显式正则化和隐式偏差
研究在使用 ReLU 网络时，通过对已知区域进行插值，证明了经验风险最小化器在数据点和参数数目趋向无穷大时收敛到最小范数插值者，当且仅当对应于网络宽度和数据点增长的特定速率消失时对权重衰减正则化项进行惩罚，在显式和隐式正则化情况下，数值方法 - 神经网络是隐式决策树：层次简约偏差
神经网络在存在偏执特征时，能够学习到核心特征，即使简单虚假特征扭曲了预测结果；研究通过不平衡标签耦合的方法，调查了简单和复杂特征在预测中的不同水平，以及复杂特征在预测中的贡献。
- 对近似正交数据的两层 ReLU 和 Leaky ReLU 网络的梯度下降的隐式偏差
針對兩層完全連接的 (leaky) ReLU 神經網絡，研究梯度下降的隱含偏差，並證明梯度下降在訓練中會找到收斂於 1 的具有穩定排名的神經網絡，對於 ReLU 激活函數則收斂於一個上界常數，同時所有訓練數據點的標準化邊界漸進地相同。實驗結 - 人口平等：缓解现实世界数据中的偏见
计算机决策系统在许多日常生活的方面得到广泛应用，但其中可能存在性别、种族或其他偏见问题。本研究提出一种鲁棒的方法，通过真实世界数据提取出表征人口平衡和真实性的数据集，用于训练分类器，并测试其泛化能力，证实计算机辅助决策中不存在明示或隐含偏见 - 变压器作为支持向量机
自注意力机制和 SVM 问题之间存在形式上的等价性及其对训练方向和全局优化的影响。
- 基于组公平的 Plackett-Luce 排名模型的相关性和事后公平优化
在学习排序（LTR）中，为了确保排名结果的后验公平性，提出了一种新的目标函数，通过性能约束来最大化预期相关性。该方法在 LTR 框架中构建了一个组内公平的 Plackett-Luce 模型，并展示了在三个真实数据集上的实验证明了其相比 LT - 光谱偏差和内核任务对齐在物理信息神经网络中的应用
物理信息神经网络是一种有效求解偏微分方程的新方法，通过理论框架将其与高斯过程回归等价，并推导出由其架构选择所引起的核项来增强其预测能力，并通过源项的谱分解量化其隐含偏差
- 遵守法律，跟随流程：梯度流的保守定律
文章旨在通过在 Jacobin 生成的 Lie 代数上进行有限维代数操作，揭示守恒定律的定义，性质和数量，该定律是在任何训练数据和任何损失函数的情况下保留给定模型的梯度流期间独立数量的最大集合。
- 线性模型和两层线性卷积神经网络中批归一化的隐式偏差
本论文研究了批归一化在梯度下降中的隐性偏差，证明了学习用批归一化的线性模型进行二进制分类时，梯度下降会以 $exp（-Ω（log^2 t））$ 收敛到训练数据上的均匀边缘分类器。这将批归一化的线性模型与不带批归一化的模型区分开来，其隐性偏差 - 深度神经网络中的逐层反馈对齐保持不变
本文揭示了支持反馈对齐学习动力学的一组守恒定律，揭示了反馈对齐与梯度下降之间的有趣类比，挑战了这些学习算法根本不同的流行说法，并表明这些守恒定律阐明了 ReLU 网络中反馈矩阵的逐层对齐的充分条件，这将使得使用反馈对齐训练的两层线性网络收敛