- 关于最小二乘回归的早停规则
线性回归问题中，我们分析了离散全批量梯度下降的参数轨迹和期望过度风险，证明了使用学习率调度和有限时间内的早停解与广义岭正则化问题的最小范数解等价，并表明早停对于具有任意频谱和多种学习率调度的一般数据都是有益的。我们给出了最佳停止时间的估计并 - 从上下文不确定性量化中对上下文学习能力的更好理解
本文研究了 Transformer 在线性回归任务上的训练，考虑了条件期望和条件方差的双目标预测任务，提供了不确定性量化目标，并揭示了训练 Transformer 接近贝叶斯最优的理论性质，以及在处理任务转移时表现不同于贝叶斯推断的能力。
- 多头门控注意力提升房价估算
我们开发了一种名为 Multi-Head Gated Attention 的新方法，通过引入多个 attention 头部和门控机制来更好地捕捉影响房地产价值的复杂空间关系，从而提高房价预测准确性，并为空间插值领域的发展提供了一种强大的工具 - 解耦无监督预训练中的探索与利用：后继特征
通过非整体探索方法，我们提出了一种基于后继特征（SFs）的新型无监督预训练模型，该模型分解了代理人的开发和探索，旨在改善原始的后继特征预训练的整体探索方法的性能，并在比较实验中超越了具有后继特征的主动预训练（APS）。
- 具有有限数据保留的在线算法
引入带有数据保留约束条件的在线算法模型，在多维均值估计和线性回归问题中展示了多维随机子集和对抗噪声模型在模拟随机梯度下降的进展方面的最新进展。
- 分布式和自适应速率特征压缩
我们研究了分布式和自适应速率的特征压缩问题，通过传感器收集线性回归模型的不同特征，设计了一种特征压缩方案以适应不断变化的通信约束，并通过模拟实验证明了该方案的有效性。
- 混合颜料：使用多元线性回归分析多个坐标空间中的色彩值转换
在混合两种不同颜色的颜料时，我研究了在颜色坐标空间中发生的数学变换。通过测试 16 种颜色的 120 对颜料，我使用线性回归找到了在 RGB 空间和其他几个颜色空间中的最准确的输入参数组合。我发现，在 CIEXYZ 空间中，具有最强确定系数 - 线性时间序列预测模型分析
线性模型在时间序列预测方面表现出色，特征归一化改善了模型泛化能力；分析了可使用这些线性模型体系结构表示的函数集合；证明了几种流行的线性模型变体等效于标准的无约束线性回归；每个模型可以重新解释为在适当增强的特征集上的无约束线性回归，因此在使用 - 通过随机递归方程分析随机梯度下降的重尾特性
在这篇论文中，我们回答了引用论文中的几个未解决问题，并应用不可约 - 近似 (i-p) 矩阵的理论来扩展他们的结果。
- Huber 污染下高斯稀疏估计的鲁棒性优化错误
高斯稀疏估计在 Huber 污染模型中研究，针对均值估计、主成分分析和线性回归三个任务，提出了第一个样本和计算高效的鲁棒估计器，保证了较小的误差，并且在常数因子内达到最优。之前针对这些任务的高效算法都产生了数量上次优的误差。具体而言，对于高 - 统计无偏回归：一种用于验证回归模型的机器学习方法
介绍了一种名为统计不可知回归（SAR）的方法，用于评估基于机器学习的线性回归的统计显著性，通过使用最坏情况分析的实际风险集中不等式。
- 有效样本下降的线性回归
在未知指数设定下，考虑具有自我选择偏差的线性回归问题，我们提供了一种新颖且在样本使用效率上接近最优的算法，用于从样本中恢复权重并实现多项式样本复杂性和显著提高的时间复杂性，同时还扩展了关于最大线性回归的问题解决，提供了现有局部收敛方法的良好 - 线性回归的私有梯度下降：更紧凑的误差界限和特定实例的不确定性估计
我们对标准差分隐私梯度下降方法在线性回归中的分析进行了改进，得出基于输入的合理假设，在每个时间步骤上迭代的分布特征。我们的分析结果揭示了算法的准确性新的发现：对于适当选择的超参数，样本复杂度仅与数据维度呈线性关系。这与（非私有）普通最小二乘 - 多类线性分类问题的一位量化和稀疏化：通过正则化回归
利用线性回归在过参数化制度中进行多类别分类研究，分析了数据集中的标签错误对分类性能的影响，研究发现加入正则项可以避免过拟合错误标签，并证明了当正则函数为 2 - 范数时的最佳分类性能，同时还分析了 1 - 范数和无穷范数时的分类错误情况以及 - PriorBoost：一种自适应聚合响应学习算法
研究聚合反馈学习的算法，重点关注事件级损失函数的聚合集（文献中称为 bags）的构建。理论上证明了对于线性回归和广义线性模型（GLMs），最优的 bagging 问题可以简化为一维受约束的 k 均值聚类问题。进一步地，定量地证明了使用精心选 - 上下文学习的发展景观
我们展示出，在 transformers 上进行语言建模或线性回归任务训练时，出现了离散的发展阶段中的上下文学习，并引入了两种方法来检测分隔这些阶段的里程碑，通过探测参数空间和函数空间中种群损失的几何结构。我们使用一系列行为和结构度量来研究 - 符号扰动求和识别方法的样本复杂性：标量情况
Sign-Perturbed Sum (SPS) 是一种强大的有限样本系统辨识算法，可以为任何有限样本大小的真实数据生成系统构造具有确切覆盖概率的置信区间。本论文旨在填补这一研究空白，首次提供了关于 SPS 样本复杂度的结果，以及对于标量线 - ICLR任务相似性和过度参数化对灾难性遗忘的联合影响 -- 一种分析模型
我们的研究主要关注于在可分析的模型中，任务相似性和过参数化如何联合影响遗忘，针对两个任务的连续线性回归任务，我们得到了遗忘期望的精确解析表达式并揭示了一个微妙的模式，此外，在高度过参数化的模型中，中等的任务相似性导致最多的遗忘，然而，在近插 - 机器学习在股市预测中的应用：迪士尼股票案例研究
该研究使用一个包含 750 个实例和 16 个属性的数据集进行了股票市场分析，包括探索性数据分析、特征工程、数据准备、模型选择以及分析结果，其中使用了 Fama French 三因子模型，并发现线性回归是最佳表现的模型。
- 一种针对线性神经网络的新阐释
线性回归和神经网络广泛用于建模数据。我们提出的研究中，通过对 LNN 的优化分析和与线性回归在合成噪声数据集上的性能比较，证明了没有激活函数的神经网络在训练和测试性能方面都会降低。