- 深入剖析语言模型微调中的遗忘现象:基于示例关联的统计分析
本文通过对语言模型进行经验分析,发现忘记常常可以通过上游示例和新学习任务的简单乘法关系来近似,并揭示了特定子集示例的复杂忘记模式,在基于经验关联的矩阵补全方法中预测了在学习新任务时发生在上游示例上的遗忘,优于依赖可训练语言模型的先前方法。
- ACL通过矩阵补全学习翻译
双语词典感知是在没有双语平行语料的情况下学习词汇翻译的任务,我们将此任务建模为一个矩阵完成问题,并提出了一个有效且可扩展的框架来完成该矩阵。这种方法利用多种双语和单语信号,每种信号可能不完整或噪声干扰。我们的模型在高资源和低资源语言方面实现 - ICML使用 ReLU 采样的对称矩阵补全
对称半正定低秩矩阵完成问题进行研究,包括确定性依赖于矩阵元素的采样。首先通过实验证明该问题的全局最优点与梯度下降算法具有难以收敛的关系,但证明了在矩阵因子的秩较小且满足一定假设的情况下,非凸目标函数在一个低秩矩阵附近的商流形上是测地强凸的。 - 高效联邦低秩矩阵补全
我们开发并分析了一种基于梯度下降(GD)的解决方案,称为交替 GD 和最小化(AltGDmin),以在联邦环境中高效解决低秩矩阵完成(LRMC)问题。我们的理论保证(迭代和样本复杂度界限)表明 AltGDmin 是联邦环境中最高效的解决方案 - 基于凸化的离散感知矩阵补全的 l₀- 范数逼近
在结构化环境下,本文提出了一种改进的低秩矩阵补全方法,通过引入离散字母表集合,使用基于连续可微函数的分数规划方法规范离散性,从而比现有方法和基于 L1 范数的离散感知矩阵补全方法具有更好的性能。
- 1 比特矩阵完备性问题中分数后验的集中性质
通过考虑非均匀采样方案,我们为二值观测的矩阵完成问题提供了理论保证,证明了分数后验的有效性。我们使用两种不同类型的先验分布来实现这一目标:低秩分解先验和谱缩放的学生先验,后者需要较少的假设。重要的是,我们的结果具有自适应性,不需要对参数矩阵 - 基于完全连接神经网络的非光滑正则化矩阵补全
通过在深度神经网络中引入非光滑正则化项,我们控制过拟合,并在矩阵填充任务中实现更好的性能。我们提出了一个变种的近端梯度法,并研究其收敛性,通过逐步添加非光滑正则化项来改善深度神经网络的性能。通过模拟实验,我们证明了所提算法相对于线性和非线性 - 利用图神经网络在矩阵补全中提高评分顺序性的方法
我们介绍了一种新方法 ROGMC,用于基于 GNN 的矩阵补全,通过整体偏好传播直接融入 GNN 的消息传递,根据评分类型的固有顺序更强调用户的偏好,辅以兴趣正则化以提高兴趣学习,实验证明 ROGMC consistently 优于现有的在 - BlockEcho: 维持长程依赖性以对块级缺失数据进行补全
提出一种名为 “BlockEcho” 的新型矩阵补全方法,通过在生成对抗网络中创造性地整合矩阵分解和鉴别器,以解决分块缺失数据的问题,并在公共数据集上验证其在高缺失率下优于传统和现有方法的性能表现。
- 因果插补用于反事实结构方程模型:连接图和潜在因子模型
我们介绍了一种基于 SCM 的模型类,其中结果以反事实形式表达,操作以对工具变量进行干预表示,并且上下文是基于系统初始状态定义的。我们展示了在 PRISM 药物重用数据集上评估了几种矩阵填补方法,并且我们的方法优于所有其他考虑的矩阵填补方法 - 关于矩阵补全的交叉集中抽样的稳健性
矩阵补全是现代数据科学研究中关键的工具之一。本文通过研究一种新颖的稀疏异常鲁棒的交叉集中采样模型(CCS)来回答 CCS 模型对稀疏异常值的鲁棒性问题,并提出了一种高效的非凸迭代算法(RCURC)来解决鲁棒 CCS 补全问题,通过合成和实际 - 超图矩阵完成问题:锐阈值和高效算法
这篇论文研究了基于子采样矩阵条目以及观察到的社交图和超图完成评分矩阵的问题,并展示了一个明确完成评分矩阵任务的样本概率的 “明确阈值”,即样本概率高于阈值时可以完成任务,否则不可能,从而显示出相变现象。
- 基于特征重要性的迭代缺失值填补
通过考虑特征重要性,我们设计了一种基于矩阵完成和特征重要性学习的填补算法,实验证明该方法在处理缺失值方面优于现有的五种填补算法。
- 基于广义矩阵补全的高阶有限维代数色彩图像恢复
基于广义高阶标量的恢复方法,扩展传统的二阶矩阵模型到更全面的高阶矩阵模型,称为 “t - 矩阵” 模型,采用像素邻域扩展策略来描述局部像素约束。我们在模拟数据和公开可用的图像上对各种算法进行了大量实验,并比较了它们的性能。结果表明,我们的广 - 利用观测偏差改进矩阵补全
在 Ma 和 Chen 引入的模型的基础上,本文提出了一种两阶段的算法来处理矩阵填充中的观测偏差,并利用共享信息来提高预测性能,经实验证明本算法的表现可与未观测协变量相同,并获得性能提高。
- ICML每行两个观测点的单侧矩阵补全
本篇论文主要研究的是在因为缺少有效的观察数据,无法完成左奇异向量解法时,如何利用仅有的观察值来恢复右奇异向量以及相关的矩阵,并且提出了一个适用于 $X^TX$ 的算法,针对合成数据和低覆盖基因组测序,该算法得到了很好的效果。
- 深度网络中的显式和隐式正则化结合,实现高效学习
通过研究隐性正则化的梯度轨迹,借鉴深度线性网络梯度下降隐式正则化向低秩解的偏好性,并提出显式惩罚来模拟这种偏好,从而使单层网络可以达到深度线性网络相同的低秩逼近性能。
- 高阶 L2 正则化的线性 DNN 中隐式 SGD 偏差:由高到低秩的单向跳跃
通过 SGD 算法,在一定概率下可以从高秩极小值跳到低秩极小值,但跳回去的概率为零,在矩阵补全任务中,目标是收敛到最小秩的局部极小值。
- 在线矩阵完成的始终有效风险监控
本文在矩阵完成问题上,结合非渐近鞅集中和正则化低秩矩阵回归,建立了始终有效的风险界限过程,以实现更高效的在线算法设计和在线实验策略评估。
- 超级推荐:增强环境位置表示的推荐模型
本研究提出了一种新的位置增强的用户 / 物品表示训练模型 SUPER-Rec,通过使用相对位置评分编码来捕获用户评分矩阵中的评分位置并将其与不受矩阵大小影响的嵌入固定维度一起存储,从而为推荐任务提供更好的表现。