- 每轮只需 1 个投影的通用在线凸优化
通过黑匣子减少,我们使用简化域上定义的替代损失函数,构建了一种只需要进行一次投影的通用 OCO 算法,对于一轮在线问题,我们维护每种类型函数的一组专家,并通过元算法聚合他们的预测。我们的方法的关键在于针对强凸函数设计的专家损失函数,并通过创 - 输出分解学习 Mealy 机器
我们提出了一种主动自动机学习算法,它基于将个别输出进行投影从而学习一个有限状态机的分解。这与 Labbaf 等人 (2023) 提出的最近的组合学习算法互为对偶。当将输出投影到一个较小的集合时,模型本身也会缩小。通过有几个这样的投影,我们不 - ICLR从图到超图:超图投影及其修复
本研究探讨了将图而非超图作为表示实际世界互联系统的建模选择的影响,提出了超图投影导致高阶关系丢失的两个普遍模式,并量化了在无额外帮助下恢复丢失高阶结构的组合不可能性。此外,基于学习的超图重建方法通过使用超边分布的重要统计量,在不同设置下在 - 一种基于积分投影的语义自编码器用于零样本学习
提出了一种利用积分投影的语义自编码器(IP-SAE)模型,可以有效应用于不同但相关的目标数据分布,从而学习通过一个数据源分布进行嵌入。该模型能够解决因域漂移引起的问题和域变化的偏见,同时在四个基准数据集上表现出超越最新技术的表现。
- ACL关于 LayerNorm 在 Transformer 注意力机制中表现力的作用
本文表明,LayerNorm 是 Transformer 模型中 multi-head attention 层表现力的重要组成部分,其投影和缩放两个步骤对于注意力机制的作用至关重要。
- 面向组合分布语义的逻辑否定
该研究论文提出了一种关于逻辑否定的操作方法,将其建模为对于词的正交子空间的投影版本,并在句子推理任务中展示了该操作符的性能。
- CVPR神经网络激活的齐次线性不等式约束
本文提出了一种方法来在神经网络激活中施加均匀的线性不等式约束,以结合数据驱动的训练方法和先前任务的先验知识。该算法可在测试时间内显著加速推理速度,并避免了在每个训练步骤中求解优化问题或手动调整超参数。该方法通过约束变分自编码器进行实验演示。
- 神经网络量化的近端均场方法
本文研究了将神经网络量化作为离散标记问题,并通过检查松弛度,设计了一种有效的迭代优化过程。我们的实验表明,我们的算法可以获得准确度非常接近浮点参考网络的完全量化网络。
- 学习产品自动机
本文介绍适用于学习 Moore 机的主动学习算法的优化方法,其中输出包括多个可观测量,并通过投影分解为较小的组件进行学习,这对于学习软件尤为重要,因为组合方法对于保证可扩展性非常重要。
- 监督学习中的稀疏活动和稀疏连接
本文提出了一个利用稀疏性来增强分类能力的模型,在该模型中,利用稀疏活动和稀疏连接来实现分类,实现这一目标的工具是一种稀疏度投影算子,该算子可以找到给定向量的最接近预定义的稀疏向量。在理论部分中开发了一种全面的理论来进行这种投影,并证明该投影 - 通过投影和缩放解决圆锥系统
该论文提出了一种简单的投影和重新缩放算法,用于解决线性可行性问题,该算法受到了感知器算法的先前工作和 Chubanov 的基于投影的方法的启发。
- NIPS非凸健壮主成分分析
该论文提出了一种新的鲁棒 PCA 方法,通过在低秩矩阵集和稀疏矩阵集上交替投影适当残差来精确恢复低秩矩阵,具有较快的速度和精确度。
- NIPSk-means 聚类的随机投影
该论文研究了使用降维技术来提高 $k$-means 聚类算法的效率和精度,通过使用随机矩阵对多维数据进行投影,并经过大量实验验证了该方法的准确性。
- 二模式网络中的三元闭合性:重新定义全局与局部的聚类系数
本文提出了一种针对二模网络的聚类系数重新定义来解决在将二模网络投影到一模网络时涉及的一些问题,并发现局部聚类系数和约束(结构空洞)与节点的二模度数呈负相关。