- ESP-Zero: 无监督增强极稀疏点云的零样本分类
在本论文中,我们提出了一种无监督的模型自适应方法来增强用于处理极其稀疏点云的点云编码器,通过引入融合交叉注意力层和互补学习的自蒸馏方案,有效地改进点云特征并保持与文本嵌入的对齐,以提高处理这种极其稀疏点云的零样本分类能力。
- 高维分类观测的空间预测中的流式高斯狄利克雷随机场
我们提出了流式高斯狄利克雷随机场(S-GDRF)模型,这是一种用于建模时空分布稀疏高维分类观测数据流的新方法。该方法可高效地学习时空数据中的全局和局部模式,具有有界的时间复杂度,可用于快速推断和查询。通过使用用神经网络分类的高分辨率浮游生物 - 通过稀疏胞复合物在图上表示边流
本文将利用相关的 Hodge 拉普拉斯矩阵的特征向量以及对应的单纯复形的关联矩阵进行 Hodge 分解,为观测数据提供梯度、旋度和谐波流形式的稀疏、可解释表示,从而解决了在图的边缘流中获得稀疏、可解释表示的问题,并通过引入一种高效的近似算法 - PAITS: 针对不规则采样时间序列的预训练和数据增强
通过结合自然语言处理(NLP)启发的预训练任务和增强方法,以及随机搜索,我们提出了一种用于识别稀疏和不规则采样时间序列数据集的合适预训练策略的框架(PAITS)。
- 稀疏无限随机特征潜变量建模
本文提出了一种基于贝叶斯非参数潜变量模型的非线性方法,假设潜空间先验为稀疏和无限维。该方法通过使用印度自助餐过程先验在潜变量上,自动且概率地选择潜变量数目,保证潜变量空间中实例化的维度数目是有限的,实现了稀疏、非线性的潜变量建模,引入随机傅 - ICMLGLaM: 使用专家混合方法高效扩展语言模型
本文提出了一种名为 GLaM(通用语言模型)的语言模型,采用稀疏的专家混合体系结构,可以提高模型容量同时降低训练成本。该模型可规模化至 1.2 万亿参数,性能优于 GPT-3,且训练花费和计算资源开销较小。
- ICLRSparse DETR:可学习稀疏性的高效端到端目标检测
Sparse DETR 是第一个使用 Transformer 架构的完整目标检测器,其只更新预期被解码器引用的令牌,从而提高模型性能,使性能优于 Deformable DETR。
- 稀疏线性赌博机的信息引导采样
本文提出了一种基于信息定向抽样 (IDS) 的信息论贝叶斯遗憾界,在计算上能够高效地实现稀疏 IDS,通过数值实验表明相对于几个基线算法,稀疏 IDS 有明显的遗憾减少。
- 高维稀疏二次判别分析的凸优化方法
本文研究高维稀疏二次判别分析 (QDA),旨在建立最优的收敛速率以实现分类误差。我们提出了一种分类算法 SDAR,使用基于稀疏假设下的约束凸优化。该算法的最小化上下界都被得到。模拟研究证明,SDAR 在数值上表现良好。我们还将此方法论扩展到 - 学习稀疏非参数 DAG
该研究开发了一个框架,可用于从数据中学习稀疏的非参数有向无环图(DAG)。该方法基于最近对 DAG 进行的代数描述,该描述为分数为基础的 DAG 模型的学习提供了一个完全连续的程序,该程序通过线性结构方程模型(SEM)进行参数化。该框架适用 - ICML学习图神经网络的离散结构
本文提出了一种联合学习图结构和图卷积网络参数的方法,从而可以在不完整、损坏或无法使用图的场景中应用图卷积网络,并通过实验证明,该方法的性能显著优于相关方法。
- 本地修剪实现稀疏 Winograd 卷积
该研究论文介绍了稀疏方法和 Winograd 卷积的两种正交方法,将其融合可以提高计算性能,同时提供了实现方法和算法,通过 AlexNet 在 ImageNet 数据集上进行 Winograd 系数的本地化训练和修剪,可以得到超过 90%的 - ICML可解释的二级布尔规则学习分类
本文提出了一种新的优化框架,用于学习准确且精简的两级布尔规则,通过线性规划松弛,块坐标下降和交替最小化等高效算法来更新优化函数,以实现准确性和可解释性之间的平衡。实验表明,我们的方法在准确性和可解释性之间提供了很好的权衡。
- NIPS分布式统计估计和维度的通信成本
探索分布式学习中维度和沟通成本之间的关系,研究估计未知高维高斯分布均值的问题。同时,提出了一个基于阈值的协议,可在保证相同平方损失的前提下节省通信开销。
- 最小二乘规则化的零范数解析及其全局极小值的唯一性
本文分析了关于采用矩阵解决求解目标问题的本质方法,提出了可以帮助解决数值方案算法新思路的理论贡献,并以多种方式探讨了矩阵求解模型。
- Dirichlet 分布的随机采样具有高概率的稀疏性
本文提供了一个基本的证明,证明从具有小于 1 个参数的 Dirichlet 分布中提取的图形通常是稀疏的(大多数坐标都很小)。
- ICML同时稀疏和低秩矩阵的估计
本文介绍了一种罚矩阵估计过程,旨在同时具有稀疏和低秩的解决方案。我们引入了一个凸混合惩罚,同时涉及 l1 范数和迹范数。我们在链接预测问题中限制了广义误差,并开发了近端下降策略以有效解决优化问题,并在合成和真实数据集上评估了性能。
- 基于稀疏性的亚波长部分相干光压缩感知成像
本研究利用基于稀疏性的亚波长成像技术,展示了如何从部分空间 - 不相干光带载的亚波长光学图像的远场或模糊图像中恢复图像。同时,我们提出了一种称为二次压缩感知的算法方法,以恢复局部相关性测量中的信息,包括显微镜中的白光显微镜。
- 随机投影下的近最优信号恢复:通用编码策略?
论文证明,假设我们的目标是以欧几里得距离恢复稀疏或可压缩的离散数字信号、图像等,那么我们需要多少线性测量来达到精度为 ε 的要求,结果表明如果目标的重新排序条目以幂律衰减 (或在固定基中的系数序列以幂律衰减),那么只需要很少的随机测量就可以