- 因子增强的张量对张量神经网络
通过提取和总结有用的预测信息(由 “因子张量” 表示)并利用张量分解模型将其输入到时间卷积神经网络中,本研究提出了一种因子增强的张量对张量神经网络(FATTNN)。该方法能够处理复杂数据结构之间的非线性关系,并在预测准确性和计算成本方面优于 - 智能作为计算
该研究提出了将智能视为计算的特定概念化,旨在为所有智能研究学科提供统一的视角,并解决了现有观点之间的差异。该概念化将智能视为不同范式计算的组合,提出了多学科研究议程,旨在实现智能科学的统一。
- LLaMA 模型中的动态激活陷阱:实证研究
我们对 LLaMA 系列语言模型中动态激活机制的功效进行了系统的调查,发现了当前动态激活方案存在的一些内在缺陷。通过对各种动态激活策略进行广泛的实验证明,与 ReLU 激活函数的对应模型相比,LLaMA 模型在要求高稀疏比率的场景中通常表现 - ICML关于马尔可夫分布下 SHAP 解释的可处理性
通过引入马尔可夫视角,我们研究了 SHAP 得分的计算复杂性,并在一些模型类中展示了多项式时间内计算 SHAP 得分的积极复杂性结果,从而超越特征独立性假设的限制。
- 智能和适应后验采样算法用于二元选择
我们研究了基于 Thompson Sampling 的有界奖励随机赌博算法。为了解决现有的与高斯先验的 Thompson Sampling 相关的问题相关后悔界限在 T≤288e^64 时是虚无的问题,我们导出了一个更实用的界限,将主要项的 - 引入多面体不确定图的图学习
这篇研究论文介绍了一种适用于具有多面体不确定性的基础图形的图形学习方法,将该图形在多面体集合中的假设结合到两个成熟的图形学习框架中,发现我们的方法在计算量较少的情况下能够获得更好的结果。
- 无矩阵雅可比链
计算科学和工程中的基本挑战是有效地计算雅可比矩阵。大规模的模块化数值模拟程序可以看作是将不同 iable 子程序进行序列求值,并考虑对应的元素雅可比矩阵。我们假设这些子程序的切线和伴随版本通过算法微分获得,而元素雅可比矩阵一般不可用。将经典 - AI 意识的必然性:一个理论计算机科学的视角
通过理论计算机科学的角度分析意识,我们将发展一种形式的机器意识,该模型受到 Alan Turing 的简单而强大的计算模型和 Bernard Baars 的意识剧场模型的启发,并与人类和动物意识的许多主要科学理论高度契合,从而支持我们机器意 - 实时辐射场渲染的各向同性高斯散落
本文提出了一种使用各向同性高斯核避免计算困难的高效方法,实验证实该方法在保持几何表示精度的同时大约快了 100 倍,并可应用于需要辐射场的广泛应用领域,如 3D 重建、视图合成和动态物体建模。
- 计算不透明时代的先验知识:人工智能在数学发现中的角色
如果将一个自动化人类形式的证明检查器附加到 LLMs / DNNs 这样的机器上,我们可以从中获得先验的数学知识,即使原始机器对我们完全不透明且其输出的证明不可由人审查。
- 在 Transformer 中重用 Softmax 硬件单元进行 GELU 计算
通过将 GELU 计算映射到 softmax 运算符,本文提出了一种在硬件中重新利用预设计的 softmax 硬件单元来计算 GELU 的方法,实验结果证明这种方法不会减少代表性自然语言处理应用的准确性,并且可以平均降低 6.1% 的硬件面 - 简化交叉验证:高效地导出列向正规化和标准化的训练集 X'X 和 X'Y,避免全量重新计算矩阵乘积或统计矩
本文介绍了三种有效计算未见数据集上预测模型性能的算法,它们在计算复杂度和正确性方面表现优越,并且相比于直接交叉验证和快速交叉验证的先前工作,它们提供了显著的交叉验证加速,而无需数据泄漏。同时,本文还重点介绍了这些算法与改进的 Kernel - ZnTrack -- 数据即代码
过去十年在计算领域取得了巨大的突破,并且没有任何迹象表明这种发展会减缓。机器学习、大规模计算资源和增加的行业关注导致对数据管理、模拟和模型生成的计算驱动解决方案的投资不断增加。然而,这种计算的增长也带来了数据规模更大的扩展,以及在数据存储、 - QCQP-Net: 可靠地学习交流最优功率流解决方案
ACOPF 学习的创新框架结合了经典的基于优化的方法和基于神经网络的方法,通过特殊的激活函数和损失函数,实现了高效可靠的解决方案,提高了可行性率和发电成本。
- ICCV精确二值形态神经网络的基础
通过数学形态学(MM)实现全结合卷积神经网络(ConvNets)的二值化,并提出两种新的近似方法以及鲁棒的理论框架来改进其优化。同时,引入正则化损失以提高网络的性能。
- 语言模型对数字的理解,至少在某种程度上
研究表明大型语言模型在理解和利用数字以及在数学问题上进行计算方面具有部分能力。
- OCR 的标度律实证研究
通过对模型尺寸、数据量、计算和模型性能进行全面研究,在自然语言处理领域确定了它们之间的关系,然而在光学字符识别领域的标度律尚未被研究。本研究通过对模型性能、数据量和计算规模之间的关联进行详细研究,表明在控制其他影响因素的情况下,性能与模型尺 - 压缩光场显示中的图像质量、均匀性和计算改进:基于 U-Net 的研究
我们采用 U-Net 模型对压缩光场合成进行研究,与基于堆叠卷积神经网络和迭代算法的方法相比,该方法具有更好的图像质量、均匀性和较少的计算量。
- 有限正规式博弈中纳什均衡算法调查
本文综合从理论和实证的角度,回顾了计算有限正规形式博弈中纳什均衡及其近似解的各种算法,并在不同类型的博弈中对这些算法进行了综合比较,并给出了关于这些算法的实现和使用的实际建议,最后从理论和实践考虑提出了一系列开放问题。
- 在再生核希尔伯特空间中通过杠杆得分采样实现高效数值积分
在本研究中,我们考虑了数值积分的问题,即仅使用对被积函数进行逐点评估的方法,用目标概率测度来近似积分。我们提出了一种有效的程序,利用所给的包含有 n 个独立同分布的观测样本和总体分布密切相关的再现核希尔伯特空间中的积分函数。我们的主要结果是