- 语义目标函数：向深度学习中添加逻辑约束的一种分布感知方法
通过结合逻辑和信息几何，我们提出了一种将知识嵌入和逻辑约束引入机器学习模型中的方法，通过构造分布并将其与原始损失函数以及费舍尔 - 劳距离或库尔巴克 - 莱布勒散度相结合构造损失函数，以输出概率分布来包含逻辑约束。
- 通过神经架构搜索对预训练语言模型进行结构修剪
基于预训练语言模型和神经架构搜索的结构修剪方法，通过多目标策略实现对子网络的灵活压缩，提高模型效率。
- 高效经济的大型语言模型推理与注意力卸载
通过引入关注点卸载的概念，将昂贵的计算优化加速器与便宜的内存优化设备相结合，以提高大型语言模型的效率和成本效益。我们开发了 Lamina 推理系统，实验证明，相较于同质解决方案，Lamina 可以提供每美元 1.48 倍至 12.1 倍的更 - ACL适配器模块在文本分类中性能、效率和公平性之间的权衡
当前的自然语言处理（NLP）研究倾向于仅关注一到两个维度，如性能、隐私、公平性或效率，这可能导致次优的结论，并常常忽视实现可信赖的 NLP 的更广泛目标。适配器模块的工作主要关注提高性能和效率，并未对公平性等其他方面的意外后果进行调查。我们 - 1-Diffractor: 基于词级差分隐私的高效且保存实用性的文本混淆
该研究论文介绍了在自然语言处理中隐私保护的研究，特别关注基于差分隐私的方法以及高效的 1-Diffractor 机制的提出，它在提高效率的同时保持了竞争力的效用和隐私得分。
- 克洛弗：基于连续知识的逐渐式轻量级猜测解码
Clover 是一种新的推理解码算法，将顺序知识融入并行解码过程中，提高了预测准确率和整体效率。实验证明，Clover 在 Baichuan-Small 和 Baichuan-Large 上分别比基准结果提高了最多 91% 和 146%，与 - 重新审视 Skip-Gram 负采样：在图嵌入中进行尺寸正则化以实现更高效的差异性保留
将节点吸引和维度规范化作为替代方法的图嵌入优化技术，从而提高算法效率。
- MicroDreamer：基于得分的迭代重建，无需说明，在约 20 秒内进行零样本 3D 生成
基于优化的方法如分数蒸馏采样 (SDS) 在零样本 3D 生成方面表现出潜力，但由于每个样本所需的高函数评估 (NFEs) 的数量较多，效率较低。本文介绍了一种名为基于分数的迭代重建（SIR）的高效通用算法，用于使用多视图基于分数扩散模型进 - MM用于逼近论证可接受性的图卷积网络和图注意力网络 -- 技术报告
通过改进 Graph Convolutional Networks 的性能以及使用 Graph Attention Networks，提高抽象论证的计算效率。
- ICLR基于多样配置的移动设备控制代理的基准测试
通过引入 B-MoCA 基准测试，本研究针对移动设备控制代理开发自主代理，提高用户交互的效率和可访问性。在 Android 操作系统上创建了一个真实的基准测试，定义了 60 项常见日常任务，并通过随机化功能来评估代理的泛化性能。尽管代理们在 - 智能辅导系统中长序列数据分析的 LSTM 和 BERT 整合
我们提出了一种适用于长序列数据处理的 LSTM BERT-based 知识追踪模型 LBKT，该模型在大多数基准数据集上表现最佳，具有更高的效率、可解释性和较低的内存成本。
- 大语言模型的高效推论综述
大规模语言模型的有效推理需要克服模型规模大、注意力操作复杂度高、自回归解码等问题，本文对提高大规模语言模型推理效率的现有技术文献进行了综述，介绍了数据层、模型层和系统层优化的方法，并通过实验进行了定量分析，最后总结了相关知识，并探讨了未来研 - 自主车辆的在线时空图轨迹规划器
本文介绍了一种新颖的在线时空图轨迹规划器，用于生成安全且舒适的轨迹。通过构建时空图，并进一步传递给顺序网络，该规划器能够生成符合安全与舒适要求的状态。此外，还提出了一个简单的行为层用于确定轨迹规划器的动力学约束，并提出了一种新颖的潜力函数来 - 小型语言模型也很不错：一项零样本分类的实证研究
该研究评估了使用不同参数和结构的小型语言模型在零射击文本分类中的性能，并发现小型模型在分类文本方面表现出色，与或超过了更大的模型，这一发现强调了资源高效的小型模型可能为特定的数据分类挑战提供可行的解决方案。
- 关于分子图的 GNN 的可扩展性
我们研究了图神经网络的扩展行为，发现其在深度、宽度、分子数量、标签数量以及训练数据多样性上的扩展规律，取得了 30.25% 的性能改善（参数扩展至 10 亿）和 28.98% 的性能改善（数据集扩展至八倍）。此外，我们在 38 个任务上展示 - InFusion: 基于扩散先验学习深度完成的三维高斯填充
通过使用图像条件的深度完成模型引导点的初始化，本研究提出了一种名为 InFusion 的方法，它能够更准确地补全 3D 高斯空间中的点，从而在各种复杂情况下提供更好的保真度和效率。
- 联邦学习隐私攻击效率研究
在这项研究中，我们从效率的角度研究了联邦学习中的隐私攻击，并提出了一种提高联邦学习中隐私攻击效率的框架（EPAFL）。通过系统评估代表性的联邦学习隐私攻击的计算成本，我们发现有很高的优化效率的潜力。我们还提出了三种早停技术来有效地减少这些隐 - 一种基于事件相机的在线眼动跟踪的轻量级时空网络
基于事件的数据在边缘计算环境中十分常见，我们提出了一种因果时空卷积网络，以实现与这些数据的接口和利用丰富的时态特征，并通过简单的架构和操作（卷积、ReLU 激活）及在线推断效率配置、通过规范化训练实现超过 90% 的激活稀疏度，从而在基于事 - 有效预训练的蒙版标记的新特性
通过优化蒙面标记以解决自我监督学习中的效率问题，该方法称为蒙面标记优化（MTO），可实现与最新方法相当的预训练性能，减少近 50% 的预训练时期。
- YaART：又一种 ART 渲染技术
YaART 是一种有效且高保真度的产业级文本到图像扩散模型，通过强化学习从人类反馈中对齐到人类偏好。在开发 YaART 过程中，我们特别关注模型和训练数据集大小的选择，这些方面在文本到图像扩散模型中以前没有系统地进行研究。特别是，我们全面分