- 一位教师胜过百万句指令
我们提出了一种改进的训练方法，使用更大的模型的知识来提高大型语言模型的训练效果，同时利用领域专家模型进行领域对齐，通过这种方法，在性能上超过了具有更大参数数量的现有语言模型。
- 利用 10 个黄金标签从零开始训练最佳 IR 模型的自动优化训练超参数
我们开发了一种使用少于 100M 参数的小规模神经信息检索模型进行训练的方法，仅需 10 个金标准相关性标签。该方法依赖于使用语言模型生成文档的合成查询，并且关键步骤在于根据训练质量自动优化生成这些查询的 LM 提示。在 BIRCO 基准测 - ACL论文级关系抽取模型对实体名称变化的鲁棒性研究
通过使用维基数据生成改名实体的文档，并对三个代表性文档级关系抽取模型和两个大规模语言模型在强化学习环境下进行实验，发现他们对实体名称的变化缺乏鲁棒性，尤其是在跨句子关系实例和包含更多实体的文档中。因此，我们提出了一种强化学习的训练方法，旨在 - ACL不使用并行语音数据，是否能实现高质量的直接语音到语音翻译？
现有的两阶段直接语音到语音翻译（S2ST）模型将任务分解为语音到文本翻译（S2TT）和文本到语音合成（TTS），并在端到端模型中取得了良好的结果。然而，这些模型的训练仍然依赖于平行语音数据，这一数据很难收集。相比之下，S2TT 和 TTS - CoMERA：基于等级自适应张量优化的计算和内存高效训练
CoMERA 是一种通过排名自适应张量优化进行计算和内存高效训练的方法，通过多目标优化公式实现端到端的张量压缩训练，并在训练过程中提供了高压缩比和优良的准确性，同时比 GaLore 方法在内存和计算效率方面表现更优。
- 马尔科夫代理的忠实语言建模
链状思维推理可深度理解语言模型内部推理。我们提出了一种训练方法，能够生成独立于其他上下文的足够预测未来文本的链状思维，在确保语言模型能够预测未来标记的同时，证明其使用了链状思维来理解上下文。我们通过策略梯度和 PPO 优化得到 “马尔可夫” - 视频实例分割中的点监督价值是多少？
通过减少视频帧中的人工注释点为每个对象，我们提出了一种训练方法来获得接近完全监督模型的高质量掩码预测，在三个视频示例分割基准上展示了该框架的竞争性性能。
- 向标签有效的人物抠图迈进：无需辅助轮廓线的弱监督简易基线
本研究提出了一种新的实用人像抠图训练方法，通过精细的像素级人体区域识别和大量繁重的标注来实现。为了降低标注成本，现有的抠图方法通常依赖于图像合成来增加数据集。然而，合成训练图像的不自然性给自然图像带来了新的领域泛化挑战。为了解决这个挑战，我 - SDSAT：通过语义自适应标记的推理进行推测解码的加速
通过引入具有语义自适应能力的令牌，提出一种用于大型语言模型（LLM）的加速方案（SDSAT）。该方案通过细调模型和使用训练方法，以及使用新的生成策略，能够在不影响模型准确性的情况下，提高模型生成草稿令牌的准确性，并且在 CodeLlama- - 核多重网格：通过稀疏高斯过程回归加速反向拟合
通过利用核包技术（KP），我们证明了后向拟合的收敛速度不会比（1-1/n）^t 更快，其中 n 和 t 分别表示数据大小和迭代次数。因此，后向拟合需要至少 O (n*logn) 次迭代才能达到收敛。在 KP 的基础上，我们进一步提出了一种称 - 使用神经网络对受约束系统进行建模的两阶段训练方法
本文详细描述了一种简单、有效且无需惩罚参数的两阶段训练方法，用于模型约束系统。通过将约束优化问题重写为解决两个无约束子问题的两阶段，实现了找到可行神经网络参数和最优神经网络参数。实验证明，该方法可以产生满足约束的模型，并提升预测性能，确保关 - 利用正交性训练低秩神经网络
该研究通过分析神经网络在训练过程中的权重的奇异值分解 (SVD) 来探究神经网络的学习动力学。我们的调查发现，每个多维权重的 SVD 表示中存在一个正交基，在训练过程中保持稳定。基于此，我们介绍了一种新的训练方法，即利用神经网络的内在正交性 - 具有可跳过子路径的自适应深度网络
系统地在运行时适应网络深度可以有效地控制推理延迟并满足各种设备的资源条件。本文提出了一种适应深度网络的架构模式和训练方法，在单个网络中提供灵活的准确性 - 效率权衡。
- 人工智能生成的图像为文本 - 图像检索引入了不可见的相关偏差
在研究中，作者通过构建适当的基准来探索 AI 生成图像引起的不可见相关性偏差，这种偏差会使得文本 - 图像检索模型倾向于将 AI 生成的图像排在真实图像之前，然后提出了一种有效的训练方法来缓解这种不可见相关性偏差。
- EMNLP解决文档级神经机器翻译中的长度偏差问题
通过改进训练方法、注意机制和解码策略，我们提出了解决文档级神经机器翻译中长度偏差问题的方法，实验证明我们的方法在多个开放数据集上都取得了显著的改进，并且进一步分析显示我们的方法能够明显减轻长度偏差问题。
- 麒麟医：多阶段知识注入的先进医疗大型语言模型
将大型语言模型（LLMs）整合到医疗保健中存在潜力但也面临挑战。我们提出了一种多阶段训练方法，结合了专业域持续预训练（DCPT）、监督微调（SFT）和直接偏好优化（DPO），并引入一个包含医疗问答、纯文本、知识图谱和对话的 3Gb 中医数据 - 可证实的鲁棒图对比学习
在本文中，我们开发了第一个能够确定性地提高图对比学习（Graph Contrastive Learning，GCL）鲁棒性的框架。我们提出了一个统一的评估和认证 GCL 鲁棒性的标准，并引入了一种新的技术 RES（Randomized Ed - 线性最小二乘问题的卡尔曼滤波交错学习简明示例
插曲式学习在机器学习算法中是一种受生物启发的训练方法，本文通过基于卡尔曼滤波器的线性最小二乘的简单统计和优化框架，阐述了插曲式学习机制。
- 关于深度操作网络的训练和泛化
我们提出了一种新颖的深度算子网络（DeepONets）的训练方法，通过将整个复杂训练任务分解为两个简化的子任务，首先训练主干网络，然后顺序训练分支网络，并引入了格拉姆 - 施密特正交化过程以提高稳定性和泛化能力。
- 学习针对息肉重新识别的判别性视觉文本表示
在结直肠镜息肉再识别中，传统方法侧重于视觉表示学习，而忽略了在训练期间探索语义特征的潜力，这可能导致在新场景中使用预训练模型时存在较差的泛化能力。为了缓解这一困境，我们提出了一种名为 VT-ReID 的简单而有效的训练方法，可以通过高层语义