- SinkLoRA：增强效率与聊天能力的大型长文本语言模型
扩展 Transformer 模型以适应更长的序列长度是一项关键挑战，本文提出了 SinkLoRA 作为应对策略，通过改进工作分配和应用高效的缓存压缩算法来提高模型性能。
- 用于优化西班牙大型语言模型的 17 世纪西班牙美洲公证记录
展示了如何利用 17 世纪阿根廷国家档案馆的手写公证记录来优化西班牙语言模型，以进行分类、遮蔽语言建模等任务，证明这个资源在历史文本分析领域非常有价值。
- 大规模预训练先验指导的领域泛化
通过在领域一般化算法的微调过程中利用预训练模型，我们提出了一种新的微调方法，该方法称为 “用大规模预训练先验进行微调（FT-LP）”，在多个数据集和领域一般化模型上的实验证明了其显著改进和有效性。
- CERET: 文本生成的经济外部修正
通过考虑语义稳定性、蕴涵和样本间不确定度的方法，我们提出了 CERET，以改进文本生成的质量，实验结果表明 CERET 在各种任务设置下持续优于其他方法，相对于 LLM 自排方法，我们的方法仅需其延迟的 9.4% 且更具成本效益。
- 基于生成数据集的正则化训练：仅包含名称的视觉 - 语言模型转化
通过对生成图像进行微调，本文研究目的是解决在生成的数据集上微调以特定分类模型的视觉 - 语言模型时所面临的挑战，并提供两种正则化方法来克服实际图像与生成图像之间的领域差异。经过广泛的实验验证，所提出的分析和正则化技术有效减轻了一直被忽视的领 - MoE Jetpack：从密集检查点到自适应的专家混合用于视觉任务
我们介绍了 MoE Jetpack，这是一种将密集检查点优化为 MoE 模型的有效方法。MoE Jetpack 包括两个关键技术：(1) 检查点回收，将密集检查点重新用于 MoE 模型的初始权重，以加速收敛、提高准确性并减轻预训练的计算负担 - 深度强化学习智能体的实景迁移用于在线覆盖路径规划
通过在仿真环境中训练模型，并在高推理频率下部署，我们成功地将最先进的结果从仿真转移到了真实领域，而直接学习则需要花费几个星期的人工交互，即完全不可行。
- 穿越荆棘：基于随机森林模型的数值导向 LLMs 研究
通过从随机森林集成学习模型转移知识，本研究提出了一种训练大型语言模型的新方法，通过将随机森林决策路径转化为自然语言表达，提高了模型分类和解释决策的能力，并验证了这些规则对于分类准确性的影响。
- 大型语言模型调优中重新思考灾难性遗忘
本文首次揭示了大型语言模型（LLMs）的模型损失面与遗忘程度之间的直接联系，并引入了锐度感知最小化方法来减轻 Catastrophic Forgetting，通过使损失面变得平坦。实验证明该方法在缓解 Catastrophic Forget - ACL参数高效偏好对齐技术的深入探讨
对大型语言模型（LLM）的先前训练和参数微调的对齐方法进行了深入研究，研究了对齐数据集、对齐技术和模型对下游性能的影响，提出了帮助研究人员进行更有效参数节约 LLM 对齐的关键指南。
- ICML有益还是有害的数据？无需微调的 Shapley 属性归因用于解释语言模型预测
在这篇论文中，我们提出了一种针对实例归属的鲁棒性解释方法，通过引入 Shapley 值的高效逼近方法来提高实例归属和其他数据相关应用的性能，在大型语言模型上进行了广义的推广。
- BEADs：跨领域偏见评估
近期大型语言模型取得重大突破，显著增强了自然语言处理应用，但这些模型也可能继承和持续传播来自训练数据的偏见。为了解决这个问题，我们介绍了 Bias Evaluations Across Domains (BEADs) 数据集，旨在支持各种自 - 贝叶斯助力转向：扩散模型领域自适应的有效方法
我们提出了一种贝叶斯框架，用于通过一种名为贝叶斯动力转向（BPS）的新型网络结构对大规模扩散模型进行微调。BPS 从预训练模型的学习先验分布中提取任务特定的知识，通过头重脚轻的配置差异地介入不同的隐藏特征。实验证明，即使在有限的数据量下，B - 使用精调预训练的大型语言模型进行法律文件起草
通过在大量无标注的法律文件上进行微调，利用本地计算机上的预训练的大规模语言模型可以实现生成法律文件草案的任务，并同时保护信息隐私和提高信息安全性。
- 关于数据规模对计算机控制代理的影响
研究使用 LLMs 对自主代理进行优化的方法，通过收集更多的数据，可以在域内获得较好的性能，但对于域外的高层任务来说，仅仅收集更多的数据可能不足以获得稳健的性能。
- 零阶极度稀疏 LLMs 的微调
本研究通过将稀疏性和量化技术整合到零阶优化（ZO）细调的大型语言模型（LLM）中，从而解决在内存受限环境（如移动电话和笔记本电脑）中使用 ZO 细调的挑战。研究结果表明，使用 ZO 对 LLM 进行 0.1% 敏感参数细调能优于全面细调，并 - ACLBadAgent：在 LLM 代理中插入和激活后门攻击
利用大型语言模型构建智能代理存在潜在的后门攻击风险，即使在可信数据上进行微调也无法防御，这可能是第一项关于带有外部工具权限的大型语言模型代理的研究。
- 在大型语言模型中隐藏文本：引入无条件强迫混淆
使用简单的微调技术，可以将隐藏的文本嵌入到大型语言模型中，而只有在触发特定查询时才会显现。这项工作表明通过微调将隐藏文本嵌入到语言模型中，虽然由于潜在触发器的巨大数量（任何字符或标记的序列都可以作为触发器）而看似安全，但仍然容易通过对语言模 - 利用自监督学习提升模型公平性
自我监督学习对模型的公平性具有显著影响，通过引入公平性评估框架，该研究系统地比较了数百个自我监督和精调模型在性能和公平性方面的差异，并证明了自我监督学习可以在最小损失性能的情况下显著提高模型的公平性。
- LlamaCare：增强医疗知识共享的大型医学语言模型
提出了使用低碳排放量进行细调的医疗语言模型 LlamaCare，以及处理 LLMs 分类问题的新模块 Extended Classification Integration (ECI)。通过在 PubMedQA 和 USMLE 等基准测试中