- TrojFM: 面向超大规模基础模型的高效后门攻击
我们提出了一种适用于非常大的基础模型的全新后门攻击方法 TrojFM，通过开发一种新的后门注入方法，使被后门化的模型在对输入进行隐藏表示时生成相似的表示，从而实现对非常大的基础模型的高效后门攻击。我们的攻击方法可以通过仅使用一个 A100 - 医学图像分割的黑盒自适应
在医学图像分割中，通过使用黑盒适应技术 (BAPS)，我们不需要了解基础模型的权重或梯度，并且可以显着提高原始模型的性能约 4%。
- 温度网络遇见大型基础模型：通过 DRO 冷却还是不冷却？
本文提出了一个基于约束分布稳健优化（DRO）的有稳健性损失下的小而通用的温度预测网络（TempNet）的学习框架，并给出了相应的温度参数的定义和训练方法，实验证明 TempNet 可以显著改善现有解决方案或模型的性能。
- 从像素到洞见：大型基础模型时代的自动图表理解综述
数据可视化是数据分析中至关重要的一环，自然语言处理中的大型基础模型在图表理解任务中发挥了重要作用。本综述论文全面概述了在大型基础模型背景下图表理解的最新发展、挑战和未来方向，包括问题界定、任务和数据集、建模策略以及性能改进等内容。
- 训练小型多模态模型以弥合生物医学能力差距：放射学成像的案例研究
利用模块化方法针对医学领域使用开源小型多模态模型来解决大规模基础模型在临床需求中存在的问题，并在放射学成像中展示了 LLaVA-Rad 模型的最新结果和其在报告生成和跨模态检索中的性能优势，成为真实世界临床应用的前景工具。
- 具有有限公共数据的差分隐私模型的预训练
通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在 ImageNet-21k 上实现 41.5% 的差分隐私准确率（ε=8），以及在下游任务 Places365 和 iNatu - 关于大型基础模型的灾难性传承
通过提出的 UIM 框架，来应对大型基础模型中的灾难性继承问题，该问题描述了从有偏见的大规模预训练数据到 LFMs 在下游任务中的行为所继承的弱点和限制，可导致偏见、泛化不足、性能下降、安全漏洞、隐私泄露和价值错位等灾难后果。
- 深层模型零阶优化的随机两点方法
该研究介绍了零阶方法在大型深度模型优化中的应用，提出了一种高效的随机双点（S2P）方法及其加速变种（AS2P），通过利用新的收敛性质，成功优化了大型深层模型的目标函数，相对于标准方法在训练中加快了 2 倍的速度。
- 资源高效的 LLM 和多模态基础模型调查
大型基础模型的资源挑战是一个重要问题，本调研综合分析了现有文献修复切片从模型架构到资源策略的多个方面，为理解当前方法和激发未来突破提供了全面的观点。
- 异构低秩逼近用于联邦微调设备基础模型
提出了一种适用于资源受限和异构设备的参数高效的基于异构低秩近似的本地设备上基金会模型（ODFMs）的联邦微调方法，通过在客户端间采用异构秩以消除同质化呈现性的缺点，结合高秩和低秩近似的优点，加速了收敛速度和最终性能，并保护数据隐私。
- 蝴蝶分解优化的参数高效正交微调
该研究论文提出了一种基于正交蝶形结构参数化的参数高效微调方法，命名为 Orthogonal Butterfly (BOFT)，并进行了大型视觉转换模型、大型语言模型和文本到图像扩散模型在不同视觉和语言下游任务中的广泛实证研究。
- TiC-CLIP: CLIP 模型的持续训练
通过引入基于网络规模的时间连续基准数据集，我们衡量现有模型的时间鲁棒性，发现基于学习到的时间连续数据进行简单的回训方法可以大幅减少计算量。
- 大型基础模型中的幻觉调查
在这篇综述论文中，研究了大型基础模型（LFMs）中幻觉问题的最新进展，包括幻觉现象的分类、评估标准以及减轻幻觉的策略和未来研究方向。
- 基于深度学习的患者来源的器官样体视频的时空分析用于药效预测
本研究首次探讨使用强大的大型基础模型来自动处理 Patient-Derived Organoids（PDO）数据，提出了一种基于显微摄影定时视频的新型成像高通量筛查方法，通过融合时间和空间特征以预测 Adenosine Triphospha - LMFlow: 大型基础模型的微调和推理的可扩展工具包
本文介绍了一个工具包 LMFlow，其目的是简化大型基础模型的微调和推理，并支持个性化训练和连续预训练以及大模型推理。
- Orca：从 GPT-4 复杂解释跟踪中渐进式学习
Orca 是一个学习仿真大型模型（LFMs）的推理过程的 130 亿参数模型，通过从 GPT-4 和 ChatGPT 的帮助中获取详细的信号来学习。Orca 在复杂的零 - shot 推理基准测试中的表现超过了 Vicuna-13B 等学习 - 基于基础模型 API 的不同 ially Private 合成数据 1: 图像
利用 API 来生成差分隐私合成数据的方法（DPSDA），不需要模型训练，通过 Private Evolution（PE）框架解决了这个问题，在 synthetic images 取得了很好的效果，同样适用于处理像 Stable Diffu - 使用大型语言模型评估阿拉伯语人工智能能力
本研究旨在对大型基础模型在阿拉伯自然语言处理和语音处理的表现进行系统的评估和比较，结果表明在大部分任务中，基础模型的表现不如专门针对任务开发的模型，未来的研究将探索 Few-shot prompting、拓展任务范围并研究其他开源模型。