我们提出了一种基于多模态大语言模型（MLLM）的图像修复框架，名为多模态大语言模型修复助理（LLMRA），通过利用 MLLM 的印象能力来获取通用图像修复的降级信息，并通过 Context Enhance 模块和 Degradation Context based Transformer Network 将这些上下文嵌入整合到修复网络中，提供了输入低质量图像和恢复后高质量图像的低级属性描述。大量实验证明了 LLMRA 在通用图像修复任务中的卓越性能。

Jan, 2024

利用大型语言模型（LLMs）为六代（6G）无线通信技术引入一种基于强化学习的新框架，该框架在都市环境中通过训练 RL 代理并结合卷积神经网络（CNNs）利用 LLMs 的优势以及减轻其限制，在优化区域覆盖范围的网络部署中表现出色。

May, 2024

通过探索更加信息丰富的训练数据，本文演示了击败规模定律并训练出更小但更强大的轻量级多模态大语言模型 Bunny，其背后利用了灵活的视觉和语言基础模块进行高效的多模态学习。

Feb, 2024

近期人工智能在医疗领域有了显著进展，本研究提出 RO-LLaMA，一个通用的大型语言模型，特为放射肿瘤学领域量身定制，能够在临床报告总结、放疗方案建议等任务中表现出卓越的性能，并且通过 CEFTune 技术进一步提高了模型的鲁棒性，同时保持了处理干净输入的能力，还将此概念创造性地转化为 LLM 驱动的分割框架 CESEG。实验结果表明，RO-LLaMA 在多中心队列数据集上展现了出色的性能和泛化能力。

Nov, 2023

利用生成性人工智能进行医学图像的放射学报告撰写可极大地减少了时间成本和错误率。本研究中，我们提出了一个简单而有效的两阶段微调方案，通过软性视觉提示将视觉特征与大型语言模型的文本嵌入空间对齐。我们的框架在没有领域特定预训练的情况下取得了最先进的性能，并对软性视觉提示和注意力机制进行了详细分析，为未来的研究方向提供了启示。

Dec, 2023

本文解决了利用大型语言模型（LLMs）和基础模型设计人工智能（AI）本地网络的问题，提出了一种以无线为中心的基础模型架构，其中包括多模态模型，通过神经符号 AI 进行逻辑和数学推理，并展示了 RAG 在 LMMs 中的有效性，以及 LMMs 相对于 vanilla LLMs 在数学问题回答方面表现出的增强的推理能力。

Jan, 2024

通过引入 pool-adapter 模块，保留视觉嵌入的位置信息，我们的 InfMLLM 方法在图像描述、视觉问题回答和视觉定位等任务中达到了与最新的多模态大语言模型相当或超越的性能。

Nov, 2023

通过参数空间对齐，我们提出了一种新颖的方法来表示视觉信息，将其表示为模型权重，并使用感知权重与 LLM 的权重进行合并。这种方法不需要视觉令牌作为 LLM 的输入，从而减少了输入序列的长度并大大提高了效率。我们的 VLoRA 基于此方法，通过感知权重生成器将视觉特征转换为低秩属性的感知权重，通过在各种基准测试中实验证明，VLoRA 在 MLLMs 上实现了可比较的性能，并显著降低了训练和推断的计算成本。

May, 2024

通过利用多模态大语言模型（MLLMs）的预训练能力，我们介绍了 RoboLLM 框架以应对 ARMBench 挑战中的视觉感知任务，在实际仓库场景下的大规模机器人操作数据集中，RoboLLM 不仅优于现有基线方法，还大幅减少了模型选择和调优的工作量。

Oct, 2023

该研究介绍了一种基于多模态大型语言模型的生成助手（LLMGA），利用大型语言模型（LLM）中内在的知识和理解能力，帮助用户进行图像生成和编辑，通过精确控制生成提示实现对稳定扩散（SD）的控制，以提供更精细、准确的内容和更直观的网络解释性，同时还提出了一个两阶段的训练方案来优化 SD 的生成结果，并引入基于参考的恢复网络来减少图像编辑过程中生成区域与保留区域之间的纹理、亮度和对比度差异。广泛的实验结果表明，LLMGA 具有很好的生成能力，并能以交互方式在更广泛的应用中发挥作用。

Nov, 2023