lora | BriefGPT - AI 论文速递

关键词lora

搜索结果 - 49

超高 LoRA
使用 LoRA-based HyperPINN 模型，在减少参数预测的维度的同时，通过添加基于物理方程的损失组件，显著改善了模型的泛化能力，使其能够有效地求解参数化偏微分方程，例如 Burger's 方程和 Navier Stokes: K
PDFa year ago
LoraHub: 动态 LoRA 组合实现高效的跨任务泛化
LoRAHub 是一个用于组合多个训练在不同任务上的 LoRA 模块的战略性框架，旨在实现在未知任务上的适应性性能，可以有效地模拟在少样本情况下的上下文学习表现，无需上下文示例。
PDFa year ago
大规模语言模型的结构剪枝 ——LLM-Pruner
提出一种名为 LLM-Pruner 的方法，在保持多任务求解和语言生成能力的同时，通过结构修剪来压缩 LLM，使得压缩模型在零样本分类和生成上仍然表现出令人满意的能力，并且只需要 50K 数据，在 3 小时内就能通过调整技术（LoRA）有效
PDFa year ago
ICLRNELoRa-Bench：神经增强式 LoRa 解调基准测试
本文介绍用于训练和测试 NELoRa 的数据集，其中包含 27,329 个使用 7 到 10 扩频因子的 LoRa 符号，NELoRa 可以实现比标准 LoRa 解码器 1.84-2.35dB 的信噪比增益。
PDFa year ago
基于完整参数和 LoRA 的微调在指令遵循大型语言模型的比较研究
本研究通过实验比较全参数微调和 LoRA 微调方法，使用 LLaMA 作为基础模型，发现基础模型选择、训练数据集规模、可训练参数数量和模型训练成本都是重要因素。该实验结论可以为训练大型语言模型提供启示，特别是在中文领域，帮助研究人员找到更好
PDFa year ago
基于稳定扩散模型的立面设计建模方法：从文本语义到图像生成
通过 LoRA 对 CMP Facedes 数据集上的 Stable Diffusion 进行优化，然后应用 ControlNet 模型进一步控制输出，通过对各种建筑风格文本内容和控制策略下的结果进行比较，实验证明 LoRA 训练方法显著降
PDFa year ago
源代码的参数高效微调变压器
本文介绍了针对代码的预训练模型参数高效微调的适配器和 LoRA 两种方法，经过四项代码处理任务测试，发现这些高效微调方法在代码理解任务中可以实现可比或更高的性能，但在代码生成任务中性能不如标准的全微调。这些结果强调了在其他领域测试高效微调方
PDF2 years ago
CVPRREVECA -- 基于丰富编解码器框架的视频事件字幕生成器
本文描述了一种用于长视频理解工作坊中的通用边界事件字幕挑战的方法。我们设计了一个视频事件字幕生成器的丰富编 - 解码器框架 (REVECA)，该框架利用视频的时空信息来生成相应的事件边界字幕。REVECA 利用帧位置嵌入来合并事件边界前后的
PDF2 years ago
低功耗广域网分析：LoRa 能扩展吗？
本文通过建立一个随机几何模型来研究若干个 IoT 设备接入 Internet 所使用的低功耗广域网络（Low Power Wide Area networks, LPWA），并对其中的一种主流 LPWA 技术 ——LoRa 进行了分析。研究
PDF8 years ago