- 电信领域句子嵌入的指南
评估公开可用模型及其领域自适应变体所得到的多种句子嵌入，通过对点检索准确性和置信区间（95%）的评估，建立了一种获取不同嵌入相似度阈值的系统方法并发现 fine-tuning 可提高点检索准确性和置信区间，并且结合预训练可以使置信区间更加紧 - 基于语言模型的问题与选项生成
基于序列到序列语言模型的三种不同方法，本文开发了问题选项生成（QOG）模型，实验证明这种端到端 QOG 模型在训练和推断过程中具有计算效率高且稳定的特点，优于其他方法，与大型语言模型 Llama 3-8B 相比，我们的分析表明，我们的 QO - 通过指令向量进行大规模语言模型精调的可解释性灾难性遗忘
通过考察模型对知识理解和指令跟踪的影响，本文揭示了大语言模型在微调过程中遗忘的内在机制，并以指令向量（IV）框架为基础，提出了 IV 引导训练的方法，以缓解灾难性遗忘。实证测试表明这种新方法的有效性，支持 IV 与遗忘之间的关系。
- 巨人的肩膀上：动态逻辑融合实现轻弱到强强的过渡
通过使用逻辑融合方法，将专家模型的专业知识传递给更大的模型，从而实现高效的对大语言模型进行定制化微调。
- GECOBench: 一个用于评估解释中偏见量化的性别控制文本数据集和基准
此研究探讨了大型预训练语言模型的可解释性人工智能技术及其对性别偏见的影响，并创建了一个性别控制文本数据集，通过对预训练模型的不同微调程度进行 XAI 方法的评估，展示了解释性能与微调层数之间的关系。
- 大型语言模型的性能误区揭秘：微调与失败？
研究探讨了大型语言模型在细调、提取上下文数据和性能增强方面的影响，以及它们在多个领域的应用情况，并指出了细调模型在特定任务中性能下降的问题。
- 小型代理也能出色！强化小型语言模型作为幻觉检测器
通过使用较小型的语言模型以及多功能工具箱，设计了一个细粒度的三阶段检测框架，结合记忆机制，实现了 HalullAgent，使其能够主动选择适合的工具来检测多种幻觉类型，包括文本、代码和数学表达式，并利用中英文数据集进行合成检测轨迹以实现双语 - 神经细胞谱系
通过引入一种称为神经谱系检测的新任务，本文研究了如何根据经过调优的神经网络来确定其父模型。我们提出了两种方法来解决该任务：一种是基于相似度的谱系检测方案，将微调过程的近似结合到神经网络表示相似性度量中；另一种是基于学习的谱系探测器，由编码器 - 输入条件的语言代理图生成
基于大型语言模型的语言代理，使用图形框架构建的动态学习方法，通过强化学习进行微调，能够根据给定的输入生成内部通信表示，实现较高的准确率。
- ICML候选伪标签学习：通过无标签数据及时调整以增强视觉 - 语言模型
通过候选伪标签学习方法（CPL）在下游任务中使用适当的候选伪标签细调视觉 - 语言模型（VLMs），以提高 VLMs 在大量无标签数据上的 True 标签包含能力和类别平衡实例选择效果。
- 利用最大多样性微调解锁大型语言模型的规划能力
大型语言模型 (LLMs) 具有令人印象深刻的任务解决能力，通过提示技术或系统设计实现。然而，在规划任务方面，对它们的熟练度引发了一些关注，因为它们常常难以生成有效的计划。本文研究了精调对 LLMs 规划能力的影响。我们的发现表明，通过大规 - 大型语言模型中忠实思维链路推理的困难性
大语言模型（LLM）在关键领域，如医疗保健中得到越来越多的应用，为了确保这些模型生成的链式思维（CoT）推理能够忠实地捕捉其基本行为，我们探索了三种常用方法 —— 上下文学习、微调和激活编辑 —— 来指导 LLM 的行为，以提高 CoT 推 - 学习适应基础模型 DINOv2 以应用于胶囊内窥镜诊断
我们介绍了一种名为低秩适应（LoRA）技术的简化方法，用于将基础模型进行自定义，通过将低秩适应学习应用于胶囊内窥镜诊断，取得了令人印象深刻的结果。
- 基于学习的子空间投影器的通用 GPU 上超参微调 LLM 的实用卸载
通过学习稀疏压缩器和新颖的分层通信调度，我们提出了一个离线框架 LSP_Offload，能够在普通硬件上以接近原生速度进行大型语言模型的微调，从而在受限的内存条件下显著提高微调吞吐量并缩短微调时间。
- 分组与混洗：高效结构正交参数化
在本研究中，我们引入了一类新的结构化矩阵，统一并推广了之前工作中的结构化类，以进一步改进参数和计算效率。我们还将这种参数化方法用于修改正交微调框架，在不同领域进行了实证验证，包括文本与图像扩散模型的自适应和语言建模中的下游任务微调。此外，我 - Delta-CoMe: 大型语言模型的无需训练的混合精度增量压缩
通过将细调的大语言模型进行分解和压缩，并采用混合精度的方法，我们提出了一个保持模型性能的增量量化方法，实验证明其在各种细调的语言模型中表现出与完整模型相当的性能，在低秩和低比特方法上也表现出明显优势，并且与其他基础语言模型兼容。
- OpenVLA：一个开放源代码的视觉语言行动模型
通过使用互联网规模的视觉 - 语言数据和多样化的机器人演示进行预训练的大型模型，可以改变我们教授机器人新技能的方式：相对于从零开始训练新行为，我们可以对这种视觉 - 语言 - 动作（VLA）模型进行微调，以获得稳健、具有广泛适用性的视觉 - - 低资源情景下 TTS 系统的语言适应初探
本文探讨了基于自监督学习 (SSL) 多语言模型的 ZMM-TTS 语言适应能力，研究发现了预训练语言和目标语言的语音学相似性、语言类别、微调数据集大小以及说话人数量对适应性的影响，并且发现相对于配对数据，仅音频数据在微调中并不总是最优选择 - 构建工业级对话助手的零 - shot 槽填充系统的方法
我们提出了一种基于大型语言模型（LLM）的插槽填充系统，用于在跨多种工业级应用领域中的会话助手中执行对话状态跟踪。
- CVPRPC-LoRA：基于知识蒸馏的逐步模型压缩的低秩适应
逐步压缩低秩适应（PC-LoRA）方法通过低秩适应同时进行模型压缩和微调，最终仅保留低秩适配器以取代预训练权重，实现了参数和计算量的压缩。