RE-Adapt: 大型语言模型的逆向工程适应
通过使用未标记的数据，我们研究了倒向工程适应信息检索 (RE-AdaptIR) 的有效性，以改进只使用未标记数据的基于大语言模型的信息检索 (LLM-based IR) 模型， 并且展示了在培训领域和未见过查询的领域中性能的改善。
Jun, 2024
该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。
Jul, 2022
通过适应、检索和修订的过程，这篇论文介绍了一个简单而有效的领域适应框架，将大型语言模型 GPT-4 应用到特定领域的内容生成，以增加准确性和避免内容幻觉。
Oct, 2023
本文提出了一种名为 REcurrent ADaption (READ) 的轻量级记忆型微调方法，可以在保持高模型质量的情况下，大大降低训练的内存消耗和 GPU 能源使用，特别适用于微调大型 Transformers 模型。
May, 2023
本研究提出了一种简单而有效的适应 NMT 模型的方法，该方法是将微小的任务特定适配层注入预训练模型，能够同时适应多个不同的任务，并在两项任务中得到了验证，理论与全面的微调相当。
Sep, 2019
本文提出了两种优化神经网络语言模型适应新数据的方法，包括在重新采样数据上进行继续训练或插入适应性层。在 CAT 环境中应用于 SMT 系统中，这两种方法均取得了显著的改进。
Dec, 2014
本文提出了一种低秩适应方法（Low-Rank Adaptation，简称 LoRA），通过将可训练秩分解矩阵注入变压器结构的每个层中，极大地减少了下游任务中的可训练参数，并且性能与微调相当或更好，同时具有更高的训练吞吐量和没有额外推理延迟，这解决了大规模预训练模型对于微调参数和 GPU 内存占用过高的问题。
Jun, 2021
通过 LoRA-based instruction-tuning 来提高日本医学问答任务的性能，在多项选择题的评估中发现其可以部分地将领域特定知识整合到大型语言模型中，较大模型效果更显著，并突出了将英语为中心的模型适应于日本应用的潜力，同时也强调了日本为中心的模型的局限性，这一举措标志着在不依赖外部服务的情况下，医疗机构可以对模型进行精细调整和操作的先驱性努力。
Oct, 2023
通过使用大型语言模型 (LLMs) 生成大量合成的查询，可以在不使用大量标记的数据的情况下，有效地优化实现信息检索任务，同时消除因为领域的转变而导致真实世界应用效力降低的问题。
Mar, 2023