本文提出LLMs-Adapters框架，利用少量可调参数对小型LLMs进行fine-tuning，实现对各种任务的支持；在六种数学推理数据集上的实验表明，将adapter-based PEFT应用于小型LLMs（7B）可以取得与强大的LLMs（175B）相似甚至更优秀的性能，旨在推进adapter-based PEFT的研究，为LM大规模的fine-tuning提供了有价值的工具和框架。

Apr, 2023

为了解决电子商务数据对通用大语言模型的挑战问题，在本文中我们提出了第一个电子商务指令数据集 EcomInstruct，并通过构建基于电子商务基本数据类型的原子任务来扩大数据规模和任务多样性。通过在 EcomInstruct 上训练背骨模型 BLOOMZ，我们开发了具有不同参数规模的 EcomGPT。EcomGPT 在零样本泛化能力方面表现出色。广泛的实验和人工评估表明，EcomGPT 在电子商务任务的跨数据集/任务泛化方面优于 ChatGPT。

Aug, 2023

大型语言模型的自主选择优化方法以及通过IFD指标识别差异以提高模型训练效率的研究对于提高LLM的效率和资源利用具有重要意义。

Aug, 2023

使用两种学习模式，即上下文学习（ICL）和完全微调，以及一种新的学习范式FIAT，该范式将二者结合起来，使得在使用最大尺寸模型的同时，可以进行快速引擎指令和思维链推理，并利用类似方法对规模适度的LLM进行参数更新。我们发现，FIAT在各种多语言任务上的表现优于ICL和完全微调，训练样本范围为100-10,000。希望FIAT为充分发挥LLMs的潜力提供了一种实用的方式，无需在学习范式之间进行困难选择。

Sep, 2023

该研究构建了ECInstruct数据集，发展了一系列针对电子商务的大型语言模型（eCeLLM）。综合实验和评估结果表明，eCeLLM模型在领域内优于基线模型，包括最先进的GPT-4和最新的任务特定模型，并且在领域外的情景中表现出卓越的泛化能力，突显其作为一种通用电子商务模型的优越性。ECInstruct数据集和eCeLLM模型潜力巨大，可以为电子商务领域的多功能和有效的语言模型提供支持。

Feb, 2024

介绍了利用大型语言模型进行指令调优的最新进展，提出了一种双向指令调优策略，通过前向和后向推理任务来改善语言模型对数学推理的理解与执行能力。通过广泛实验证明，这种策略适用于多种数学推理任务并具有领域通用性。

Mar, 2024

Mathador-LM是用于评估大型语言模型在数学推理上的新基准，结合了规则解释、规划和问题求解。该基准受Mathador游戏启发，其目标是使用给定的一组基本数字和简单的规则，通过基本算术运算达到目标数字。我们在领先的大型语言模型中展示了稳定的平均性能，并动态生成基准实例，以符合目标难度级别。因此，我们的基准缓解了测试集泄露到训练数据中的问题，这是经常破坏流行基准的一个问题。此外，我们对Mathador-LM中的开源和闭源最新大型语言模型进行了全面评估。我们的发现表明，现代模型在Mathador-LM上面临困难，得分显著低于平均5年级学生，这与它们在流行数学推理基准上的强大表现形成鲜明对比。

Jun, 2024

本研究解决了电子商务购物助手在任务特定性和泛化能力不足的问题。我们提出了一种基于大型语言模型（LLMs）的通用助手LLaSA，并构建了包含65,000个样本的EshopInstruct指令数据集，显示出优秀的多任务处理能力和泛化效果。结果，在亚马逊KDD杯2024挑战赛中，LLaSA表现出色，整体排名第3，证实了LLMs在电子商务领域的巨大潜力。

Aug, 2024

本研究探讨了大型语言模型（LLMs）在电子商务领域的应用效果，填补了对不同使用案例性能比较的研究空白。通过对比LLMs与传统预训练模型在分类、生成、摘要和命名实体识别等任务中的表现，研究发现，在特定任务中，少量抽样推理的LLMs往往不如细调后的较小预训练模型有效，强调了任务特定模型优化的重要性。

Aug, 2024

本研究解决了以往对量化大语言模型评估的不足，尤其是针对最近的405B大模型（如Llama 3.1）的缺乏全面分析。通过对多种量化方法的评估，发现较大模型的量化性能普遍优于较小的FP16模型，并且不同量化方法和模型尺寸会显著影响结果，这对未来量化技术的应用具有重要影响。

Sep, 2024