通过使用离线总结和运行时检索，我们提出了一种新颖的基于总结的方法，扩展了基于检索的个性化，以实现更好的实时系统性能，并在实际约束下取得了更好的个性化性能。

Oct, 2023

通过与用户与搜索引擎的交互历史相关的上下文，我们提出了一种新颖且通用的方法，用于个性化输出，这对于理解用户当前的搜索背景以及他们历史上知道和关心的内容是必要的。我们验证了我们的方法在上下文查询建议的任务上优于几个其他LLM基准方法，生成了在上下文中更相关、个性化和有用的查询建议。

Nov, 2023

缩写展开是一种通过限制打字量并使用语言模型建议展开来加快沟通的策略。本文研究了基于之前对话进行个性化的大型语言模型（LLM）建议，以增强预测的相关性，尤其是在用户数据较少（~1000个样本）的情况下。我们比较缩写输入的fine-tuning，prompt-tuning和检索增强生成的扩展文本建议。我们的案例研究针对部署的80亿参数LLM与一个真实的患有ALS病的用户以及电影角色个性化方面的实验表明：（1）在某些场景下可能需要定制化，而prompt-tuning对这些场景具有很好的泛化能力；（2）在域内数据（仅有600个样本）上的fine-tuning仍然显示一些收益，然而（3）检索增强的少样本选择也优于fine-tuning；（4）参数高效调整可以实现高效和可扩展的个性化。对于prompt-tuning，我们还发现将学习的“软提示”初始化为与用户相关的概念标记比随机初始化能够获得更高的准确性。

Dec, 2023

通过个性化参数高效调整的方法(OPPU)，将用户个性化模型与非参数化知识相结合，实现个性化推荐和隐私保护。实验结果表明，OPPU在处理用户行为转变、用户活跃水平建模、用户历史记录格式以及不同调整方法方面具有出色的性能。

Feb, 2024

通过引入Persona-DB框架，本文从一个新的角度考虑数据如何更好地表示，以实现对大型语言模型(LLMs)定制过程中更高效的检索，同时在多个实验中展示了Persona-DB在任务上下文中的泛化能力和在冷启动情况下的显著改进。

Feb, 2024

本研究论文探讨了扩展的检索方法用于个性化大型语言模型，通过两种优化算法从下游任务获取反馈进行检索优化，并引入了一个预生成和后生成的检索模型来决定每个语言模型输入应选择哪个检索器。在多个任务中进行了大量实验，并获得了显著的统计结果。

Apr, 2024

个性化大型语言模型（LLMs）旨在根据个人用户的偏好定制交互、内容和推荐。我们引入了一种名为个性化碎片（Per-Pcs）的框架，该框架允许用户安全地共享和组装个性化的参数高效微调（PEFT）。Per-Pcs通过选择共享者，将其PEFT拆分为碎片，并为每个碎片训练门控模型，从而实现用户根据历史数据选择和组装个性化的PEFT。这种方法既保护隐私，又能实现细粒度的用户建模，而不会占用过多的存储和计算资源。实验结果表明，Per-Pcs优于非个性化和PEFT检索基线，在六个任务上的性能可与OPPU相媲美，并且资源消耗显著降低。进一步的分析突显了Per-Pcs在共享者数量和选择策略、碎片共享比例、计算时间和存储空间的可扩展性方面的鲁棒性。Per-Pcs的模块化促进了安全共享，通过协作努力使LLM个性化更加高效、有效和广泛可及。

Jun, 2024

大型语言模型（LLMs）在日常应用中变得越来越普遍，因此需要确保它们在各种用户群体之间公正地运行。本文揭示了LLMs存在个性化偏差的问题，也就是当LLMs根据用户的身份进行个性化设置时，它们的性能会受到影响。我们通过评估LLMs在安全性和效用两个维度上的表现来量化个性化偏差。结论发现，不同的LLMs在安全性和效用的权衡方面存在显著的性能差异，这取决于用户的身份。最后，我们探讨了一些使用偏好调优和基于提示的防御策略来减轻个性化偏差的方法。

Jun, 2024

本研究关注大型语言模型在个性化方面的不足，提出了PEFT-U基准，一个用于构建和评估用户个性化自然语言处理模型的数据集。通过该基准，研究探索了如何高效调整这类模型以满足多样化用户的特定偏好，从而提升人机交互的个体化体验。

Jul, 2024

本研究解决了个性化大语言模型在用户偏好多样性方面的缺乏，提出了一种新颖的用户特定嵌入模型，通过轻量级插件模块建模用户历史上下文，以增强LLMs对用户习惯的理解。实验结果表明，该模型在多个语言模型个性化任务中显著优于现有方法，具有良好的应用潜力。

Sep, 2024