对齐不准确响应的 LLMs 的少样本个性化

Jun, 2024

对齐不准确响应的 LLMs 的少样本个性化

Few-shot Personalization of LLMs with Mis-aligned Responses

Jaehyung Kim, Yiming Yang

TL;DR本研究提出了一种新方法，通过使用大型语言模型（LLMs）的误配响应来进行少量示范个性化，其关键思想是通过改进个性化提示来逐步改善每个用户的提示，特别关注 LLMs 的误配响应的上下文，以及为测试查询和个性化提示开发有效的推理方法。实验结果表明，相比于最佳基准线，Fermi 在各种基准测试中显著提高了性能。

Abstract

As the diversity of users increases, the capability of providing personalized responses by large language models (LLMs) has become increasingly important. Existing approaches have only limited successes in llm personali

personalized responses large language models few-shot personalization llm personalization mis-aligned responses

发现论文，激发创造

带参数化内存注入的个性化 LLM 响应生成

本研究提出了一种使用参数高效微调和贝叶斯优化搜索策略的记忆注入方法来实现大型语言模型的个性化响应生成 (MiLP)。

Apr, 2024

个性化大型语言模型

该研究探讨了个性化调整和零 - shot 推理方法在主观任务上的应用，结果表明，与非个性化模型相比，个性化调整能够提高模型的推理能力，并在不同的大语言模型架构上实现了对情感识别和仇恨言论检测等数据集的一致性性能提升，这些发现凸显了个性化对于增强大语言模型在主观文本感知任务中的重要性。

Feb, 2024

个性化在界限内：与个性化反馈对其进行对齐的大型语言模型的风险分类和策略框架

本文探讨了对大型语言模型进行个性化对齐以确保其符合人类偏好和价值观的挑战和风险，并提出了一个三层次政策框架，以使用户可以体验到个性化对齐的好处，同时在国家和组织范围内控制不安全或不受欢迎的行为。

Mar, 2023

用户 - LLM: 基于用户嵌入的高效 LLM 语境化

利用用户嵌入来上下文化大型语言模型，实现显著性能提升。

Feb, 2024

提升大型语言模型性能以更准确地回答问题和提取信息

通过精调模型和对称相似度、LLM 评估和 Rouge-L 分数等指标的连续反馈循环来提高人工智能模型，利用金融数据集和检索增强生成技术 (RAG)，证明精调模型在问题回答能力方面能够超越零 - shot LLMs 的准确性。

Jan, 2024

基于记忆增强的 LLM 个性化学习，短期和长期记忆协调

通过使用参数高效的微调模式和计算仿生记忆机制，我们提出了一种新颖的个人化大语言模型方法，该方法在用户导向的生成任务中展示了卓越的效果和优越性能。

Sep, 2023

基于语言模型检索的多语言少样本学习

本文在多语言和交叉语言设置下，通过全面研究检索语义相似的少样本示例的方法来提升 Transformer 模型在自然语言理解任务中的性能。结果表明该方法在英语以外的单语言和交叉语言任务中均优于随机抽样。

Jun, 2023

巨型语言模型增强少样本推荐系统的表示能力

利用大型语言模型（LLMs）处理明确反馈可以提高推荐系统在少样本场景中的性能。LLMs 具备生成和逻辑推理能力，能够有效处理明确反馈，成为增强推荐系统性能的组成部分。

Dec, 2023

为临床任务对齐大型语言模型

大型语言模型在临床应用中的关键性挑战是对其进行有效的对齐，以实现准确生成具备事实内容和非平凡推理能力的响应。本研究提出了一种名为 “扩展 - 猜测 - 精化” 的医学问题回答的对齐策略，该策略通过采用指令调整和少样本以及连续思考等方法显著提高了大型语言模型的性能。初步分析表明，该方法在从 USMLE 数据集中选取的问题子集上达到了 70.63% 的优异表现。

Sep, 2023

LaMP: 大型语言模型与个性化的相遇

本文介绍了个性化对于自然语言理解和生成的重要性，并引入了 LaMP 基准测试 - 一种用于训练和评估用于生成个性化输出的语言模型的新基准测试。LaMP 提供了一个包含多样化语言任务和每个用户配置文件的多个条目的全面评估框架。它由七个个性化任务组成，横跨三个分类任务和四个文本生成任务。我们还提出了一种检索增强方法，该方法从用户配置文件中检索个性化项，以构造大型语言模型的个性化提示。我们的基线零 - shot 和微调模型结果表明，利用配置文件增强的 LM 优于不考虑配置文件信息的其同类。

Apr, 2023