Dec, 2023

社会学习：朝着与大型语言模型进行合作学习

PDF
TL;DR在大型语言模型（LLMs）中，介绍了 “社交学习” 的框架，其中模型通过自然语言以隐私保护的方式共享知识。我们提出并评估了两种 LLMs 之间的知识传递方法，第一种情景中，模型生成抽象提示用于教授任务，而我们的第二种方法中，模型通过生成合成示例来传递知识。我们在多个数据集上评估了这些方法，并以记忆作为隐私损失的代理进行了量化。这些受社交学习启发的技术得到了有希望的结果，原始数据的记忆化较低。特别是，我们表明使用这些方法的性能与使用原始标签和提示的结果相当。我们的工作证明了社交学习在 LLMs 中的可行性，建立了基础方法，并突出了几个尚未开发的领域的重要性。
social learninglarge language modelsknowledge transferprivacy-awarememorization
发现论文，激发创造
  • Social-LLM: 使用语言模型和社交网络数据规模建模用户行为

    社交网络数据的广泛增长为人类行为的广泛数据驱动型探索开辟了前所未有的机遇。然而，建模大规模社交网络数据面临计算挑战。为了应对这些挑战，我们提出了一种专门用于建模社交网络数据的创新方法，并结合了大型语言模型的功能。我们在七个真实世界的社交网络数据集上进行了彻底评估，并展示了其在计算社会科学研究中的适用性。

    Dec, 2023

  • 社交网络中的大型语言模型：应用、挑战和解决方案

    基于大型语言模型（LLM）开发在线社交网络的应用程序是具有挑战性的，并且在研究界中报道相对较少。本研究将 LLM 应用程序分为三类：知识任务、娱乐任务和基础任务，并提供了相应的挑战、解决方案和经验教训。据我们所知，这是第一篇关于将 LLM 应用于社交网络开发的综合性论文。

    Jan, 2024

  • 大型语言和强化学习模型相互增强的双向反馈机制：以案例研究为例

    大型语言模型和强化学习模型合作的教师 - 学生学习框架，通过递归互助的方式，实现了抽象信息的供给和实时反馈的互利循环，从而推动大型语言模型和强化学习模型在协同多智能体环境中的优化、探索和互相改进。

    Jan, 2024

  • 通用大型语言模型中的记忆化

    大型语言模型在记忆方面的挑战和机会，包括隐私、安全、版权等问题，并提出目前的研究方向。

    Oct, 2023

  • 通过图感知学习增强基于语言模型的协同语义推荐

    通过使用充满协作语义的交互图，我们提出了一种名为 GAL-Rec 的方法，通过模仿图神经网络（GNNs）的意图来提高语言模型驱动的推荐模型对用户 - 物品协作语义的理解能力，从而充分利用大型语言模型的学习能力，独立解决推荐系统中的复杂图形，实验证明 GAL-Rec 显著增强了协作语义的理解能力，并提高了推荐性能。

    Jun, 2024

  • 评估即所需：使用开放模型在社会科学的注释任务中引导生成式大型语言模型的纲要

    本研究探讨了在社会科学中使用开放生成的大型语言模型（LLMs）进行注释任务的用途。研究强调了专有模型所面临的限制再现性和隐私问题，并主张采用可在独立设备上运行的开放（源）模型。提供了推文情感分析和童年志向性散文中休闲活动的识别两个注释任务的示例。研究评估了不同的提示策略和模型（neural-chat-7b-v3-2，Starling-LM-7B-alpha，openchat_3.5，zephyr-7b-alpha 和 zephyr-7b-beta）的性能。结果表明需要仔细验证和定制提示工程。研究强调了开放模型在数据隐私和再现性方面的优势。

    Dec, 2023

  • 联邦大型语言模型：一篇立场论文

    提出了联邦式大规模语言模型（LLM）的概念，并讨论了其三个关键组成部分：联邦式 LLM 预训练、联邦式 LLM 微调和联邦式 LLM 提示工程。还探讨了联邦学习和大规模语言模型整合所带来的新挑战，并分析了现有解决方案和潜在障碍。

    Jul, 2023

  • 基于大型语言模型的智能体的记忆共享

    在人工智能领域，大型语言模型（LLM）代理通过自然语言提示来执行任务，消除了显式重新训练或精调的需要，尤其是在诸如常识问题和是 / 否查询等固定答案任务中。然而，将上下文学习应用于开放性挑战，例如诗歌创作，由于提供的示例的全面性和代理的理解问题内容的能力存在显著限制，导致输出与预期结果经常不一致。为了解决这一差距，我们的研究引入了用于 LLM 多代理的记忆共享（MS）框架，该框架利用实时内存存储和检索系统增强上下文学习过程。该系统中的每个 “记忆” 都捕捉了 LLM 代理提出的查询以及相应的实时响应，将来自各种相似代理的这些记忆聚合到所有代理共享的记忆池中。该框架不仅帮助代理识别特定任务的最相关示例，而且通过其他代理应用未来的记忆评估其潜在效用。对涉及代理特定功能的三个不同领域进行的实证验证表明，MS 框架显著提高了代理在开放性问题上的性能。此外，我们还讨论了在 MS 中哪种类型的记忆池和检索策略可以更好地帮助代理，并提供了 MS 的未来发展方向。代码和数据可在此 https URL 获取。

    Apr, 2024

  • 大规模语言模型的在线训练：聊天中学习

    大型语言模型 (LLMs) 在自然语言处理 (NLP) 领域产生了巨大的革命，提供了引人注目的功能，得到了广泛的使用。然而，现有的 LLMs 与用户之间的交互范式存在着局限性、定制能力不足或者缺乏持续学习的问题。为了克服这些挑战，本文介绍了一种新的交互范式 -' 使用外部交互进行在线训练 '，通过与 AI 代理或在线 / 离线知识库等外部交互，将持续实时模型更新的好处与个性化定制的灵活性相结合。

    Mar, 2024

  • 多语言模型的协同解码学习

    我们提出了一种方法，通过在标记级别交替生成来教授多个大型语言模型（LLM）进行协作。我们将下一个标记由哪个 LLM 生成的决策建模为潜在变量。通过在潜在变量模型下优化训练集的边际似然，基础 LLM 自动学习何时生成自己，并在需要时调用其中一个 `` 助理 '' 语言模型进行生成，无需直接监督。解码过程中的标记级别协作允许以适应特定任务的方式融合每个模型的专长。我们的协作解码在跨领域设置中特别有用，其中广义的基础 LLM 学习调用领域专家模型。在指令遵循、领域特定问答和推理任务中，我们展示了联合系统的性能超过各个模型。通过对学习到的潜在决策进行定性分析，我们展示了使用我们方法训练的模型呈现了几种有趣的协作模式，例如模板填充。我们的代码可在此 URL 找到。

    Mar, 2024