Sep, 2023

理解、模拟和优化内容和行为的大型内容与行为模型

PDF
TL;DR在这篇文章中，我们通过将行为标记重新引入到大型语言模型（LLMs）的训练中取得了初步进展，得到的大内容和行为模型（LCBMs）在内容理解、行为模拟、行为理解和行为领域适应等方面表现出广泛的泛化能力。
information theorycommunicationlarge language models (llms)behavior tokenslarge content and behavior models (lcbms)
发现论文，激发创造
  • LLaVA 发现免费午餐：教授人类行为提高 LLM 的内容理解能力

    训练语言模型以预测接收者行为，可以改善其对内容的理解能力。通过训练语言模型预测接收者的喜欢和评论行为，可以在多种内容理解任务上显著提高性能。

    May, 2024

  • 大型语言模型八大要点

    该论文调查了大型语言模型的八个潜在问题，包括其预测能力的增强，不可预测的行为的出现，对外部世界的学习和使用表示，行为引导技术的不可靠性，内部工作方式的解释困难性，性能上界不是人类任务表现，不一定表达其创建者或网络文本编码的价值观，与 LLMs 的简短交往经常是误导性的。

    Apr, 2023

  • 大型语言模型用于旅行行为预测

    利用大型语言模型进行旅行行为预测，无需数据参数学习，准确性可与传统的监督学习方法相媲美，并能输出预测的原因，但存在逻辑矛盾或幻觉的情况。

    Nov, 2023

  • Social-LLM: 使用语言模型和社交网络数据规模建模用户行为

    社交网络数据的广泛增长为人类行为的广泛数据驱动型探索开辟了前所未有的机遇。然而，建模大规模社交网络数据面临计算挑战。为了应对这些挑战，我们提出了一种专门用于建模社交网络数据的创新方法，并结合了大型语言模型的功能。我们在七个真实世界的社交网络数据集上进行了彻底评估，并展示了其在计算社会科学研究中的适用性。

    Dec, 2023

  • 大型语言模型（LLM）的几个类别：简要调查

    这篇研究论文总结了大型语言模型（LLMs）不同子类的最新发展，包括基于任务的金融 LLMs、多语言 LLMs、生物医学和临床 LLMs，以及视觉语言 LLMs 和代码语言模型。它还强调了聊天机器人和虚拟助手开发领域中的未解决问题，如增强自然语言处理、提升聊天机器人智能性以及解决道德和法律困境，旨在为对基于 LLMs 的聊天机器人和虚拟智能助手技术感兴趣的读者、开发者、学者和用户提供有用的信息和未来方向。

    Jul, 2023

  • 在线求职推荐中探究大语言模型在图数据理解中的应用

    本研究旨在揭示大型语言模型在理解行为图并利用这种理解增强在线招聘中的推荐能力，包括促进分布外应用程序，为此我们提出了一个新框架，该框架利用大型语言模型提供的丰富上下文信息和语义表示来分析行为图并揭示其中的潜在模式和关系，从而实现个性化和准确的工作推荐，并在全面的数据集上评估了我们的方法的有效性。

    Jul, 2023

  • 突破长度限制：在长文本用户行为中增强的 LLM 点击率预测

    通过提出行为聚合分层编码（BAHE）来提高基于大型语言模型（LLMs）的点击率（CTR）建模的效率，通过利用 LLMs 预训练的浅层获取用户行为的嵌入并与深层进行交互以计算 CTR 得分，从而减少计算复杂性并使 LLMs 实用于工业 CTR 预测。

    Mar, 2024

  • 高效大型语言模型：综述

    大型语言模型在自然语言理解、语言生成和复杂推理等重要任务中展示出了卓越的能力，并有潜力对我们的社会产生重大影响。然而，这些能力所需的资源相当可观，强调了开发有效的技术来解决其效率挑战的迫切需求。本调研以系统和全面的方式概述了高效大型语言模型的研究成果，从模型中心、数据中心和框架中心的角度，将文献进行了分类整理。我们还创建了一个 GitHub 存储库，在这个存储库中收集了本调研中涉及的论文，并将积极维护并整合新的研究成果。希望本调研能为研究人员和从业者提供有价值的资源，帮助他们系统地了解高效大型语言模型的研究进展，并激励他们为这个重要而激动人心的领域做出贡献。

    Dec, 2023

  • 社交网络中的大型语言模型：应用、挑战和解决方案

    基于大型语言模型（LLM）开发在线社交网络的应用程序是具有挑战性的，并且在研究界中报道相对较少。本研究将 LLM 应用程序分为三类：知识任务、娱乐任务和基础任务，并提供了相应的挑战、解决方案和经验教训。据我们所知，这是第一篇关于将 LLM 应用于社交网络开发的综合性论文。

    Jan, 2024

  • 语言模型行为：综合调查

    调查了 250 多个英文语言模型行为的研究，讨论了 Transformer 语言模型在特定任务微调之前的基本功能，以及模型对特定输入和表面特征的敏感性。尽管模型参数规模扩大到数百亿，但仍容易出现非事实性回答、常识错误、记忆文本和社会偏见等弱点。我们综合近期结果，强调了目前关于大型语言模型能够和不能够做到什么的已知情况。

    Mar, 2023