Apr, 2024

具有 LLM 摘要的拍卖

PDF
TL;DR研究了一个拍卖设置，在该设置中投标人为了使他们的内容在大型语言模型 (LLM) 生成的概要中得到展示，例如广告拍卖，其中显示的是多个广告的概要段落。研究提出了一个新的分解框架，在该框架中，通过预测模型，一个拍卖模块和一个 LLM 模块共同工作，以在激励相容的方式提供最大化福利的概要输出。通过理论分析和合成实验，证明了该系统的可行性和有效性，并进行了福利比较。
auction settingbidderssummary generationlanguage modelwelfare maximizing summary outputs
发现论文，激发创造
  • 通过检索增强生成技术的广告拍卖

    该论文介绍了在大型语言模型中将广告集成到输出中的机制，提出了一种基于拍卖的广告分配和定价方法，通过检索增强生成（RAG）在段落、章节或整个输出中根据出价和相关性概率性地检索广告并根据竞争出价定价，展示了最大化对数社会福利的拍卖机制，并表征了相关的激励兼容定价规则。实证评估验证了我们的方法在多种广告拍卖场景中的可行性和有效性，并展示了在允许大型语言模型更灵活地分配广告时的度量指标之间固有的权衡。

    Jun, 2024

  • 在线广告中基于 LLMs 的真实聚合

    我们提出一种无需微调或访问模型权重的拍卖机制，能有效聚合多个参与者对 LLM 生成的用户查询回复的偏好，并能加入可用的上下文信息，实现快速收敛，从而提高广告主价值和平台收入。

    May, 2024

  • 基于 LLMs 的在线广告：机遇与挑战

    本文探讨了在在线广告系统中利用大型语言模型 (LLM) 的潜力，深入研究了该系统必须满足的隐私、延迟、可靠性、用户和广告商满意度等关键要求。我们进一步介绍了一个 LLM 广告的通用框架，包括修改、竞价、预测和拍卖模块，对每个模块的设计考虑进行了详细探讨，分析了它们的实用性以及实现中存在的技术挑战。

    Nov, 2023

  • 将你的资金投到你的口中：在拍卖竞技场中评估 LLM 代理的战略规划与执行

    大型语言模型可以在复杂环境中模拟人类行为，在竞争环境中展示了高级推理技能，需要评估环境来探测战略推理、竞争动态场景中的长期规划，介绍了 AucArena 作为一个评估 LLMs 的新型模拟环境，在竞拍中证明了通过简单的提示，LLMs 确实展示了参与竞拍所需的许多技能，还发现对 LLM 代理进行自适应和观察过去竞拍策略的明确鼓励，可以提高这些技能的准确性，这些结果表明使用 LLM 代理模拟复杂社交动态的潜力，尤其在竞争环境中，但我们也观察到个体 LLMs 的能力存在相当大的变异性，值得注意的是，即使是最先进的模型（GPT-4）有时也会被启发式基准线和人类代理超越，这突显了 LLM 代理设计中进一步提高和我们的模拟环境在测试和改进代理体系结构中的重要作用。

    Oct, 2023

  • LaMSUM: 一种使用 LLMs 的用户生成内容抽取式摘要的新框架

    这项研究通过利用投票算法，提出了一种新的框架 LaMSUM，通过大型语言模型生成用户生成的文本的摘要，结果显示 LaMSUM 优于现有的提取式摘要方法，同时试图解释语言模型生成的摘要产生的原因。

    Jun, 2024

  • 新闻摘要的大型语言模型基准测试

    通过对十种不同的预训练方法、提示和模型规模的大型语言模型进行人类评估，我们发现指导调整而不是模型规模是 LLM 的零样本摘要能力的关键，并通过从自由职业作家收集的高质量摘要进行人类评估，得出 LLM 摘要被认为与人类撰写的摘要相媲美的结论。

    Jan, 2023

  • 利用大型语言模型作为参考学习自动摘要

    本文提出了一种新的学习范式，考虑到 LLMS 是常用摘要数据集中的参考标准，用对比学习和 LLM 作为摘要质量评估器进行摘要训练方法。实验证明，用 GPTScore 和 GPTRank 两种 LLM 计分方式训练出来的较小的摘要模型，其性能可以与参考的 LLM 相媲美，通过访问 LLMS 它只需要很小的预算。

    May, 2023

  • 关于大型语言模型中的位置偏差的总结化问题

    对于大型语言模型，在抽象摘要任务中表现出色，但在多文档问答中存在输入上下文偏差，导致摘要内容分散，影响性能。本文通过实证研究揭示了这种偏差对于大型语言模型在不同摘要评估上的挑战。

    Oct, 2023

  • LiLiuM: eBay 的大型语言模型用于电子商务

    我们介绍了由 LiLiuM 系列构成的大型语言模型（LLMs）：1B、7B 和 13B 参数模型，这些模型完全由 eBay 内部开发，以适应 eBay 在电子商务领域的特定需求，并实现了对模型许可、数据、词汇表和架构的全部控制，使得它们可以用作微调和指导微调的基础模型，消除对外部模型的依赖性。

    Jun, 2024

  • 总结（几乎）已死

    大型语言模型在总结任务中表现出令人满意的性能，超过了参考摘要的基准，人类评估者明显偏好大型语言模型生成的摘要而不是人工撰写的摘要和经过微调的模型生成的摘要，因为大型语言模型生成的摘要具有更好的事实连贯性和更少的外在幻觉实例。

    Sep, 2023