让模型发表言论：通过嵌入进行多智能体辩论

Oct, 2023

让模型发表言论：通过嵌入进行多智能体辩论

Let Models Speak Ciphers: Multiagent Debate through Embeddings

Chau Pham, Boyi Liu, Yingxiang Yang, Zhengyu Chen, Tianyi Liu...

TL;DR通过引入名为 CIPHER 的通信机制，本文通过使用嵌入表示的期望而不是自然语言的方式，无需修改模型权重即可将更广泛的信息编码进大型语言模型之间的通信，实验证明 CIPHER 辩论方法在多项推理任务中取得了相对于传统推理方法 1-3.5% 的性能提升，展示了嵌入表示作为大型语言模型间交流的替代 “语言” 的优势和鲁棒性。

Abstract

Discussion and debate among large language models (LLMs) have gained considerable attention due to their potential to enhance the reasoning ability of LLMs. Although natural language is an obvious choice for communicati

large language models communication token sampling cipher embeddings

发现论文，激发创造

语言模型是通用嵌入器

大语言模型（LLM）革命中，嵌入是各种系统的关键组成部分。在本文中，我们迈出了迈向构建强大统一的嵌入模型的第一步，证明了多种语言（自然语言和编程语言）的预训练变换器解码器在有限英文数据微调后能够实现普遍嵌入。我们对各任务进行了全面实践和彻底评估，结果表明这是一条有希望的道路，可以应用于不同任务和语言。

Oct, 2023

利用语音识别能力激发大型语言模型

通过直接添加小型音频编码器，扩展大型语言模型的能力，实现与其文本版本相同的自动语音识别系统，并在 Multilingual LibriSpeech 上的实验证明，即使在 LLM 被冻结或者音频编码器使用几乎 1 秒的步幅生成更少嵌入时，多语种 ASR 仍然可行，从而为 LLMs 在长篇音频中进行操作开辟了可能性。

Jul, 2023

在 LLM 时代的社交工程攻击防御

本研究探讨了大型语言模型（LLMs）作为聊天式社交工程（CSE）攻击的助手和防御者所面临的挑战，开发了一个模拟学术和招聘场景的数据集 SEConvo，揭示了 LLMs 在这些情境中的利用和检测能力，设计了 ConvoSentinel 以提高检测效果，强化 CSE 攻击的辨识能力，凸显了在网络安全领域中利用 LLMs 的需求。

Jun, 2024

利用大型语言模型揭秘嵌入空间

利用大型语言模型将嵌入向量转化为可理解的叙述，解决了嵌入向量难于解释和使用的问题，增强了概念激活向量、通信新的嵌入实体和解码推荐系统用户偏好等任务的能力。

Oct, 2023

多智能体协作攻击：通过辩论研究大规模语言模型协作中的对抗攻击

评估模型网络在对抗影响下通过辩论进行合作时的行为，探索推理时间方法生成更令人信服的论点，并评估基于提示的缓解作为一种防御策略的潜力。

Jun, 2024

CheckEmbed：对开放式任务的 LLM 解决方案进行有效验证

提出了一个简单而有力的证实方法，通过比较基于大型语言模型的答案级嵌入来验证模型的答案，以实现诸如汇总、摘要和知识提取等复杂开放式任务的准确性和可扩展性，并展示了在术语提取和文档摘要等实际任务中，与现有方案相比，精度、性价比和运行性能都有显著提高。

Jun, 2024

通过基于大型语言模型的文本补充和重写增强嵌入性能

利用大型语言模型丰富和重写输入文本，改善嵌入模型的性能，并在特定领域取得显著改进。