May, 2024

通过上下文引导增强个性化并减少偏见的 CoS

PDF
TL;DR通过测量预测标记的可能性以及调控它，我们提出了适用于自动回归 LL 模型的简单无需训练的方法，被称为 CoS （Context Steering），使实践者能够根据其特定用例和终端用户群确定适当的上下文影响水平，并展示了 CoS 的各种应用，包括增强上下文影响以实现更好的个性化和减少模型偏差所产生的无用影响，此外，还展示了如何结合贝叶斯推断来量化互联网上的仇恨言论，我们在最先进的 LL 模型和基准测试上展示了 CoS 的有效性。
large language modelcontextcontext steeringcontextual influenceautoregressive llms
发现论文，激发创造
  • 利用细粒度上下文知识选择提升端到端上下文语音识别

    本篇论文主要探讨利用细粒度上下文知识选择方式，以降低基于 “专有” 短语的上下文建模产生的不确定性问题，并引入位置信息来更好地区分短语或令牌，达到在语音识别上提高识别准确率的效果。

    Jan, 2022

  • CoSe-Co: 文本条件生成通用常识上下文

    提出了一种基于符号知识图谱的预训练语言模型生成任务相关信息的 CommonSense Contextualizer (CoSe-Co) 模型，该模型结合句子作为输入文本的上下文信息，以构建一种新的数据集用于训练 CoSe-Co 模型，并在多项选择 QA 以及常识推理任务中展现出显著提高的性能

    Jun, 2022

  • 特异性链：从大型语言模型中提取知识的迭代细化方法

    本文提出了一种名为 “特定性链” 的简单而有效的方法，通过迭代地强调输入指令中的特定约束条件来解锁 LLM 内部的知识，并改进生成的回复内容，实验证明该方法在增强生成内容方面表现优于现有方法，特别是在特定性方面。

    Feb, 2024

  • COBIAS：偏见评估中的情境可靠性

    大型语言模型 (LLMs) 的研究及应用中存在偏见问题，本论文提出了一种基于上下文的偏见指标和评估分数 (COBIAS) 来测量偏见的可靠性，并且通过创建可靠的数据集来改善偏见减轻工作。

    Feb, 2024

  • 链路审查：针对大型语言模型的后门攻击检测

    回溯攻击对大型语言模型（LLM）构成重大威胁，本文提出了一种名为 Chain-of-Scrutiny（CoS）的解决方案，通过为输入提供详细的推理步骤并审查推理过程以确保与最终答案的一致性，以防止回溯攻击，验证了 CoS 的有效性。

    Jun, 2024

  • Causal-CoG: 基于因果效应的上下文生成对多模态语言模型的提升

    我们提出了一种从上下文信息的角度解决多模态语言模型在视觉问答任务中难以提供准确和精确回答的挑战的方法：因果上下文生成策略（Causal-CoG）。我们通过提示多模态语言模型生成上下文，即图像的文本描述，并利用生成的上下文进行问题回答，同时从因果关系的角度研究上下文在视觉问答中的优势，引入因果过滤来选择上下文信息对于有帮助的样本。通过在 10 个多模态基准测试上进行广泛实验，与直接解码相比，Causal-CoG 的有效性得到证明，例如在 POPE 测试上提高了 6.30%，在 Vizwiz 测试上提高了 13.69%，在 VQAv2 测试上提高了 6.43%，超过了现有方法。我们希望 Causal-CoG 能够激发对多模态模型中上下文知识的探索，并作为多模态语言模型解码的即插即用策略。

    Dec, 2023

  • LMSOC: 社交敏感预训练方法

    本论文提出了一种将社会背景信息融入大规模语言模型的方法，并在地理敏感的语言建模任务中取得了显著的提升。

    Oct, 2021

  • 基于知识增强的大型语言模型个性化上下文查询建议

    通过与用户与搜索引擎的交互历史相关的上下文，我们提出了一种新颖且通用的方法，用于个性化输出，这对于理解用户当前的搜索背景以及他们历史上知道和关心的内容是必要的。我们验证了我们的方法在上下文查询建议的任务上优于几个其他 LLM 基准方法，生成了在上下文中更相关、个性化和有用的查询建议。

    Nov, 2023

  • 上下文序列似然性：增强自然语言生成的置信分数

    通过为各种标记分配不同的权重，使用从基础语言模型中产生的注意力值来增强预测的序列概率，我们提出了上下文化的序列可能性（CSL）这一新的评分方法。在几个问答数据集和各种语言模型中，CSL 在预测生成质量方面显示出明显更高的可靠性。

    Jun, 2024

  • 基于自然语言的 LLMs 上下文建模与推理：教程

    利用大型语言模型，我们展示了利用文本、提示和自主代理让模型进行上下文建模和推理的计算范式，即基于大型语言模型驱动的上下文感知计算。

    Sep, 2023