- 消除语言模型的位置偏见：一种机制化方法
通过消除输入段落顺序的不同，我们的方法改变了因果注意力，使其变为段落之间的双向关注，并利用模型关注值来决定段落的相对顺序，从而实现了段落级的位置不变推理（PINE），消除位置偏差使得模型在广泛存在位置偏差的下游任务中获得更好的性能和可靠性。
- 注意力指令：通过提示增强中间的注意力
扩展大型语言模型的上下文窗口到 128k 个标记或更多，然而，语言模型仍然存在位置偏见和难以使用上下文的中间部分的问题，我们通过指导语言模型分配更多的关注于选定的上下文片段来研究 LLM 的相对位置感知性和缓解不均衡关注的可行性，我们对基于 - 从自我参照 AI 反馈中对齐大型语言模型的一个通用原则
通过自我引用的 AI 反馈框架，允许 13B Llama2-Chat 模型以 “最适合人类” 的原则为基准，对用户指令回应进行批判，从而提供高质量的偏好反馈，并通过自洽性方法减少位置偏差的影响、使用语义困惑度来计算不同回答的偏好强度差异，实 - 法官的判断：对 LLMs 中两两比较评估的位置偏见的系统调查
LLM-as-a-Judge 存在固有的偏见，特别是位置偏见，这项研究使用一种框架来系统研究和量化位置偏见，并通过评估实现验证，发现不同评委和任务之间的偏见存在显著差异。研究为评估提供了多维度的框架，指导评委模型的选择，并为未来的研究提供了 - 促进文本理解的 Venn 图提示：扩展支持效应
介绍了一种名为 Venn Diagram Prompting 的创新提示技术，允许大型语言模型在知识密集型问答任务中将复杂、多样和长文档的信息结合和综合起来，从而提高最终答案的质量和一致性。
- 通过缩放单一维度来减轻大型语言模型的位置偏见
本文研究了大型语言模型中的位置偏见问题，发现注意力权重和因果性注意掩码是位置偏见的微观表现，提出了通过调整位置隐状态来减轻位置偏见的方法，并通过在多个任务上进行实验验证了该方法的有效性和普适性。
- IJCAI长期对话中的因果知觉位置去偏微调
我们提出了一种名为 CPD 的新方法，它利用基于干扰的因果变量发现方法从对话历史中提取因果相关的话语，并在微调过程中增强模型的因果感知能力，以解决大型语言模型在长期对话中生成无关紧要和通用回应的固有位置偏倚问题。在两个数据集上的实验结果证明 - 社交多文档摘要中了解位置偏见对公平性的影响
对社交媒体数据进行多源文档摘要的时候，用于优化摘要质量的模型往往侧重于流畅性、相关性和连贯性等方面，但摘要模型对不同社会群体意见的公正性也显得越来越重要。我们深入探讨了位置偏见在社交媒体多源文档摘要中的影响，通过分析输入文档中群组顺序对非裔 - 多模态长文摘要特征分析：金融报告案例研究
通过对财务报告摘要化的案例研究，我们提出了一种计算框架，用于表征多模态长文本摘要，并研究了 Claude 2.0/2.1、GPT-4/3.5 和 Command 的行为。我们发现 GPT-3.5 和 Command 无法有效地完成这个摘要任 - 在大型语言模型时代从位置偏差的角度重新审视零样本抽象摘要生成
我们通过测量位置偏差来表征和研究大型语言模型中的零样本抽象概括，位置偏差是我们提出的对前人文献中更为严格的引导偏差现象的一种普遍公式。通过在四个多样化的实际数据集上进行多次实验，我们研究了 GPT 3.5-Turbo、Llama-2 和 D - 大型语言模型的零样本位定偏差
本研究提出了一种零样本去偏置（ZOE）框架，通过利用预训练的大型语言模型的无监督回复来减轻位置偏差，从而有效地缓解了四种类型的位置偏差。
- 分割与合并：对基于大型语言模型的评估器中的位置偏差进行对齐
提出了一种名为 PORTIA 的系统，通过模拟人类比较策略来校准位置偏差，将多个候选答案的相似内容进行对齐并合并为一个问题进行大语言模型评估，实验证明 PORTIA 显著提高了所有模型的一致性，将费用降低至原来的 10%，并成功纠正了模型中 - SIGIR电子商务中赞助搜索的位置偏差缓解的点击 - 转化多任务模型
为了减轻点击率（CTR）和转化率（CVR）预测中的位置偏见，我们提出了两种不受位置偏见影响的 CTR 和 CVR 预测模型：位置感知点击转化（PACC）和通过位置嵌入的 PACC 模型（PACC-PE）。实验结果表明，我们的模型在评级有效性 - 一个基于 IPW 的无偏双边市场排序指标
本文针对两边市场中用户间的偏见相互作用问题，提出了一个定制的无偏学习排序方法，证明了该方法满足真实排名度量的无偏性，并通过实验证明了该方法在处理稀有物品时优于基线方法。
- 关于大型语言模型调查回答的质疑
通过评估 13 种不同大小的语言模型在美国人口普查局的《美国社区调查》问题上的回答，我们发现较小的模型存在显着的位置和标记偏差，较大的模型则偏差较小。另外发现不管如何提示模型，都趋向于随机统计所有调查答案的数据，因此，这表明大型语言模型调查 - 大型语言模型可用于零样本推荐系统排序
此研究旨在探究大型语言模型在推荐系统中的排名能力，通过采用提示模板设计和引入特定策略，研究发现大型语言模型在候选物品的零 - shot 排名上有着很好的表现，但是若考虑历史互动的顺序、位移等因素，不同的提示和启发方法能够对大型语言模型的表现 - 位置偏差对于令牌分类中的语言模型的影响
本研究调查了语言模型中 Token Classification 任务位置偏差对性能的影响，提出 Random Position Shifting 和 Context Perturbation 两种方法缓解该影响，并在实验中发现这两种方法可 - SIGIRCOUPA：一种面向线上线下服务平台的工业推荐系统
提出了 COUPA，一种工业系统，旨在通过考虑时间和地点的偏好特征来解决 O2O 服务中可能出现的重复基于时间的模式和位置偏差问题，从而提高推荐的准确性，并在 Alipay 平台上展示良好的性能表现。
- 知识蒸馏下的位置偏差建模思考与 CTR 预测
提出一种基于知识蒸馏的简单而高效的方法，以缓解位置偏差的影响，利用位置信息来提高 CTR 预测性能。在真实世界的生产数据集和在线 A/B 测试中，该方法取得了显著的性能改善，并已在全球最大电商平台的主要流量服务中部署。
- ACL利用长度感知框架降低同时机器翻译中的位置偏见
本研究分析了 SiMT 中的位置偏差现象，提出了一个基于长度感知的框架，通过将流输入变成伪满句来消除位置偏差，并成功应用于两个代表性的 SiMT 方法中以提高性能。