Feb, 2024

我们应该尊重 LLM 吗？关于提示礼貌对 LLM 表现影响的跨语言研究

PDF
TL;DR通过研究礼貌程度对大型语言模型在提示中的影响，我们发现过于粗鲁的提示会导致性能下降，而过于礼貌的语言并不能保证更好的结果。最佳的礼貌程度因语言而异，这表明语言模型不仅反映人类行为，还受到语言特征及文化背景的影响。我们的研究结果强调了在跨文化自然语言处理和语言模型使用中考虑礼貌的重要性。
politeness levelslarge language modelsresponse qualitycultural normscross-cultural natural language processing
发现论文，激发创造
  • 触发语言：什么语言属性使得提示成功？

    在这项研究中，我们调查了不同规模、预训练和指导调优的 LLMs 在在语义上等效但语言结构不同的提示上的性能，发现 LLMs 的性能不能通过困惑度、词频、歧义或提示长度来解释，并提出了对提示研究更健壮和综合的评估标准的建议。

    Nov, 2023

  • LLM 是否表现出类似于人类的回答偏向？一项调查设计案例研究

    大型语言模型在代表人类进行主观标签任务方面的潜力和限制

    Nov, 2023

  • 大型语言模型是否具有变色龙特性？

    大型语言模型（LLMs）是否具有其自己的世界观和个性倾向？对 LLM 模型回答主观问题的模拟进行了 100 多万次，将其回答与欧洲社会调查（ESS）的真实数据进行比较，结果表明问题引导对偏见和变异的影响是基本的，突出了主要的文化、年龄和性别偏见。文中还讨论了测量 LLMs 与调查数据差异的方法，如计算加权平均值和基于 Jaccard 相似性的一项新提出的测量。我们得出结论，在使用 LLMs 模拟个体决策或集体行为之前，分析问题引导的稳健性和变异性非常重要，因为它们的模拟能力充其量是近似的。

    May, 2024

  • 对话模型的节约提示

    研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

    May, 2023

  • 母语设计偏见：研究英语作为母语对语言模型性能的影响

    该研究通过分析数据集，探讨了大型语言模型在回答非英语母语使用者的问题时是否会产生性能偏差，结果发现与母语使用者相比，非英语母语使用者在与语言模型的互动中会获得更低质量甚至事实错误的回答。

    Jun, 2024

  • 简单的 LLM 提示是稳健多语言对话评估的尖端技术

    研究通过结合当前评估模型的优势与新建立的提示性大语言模型的范式，提出了一种新颖的框架，以实现对对话的鲁棒性和多语言性评估能力，并在多个基准测试中取得了最先进的成果，并在 DSTC11 轨道 4 “开放领域对话系统的自动评估指标” 中分别在鲁棒性和多语言任务中名列前茅，证明了提示性大语言模型的评估能力。

    Aug, 2023

  • 大型语言模型的社会偏见评估需求提示变化

    本研究探讨了大型语言模型（LLMs）在不同提示变化下对任务表现和社会偏见的敏感性，发现 LLMs 对提示的敏感程度很高，可能导致在任务表现和社会偏见方面的模型排名波动。此外，在优化社会偏见和任务表现之间存在权衡，而高级 LLMs 的示例模糊性是导致对提示敏感性的原因之一。因此，建议使用多样化的提示来比较提示对 LLMs 社会偏见的影响。

    Jul, 2024

  • 与 LLMS 的谈判：迅速入门、技能差距与推理缺陷

    通过观察人类与大型语言模型（LLMs）的对话，本研究基于数据驱动的方法，对 LLMs 的治理和调节进行了归纳性分析，并探讨了非合作性、竞争性情境下的人机交互对人类可能构成的严重威胁以及利用 LLMs 的推理能力存在的不足和可操纵性。此外，研究还揭示了人类在与 LLMs 进行价格谈判时所达成的价格涵盖了广泛范围，指出了人类在有效与 LLMs 互动方面存在的文盲问题。

    Nov, 2023

  • LLM 有针对性的低效率问题主要影响弱势用户

    通过对三种领先的大型语言模型 (LLM) 和两个不同的针对真实性和事实性的数据集进行深入实验，我们研究了 LLM 响应质量在信息准确性、真实性和拒绝方面如何随用户的英语水平、教育水平和国籍的不同而变化。我们的研究结果表明，领先的 LLM 模型在不可取的行为方面存在不均衡，对英语水平较低、教育水平较低和来自美国以外的用户具有更多的不可取行为，从而使这些模型对于最弱势的用户成为不可靠的信息来源。

    Jun, 2024

  • LLMs 中并非所有语言的质量相同：通过跨语言思维提示提高多语言能力

    本研究提出了一种名为跨语言思维提示（XLT）的方法，通过激发跨语言和逻辑推理技能，改善了大语言模型的多语言能力，并在与推理、理解和生成有关的 7 个基准测试中进行了全面的评估，实验结果显示 XLT 不仅显著提高了各种多语种任务的性能，而且还显著减少了不同语言中每个任务平均性能和最佳性能之间的差距。

    May, 2023