为了解决语言模型生成错误陈述的问题，本研究提出一种新策略：开发具有引用能力的语言模型，可以指向支持其输出的训练数据部分。讨论了适用于此类模型的当前自然语言处理任务以及此类模型可能带来的好处，包括陈述的快速可验证性。并提出了发展具备引用能力的语言模型所需解决的若干子任务。希望引发与构建语言模型的当前方法、特别是面向低资源语言模型和训练数据在解释模型生成过程中的作用的讨论。

Oct, 2023

最近在大型语言模型的突破使它们能够遵循自由格式的指令，其中包括模仿对话中一般或特定人口群体。本文系统研究了 “人物偏见”，将其定义为对不同人物采用敏感有害的对话模型行为的问题。我们将人物偏见分为有害表达和有害协议的偏见，并建立了一个全面的评估框架，以衡量人物偏见的五个方面：冒犯性、毒性，关注度，刻板协议和有害协议。此外，我们建议通过对通用人物数据集进行全面调查，该数据集包含全面的一般和特定模型人物列表，从而全面研究人物偏见。通过对包括 Blender、ChatGPT、Alpaca 和 Vicuna 在内的四个不同模型进行基准测试，我们的研究揭示了这些对话系统中显著的人物偏见。我们的研究结果强调了重新审视人物特点在对话代理程序中的使用的迫切需求，以确保其安全应用。

Oct, 2023

该研究基于 ChatGPT 在答题方面的失败，对其失败的四种类型进行了归类，并进一步探讨了三种知识能力与答题失败的关系：知识记忆、知识关联和知识推理，通过实验验证，结论表明在提高模型答题的忠诚度方面，向模型提供精细的外部知识、知识关联和推理引导都有助于增强其能力。

Apr, 2023

研究知识基础对话系统，控制生成神经对话模型，加入不同的评估措施作为样式控制以鼓励模型生成有据可依的响应，并通过人类评估研究判断控制生成模型的产出通常更加客观和有据可依。

Jul, 2021

本研究探讨了大型语言模型在生成任务中表现出的能力是否同样适用于评估任务，通过使用 TriviaQA 数据集对三个大型语言模型和一个开源语言模型在问答和评估任务中的表现进行评估，结果显示存在显着差异，大型语言模型在评估任务中表现较差。有趣的是，我们发现存在不忠实的评估问题，即模型会在其不擅长的领域正确评估答案，强调了需要审查大型语言模型作为评估者的忠实度和可信度的必要性。本研究有助于理解 “生成型人工智能悖论”（West 等人，2023），强调了需要探索生成卓越性与评估能力之间的关联性，并有必要审视模型评估中的忠实度方面。

Feb, 2024

通过强化学习从人类偏好中得出支持性证据，训练生成回答并支持其声称的 “开放式书目” QA 模型。该模型能够从搜索引擎中找到的多个文档或单个用户提供的文档中提取支持证据。通过在 NaturalQuestions 和 ELI5 数据集的子集中进行的人类评估，该模型的响应在这两个子集中 80％和 67％的时间内达到高质量水平，但并非所有声称都被支持的证据是正确的。

Mar, 2022

提出了一种 benchmark 以衡量语言模型在生成答案时是否真实，测试了 GPT-3、GPT-Neo/J、GPT-2 和基于 T5 的模型，发现最好的模型能够在 58％的问题上保持真实，建议使用不同于模仿网页文本的训练目标来进行微调以提高真实性。

Sep, 2021

通过对开放式新闻标题生成任务中的人类研究和模型评估，我们分析了解释的表达方式和存在对用户信任和模型性能的影响。整体而言，我们提供了证据表明，在用户有机会比较不同的回答时，模型回答中添加解释以证明其推理能显著增加用户对模型的自我报告信任。对这些解释的位置和忠实度也是重要因素。然而，当用户独立地看到回答时，这些增益消失，这表明人类在独立显示时平等地信任所有模型回答，包括欺骗性的回答。我们的发现督促未来的研究更深入地探讨人机合作系统中信任的微妙评估。

Jun, 2024

利用教育中的质问策略，我们提出了一种 “跟进质问机制” 以及两个评估指标，用于评估大型语言模型在面对质疑时的判断一致性，并对 ChatGPT、PaLM2-Bison 和 Vicuna-13B 进行了评估。实证结果表明，即使初始答案是正确的，当语言模型面临质疑、否定或误导等干扰时，判断一致性会大幅降低。此外，我们还研究了不同设置下模型的判断一致性，并观察了提示语气对此问题的影响，进行了深入的错误分析以获得更深入的行为洞察。此外，我们还探索了几种提示方法以缓解此问题，并展示了它们的有效性。

Oct, 2023

本文提出了一种利用数据增强和鲁棒推理过程将单纯的 NLI 模型用于预测语言模型忠实度的方法，应用于 TRUE 基准来说效果显著且计算代价较小。

May, 2023