response quality | BriefGPT

关键词response quality

搜索结果 - 17

母语设计偏见：研究英语作为母语对语言模型性能的影响
该研究通过分析数据集，探讨了大型语言模型在回答非英语母语使用者的问题时是否会产生性能偏差，结果发现与母语使用者相比，非英语母语使用者在与语言模型的互动中会获得更低质量甚至事实错误的回答。
PDF9 days ago
ACLX-Instruction: 用自动筛选的跨语言指示对低资源语言进行语言模型对齐
通过在低资源语言中构建跨语言的英文指令样本，可以提高大型语言模型的响应质量。
PDFa month ago
ICML通过基于代理的不确定性估计来改进语言模型的指令遵循
我们提出了一种新颖的具有不确定性感知的奖励模型（URM），通过贝叶斯近似法对配对响应的质量进行稳健的不确定性估计，从而解决了评估语言模型中指令响应质量的问题。实验结果表明，将提出的代理方法纳入语言模型训练对指令遵循能力有显著提升，通过改进数
PDF2 months ago
评估和缓解大型语言模型中的语言歧视
通过使用多种语言进行训练，大型语言模型（LLMs）通常具有多语言支持，并展示出在不同语言描述的任务中解决问题的显著能力。然而，由于在不同语言之间训练数据的不均衡分布，LLMs 可能表现出语言歧视，即面对相同任务但在不同语言中描述时，难以保持
PDF2 months ago
ICLR混合 LLM：成本高效且质量感知的查询路由
本研究提出一种混合推理方法，结合大型语言模型和小型模型的优势，通过路由器根据预测的查询难度和期望的质量水平将查询分配给相应的模型，以在成本节约和保持质量之间进行动态调整，实验结果表明能够减少高质量模型的调用次数达到 40%，且不影响响应质量
PDF2 months ago
不同提示对 GPT-4 回答痴呆照料问题质量的影响
通过使用 12 个提示组合在 GPT-4 中生成 36 个响应来比较 36 个响应的字数，本研究旨在探索不同提示对医疗保健领域中响应质量的影响，关注特定的医疗保健领域：痴呆症护理。
PDF3 months ago
我们应该尊重 LLM 吗？关于提示礼貌对 LLM 表现影响的跨语言研究
通过研究礼貌程度对大型语言模型在提示中的影响，我们发现过于粗鲁的提示会导致性能下降，而过于礼貌的语言并不能保证更好的结果。最佳的礼貌程度因语言而异，这表明语言模型不仅反映人类行为，还受到语言特征及文化背景的影响。我们的研究结果强调了在跨文化
PDF4 months ago
反馈链：缓解响应一致性的影响
AI 模型如 ChatGPT 存在可靠性和一致性问题，本文通过引入 Chain-of-Feedback 触发模型偏离实际答案，提出一种新的提示方法 Recursive Chain of Feedback (R-CoF)，以修正模型最初错误的
PDF5 months ago
LLaMA 跨越英语：语言能力转移的实证研究
我们通过对 LLaMA 的实证研究发现，在使用不到 1% 的预训练数据时，可以实现与最先进的转移模型相媲美的性能，无论是在知识对齐还是响应质量方面，这一实验结果在十三种资源匮乏的语言中也呈现出相似的趋势。预计实验的结论将有助于开发非英语 L
PDF6 months ago
语言模型集成的质量 - 成本优化的双目标 ε 约束框架
我们提出了一个集成框架，利用多样化的开源大型语言模型（LLM）在保持成本效益的同时实现高质量的响应。我们提出了一个双目标优化问题来表示质量 - 成本的权衡，并引入了一个附加的预算约束，将问题简化为一个直观的 0/1 背包问题。我们通过实证研
PDF6 months ago
让语言模型能够从数据中隐式学习自我改进
我们提出了一种从人类偏好数据中隐式学习的自我改进框架（PIT），以最大程度地与人类偏好相一致，显著优于提示法方法。
PDF9 months ago
智能手机用户答案质量受影响的因素
本研究探讨了影响人类行为预测的因素，并研究用户反应时间和完成时间对回答质量的影响。结果表明，这两个因素与各种内在和外在因素相关。
PDFa year ago
基于预训练语言模型的高效生成式对话预训练技术 - PanGu-Bot
本文介绍 PanGu-Bot，一个基于大型预训练语言模型（PLM）PANGU-alpha 的中文预训练开放域对话生成模型。从响应质量、知识和安全三个方面，PanGu-Bot 优于现有的中文对话系统，并且可以轻松地生成情感响应。但是，响应质量
PDF2 years ago
SIGIR在开放域对话系统中使用反向推理来提高响应质量
本文提出一种双向推理的生成模型，通过向基础的编码解码模型添加后向推理步骤，推动模型产生更多信息丰富、连贯的回复，实现了双向优化，最终提升了响应质量，成为当前响应质量最好的方法之一。
PDF3 years ago
EMNLP基于对抗学习减轻神经对话生成中的性别偏见
本文提出了基于对抗学习的、旨在降低对话系统中性别歧视的新框架 Debiased-Chat，并在两个真实的对话数据集上进行了广泛的实验，结果表明该框架明显降低了对话模型的性别偏见，同时保持了响应质量。
PDF4 years ago
ICLR基于对话行为的可解释可控开放域对话生成
本文研究采用对话行为来模拟人类社交聊天的开放领域对话生成，利用行为策略来管理人机交互流程，并结合强化学习方法对策略进行优化，从而在机器仿真和人机交互中获得了显著响应质量的提升。
PDF6 years ago
ACL迈向自动图灵测试：学习对话响应评估
提出 ADEM 模型用于对话质量的学习式自动评估，其比基于词汇重叠的 BLEU 更能与人类评估相匹配，同时具有泛化评估不同模型的能力。
PDF7 years ago