Search | BriefGPT - AI 论文速递

搜索结果 - 200

BiasAlert：一种用于LLM社交偏见检测的即插即用工具
在测评大型语言模型（LLMs）中，评估偏见变得越来越关键，然而现有的评估方法依赖于固定的输出形式，无法适应LLMs的灵活的开放文本生成场景（如句子完成和问题回答）。为了解决这个问题，我们介绍了BiasAlert，这是一个即插即用的工具，旨在
PDF2 months ago
多模态大语言模型的可视化能力：一项比较研究
利用可视化素养的概念评估多模式大语言模型（MLLMs）的性能，研究表明MLLMs在可视化素养方面具有竞争力，能够优于人类在识别相关性、聚类和层次结构等任务中。
PDF3 months ago
可靠推理超越自然语言
我们提出了一种神经符号化方法，该方法通过提示大型语言模型从问题陈述中提取和编码所有相关信息作为逻辑代码语句，并使用逻辑编程语言（Prolog）进行明确的演绎推理的迭代计算，从而显著提高了大型语言模型在标准数学推理基准测试GSM8k和BIG-
PDF2 months ago
一种编码代码和辅助代码理解的新方法
本研究探讨了目前主流模型在代码理解中的局限性，尤其是它们在推理和生成新代码方面的不足。论文提出了一种全新的编码范式，基于异构图像的方法来实现代码理解，通过自监督学习在大规模文本-代码对上进行训练，从而在零样本预测上取得重大突破。该方法为未来
PDF2 months ago
大型语言模型在财务报表分析中的应用
本研究探讨了大型语言模型（LLM）在财务报表分析中是否能够与专业分析师相媲美。研究发现，LLM能够在没有额外行业信息的情况下，准确预测未来盈利变化，并在财务分析师面临挑战时表现出相对优势。这一发现表明，LLM可能在决策中发挥重要作用，其基于
PDF2 months ago
弥合开源与商业大型语言模型在医学证据总结中的差距
本研究解决了开源大型语言模型（LLM）在医学证据总结中的表现不足问题。通过对三种常用的开源模型进行微调，研究发现微调后的模型在总结性能上有显著提升，接近于商业模型的表现。这一发现为在特定领域任务中选择和优化合适的模型提供了重要指导，具有潜在
PDF2 months ago
推特/X情感分析中的多语言模型微调研究：针对东欧V4语言
本研究针对在推特/X数据中应用的基于方面的情感分析（ABSA），解决了小语种情感分类的不足问题。通过微调多种大型语言模型，发现部分模型在多语言推特任务中的微调表现优越，可以在较小的训练集上达到最新的技术水平。研究结果揭示了最佳设置的组合，可
PDF2 months ago
分析大型语言模型（LLM）的能力，以建立软件吸引力的隐性用户情感
本研究针对如何定量分析用户对软件吸引力的隐性情感进行了探索，填补了现有定性分类情感不足的空白。通过使用多种大型语言模型（LLM），研究提供了数值化的情感分析方法，揭示了用户情感的深度和强度。最显著的发现是，所有测试的LLM都能够有效地从用户
PDF2 months ago
FANNO：利用开源大型语言模型增强高质量指令数据
该研究解决了注释指令数据集的高昂成本和劳动力密集的问题。FANNO是一种全自动的开源框架，通过文档预筛选、指令生成和响应生成的结构化过程，高效地生成多样化和高质量的数据集。实验结果表明，FANNO生成的数据在多样性和复杂性方面可与人工注释的
PDF2 months ago
更好的指令前后翻译对齐
本研究针对大语言模型（LLMs）对齐中存在的合成数据质量不足的问题，提出了一种新的方法：指令前后翻译。通过生成和优化基于网页文献的合成指令，研究发现该方法在多个评估标准上优于传统合成数据，表明其在提高指令质量和多样性方面具有显著潜力。
PDFa month ago
基于临床笔记的合成患者-医生对话生成
本研究解决了训练医疗对话系统所需数据获取难题，尤其是在隐私问题的限制下。我们提出的合成对话生成方法SynDial，通过一次性大型语言模型和反馈循环，生成并优化高质量的合成对话。研究结果表明，生成的对话在事实准确性上优于基线模型，并且在多样性
PDFa month ago
h4rm3l：可组合越狱攻击的动态基准评估大型语言模型的安全性
本研究针对大型语言模型（LLMs）在生成有害内容方面的安全性评估缺乏足够基准的问题，提出了一种新颖的动态基准h4rm3l，用于可组合越狱攻击。研究显示，该方法生成的2656种越狱攻击在有效性上超过90%，为理解LLMs的安全局限性和发展强大
PDFa month ago
特定上下文语言模型的优势：以Erasmian语言模型为例
本研究解决了大规模语言模型在资源和隐私方面的局限。提出的Erasmian语言模型（ELM）是一个上下文特定的900百万参数的小型模型，针对鹿特丹伊拉斯谟大学进行预训练和微调。研究显示，该模型在课堂写作中表现良好，尤其在相关主题上表现优异，表
PDFa month ago
更好的指令双向翻译对齐
本研究针对大型语言模型（LLMs）对齐中的合成数据质量问题，提出了指令双向翻译的新方法。通过利用反向翻译和质量重写，生成的指令和响应在评估中表现优于多种传统数据集，显示出合成数据在多样性和复杂性上的优势。这一方法结合了网络信息的多样性和高质
PDFa month ago
大型语言模型能理解符号图形程序吗？
本研究解决了大型语言模型（LLMs）在理解符号图形程序方面的能力评估问题。这项研究提出了一种新方法，通过构建一个大型基准评估LLMs的语义理解能力，并发现LMS在处理视觉场景推理上存在显著差异。最后，引入符号指令微调（SIT）来提升模型的理
PDFa month ago
评估评估者：测量大型语言模型对任务评估的遵循性
本研究探讨了大型语言模型（LLMs）在任务评估中的有效性，特别是评估它们是否真正反映人类偏好。我们分析了插入不同指令的提示对评估结果的影响，并提出了一种以模型困惑度为质量衡量的无提示方法。研究发现，尽管提示可以提供指导，但在某些情况下，困惑
PDFa month ago
ConceptMix：一个可控难度的组合图像生成基准
本研究针对现有文本到图像（T2I）模型组合能力评估的多样性和复杂性不足的问题，提出了ConceptMix，一个可扩展、可控且可定制的基准。通过生成文本提示并评估图像生成结果，ConceptMix展示了与以往基准相比更强的区分能力，特别揭示了
PDF25 days ago
从文本到情感：揭示大型语言模型的情感标注能力
本研究解决了情感识别模型训练依赖人类标注数据的多样性、质量和成本挑战的问题。通过比较GPT-4与监督模型及人类标注者在情感标注的一致性、与人类感知的对齐以及对模型训练的影响，我们发现GPT-4的标注在多项数据集和评估者中受到一致青睐，表明其
PDF21 days ago
面向人类级别的复杂过程工程理解图解：一种教学性、自省的多智能体框架用于开放域问答
本研究解决了化学和过程工业中对于过程流图和管道与仪表图的理解及解读不足的问题。提出了一种安全的企业级解决方案，使用层次化、多智能体的检索增强生成框架，通过开源小规模多模态模型进行分析，实现数据隐私、可解释性和成本效益的提升。实验结果表明，该
PDFa month ago
只需100个实例：通过测试少量实例预测新LLM在未见数据上的成功
本研究解决了在新LLM上评估性能所需的大量任务实例评估问题。本文提出了一种新方法，通过测试少量参考实例并训练通用评估器，基于以前的LLM评估结果预测新LLM的性能。我们的实验证明，该方法在同一分布的实例上表现出与特定LLM评估器相当的效果，
PDF15 days ago