llm | BriefGPT - AI 论文速递

关键词llm

搜索结果 - 74

跨语言适应多语言预训练语言模型的三重方法
研究了三种低资源跨语言方法，并在语境学习和微调下发现通过添加额外的主导语言监督信号，对 LLM 的跨语言转移有所改进；同时，发现将目标语言适应词汇重排可能对 ICL 有益，但随着微调而减弱；最后，继续以一种低资源语言进行预训练可提高其他相关
PDF9 days ago
FineWeb 数据集：对网络进行精细分离以获取大规模最佳文本数据
FineWeb 是一个从 96 个 Common Crawl 快照中派生出的 1500 万亿标记数据集，比其他公开预训练数据集产生更好性能的大型语言模型（LLM）。LLMs 在 FineWeb 上预训练表现出更好的知识和推理能力，我们公开释
PDF9 days ago
EERPD：利用情绪和情绪调节提升个性检测
基于情绪调节的新的个性预测方法 EERPD 组合情绪特征和个性特征，从文本中提取少样本示例并提供 CoTs 过程，改善个性预测表现，显著提高了个性检测准确性和鲁棒性。
PDF11 days ago
InternLM-Law：一个开源的中国法律大型语言模型
通过在中国法律领域构建超过 100 万个查询的数据集，并实现数据筛选和处理流程以确保其多样性和质量，我们介绍了 InternLM-Law，这是一个专门为回答与中国法律相关的各种法律问题而量身定制的大型语言模型。我们的训练方法涉及一种新颖的两
PDF13 days ago
V-RECS, 一种低成本的 LLM4VIS 推荐器，附有解释、字幕和建议
NL2VIS 研究领域涉及将自然语言查询解释并将其转化为准确代表底层数据的可视化，为非专家用户大大便利了数据探索；本文提出了 V-RECS，首个具有解释、标题和进一步数据探索建议的基于 LLM 的视觉推荐系统，通过细化小型模型的方法解决了强
PDF13 days ago
利用以国籍为基础的个人形象剖析国家认知变化
该研究探索了当特定国籍背景赋予语言模型时对不同国家的知觉如何改变，并发现所有 LLM - 国籍组合倾向于偏爱西欧国家，同时国籍背景也影响 LLM 对本地区的关注和正面态度。然而，对于东欧、拉丁美洲和非洲国家，不同国籍背景赋予的知觉较为消极。
PDF14 days ago
CryptoGPT：7B 模型在实时金融新闻分析和分类任务中与 GPT-4 匹敌
使用 CryptoGPT 对金融新闻进行分析，提供全面的市场分析，通过半自动标注和与其他 LLM 进行比较，寻找在保护数据、控制成本、维持更好分析质量之间的平衡。
PDF14 days ago
ZeroDL：基于大型语言模型的零样本分布学习文本聚类
我们提出了一种简单但有效的方法来将任务上下文化为特定的大语言模型，通过观察给定的大语言模型如何描述目标数据集，聚合大语言模型的开放式推理结果，并最终将聚合的元信息纳入实际任务中，我们展示了这种方法在文本聚类任务中的有效性，并通过上述过程的示
PDF15 days ago
MAGIC：生成上下文文本转结构化查询语言的自我修正指南
MAGIC 是一种新的多代理方法，自动创建自纠正指南，通过在训练集上对基于 LLM 的方法的失败进行合作，迭代生成和改进适合 LLM 错误的自纠正指南，提高了纠正的可解释性，并提供了分析自纠正中 LLM 失败和成功原因的见解。
PDF16 days ago
对大型语言模型的对比解释方法
通过黑盒 / 查询访问，我们提出了两种对比解释方法：一种是效率较高但需要多次模型调用的近视算法，另一种是主要算法贡献的预算算法。我们展示了这些方法在不同自然语言任务中的有效性，例如开放文本生成、自动红队战术和解释对话衰退。
PDF17 days ago
Speech ReaLLM -- 使用多模式 LLMs 教授时间流的实时流式语音识别
Speech ReaLLM 是一种新的 ASR 架构，结合了 “解码器 - 仅” ASR 和 RNN-T，使多模式 LLM 架构能够进行实时流式处理。
PDF21 days ago
语言模型是否能使用预测策略？
深度学习系统在图像分类、基本编程和标准化测试中已经达到或超过了人类的准确率。然而，在预测未来事件的能力上，模型仍然难以取得准确的结果。本研究使用了一种新颖的真实世界事件数据集和相关的人类预测，提出了一个评估指标来衡量预测能力，并对不同基于
PDFa month ago
基于大型语言模型的代理程序在 BIM 创作工具中实现智能人机交互的方法
提出了一种基于 LLM 的自主代理框架，作为 BIM 作者工具中的副驾驶员，回答软件使用问题，理解用户的设计意图，并通过调用合适的工具自主执行建模任务，以此来应对日益复杂的 BIM 作者软件和昂贵的学习成本，实现与设计过程本身的精简互动。
PDFa month ago
基于 LLM 的具有视觉信息和面向预测的具身化世界模型
在这项研究中，通过探索利用视觉数据和 LLM 作为世界模型的可能性，以改善嵌入式人工智能的性能，实验结果表明 LLM 可以从视觉数据中提取必要信息，并利用这些信息提高其作为世界模型的性能，同时还指出设计的提示可以发挥 LLM 作为世界模型的
PDFa month ago
利用组合优化方法设计高质量 LLM 解决方案
通过使用基于组合优化和采样的新型 LLM 解决方案设计方法，鉴别影响解决方案质量的一系列因素，包括表示提示类型、LLM 输入替代方案和生成及设计替代方案的参数。定义这些因素之间的交互作用并使用组合优化创建确保所有期望交互作用发生的小子集 P
PDF2 months ago
基于不确定性的两层选择对大型语言模型的优化调用
通过使用仅基于小型 LLM 生成的不确定性作为决策准则，我们提出了一种简化的解决方案，该解决方案在 25 个实验设置中优于现有方法，实现了成本和性能的最佳平衡。
PDF2 months ago
基于大型语言模型的上下文感知聚类
使用开源的大型语言模型（LLMs）进行效率高且有效的监督聚类，通过捕捉上下文来聚类实体子集。通过引入一种新的改进的三元损失函数和基于文本增强技术的自监督聚类任务，我们的方法在各种电子商务查询和产品聚类数据集上显著优于现有的无监督和有监督的基
PDF2 months ago
谐波 LLMs 是可靠的
我们提出了一种直观的方法，实时测试任何黑盒 LLM 的鲁棒性（稳定性和可解释性），基于与谐波性的局部偏离，表示为 γ。我们进行人类注释实验，显示 γ 与错误或误导性答案之间的正相关，并证明在随机梯度上升中遵循 γ 的梯度能够高效地暴露敌对提
PDF2 months ago
LoRA Land: 310 微调 LLM 模型媲美 GPT-4 的技术报告
LoRA 是一种使用较少参数和内存的训练方法，研究表明，在低秩适配器的支持下，LoRA fine-tuned 模型在多个任务上表现超过基准模型 34 个百分点和 GPT-4 10 个百分点；此外，他们开发了 LoRAX 多模型推理服务器，支
PDF2 months ago
只用 LLM 来按照用户指令培养文本分类器
我们的研究旨在通过用户指令生成文本分类数据，从而可以训练一个小型文本分类器，而无需任何人工注释或原始语料库。我们的提出的孵化器是第一个可以处理复杂甚至是相互依赖类别 (如 “教育家发表的 TED 演讲” 和 “其他”) 的框架，通过在分类数
PDF3 months ago