language model | BriefGPT - AI 论文速递

关键词language model

搜索结果 - 562

LLM 鲁棒性能的扩展趋势探究
语言模型的规模和训练数据的增加可以预测地提高其能力，然而，对抗提示对这些模型造成了威胁，本研究旨在探讨模型规模对语言模型的健壮性是否有影响。实证研究表明，更大规模的模型在对抗训练方面表现更好，但在缺乏明确防御措施时，模型规模对健壮性几乎没有
PDF2 days ago
分析干向量的泛化和可靠性 - ICML 2024
通过干预中间模型激活来有效调整语言模型行为的截向矢量（Steering Vectors）是一种新的方法，但其可靠性和泛化属性尚不明确。我们对这些属性进行了严格的研究，发现截向矢量在分布内外都存在重大限制，并且在某些概念上对输入的每个有效性具
PDF10 days ago
Lean-STaR：学习交替思考与证明
传统基于语言模型的定理证明假设在足够数量的形式证明数据上训练后，模型将学会证明定理。研究观察到非形式证明中蕴含的丰富信息对于学习证明定理是有用的。因此，使用回顾性的真实策略生成合成思考来训练语言模型，Lean-STaR 框架通过在每个证明步
PDF13 days ago
ICCV23 视觉对话情感解释挑战: SEU_309 团队技术报告
我们使用最新的多模型方法，包括语言模型（LM）和大视觉语言模型（LVLM），在基于视觉对话的情感解释生成挑战中取得了卓越的性能，超越了现有的基准，并在 F1 和 BLEU 指标上获得了显著评分，在生成准确的情感解释方面展示了杰出的能力，推动
PDF14 days ago
DANIEL: 一个用于快速信息提取和标记手写文件的文档注意力网络
DANIEL 是一个全面集成了语言模型的端到端架构，用于综合处理手写文档；对于信息提取方面的任务表现出了竞争力，并且比现有方法更快。
PDF15 days ago
MST5—— 面向知识图谱的多语言问答
我们提出了一种简化的方法来增强多语种知识图谱问答系统，将语言模型的处理流程中直接融入语言上下文和实体信息。通过使用预训练的多语种转换器型语言模型来处理主要输入和辅助数据，我们的方法显著提高了语言模型将自然语言查询准确转换为相关 SPARQL
PDF19 days ago
ACL通过基于扰动的合成数据生成，提高系统响应中的幻觉检测能力
本研究介绍了一种通过重写系统响应来自动生成真实和虚构输出的方法，实验证明我们的方法在准确性和延迟方面均优于最先进的零样本检测器和现有的合成生成方法，展示了我们的方法的有效性。
PDF20 days ago
基于大型语言模型和 UMLS 启发式规则的生物医学嵌套命名实体识别
使用 Mixtral 8x7B 和 ScispaCy NER 模型识别生物医学文本中的 8 种嵌套命名实体，并基于统一医学语言系统（UMLS）语义类型构建自定义启发式规则，我们的系统在 BioNNE 验证集上获得 0.39 的 F1 得分和
PDF20 days ago
重温图上的随机游走学习
通过对图的随机游走产生机器可读的记录，并通过深度神经网络处理这些记录，直接进行顶点级或图级的预测，我们重新审视了图上机器学习的一个简单思想。我们称这些随机机器为随机游走神经网络，并表明我们可以设计它们成为同构不变并具备概率下图函数的通用逼近
PDFa month ago
xTower：用于解释和纠正翻译错误的多语言 LLM
介绍了 xTower，这是一个基于 TowerBase 搭建的开放式大型语言模型，旨在提供针对翻译错误的自由文本解释，以引导生成修正翻译的过程，并通过内在和外在评估来评估其生成的解释的质量。在多个实验设置中测试了 xTower，证明了在翻译
PDFa month ago
LLaMIPa: 增量对话解析器
该研究提出了首个使用在 SDRT 风格标注的语料库上进行微调的大型语言模型（LLM）进行话语解析实验。结果是一个名为 LLaMIPa（LLaMA 增量解析器）的话语解析器，能够更充分地利用话语背景，相较于只使用编码器模型提供局部、上下文敏感
PDFa month ago
语境长距离从语言到视觉的转换
通过扩展语言模型的上下文长度，我们实现了视频片段中的长上下文传递，使得大型多模态模型能够理解数量级更多的视觉标记，并开发了一个纯合成的长视觉基准测试，证明了 Long Video Assistant（LongVA）在处理长视频方面的优越性能
PDFa month ago
边缘修剪中的 Transformer 电路寻找
自动电路发现的一种有效且可扩展的解决方案是基于优化问题的边缘修剪，该方法在 GPT-2 模型中找到使用少于一半边缘的电路，并与之前的方法在速度和质量上表现出优势。
PDFa month ago
ACL跨文化对齐是否改变语言模型的常识道德？
用英文資源對日本語言模型進行對齊，並評估結果微調模型的通俗道德是否與日本文化保持一致，結果顯示，通俗道德的某些方面是可遷移的，但其他方面則不一定。
PDFa month ago
通过迭代实验编程实现大型多模态模型自动基准测试
自动化实验设计的框架 APEx 可以借助大型语言模型和预先指定的工具库生成一组实验，并逐步编制科学报告，以驱动测试过程和生成自然语言的结果。
PDFa month ago
MCSD：一个具有多样融合的高效语言模型
通过线性扩展和快速推理速度，MCSD 模型利用多渠道斜率和衰减（MCSD）块实现对特征的鲁棒表示，通过跨多样的时间感受野提取特征，并通过元素级融合多样的特征以增强细致的特征提取能力。此外，MCSD 块将推理过程表达为递归表示，大幅减少空间复
PDFa month ago
基于语言建模的表格数据大规模迁移学习
通过提取 TabLib 语料库中的一个大规模高质量训练数据集，我们针对表格数据预测问题，使用 Llama 3-8B 大型语言模型（LLM）进行微调，并采用一种新颖的填充和注意力机制，实现了在未见过的表格上的零样本准确率超过随机猜测 15 个
PDFa month ago
利用 10 个黄金标签从零开始训练最佳 IR 模型的自动优化训练超参数
我们开发了一种使用少于 100M 参数的小规模神经信息检索模型进行训练的方法，仅需 10 个金标准相关性标签。该方法依赖于使用语言模型生成文档的合成查询，并且关键步骤在于根据训练质量自动优化生成这些查询的 LM 提示。在 BIRCO 基准测
PDFa month ago
BEACON：全面 RNA 任务与语言模型的基准
介绍了首个全面的 RNA 基准测试 BEACON，包括 13 个任务，涵盖了结构分析、功能研究和工程应用，通过评估不同 RNA 理解任务的方法性能，研究了传统方法和基于语言模型的先进 RNA 基础模型，以及关键的 RNA 语言模型组件。基于
PDFa month ago
对齐语言模型中的基本权衡及其与采样适配器的关系
使用 Reinforcement Learning through Human Feedback (RLHF) 与 probability-quality relationship 方法，我们研究了语言模型对文字生成系统的影响，并提出了适应
PDFa month ago