- 评估新闻推荐系统的集成方法
如何通过使用集成方法将多个不同的最先进的算法组合起来,以在 Microsoft News 数据集(MIND)上取得卓越成果,本文旨在填补新闻推荐系统(NRS)领域中的研究空白。通过研究发现,结合多个 NRS 算法可以胜过单独算法,前提是基础 - 释放扩散模型在不完整数据填充方面的潜力
DiffPuter 是一种迭代方法,利用期望最大化算法和扩散模型进行缺失数据填补,其通过将缺失数据视为可在模型训练过程中更新的隐藏变量,并将缺失数据填补任务作为 EM 问题来处理。DiffPuter 通过扩散模型来学习观测到的数据和当前估计 - 特殊字符攻击:朝向大型语言模型的可扩展训练数据提取
大语言模型(LLM)在各种任务中取得了显著的表现。本文进一步展示了特定特殊字符或其与英文字母的组合作为更强的记忆触发器,导致更严重的数据泄漏。通过提出一个简单而有效的特殊字符攻击(SCA),我们验证了该攻击对最先进的 LLM 的高效性。该攻 - GARA:利用基因间关系提升遗传算法的准确性和效率的新方法
提出了基于基因调控的基因遗传算法(GRGA),利用基因之间的关系来改进遗传算法(GA)的准确性和效率。通过设计一个多部分图 RGGR 来表示解空间,其中每个节点对应一个解中的基因,并且边表示相邻节点之间的关系。通过使用 RGGR 来确定交叉 - 反馈是否能够增强大型视觉 - 语言模型的语义基础能力?
通过 “接收” 反馈来改善网络架构上的视觉和语言模型的语义基础能力,无需领域特定训练数据、微调或修改网络架构。使用二进制信号作为反馈机制,适当触发时,能够利用反馈以迭代和单步方式改善大规模网络模型的语义基础,通过自动化的反馈机制在所有环境中 - 在 LLMs 中重新定义 “幻觉”:朝着心理学指导的框架缓解错误信息
通过基于认知偏见和其他心理现象的心理分类学,我们质疑将 “幻觉” 一词应用于大型语言模型,并利用人类内部解决类似挑战的见解来开发缓解 LLMs 幻觉的策略,为提高 LLM 的可靠性提供细致精确的理解和可操作的途径。
- AAAI手中单目 RGB 视频的三维物体重建
本文提出一种新方法,通过引入 2D 遮挡澄清和物理接触约束,从而处理遮挡下的表面重建问题,该方法在测试集上表现优于现有方法,HO3D 效果提高了 52%,HOD 效果提高了 20%。
- Transformer 解释与提取器改进
我们全面理解和解释了 Transformer 结构,针对 multi-head self-attention 中的 Extractor 提出了改进方案,通过实验证明改进的 Extractor 表现更好,为改善 Transformer 结构指 - 将充足的物理信息纳入人工神经网络:通过基于物理的 Rao-Blackwellization 实现保证性提升
通过物理信息利用 Rao-Blackwellization 的概念来改善人工神经网络的预测,提出的策略应用于材料建模,并通过识别屈服函数、弹塑性钢模拟、脆性破坏驱动力识别和橡胶实验的示例进行了说明。通过使用足够的物理信息,例如不变量、最小化 - RenAIssance: 大型模型时代的 AI 文字到图像生成调查
文本到图像生成使用神经网络和扩展模型规模的创新模型架构与预测增强技术相结合的方法,提供了几种不同的方法并对其进行了详细比较和评价,为未来的工作提供了改进的可能路径。
- LongBench: 一个用于长篇上下文理解的双语多任务基准
通过引入 LongBench,对 8 个大型语言模型进行全面评估,我们发现商业模型(GPT-3.5-Turbo-16k)优于其他开源模型,但在更长的语境下仍存在困难;在较长序列上进行的缩放位置嵌入和微调,在长语境理解方面带来了实质性的改进; - 解码图像:释放大型语言模型
通过一项挑战 - 回应研究,我们对 Google Bard 进行了 64 个视觉挑战,旨在探查多模式大型语言模型(LLMs)的能力。我们的发现表明,Bard 在确定图像中的线索时更倾向于根据直觉做出猜测,并且不依赖于 OCR 库而使用类似 - 评估文本蕴含模型的释义鲁棒性
本文介绍 PaRTE,一组 1126 个文本蕴含例子,用来评估模型是否对改写具有鲁棒性。文章指出,如果 RTE 模型真正理解语言,那么它们的预测应该在具有相同意义的输入之间保持一致。作者使用这个评估集合以确定 RTE 模型在对例子进行改写时 - Huatuo-26M,一个大规模的中文医学问答数据集
本研究释放了一个含有 2600 万问答对的医疗问答数据集,并通过检索和生成方面的基准测试了许多现有方法,结果表明,现有模型的表现远远低于预期,并且该数据集在预训练语言模型时代仍然具有挑战性。此外,本研究实验证明了所提出的数据集在许多方面的好 - 探究汉字拼写检查中的字形音系信息:成效与展望
本文探讨利用预训练模型及字形和语音信息提高中文拼写检查的实用性,并提出新的实用性检测方法。
- OSS Mentor:通过深度强化学习提高开发者贡献的框架
本文提出一种基于深度强化学习的框架 OSS Mentor,通过使用经验知识进行训练,它可以适应性地帮助开发人员提高其贡献,这是一种管理开源软件的新方法,实验结果表明该方法显著超越现有实验结果,并设计了一个更加稳健的框架以改善开发人员的贡献。
- 在具有不完全可达目标偏好的随机系统中的机会定性规划
本文研究在随机系统中如何综合具有时间扩展目标的偏好满足规划,并提出了安全和积极改进(SPI)和安全几乎肯定改进(SASI)两种解决方案概念以保证改进,并展示了用于合成 SPI 和 SASI 策略的算法。
- 决策注意力正则化以提升同声传译系统
使用文本转录来改善同声传译系统的决策策略:引入决策主动规范化 (DAR) 方法和 SimulMT 技术,成功提高了 MuST-C 英德 SimulST 任务的性能,获得了 34.66%/4.5 BLEU 的改善。
- WWW元选择器:用户级自适应模型选择的元学习推荐
提出了一种元学习框架来实现基于用户的自适应模型选择, 在公开、生产数据集等数据集上进行了实验证明, 该方法在 AUC 和 LogLoss 等指标上优于单一模型基线和基于样本的模型选择器, 可以在在线推荐系统中带来巨大的利润收益。
- CVPR改进视觉对话的两个因果原则
本文通过发现视觉对话中被忽视的两种因果关系,即通过使用因果干预算法和避免输入对话历史记录来改进数据和模型的方法,提高了某些现有 Visual Dialog 模型的性能,其代码可在指定链接中找到。