- 评估大型语言模型在理解基数方向上的能力
探讨大型语言模型在基于基数方向的推理能力方面的研究,通过创建两个数据集,发现尽管在简单数据集中大型语言模型表现良好,但在更复杂的数据集中,即使温度设置为零,没有任何大型语言模型能够可靠地确定正确的基数方向。
- 使用 CNN 的语音情感识别及其在数字化医疗中的应用案例
使用卷积神经网络(CNN) 对音频录音进行识别和情感标记,通过机器学习方法评估表情识别模型,并关注精确度、召回率和 F1 得分,以提高交流意图的识别能力。
- 原子自洽的长篇生成改进
提出了原子自洽(ASC)技术,通过合并多个样本中的相关子部分以提高长篇回答的信息检索能力,而不仅仅关注单个样本的抽取,该技术表现出明显优于 “Universal Self-Consistency”(USC)的效果,并在多个事实和开放式问答数 - 基于原子单元的企业 RAG 的问题检索
通过将文档切分成原子语句并生成与原子语句相关的合成问题,本研究实现了在企业级检索增强生成中更准确的检索召回,并观察到使用原子语句检索和合成问题检索能够提高检索步骤的召回率,从而提高企业级大型语言模型的性能。
- 多视图内容感知长文档检索
通过多视角内容感知索引(MC 索引)来提高长文档问答(DocQA)的性能,无需训练或微调。与现有的固定长度切块方式相比,MC 索引显著提高了召回率,并能与任何检索器无缝集成。
- 小半径向量搜索
研究了向量搜索中的召回率指标问题,提出基于范围搜索任务的 RSM 指标,以评估向量搜索的精确性,并证明了适应于 top-k 检索的索引方法不一定能最大化 RSM。
- MM幸存的男孩:从 LLM 中删除哈利・波特比报道中更为困难
近期的研究发现模型生成和回忆与哈利波特相关的内容,包括特定提及哈利波特和使用的模型。
- 简单线性注意力语言模型平衡召回 - 吞吐量的权衡
通过应用实验和理论到广泛的架构上,我们发现语言模型的状态大小与召回能力之间存在关键权衡。我们提出了一种名为 BASED 的简单架构,结合了线性和滑动窗口的注意力机制,通过改变窗口大小和线性注意力特征维度,我们可以在召回 - 内存权衡曲线的帕 - 生成跨模态检索:以检索和超越为目的的多模态语言模型中的图像记忆
构建在生成式语言模型基础上的多模态大型语言模型(MLLMs)拥有记忆和重新召回图像能力,介绍了一种基于生成式跨模态检索框架的方法,通过将图像存储在 MLLMs 中以实现记忆功能,并有效地进行跨模态检索。
- 使用预训练嵌入进行医学图像检索
本研究中,我们评估了使用四种最先进的预训练模型在模态、身体区域和器官级别进行医学图像检索的可行性,并比较了两种相似性索引方法的结果。结果表明,在没有额外训练或微调步骤的情况下,使用预训练网络进行医学图像检索是可行的,并且在模态、身体区域和器 - 使用模糊精确率和召回率评估分类系统对软标签的准确性
分类系统通常通过最小化系统输出和参考标签之间的交叉熵进行训练,Kullback-Leibler 散度是衡量系统与数据接近程度的自然选择。我们提出了一种新颖的方法,可以在不量化数据的情况下计算精度、召回率和 F 值,这些指标扩展了现有的度量标 - 分类的精确率和召回率拒绝曲线
通过使用精确度和召回率评估曲线,我们提出了一种对分类器性能进行更准确评估的方法。使用基于学习矢量量化的原型分类器,我们验证了该方法在人工基准数据和数据不平衡的场景以及医学实际数据上的有效性。
- 学习长期跟踪器分数的空间分布
该论文总结了长期跟踪中的关键问题,提出了基于融合追踪器策略的学习方法,并通过实验证明了模型与数据的独立性,并在竞争中取得了领先地位。
- 基于多任务学习的物联网故障检测与分类
本文针对实际 IIoT 应用开发故障检测和分类系统进行了全面调查,通过使用真实的 IIoT 系统进行模拟 11 个预定义的故障类别的三个数据收集阶段,提出 SMTCNN 用于检测和分类,其检测精度,召回率和 F1 得分均显著优于现有技术 - ICML高维生成模型保真度与多样性的测量中,精度和召回率的不对称性
本文发现了在高维情况下,利用 k 近邻的默认方法评价生成模型的准确率和召回率存在的严重缺陷,并提出对称度更高的新指标来解决该问题。
- 开放世界知识库中的完整性、召回率和否定性:一项调查
本文介绍了有关知识库的完整性、回溯和否定的表示、提取和推断的方法,以及对应的方法及其工作原理的基本方法,并针对两类受众提出了解决不完备知识库方面的建议。
- 大型语言模型中的少样本记忆识别、回忆和保留
现代大型语言模型的训练中,即使只看几次,一个模型也可以记住它们,但随着新的例子不断训练,模型的这些记忆会逐渐被覆盖。同时,这些模型在识别、回忆和保留方面的表现提高得非常快。
- ACL爬取语言模型的内部知识库
从语言模型中提取出的事实知识,通过提出的一种 `爬网` 方法,形成了知识图谱,并证明该方法达到了高精度(82-92%),同时每个实体形成的事实数量也是合理的。
- RECALL: 无需回忆的连续学习用于目标分类
提出了一种名为 RECALL 的新型无训练回溯方法,可持续性地学习新的未见过的物体类别,采用回想流程对旧类别进行分类,采用新头部来适应新类别,同时提出了一个正则化策略来减轻遗忘,提出了包括方差的马氏损失,以适应可变密度的新旧类别差异,并在 - KDD时序异常检测算法的本地评估
本文提出了一种基于 affiliation 概念的、能够解决经典精确度和召回率不足的时间序列异常检测算法的评估指标扩展方案,该指标基于地面真相和预测集之间的联系,并使用持续时间测量。实验结果表明,该扩展方案有效,可用于评估算法结果,并保持本