- 使用 gRPC 提高 DareFightingICE 中 AI 数据传输效率
本文提出了一种新的 DareFightingICE 平台的通信接口,使用 gRPC 替代 Py4J 提高了数据传输的效率并降低了延迟,通过实验验证该接口有效减少了 65% 的延迟、提高了稳定性并消除了当前接口存在的丢帧问题。
- 预训练深度神经网络之间的差异性:模型可靠性的新威胁
本研究主要探讨了不同模型动物园中 36 个预训练深度神经网络之间的准确性、延迟和体系结构的差异,发现了 1.23%-2.62%的准确性差异和 9%-131%的延迟差异,同时发现了已知深度神经网络体系结构(例如,ResNet 和 AlexNe - 探索基于注意力图复用的高效 Transformer 神经网络
本文研究了基于 Transformer 的自注意力(SA)提取序列特征方案,在注意力地图重用方面做了全面的研究,并证明了其在加速推理方面具有显著的优势。实验结果表明,注意力地图重用方法在 CPU 和 GPU 平台上可以减少推理延迟。
- CVPRFlatFormer: 压缩窗口注意力的高效点云 Transformer
FlatFormer 是一种 3D 点云变压器网络,通过交换计算负荷和提取局部特征以实现节省计算时间的效果,在边缘 GPU 上实现了实时性能,并在大规模基准测试上达到与或甚至更好的准确性。
- 平均标记延迟:一种用于同时翻译的延迟度量
本研究提出了一种基于平均标记延迟的评估指标(ATD),旨在更好地考虑同声传译中翻译结束时间对延迟的影响,并通过模拟实验和同声传译实验来探讨 ATD 的优势和与平均滞后度之间的差异。
- 基于操作预测的 ASR 误差纠正方法
本文提出了一种利用纠错操作预测的 ASR 错误校正方法,该方法可降低解码过程的延迟,提高推理速度并维持相同水平的准确性。
- 关键词检索的延迟控制
论文提出了一种控制关键词检测模型延迟的新方法,通过一个参数可以平衡检测延迟和准确性,并且在与现有方法对比时表现更好,可以在一定的延迟目标下,显著地提高虚警率。
- ACL长度自适应平均滞后策略在同声传译中的应用:不能奖励过度生成
本文提出了一种新的评估指标 LAAL(Length-Adaptive Average Lagging),并且指出了传统的评估指标 AL(Average Lagging)对于长文本预测的系统评估得分存在低估的问题,同时讨论了当前的 Simul - ACL多语言神经机器翻译:深度编码器与多浅层解码器
对多语种翻译使用深度编码器和浅层解码器 (DEMSD) 的方法,使得在翻译质量没有显著损失的情况下,可获得 1.8 倍的平均速度提升。
- 数据驱动的自适应同时机器翻译
本文提出一种用于自适应 SimulMT 训练的有效方案,通过向训练语料库中添加自适应前缀对前缀的语句,来缓解 Wait-K 策略的两个主要限制,实验证明该方法在翻译质量和延迟方面优于所有强基准线。
- IWSLT 2022 年同声传译任务 CUNI-KIT 系统
本文介绍了我们在 IWSLT 2022 Simultaneous Speech Translation 比赛中的参赛作品,探讨了如何在不修改原始模型的情况下,在同步设置中利用离线模型的策略。在实验中,我们展示了我们的在线算法几乎与离线设置相 - C-NMT:神经机器翻译协作推理框架
本研究旨在探索并解决协作神经机器翻译中的问题,利用 Collaborative Inference(CI)方法,结合边缘计算和云计算设备之间的互操作性来优化深度学习中推理的时延和能量消耗,实验表明将此方法应用于神经机器翻译中,相较于非协作方 - 基于 Actor-Critic 学习的 O-RAN 资源分配中的动态 CU-DU 选择
本文提出两种基于 actor-critic 学习的技术来优化资源分配功能的位置以及资源分配决策,并研究了增强学习资源分配在可观测性方面对性能的影响,实验表明,在动态地网络功能(NF)根据服务要求进行重新定位时,使用强化学习技术能够获得延迟和 - EMNLP混合专家等候 - k 策略的通用同时翻译机
本论文提出了一种基于 Mixture-of-Experts Wait-k 机制的通用即时翻译模型,采用多头注意力实现专家混合,每个专家根据其自己的等待词数被认为是 wait-k 专家,并根据测试延迟和源输入调整专家权重以产生最佳翻译,可以在 - 开放领域问答中分离式 Transformer 的可伸缩推理
本研究提出一种将 transformer MRC 模型解耦为输入组件和交叉组件的方法,以减少计算成本和延迟,通过知识蒸馏和学习表示压缩层来保持解耦 transformer 的准确性,并可使在线 MRC 的计算成本和延迟降低 30%-40%, - 口译迷惑:从原始语言或口译者翻译
探究跟随原演讲者或译员进行自动同声传译的语音翻译系统能够在保持翻译质量的前提下,增加可提供的语言范围,从而通过 ESIC 进行英语到捷克语的研究,比较人类译员与机器翻译系统之间的差异,并进行人类评价以衡量信息损失。
- Pylot: 自主驾驶车辆延迟 - 准确性权衡探索的模块化平台
我们提出了 Pylot,这是一个自主车辆研究和开发平台,其目标是允许研究人员研究其模型和算法的延迟和准确性对 AV 端到端驾驶行为的影响,其中 AV 管道的各个组件表示为运算符的数据流图,PYLOT 提供多种各种 AV 管道组件的最先进的引 - HardCoRe-NAS: 硬约束可微分神经架构搜索
通过引入 HardCoRe-NAS 方法,我们精确地满足了各种资源约束,并在不需要任何调整的情况下生成了具有 state-of-the-art 性能的架构。
- ACL利用多模态增强学习进行同时机器翻译
本研究探索了两个主要概念,即使用自适应策略来学习高翻译质量和低延迟之间的平衡,以及使用可用于生成文本输入之前的附加(视觉)上下文信息来支持该过程,提出了一种多模式方法来进行同时机器翻译,并采用强化学习策略,应用于代理程序和环境中集成视觉和文 - ACL联合语音识别和翻译的流式模型
本文介绍了如何使用端到端模型进行语音翻译,并在流式翻译设置中实现同时生成音频转录和翻译输出,并比较了与标准级联方法的表现,结果表明这种方法与级联模型的表现相似,但参数数量更少。