跳到正文
栏目
AI 动态 517 科技资讯 524 AI 自制游戏 10 ComfyUI 5 硬件价格 0 每日日报 23
站点
关于本站 硬件价格表 用户协议 隐私政策
账户
登录
科技资讯 来源 钛媒体

端到端推理时延降低 15%:京东广告联合鲲鹏超节点,探索生成式广告行业新路径

本文为聚合摘要,来源 钛媒体,版权归原作者所有;完整内容请阅读原文。

京东广告面临生成式推荐带来的千倍算力需求与300毫秒时延红线之间的尖锐矛盾,真正的瓶颈在通算侧而非GPU。为此,京东与华为鲲鹏合作,通过灵衢互联将四级缓存压成两级,建成300TB共享内存池,并重构RPC通信,使端到端推理时延降低15%,KV Cache和RPC性能大幅提升,经61…

查看原文:钛媒体

原文出处:钛媒体 阅读原文
讨论

还没有评论

发表评论