第 411 章 电力为王
倪光南的团队在灵犀V3.0推送前一周提交了一份补充报告,标题叫“端侧AI规模化部署的算力与电力约束评估”。
报告不长,三十多页,但陆尧看完之后在办公室里坐了很久。
报告的核心结论只有一句话——端侧AI的用户规模越大,云端算力的需求越超出预期。
灵犀V3.0的端云协同架构设计时假设端侧处理百分之七十的任务,云端处理百分之三十。
但实际测试下来,用户对复杂任务的需求比预想的高得多。
端侧处理比例降到了百分之五十五,云端处理比例升到了百分之四十五。
云端推理集群的负载比设计值高出了近一倍。
陆尧把报告翻到第二页,上面列着一组数据。
灵犀V3.0推送之后,预计日活用户六千万,每人每天平均调用云端推理十五次,每次推理消耗的token数量在五百到两千之间。
日均token消耗量在四千五百亿到一万八千亿之间,峰值的token消耗量是均值的两倍多。
他拿起内线电话拨了倪光南的号码。
“倪院士,报告里的token消耗数据,确认过了?”
“确认过了。”倪光南的声音从电话里传来,带着一点沙哑,显然这几天没怎么睡好,“灵犀V3.0的端侧模型参数量翻了一倍,但用户对复杂任务的需求也上来了。
用户用灵犀写长文、做数据分析、生成报告,这些任务端侧扛不住,全部转到云端。
云端的token消耗量比设计值高了将近一倍。联想云引擎的推理集群已经在扩容了,但扩容的速度跟不上用户增长的速度。”
“联想云引擎的瓶颈在哪里?算力还是电力?”
“两个都有,但电力更棘手。”倪光南翻开文件的声音从电话里传来,“算力可以加芯片,征程五代的产能爬坡在加速,联想云引擎的推理集群也在扩容。
但电力不是加芯片就能解决的。一个大型推理集群的功耗在几十兆瓦级别,相当于一个小型城市的用电量。
联想云引擎在张家口的数据中心,电力配额已经用到了百分之八十五,如果再扩容,就要排队等电网的配额。”
陆尧靠在椅背上,看着窗外六月的燕京。
中家村的银杏树叶子绿得发亮,午后的阳光从叶缝里洒下来,在地面上铺出细碎的光斑。
他想起2023年跟火山引擎签端云协同合同的时候,周衡说过一句话——“端云协同的瓶颈不在技术,在算力和电力。”
那时候他以为周衡说的是五年后的事,没想到三年后就是现在。
更没想到的是,联想云引擎提前完成了三年过渡计划,在2026年年初就独立承担了端云协同的主方案,不再依赖火山引擎。
“倪院士,联想云引擎的电力配额,二期扩容申请了多少?”陆尧问。
“一期集群的电力配额是五十兆瓦,二期扩容申请了八十兆瓦,电网那边还在排队。
如果灵犀V3.0推送之后云端负载继续往上走,二期的电力配额可能不够用。”倪光南说,“另外,长兴存储的HBM产线也在扩产,四期投产之后用电量会再上一个台阶。
江北新区的变电站已经在扩容了,但进度跟不上。”
挂了电话之后,陆尧把李小军叫到了办公室。李小军手里拿着一份联想云引擎的电力和算力汇总报告,封面上写着“端侧AI规模化部署的算力与电力约束——2026年6月”。
“联想云引擎的电力配额情况怎么样?”陆尧问。
“张家口数据中心的一期电力配额用到了百分之八十五,二期在排队等电网的批复。”
李小军翻开报告的第二页,“联想云引擎的技术团队已经完成了推理集群的扩容方案,但扩容的成本比预想的高。
电力增容费、变电站建设费、冷却系统的改造费,加起来大概每年多出十二亿人民币。
这笔钱本来可以省下来,如果继续用火山引擎的话。”
“不用火山引擎。”陆尧说,“联想云引擎是联想自己的算力底座。
端云协同的主方案如果依赖外部云服务商,联想在端侧AI上的优势就少了一半。
十二亿的电力成本,联想扛得住,你让团队跟电网那边对接,把二期的电力配额尽快批下来。”
李小军记下,然后说了一句:“陆总,电力的问题不只是张家口一家,联想云引擎的三年过渡计划提前完成之后,联想云自己的数据中心电力配额也在排队。
另外,长兴存储的四期产线、地平线的测试中心、火山引擎的推理集群,三个用电大户都在江北新区和张家口。
电力配额要统筹安排,不能各管各的。”
“电力的事,你帮我约一下国家电网的人。”陆尧说,“联想的算力底座在张家口和江北新区,两个地方的电力配额要提前锁定。
长兴存储的四期产线、联想云引擎的推理集群、地平线的芯片测试中心,三个用电大户的电力需求要打包谈,不能一家一家地排队。”
李小军记下,转身走了出去。
陆尧重新翻开倪光南的报告,在最后一页看到了一行手写的批注——“Token、算力、电力,三者是端侧AI规模化的铁三角。
Token是需求,算力是供给,电力是约束。三者缺一不可。”
他拿起手机给余凯发了一条消息:“征程五代的产能爬坡进度怎么样?联想云引擎的推理集群扩容需要芯片,地平线的产能要跟上。”
余凯回得很快:“台积电和中芯国际的双线产能在爬坡,月产四十万颗的目标下个月能达成。
联想云引擎的订单在排产,优先供应。
另外,征程六代的预研已经启动了,算力比五代翻一倍,功耗控制在八瓦以内。
但六代芯片的功耗上去了,电力的约束会更紧。”
陆尧回了一行字:“征程六代的功耗指标再压一压,八瓦太高了,六瓦以内。
电力是瓶颈,芯片的功耗每降一瓦,云端推理集群的电力配额就能多撑一截。”
余凯回了一个字:“好。”
陆尧把手机放进口袋,站起来走到窗前。
六月的燕京天色明亮,中家村的银杏树在午后的阳光下泛着油亮的光。
Token、算力、电力,三个词在他脑子里转了几圈。
端侧AI的用户规模越大,云端推理的token消耗量就越大;token消耗量越大,算力的需求就越大;算力的需求越大,电力的约束就越紧。
三者是一个循环,任何一个环节卡住,整个循环就转不动。
他拿起手机给王岳发了一条消息:“音浪上做一个专题,叫‘AI的电力账本’。
把token消耗、算力需求、电力配额三件事讲清楚。
让用户知道,AI不是免费的,每一次对话背后都有算力和电力的成本。
另外,重点讲联想云引擎——联想自己的算力底座,不依赖外部云服务商。
这个卖点,之前没有讲透。”
王岳回得很快:“收到,另外,科技类创作者那边已经在讨论了。
有一个叫‘算力老王’的博主做了一期视频,讲‘ChatGPT每次对话消耗多少电’,播放量半天破了三千万。
评论区里有人写‘原来AI这么费电’,有人写‘联想云引擎自己搞算力,电费自己扛,这才是真自研’。”
陆尧回了一行字:“继续做,让用户看到联想云引擎的自主性。
端侧AI省电,是因为把算力放在了本地;云端推理的电力压力,联想云引擎自己扛。
这是联想和ChatGPT的区别。”
他把手机放进口袋,重新看向窗外。六月的北京天色渐暗,中家村的楼群在暮色中铺展开去。
Token、算力、电力,三个词正在成为AI行业的新关键词。
灵犀V3.0的推送在即,云端的token消耗量会往上走,算力和电力的约束会越来越紧。
但联想云引擎已经准备好了,电力配额的谈判也在推进。
这条路不好走,但方向是对的。
(https://www.yourenxs.cc/chapter/5454416/54740218.html)
1秒记住游人小说网:www.yourenxs.cc。手机版阅读网址:m.yourenxs.cc