第 365 章 艰难攻坚
十二月二日，燕京。
余凯的详细时间表在上午九点准时发到了陆尧的邮箱。
陆尧打开看了一眼，表格做得很细，从十二月二日到十二月二十日，每一天标注了芯片适配、模型优化、端云联调、压力测试的具体节点。
他翻到最后一页，看到余凯在备注栏写了一行字——“每一天的进度都不能拖，任何一天出问题，发布时间就要往后推。”
陆尧把时间表转发给了倪光南和杨元庆，附了一句：“按这个表盯进度，每天早晚两次汇报，我亲自听。”
然后他拨了余凯的电话。
“征程四代跑五十亿参数模型的功耗，现在是多少？”
“四瓦。”余凯说，“比目标高了零点五瓦，芯片的推理单元在峰值负载下功耗会往上走，需要做动态调频优化。”
“端云切换的延迟呢？”
“五十五毫秒，比目标多了五毫秒。主要是加密通道的开销，加密算法用的是国密标准，端侧和云端之间的握手时间有点长。
技术团队在优化加密协议，目标压到五十毫秒以内。”
陆尧在笔记本上记了两笔，功耗和延迟，两个指标都差一点。
差得不多，但发布会之前必须压下来。
他合上笔记本，站起来走到窗前。
十二月的燕京天色灰沉，中关村的银杏树落尽了叶子，光秃秃的枝丫在灰蓝色的天幕下画出一排细密的线条。
“余凯，征程四代的芯片架构里，有没有专门为端云协同预留的硬件单元？”陆尧问。
余凯在电话那头沉默了两秒，然后说了一句：“有，征程四代在设计的时候预留了一个安全加密引擎，专门做端云之间的数据加密和通道管理。
但这个单元还没启用，因为端云协同的方案是最近才确定的。”
“把它启用。”陆尧说，“用硬件加密替代软件加密，延迟能下来多少？”
“理论上能压到三十毫秒以内。”余凯说，“但硬件加密引擎的驱动需要重新开发，至少需要一周时间。
而且驱动开发完了之后，还要跟三家云服务商的加密协议做对接。”
“一周够了。”陆尧说，“十二月二十日之前，把硬件加密引擎跑通。
五十亿参数模型的功耗再压零点五瓦，端云切换延迟压到四十毫秒以内。
这是死命令！”
余凯在电话那头记下，然后说了一句：“陆总，驱动开发需要跟地平线的芯片团队和联想的AI研究院联合做。
我让两边的人今天下午碰头，把接口定义先定下来。”
“可以。”陆尧说，“另外，征程四代的HBM内存带宽有没有优化空间？
端侧大模型对内存带宽的要求很高，如果带宽不够，推理速度上不去。”
“长兴存储的HBM已经适配了征程四代。”余凯说，“但带宽的瓶颈不在HBM本身，在芯片的内存控制器。
征程四代的内存控制器是上一代的设计，支持的最大带宽是两百GB每秒。
如果用上长兴存储的最新一代HBM，内存控制器会成为瓶颈。”
“征程五代呢？”
“征程五代的内存控制器重新设计了，支持的最大带宽翻倍。”余凯说，“但征程五代明年二季度才流片。
如果端侧大模型要提前体验，只能用征程四代，带宽限制在两百GB每秒。”
陆尧想了几秒：“先用四代。带宽的限制通过算法优化来弥补。
让AI研究院的模型团队把五十亿参数模型的量化精度从INT8提到INT4，减少内存占用和带宽需求。”
余凯在电话那头停了一拍，然后说了一句：“INT4量化的话，模型的精度损失会大一些。对话的流畅度和准确率可能会降。”
“降多少？”
“两到三个百分点。”
“可以接受。”陆尧说，“用户不会注意到两三个百分点的差异，但内存带宽的限制如果能解决，推理速度能提上去，体验反而更好。”
挂了电话之后，陆尧把李小军叫到了办公室。
李晓军已经整理好了三家云服务商的技术验证方案。
字节的火山引擎在端云协同的延迟上表现最好，实测延迟在四十毫秒左右。
阿里的加密方案最成熟，国密标准全流程支持。
百度的多轮对话准确率最高，在中文语境下的语义理解优于另外两家。
“三家的技术验证同时做。”陆尧说，“字节和阿里对接加密通道，百度对接多轮对话。
三家的接口标准不一样，AI研究院要出一套统一的API层，让端侧模型可以同时对接三家云服务。”
“统一API层的工作量不小。”李小军说，“端侧模型跟云端之间的数据格式、加密协议、超时重试机制都不一样。
如果每一家都单独适配，开发周期会拉长。”
“所以要统一。”陆尧说，“API层由AI研究院牵头开发，三家云服务商提供技术文档和对接支持。
十二月十五日之前，三家全部跑通。”
李晓军记下，合上笔记本。他看了一眼陆尧，问了一句：“陆总，如果三家都跑通了，最终选哪家？”
“谁的综合体验最好，就用谁做主方案。”陆尧说，“但合同不签独家，主方案用一家，备选方案用另一家。
剩下的一家保留技术对接，以防主方案出问题的时候可以快速切换。”
李晓军站起来往外走。
走到门口的时候，他回头看了一眼陆尧，说了一句：“陆总，十二月二十日之前，要跑通芯片适配、模型优化、端云联调、三家云服务商的对接。
这个节奏比地平线上市的时候还紧。”
“紧是紧。”陆尧说，“但 ChatGPT 已经跑出去了，我们如果等半年再发，市场就不会把我们当第一梯队。
端侧大模型这条路，联想必须第一个跑通。”
李晓军推门走了出去。
陆尧重新坐回办公桌前，翻开余凯发来的时间表。
他在十二月二十日那一栏画了一个红线，旁边写了一行字——“灵犀预览版发布，倒计时十八天。”
窗外的燕京十二月天色灰沉，中关村的楼群在午后的薄雾中连成一片模糊的轮廓。
远处的西山在灰蓝色的天幕下只剩一道深灰色的剪影。
陆尧把时间表合上，靠在椅背上闭了一会儿眼。
从凌晨两点的紧急会议到上午九点的详细时间表，从芯片硬件的优化到三家云服务商的同步对接，每一步都在倒计时。
十八天。
(https://www.yourenxs.cc/chapter/5454416/55112911.html)
1秒记住游人小说网：www.yourenxs.cc。手机版阅读网址：m.yourenxs.cc