第 364 章 深夜会议
十二月一日，凌晨两点。
联想AI研究院的会议室里灯还亮着。
倪光南坐在长桌的一端，面前摊着一台笔记本电脑，屏幕上开着ChatGPT的对话界面。
旁边坐着AI研究院的两位核心工程师，一个在做模型架构分析，一个在测试端侧部署的可行性。
陆尧推门进来的时候，倪光南抬头看了他一眼，没有意外。
他在来之前已经给倪光南发了消息，说“我过去看看”。
“怎么样了？”陆尧在倪光南旁边坐下。
“GPT-3.5的参数量估计在一千七百五十亿左右。”倪光南翻到笔记本的第一页，“这个规模端侧跑不了，至少五年之内跑不了。
但它的对话能力不是靠参数量堆出来的，OpenAI在指令微调和RLHF上做了大量工作。
如果我们把端侧模型的参数量控制在五十亿以内，但把指令微调做深，对话体验可以做到ChatGPT的六到七成。”
“六到七成不够。”陆尧说，“用户体验是及格线，要么不做，要么做到八成以上。”
倪光南沉默了几秒，然后说了一句：“如果要把体验做到八成，端侧模型需要端云协同。
端侧跑轻量对话和本地推理，复杂任务转发云端。
用户觉得是本地在回答，实际上是端云无缝切换。
这个架构我们之前在端侧大模型的项目里评估过，技术上可行，但没有落地。”
“现在落地。”陆尧说。
倪光南在笔记本上写了一行字——“端云协同架构，12月预览版。”然后抬起头看着陆尧：“陆总，如果端云协同的话，云端用谁家的？”
“三家都谈。”陆尧说，“字节的火山引擎延迟最低，阿里的加密方案最成熟，百度的多轮对话准确率最高。
三家的技术验证同时做，但合同不签独家。
哪家的端云协同体验最好，就用哪家做主方案，另一家做备选。”
“这件事让AI研究院牵头，跟三家云服务商的技术团队做联合验证。”
倪光南记下，然后翻到笔记本的第三页，上面画着一张端侧大模型的架构草图。
端侧部分跑在地平线的征程芯片上，云端部分跑在三家云服务商的GPU集群上，中间用加密通道连接。
用户在设备上输入问题，端侧模型先判断任务复杂度，如果是轻量对话或本地推理，直接在端侧回答。
如果是复杂任务或需要外部数据，加密后转发云端，云端处理完再把结果回传到设备。
“端侧和云端的切换延迟控制在五十毫秒以内。”倪光南说，“用户感觉不到切换，只觉得是本地在回答。”
“五十毫秒可以。”陆尧说，“地平线的征程四代跑五十亿参数的对话模型，推理速度能到每秒四十个token。
加上端云协同的五十毫秒延迟，整体体验接近云端大模型。”
会议开到凌晨四点。
倪光南的团队把端云协同的技术方案定了个初稿，陆尧在旁边听了全程，在几个关键节点上做了决策。
散会的时候，倪光南送他到电梯口，说了一句：“陆总，这个方案如果落地，联想的端侧AI就真正站住了。
OpenAI走的是纯云端，我们走的是端云结合。
两条路都能通，但我们的路更宽。”
陆尧点了点头，走进电梯。
电梯门合上之前，他看了一眼走廊尽头，AI研究院的办公区里灯还亮着，几十个工程师在工位上盯着屏幕。
他们是端侧大模型项目的核心团队，从2019年项目立项就跟着倪光南做端岳侧推理。
三年时间，从十亿参数做到五十亿参数，从纯文本做到多模态。
现在又要加上端云协同。
从研究院出来的时候，天还没亮。
十二月的燕京凌晨，中关村的街道上空无一人，路灯把梧桐树的影子投在地面上，拉出长长的深色线条。
陆尧弯腰坐进车里，赵恒从副驾驶递过来一瓶水。
他接过来喝了一口，靠在座椅上闭了一会儿眼。
手机震了一下，是王岳从音浪总部发来的消息：“音浪上的‘端侧AI’专题已经上线了，第一批内容是我们自己做的，讲联想灵犀的端侧大模型和地平线芯片。
接下来会让科技类创作者做深度测评。
另外，热搜上关于ChatGPT的讨论量还在涨，我们的话题位置排在第三。”
陆尧回了一行字：“把话题往端侧方向引导，ChatGPT是云端大模型，联想灵犀是端侧大模型。
两条路，两种体验。
用户需要知道端侧的好处，数据不出设备，延迟低，隐私强。”
王岳回了一个字：“好。”
陆尧把手机放进口袋，重新看向窗外。
十二月的北京凌晨天色漆黑，中关村的楼群在夜色中只剩一片模糊的轮廓。
从凌晨两点的紧急会议到端云协同的技术方案，从端侧大模型的体验优化到音浪上的专题引导，时代在推着人往前走。
OpenAI用ChatGPT证明了大模型的价值，联想要用灵犀证明端侧大模型的差异化。
两条路，两个方向，但终点是同一个，让每个人都能用上真正智能的AI。
车子驶过中关村大街的时候，陆尧忽然想起一件事。
他拿出手机给余凯发了一条消息：“征程四代的端侧部署方案，明天上午给我一版详细的时间表。
我要知道从今天到十二月二十日，每一天的进度节点。”
余凯回得很快，这个时间点他居然还没睡：“收到。明天上午发你。”
陆尧把手机放在座椅扶手上，闭上眼睛。
车窗外，中关村的灯火在夜色中连成一片模糊的光带，远处的西山轮廓在黎明前的黑暗中隐约可见。
天快亮了！
(https://www.yourenxs.cc/chapter/5454416/55112912.html)
1秒记住游人小说网：www.yourenxs.cc。手机版阅读网址：m.yourenxs.cc