作者 | Tina、褚杏娟
2025 年,是双十一的第 17 个年头。
从外部观察,这仍然是一场年度进行展示消费的盛大典礼;对于阿里的工程师来讲,它并非仅仅是购物的节日,更是完整全面的一次全链路的年度考核测试。
10月,双11才刚刚拉开序幕,阿里就给这次大促确定了新的基调,称这是第一个淘宝闪购全面参与的双十一,还是第一个AI全面落地的双十一,这一句定调,也表明阿里底层技术体系已经从全面上云迈向了全面AI化的阶段 。
1 变量之一:闪购合并,两大 App 打通
今年双十一的最大变量之一,来自闪购业务的合并。
这是淘宝历史上头一回把“闪购”跟主站全然融合,原本各自独立的“淘宝闪购”App和主淘宝端达成打通,达成即买即达、即时零售,外卖、奶茶、住宿、机票、服饰等各类商品全都统一呈现在淘宝的同一个入口之处。
于此次整合期间,涵盖详情页,另外还有商品库存系统,上述这些均于淘宝 App 之上再度重新去做一回,达成原生化整合,这种情况给底层技术栈造成了全新的挑战。
以分钟级交付较为知名的新“闪购”,对网络容量有着天然更严格的要求,对链路调度有着天然更严苛的需求,对数据库一致性有着更严格自然的要求。当它首次融入淘宝主站,与飞猪、菜鸟等业务在同一架构上进行协同,整个系统的规模被推到了极限,复杂度也被推到了极限。所以,从表面来看是业务整合,然而在技术层面几乎等同于一次“系统重启”:过去各业务架构相对来说是独立的,相互访问是有限的;合并之后,所有服务需要在统一的网络空间之内完成调用以及数据的交互。
阿里云双 11 基础设施技术负责人吴明,见证过往历年技术演进,2013 年,其头一回参与双 11 之际,当时团队还得针对支付峰值手动扩容;2019 年呢,阿里全面迈向云,核心交易链路迁移进云平台;直至 2022 年,淘系支付、物流以及交易链路达成 100%上云,系统稳定性迈向新高度。去年,阿里云启用超 100 万核弹性算力,与此同时成本节省超 25% 。
吴明说,“然而今年并非相同情状。”,“此为于全栈AI架构范畴内首次达成一场双11之完整运行流程。闪购之融入致使业务界限被全然实现贯通,基础支撑亦迫使其必须予以再度界定。”。
此等“重新定义”,于8月的一回巡检里迅速具象化为危机,该危机乃是:虚拟专有网络服务VPC的容量逐渐逼近200万的上限。
VPC 是云上的虚拟局域网,每个网元对应一台逻辑主机。
当展开围绕淘宝闪购这块业务,在进行饿了么、飞猪、菜鸟等业务模块这一过程中深度并入时,节点呈现出激增态势,相互访问更是增多,与此同时另外呢,鉴于闪购的订单 amount 呈现飞速增大,致使对于云基础设施 VPC 内部的转发网关也就是 XGW 的承载量急剧攀升,容量方面发出告急信号,这差不多是已经触碰到业界所知晓的最大生产级 VPC 规模的上限了呀,进而成为系统里的瓶颈所在,吴明这样来诠释:“就如同来到春节期间高速公路忽然增添了好几万辆车的状况,所有数据流都得是从一个口子通过,随时随地都有可能出现拥塞的情况。”。
一开始大家觉得这个问题还是比较棘手。
吴明接着补充讲道,算力方面的问题都是比较容易解决的,从某种程度来讲啊,其实就是增添机器就可以达成了。只是呢,网络就如同毛细血管一般,所有算力的通信、互访以及调用等等情况,全部都得要经由它才行。一旦它出现不通畅的状况,那么整个系统就都会陷入“堵车”这样的局面了。
按照常规开展的做法来看,这种问题应当借助“VPC拆分”来予以解决,也就是把淘宝业务迁到各自独立的VPC,把高德业务入驻到各自独立的VPC,把阿里国际等业务迁进各自单立的VPC,以此来减低单VPC所带来的压力,可是现今距离双十一仅仅只剩下两个月的时间了,在业务快速向前推进这样的情形之下,如果去做这种幅度较大的调整是不太符合实际情况的,而且已经太晚了。
团队是在组建攻坚小程序之后,才迅速将原本的命题,也就是“要不要拆”,转变成为了“在不进行拆除的前提下面如何去实现扩容”。最终呢,是从软件这个角度,提出了一种“云网关级联方案”:此方案是在不会对现有的业务造成不利影响的前提条件之下,凭借软硬协同的相关技术,经由在网关层去扩展多级的流表,并打通超大VPC的逻辑互联关系,才使其网络容量达成了横向的扩张。
其结果乃是,于双十一前夕,成功地化解了“撞墙”危机:其一,整体容量提高了大约 30%;其二,顺利跨越了 200 万这个界限;其三,达成了对于生产级 VPC 规模上限的再次明确界定。
2 变量之二:AI 全面落地,灵骏万卡集群的大规模检验
要是说让“闪购进行并入操作”的时候对涵盖所有的通算体系的最大承受限度构成了考验,那么“AI 全方位实现落地”这一情况就意味着智算体系首次在较大规模的场景下面对阿里内部众多的关于 AI 的应用所展开的推理任务承担起了相应责任。
在此之前,阿里搜推智能事业部的总裁凯夫,对AI应用的三个核心场景作出了解释,其所涉及的场景类目为:消费者进行导购时的场景,商家开展经营业务时候的场景,还有进行推荐广告投放时的场景。举例来说便是,淘宝选择把大模型与传统的搜索推荐模型相互融合在一起,进而构建出Hybrid技术架构用于相关事务处理,秉持着将“合适的技术运用到对应合适问题的解决之中去”的基本原则——针对于不同类型的用户搜索词而言,系统能够针对此自动调用最为匹配的模型来开展处理工作。一直到了这个阶段,AI现如今已经不能够再归为仅仅是单点试验这个范畴了,而是摇身一变成为了贯穿于整个业务链路过程中的默认能力结果呈现状态了。
阿里云构建了一种双算力体系,它包括“通算”与“智算”,能为相关工作提供有力支持。其中,“通算”是以CPU作为核心的,它承担着电商、物流、外卖等传统工作负载。而“智算”是以GPU为核心的,它负责为推荐、广告、搜索、客服、BI分析以及跨境翻译提供推理支持和帮助。
闪购、饿了么、飞猪这类业务整合以后,主要是统算算力会跟着业务规模变大,需求也会变多。并且基于Qwen模型的应用,像生意管家、店小蜜、AI搜索、出海翻译等,主要是处在智算集群上运行。
灵骏万卡集群组成了智算体系的核心,这样的检验属于首次迎来,是万卡集群去应对“双十一”的考验 ,存在于此次期间的情况 。
在架构的层面上,它以阿里云高性能的 HPN 网络以及高标准性能的存储 CPFS 为依托,借助“多级亲和性 + 拓扑感知调度”的方式,把任务依据商业贸易关联以及物理拓扑作出最优的分布情形 。
亲和性调度,可确保那些存在协同需求的任务,能够于同一台机器上进行部署,反亲和性机制,则能有效防止单点故障的出现;拓扑感知可使系统深入理解数据中心的物理布局,也就是机柜、交换机、楼宇以及可用区(AZ),进而以此缩短卡间通信路径,提升其带宽利用率。
灵骏针对 Agent 类应用存在的“生命周期长、算力需求突发”这种特点,还特地支持实施 PD 分离(也就是 Profiling / Decode 分离),通过将计算颇为-intensive与其在显存带宽方面较为敏感的这几个阶段拆开,各自运行去以达成显著地对推理效率以及 GPU 利用率加以提升地目标 。
凭借资源池化以及统一调度,在双11期间,灵骏采用多租形态为淘系进行智算资源的动态供给,在峰值过后,算力池迅速回收并且面向外部开放,达成了跨业务场景的算力复用以及资源效率的统一。
在阿里云这里,“考”的并非仅仅是GPU利用率,同样还有GPU卡时在线率,这可是业内用于衡量算力服务成熟度的关键指标,一方面得将硬件故障给业务带来的影响降低到最低程度,另一方面还得防止因调度不合适而致使显卡处于空闲状态,基于此,阿里云构建了AI可观测体系,它能够依据卡型来监测运行状态,区分硬件以及软件问题,并且支持单卡隔离、整机不停,尽可能把在线率维持在较高水平。
阿里云团队总结称,从底层云基础设施开始,到大模型,再到模型服务,今年双十一,正是这套全栈AI技术能力在淘宝电商场景的首次全面探索与落地。

3 第十七年,系统已经很稳定了
今年,阿里巴巴集团开展的双十一活动,在技术层面所呈现出的极为突出的且最为明显的两个变革之处在于,其一乃是由闪购之类的业务进行整合进而引发了规模方面的扩展,其二则是云基础设施的基础架构达成了重新构建,达成了从仅仅只是能力堆砌到能够实现系统性红利释放的至关重要的跨越。
这同样是阿里所过的第十七个双十一,即便底层出现了这些变动,但对于技术团队来讲,双十一已然不再是要进行“严防死守”的一场硬仗,早期那种“救火式”的应急响应成为了往昔之事,被一套拥有流程标准、体系成熟的运行机制给替代了。
吴明表示,我们有已经很多年使用经验且已经非常成熟一套机制。全面上云的情况下,资源池跟调度层达成了统一化,虽然业务流量出现了激增状况,但是也仅仅只需在统一的池子里面完成调度,是依靠技术来进行调度,并非是去搬移机器。
虽说系统架构朝着稳健的方向发展,然而阿里仍旧维持着严谨的战备进展速度。传统的那些环节,像是全链路压测、技术指挥部、风险月报之类的,依旧被完好地留存着。今年鉴于大促的节奏向前推移了(也就是从11月1日提前到10月20日),所以备战也相应地提前了两周。在9月底的时候,来自云、淘天、爱橙等核心技术体系范围的专家就已经全都聚集到一处了,他们担任各个领域的“技术大队长”,一同进入到“联合作战”的模式当中,这个模式涵盖的是从压测、验收到峰值补测等整个流程。
吴明介绍说,从2019年开始一直到如今这个时段,我们是连续六年达成了零P1 / P2故障这样的情况。今年所设定的目标也是特别清晰明确的,那就是要保障业务运行得如同丝般顺滑,不会出现卡顿现象,达成零P1/P2无故障的状态,在全链路压测时能够一次性通过,并且保持稳定的运行状态 。
按照他的看法,稳定性工程并非属于临时性的任务,其就如修筑堤坝那边,可不是等到洪水来袭之际才着手去修筑的 。一年期间大家都会开展日常巡检工作,凭借月报的形式持续对潜在风险予以跟踪,并且依据风险的等级来评判是不是需要进行升级汇报 。今年8月度所识别出来的VPC容量方面的隐患,正是借助这个机制于双十一之前化解掉的。
指挥部的新成员:通义队长
成熟的技术保障体系之中,出现了新变化,该变化发生在今年,此等变化为指挥部里增添了一位名为“通义队长”者,啊,多了这么一位嘞 。
过去的年份,不存在大模型的情况下,这个名为队长的角色并不存在 。而到来,本年度开启全新设定后,我们设立了通义身份的队长一职旨在专门负责在大模型范畴之内进行连贯的技术上携手合作。
在本年度双十一技术指挥部里头,通义团队跟指挥部其余成员一块儿,保障了大模型于灵骏万卡集群之上能够高效且稳定地运行。
这一协作并非是为了双十一而临时性组建的,它从上半年起,就针对新一代模型的推理表现、稳定性以及调度效率,展开持续不断的优化工作;当进入双十一阶段时,在流量放大之后,工作重心向着算力供给是否足够、万卡集群能不能按时交货并稳定承担转变,。
从职责的划分来讲,负责基模型质量以及迭代的是通义,负责算力调度与系统稳的是云基础设施,基于模型开展应用层创新的是业务方 。
技术团队成员解释表示,这是个有着典型特征的三层体系的系统工程 ,基模层运用那些通义来保障质量 ,而平台层承担的职责为让模型能够在运行时既跑得快又跑得稳 ,至于应用层之类的 ,像广告 ,商家经营 ,推荐系统等 ,会借助这些能力去开展后续训练以及进行场景化的优化工作 。
这种全栈协同所产生的结果,是Qwen系列模型,于首届在双十一期间内进行了大规模意义上具有实际成效的落地应用 。
于出海业务里,像通义Qwen - MT等这般的模型系统,对亿级商品的图片进行翻译之任务予以支持,对亿级商品的评价进行翻译之任务予以支持,对亿级商品详情进行翻译之任务予以支持,并且单日调用量超过14亿次;在商家经营的场景当中,淘宝借助Qwen3等众多款模型,打造了生意管家应用,对生意管家予以升级,打造了店小蜜应用,对店小蜜予以升级,从而极大地提升了商家的分析效率,提升了商家的决策效率,提升了商家的客服效率。
站在对未来的展望视角来看,技术团队有着这样的预期,那就是AI在双十一时期的应用会朝着更加深入的方向发展。技术负责人讲道,“今年AI应用的落地仅仅是刚刚开启,在以后的日子里AI会在电商各个领域都存在,没有任何一处不存在”。而这种深度的渗透会促使算力需求持续不断地增长,尤其是推理算力方面。基础设施团队所面临的挑战在于,要在保证算力供给的情况下,伴随通义等团队共同协作实现低成本、高效率的规模化服务 。
处在这条演进线路之上,“扛流量洪峰”已然不再属于最大的那种技术挑战。技术团队所关注的要点正从仅有其单一的峰值应对,转变为“创造全新体验,而这必然会给业务带去巨大的想象空间” 。
本文采摘于网络,不代表本站立场,转载联系作者并注明出处:https://mjgaz.cn/fenxiang/279334.html
