2025年AI容器应用的落地、发展论坛，于11月21日在上海举行，华为公司副总裁、数据存储产品线总裁周跃峰博士于该论坛正式发布AI容器技术——— Flex:ai，同时，华为还联合上海交通大学、西安交通大学以及厦门大学共同宣布，会将此项产学合作成果对外界开源，以此助力破解算力资源利用难题。

发布这款软件的初心，是希望释放AI潜力，如此一来AI便能从此实现平民化，周跃峰于论坛上指出，期望人工智能在企业得以落地，然而并非需要每个企业都购置那么多卡，借助这个软件，能够更加妥善地调配算力资源。

需求量大，算力利用率低

随着人工智能技术的迅猛发展，算力资源需求呈持续增长态势。

论坛数据表明，xAI规划把AI芯片数量扩充到多达20万颗，OpenAI正着手构建规模达数百万颗AI芯片的集群，然而单个XPU（涵盖GPU以及NPU）的利用效率却并不高。Meta生产环境广告推理服务方面，GPU利用效率仅仅约为30% 。

由厦门大学信息学院、还有上海交通大学计算机学院教授张一鸣所指出的是，阿里超80%的算力资源利用率，处于小于35%的情况，而字节有将近60%的算力资源利用率，处于小于40%的状况。

周跃峰梳理出此刻算力服务里所面临的三个痛点，其一，小任务单卡不足以满足需求，其二，大任务单机的算力情况也并非足够，其三，多任务进行调度之际会遭遇困难，他列举了一个实例，瑞金医院的病理医生运用AI展开诊断时，一旦多个医生都在使用NPU资源，便会面对资源缺失情形，然而，这个时候并非能够去简单地增添NPU的个数，我们所需予以提供的是NPU的使用效率以及调度能力。

三大核心突破

张一鸣宣称，那个被称作AI容器的事物，是一种具备灵活高效特点的XPU虚拟化系统，是一种跨节点的XPU映射技术，是一种有着性能感知特性的时空复用技术。他点明，Flex:ai容器软件系统实现落地的主要起到的作用，是通过运用一个XPU来同时为多个租户提供服务，或者应用于多个不同的用途。

这次发布且开源的Flex:ai XPU池化与调度软件，它是依据Kubernetes容器编排平台来构建的，借助对GPU、NPU等智能算力资源进行精细化管理以及智能调度，达成AI工作负载跟算力资源的精准匹配，能够大幅度提升算力利用率。

据华为官方所做的介绍，该项技术达成了这样三个方面的核心技术突破：其一，是关于算力资源的切分，能够让一张卡转变为多张卡，进而为多个AI工作负载提供支持 ；其二，是跨节点的算力资源聚合，可充分地运用那些处于空闲状态的算力 ；其三，是多级智能调度，达成AI工作负载与算力资源的精确匹配 。

WitDisplay的首席分析师林芝，针对财闻作出这样的解释，从通俗角度讲，借助切卡技术，将一张GPU/NPU显卡切割成若干份，如此一来，使用者按需切割相应份额，相互之间不产生干扰，再就是能够借用他人闲置的卡，可凭借Flex:ai，借助高速网线，直接对隔壁机房闲置的显卡实施“遥控” 。终了，它颇有些类似AI领域里的滴滴派单情形，致使系统始终留意着几部机房，哪一个卡住呈空闲状态，哪一个卡住处于忙碌态势，哪一项任务显得紧急，哪一项任务规模较大，而后能够如同进行派单那般，自行将置闲散的任务投放至最为 vacant 且划算的显卡之上。

对标英伟达Run:ai容器软件

论坛里，专家好多回提及了跟英伟达Run:ai在性能方面的区别，Run:ai是一家专门致力于GPU资源池化以及动态调度的以色列公司，2024年4月，英伟达宣告与Run:ai达成最后的收购协议，2024年12月，Run:ai官网传出消息声称，英伟达打算把它的软件开源。

专家提出，Run:ai是面向那种更上层的应用方面的情况，而Flex:ai AI容器软件呢，是基于更底层的运用范畴，与此同时，Flex:ai AI的颗粒度是更细的状态。和英伟达旗下Run:ai只能绑定英伟达算力卡的情形不一样，华为AI容器技术Flex:ai凭借软件创新，能够达成对英伟达、昇腾以及其他第三方算力资源的统一管理还有高效利用，切实对不同算力硬件之间的差异起到屏蔽作用，为AI训练推理给予更高效的资源支持。

在一种存在阐述当中，林芝所表达的意思是，能够这样去讲，华为于此次所发布的Flex:ai产品，其对标对象乃是Run:ai，然而将两者作出比较，也就是把华为Flex:ai同Run:ai公司的核心产品进行对比之后，会发现华为Flex:ai在虚拟化这一方面，以及智能调度这个层面等之上，是具备着独特的优势的。

大大缓解国产算力压力

当下，于国内而言，因先进制程以及产能所限，国产人工智能芯片算力达不到像英伟达、AMD等这类国外厂商的水准，怎样去充分运用国内有限的算力资源便显得极为关键。林芝称：“华为Flex:ai会借助提升不同人工智能芯片算力效率，能够切实缓解国内算力比不上国外的压力。”。

戚正伟，这位上海交通大学软件学院的教授，在论坛上表明，于GPU虚拟化之前，其平均利用率有25%，训练时间当时需6小时，然而在虚拟化之后，GPU利用率变成了80%，此时训练时间为3小时。

还在发布这个时间点的时候，便宣告要进行全面的开源举措，这对于AI行业来讲，也是具备重要意义的事情。林芝持有这样的观点，全面的开源这种行为，是有助于算力得到提升的，能够促使AI产业链得以加快速度进行升级，进而带动AI产业朝着发展以及成熟的方向走去。

周跃峰表明，Flex:ai的全面开源会朝着产学各界开发者、研各界开发者开放全部核心技术能力，借助汇聚全球创新力量的方式，一同促使异构算力虚拟化跟AI应用平台对接所涉及的标准构建得以实现，得以形成算力能够高效利用的标准化解决办法，以此给全球AI产业的高质量发展注入强大动力 。