本报记者 张景超 北京报道
AI框架被誉为AI时代的“操作系统”,起着连接算力、数据和算法的桥梁作用。据中科院科技战略咨询研究所近期发布的预测,2024年,MindSpore在中国AI框架新市场中的市场份额将达到30%,成为中国主流AI框架的第一梯队。世界。
这是智能时代我国AI框架的重要突破,体现了我国在自主创新道路上的坚定步伐。但与此同时,随着人工智能的快速发展,大模型技术的演进正在加速。参数数量接近万亿级,序列长度快速增长,模型结构向多模态甚至全模态发展,模型计算过程从单一模型转向单一任务。随着多模型多任务、深度学习和强化学习的融合,AI框架面临着前所未有的挑战和机遇。
对此,在12月14日的嵊泗人工智能框架峰会上,华为ICT战略与业务发展部总裁彭红华表示,人工智能框架是AI时代的操作系统和软件基础,是领先的AI框架需要兼具“更高效、更敏捷、更开放”的技术和生态能力。未来,华为将持续投资嵊泗,坚持开源之路,推动人工智能健康快速发展。中国人工智能框架生态系统。
AI框架的意义
《第一财经日报》记者了解到,在AI技术体系中,AI框架处于“承上启下”的位置。它在南方赋能多元化算力,在北方孵化各种算法模型。它是人工智能应用创新的土壤和源泉。
“大模型时代需要什么?回到去年,大家谈论更多的是需要卡、需要算力、需要硬件。业内一位知名学者曾幽默地说:‘谈卡伤感情’” ,没有说起卡的感慨。 '这是过去一年的真实反映,现在我们有了硬件资源,如何利用好资源呢? “智普AI”框架CEO张鹏表示,“对于初创公司来说,卡并不便宜,成本巨大。如何将数千万元的资源最大化,取决于AI框架和基础设施。首先,提高大模型的训练性能。它必须是重中之重。如何做到这一点取决于框架的不断完善。硬件的提升并不是那么容易的事情。如何在软件层面对硬件和上层算法进行适配,是我们能做的,嵊泗做到了。非常好的事情。”
中国移动对此深有体会。今年,中国移动在哈尔滨建成了全球运营商中最大的单体计算机集群。然而,为了控制如此大规模的计算设备并实现最高性能,AI框架至关重要。
“这一年多的时间里,由于中国移动的集群是分阶段建设的,这么大的集群不是一次性交付的,所以我们经常会遇到集群迁移和并行策略迁移的情况,如果并行策略迁移了,就得重新做一次。 “实验中。”中国移动研究院人工智能与智能运营中心高级主任王斌表示,“我们与盛思团队合作研究了仿真模型编译技术,可以缩短并行策略的实施时间。”原来的单位是周。这对于天来说是一个巨大的跳跃。由于训练任务需要迁移,模型需要经常重新对齐。对齐过程一开始花费了很长时间。我们与嵊泗团队合作构建了编译缓存和执行器。调度技术将模型任务重新调整的时间从几小时缩短为几分钟。总体来看,升思加NPU的软硬件组合堪比业界最佳组合,而且更加稳定。 ”
王斌也认为,目前我国先进半导体技术有限,突破还需要一段时间。 “我们可以基于生丝框架,在算法和算子层面进行更多的创新。”
清华大学助理研究员、面墙智能首席研究员韩旭认为,模型离不开软件栈和硬件的发展。在他的团队与盛思在软件栈的合作过程中,他觉得软硬件协同的发展,一方面可以让终端侧的模型可以运行在资源较低的设备上。另一方面,较大的模型可以很好地部署在较小的硬件和较小的低资源场景上。
“随着像盛思这样的软件栈未来发展得越来越快,可以想象,在未来一到两年内,包括体现智能和各种更智能的可穿戴设备,甚至更好的人机交互将会越来越多模型,他们会变得越来越有想象力。”韩旭说。
中国人工智能框架的突破
过去几十年来,AI框架领域一直被Google、Meta(前Facebook)等国际巨头主导。但随着中国AI框架的快速发展,生丝、飞票、BytePS等AI框架的诞生,逐渐打破了这一格局。
其中,盛思被业界视为发展最快的AI框架之一。开源四年来,嵊泗开源社区汇聚了超过37000名开发者,全球下载量已超过1100万次。 “近年来,嵊泗开源社区的影响力迅速提升,现已成为全球主流人工智能框架的第一梯队,并将迅速发展成为具有全球影响力的开源社区。”中国人工智能学会副理事长、中国工程院友友表示,“嵊泗不仅提供了便捷的操作界面,而且普遍使用齿轮箱和传动轴,调度计算能力激发了机器学习的最佳性能”。系统。嵊泗创新项目规模化模型孵化、科学研究、端侧应用等技术方向,部分实践已应用于金融、能源、制造、科研等行业。具有重要价值,促进相关领域科技和产业发展。”
市场研究公司Omdia发布的报告显示,国内AI框架中生思和飞票的开发者认知度排名目前已经超越了国外很多非常成熟的AI框架。
随着技术不断迭代创新、应用场景层出不穷,国产AI框架展现出广阔的前景。目前,全球AI行业投资呈现“井喷”趋势,AI框架市场也蓬勃发展。
“中国AI框架市场规模呈现快速增长,预计到2025年,整体市场规模有望突破数十亿元。” MindSpore开源社区主席丁诚说道。
目前,嵊泗开源社区已孵化并支持了50多个主要主流模型。 “我们与中国商飞上海飞机设计研究院联合打造了东方翼风大型仿真模型,并与南方电网深度合作打造了宇电大型模型。接下来,我们将介绍更多的企业和科研成果。”研究机构创新整体框架 支持更多场景应用和科技创新。”丁诚说。
开源创新的作用
业界对于大型模型的开源和闭源有很多争论。中国电信人工智能研究院高级算法主任宋双勇认为,开源降低了行业研究人员的进入门槛。否则,从头开始训练大型模型的成本太高。很多科研人员基于大型开源模型进行自己的科学研究,这将加速整个行业的进步,对整个行业有利。
“从另一个角度,从社会角度来看,无论是互联网大厂还是运营商,作为有能力训练基础模型的厂家,我们把花费了这么多人力、数据和计算资源训练的模型开源了。 ,让大家免费使用,这是一种社会责任感,对行业起到了很好的推动作用。还有一个小点就是开源让大家更容易统一和规范开源模型的参数接口,从而让大家更容易使用。模型方向更加标准化,更方便大家使用。”宋双勇说。
对于AI框架来说,开源的意义不言而喻。华为表示,嵊泗自2020年开源以来,技术不断创新,生态系统繁荣发展。目前已孵化支持50余款国内外主流主流车型;开源版本累计下载量1100万次,覆盖全球130多个国家和地区2400多个城市;超过37,000名开发者参与社区贡献;嵊泗科研与360余所高校进行教学科研合作,与1700余家生态伙伴合作,打造2000余种解决方案; PaperwithCode网站显示,已支持基于嵊泗发表原创论文1700余篇,位居全球第二、中国第一。
“就我们自己的研究经验来看,目前情况下,我国的开源创新开展得比较好,有几个具有代表性的公司和模式,包括奇智、奇源、胜思、阿里Qwen、智普等。这些生态、生态的代表企业就是我“中国是AI开源创新最重要的力量。”自己观察的情况下。开源发展,在基础、平台、算法、应用等方面都存在很多问题,在开源发展的过程中,虽然我们看到生态位已经基本聚集,而且虽然我们国家还没有取得实质性进展。与发达国家相比有一定的不足,我们在AI框架内有自己的创新领军者,同时我们也推出了大量的政策,这些政策正在发挥实质性的推动作用,有的已经初见成效。
记者了解到,在开源的发展过程中,技术内容的开源对于人工智能的发展至关重要,技术内容的开源主要有大学、企业和基金会三种类型。
“如果没有清华、北大等大学的基础研究,这些开源项目恐怕不会走得太远。同时,企业的贡献也非常重要。像华为这样的科技公司,在创新和开源方面进行投资。”人工智能的基础软件和基础模型。”投入了大量的资金和人才,做出了大量重要的工作和贡献,与开源基金会共同加速了开源生态的发展和发展。技术创新。”刘海波还建议,“没有一个治理体系是开放的、可持续的。在开放创新中,无论是人工智能领域还是其他领域,都存在自发的共享、协同、合作、激励机制的问题。人才培养需要所有开发者和合作伙伴共同参与,实现共建共治,开源与创新相辅相成。”
本文采摘于网络,不代表本站立场,转载联系作者并注明出处:http://mjgaz.cn/fenxiang/273361.html