最近两三年,人工智能始终处于聚光灯下,最耀眼的焦点在算力基础设施与AI应用之间切换,而不可或缺的“中间层”似乎缺乏存在感。
事实上,透过ICT产业的演进轨迹,会发现“中间层”的作用举足轻重:在信息化建设阶段,操作系统、中间件等基础软件通过控制硬件交互、存储管理数据、网络通信调度等功能,化解底层硬件平台的复杂性,让开发者能专注于应用创新;在云计算时期,则形成了IaaS、PaaS、SaaS三层经典架构,其中PaaS层提供应用开发环境和数据分析管理等服务,为云计算加速渗透奠定了坚实基础。
从人工智能产业高质量发展的角度看,“中间层”更为纷繁复杂,而扮演“承上启下”角色的AI框架无疑是最核心的中流砥柱。
简言之,AI框架是一套用于AI算法模型设计、训练和验证的标准接口、特性库和工具包,其向下对接NPU、GPU、CPU等多样性算力,向上辅助开发者进行AI大模型部署和算法应用创新,堪称AI时代的操作系统与软件底座。
欲戴王冠,必承其重。肩负重任的AI框架也有成长的烦恼,亟需实现技术升级与生态再造。一方面,慢慢的变大的模型与集群需要AI框架具备更好的分布式并行能力,以解决训练任务拉起、高效执行、稳定运行和快速调试调优等难题;另一方面,开放的生态与多元的选择愈发重要,让更多的开发者能用、用好不仅是AI框架的立身之本,而且关乎整个产业未来的发展空间。
在充满诸多不确定性因素的环境中,掌握AI框架突围的主动权,打造更具活力和竞争力的崭新生态,已成为当下的共识。谁能承担这样的历史使命?哪条路径会打通国内AI产业的任督二脉?
在相当长一段时间里,国际巨头占据着AI框架领域的主导地位。Google的TensorFlow和Meta的PyTorch等AI框架起步较早,也已形成壁垒较高的护城河,要想打破既有格局殊为不易。
近年来,一些国内厂商奋起直追,AI框架呈现出日益多元的发展形态趋势,昇思MindSpore即是新势力中的典型代表,颇有希望成为重塑AI框架新生态的领军者。
这种期待有迹可循。作为昇思MindSpore的始创者,华为是ICT市场当之无愧的开路先锋,其坚持构建开放的计算产业生态,在硬件层面使能伙伴打造整机、拓展市场空间,在软件层面推动开源开放、共建基础软件底座,由此产生的示范效应备受瞩目。
在市场规模巨大的通用计算领域,鲲鹏软硬件生态迅速壮大——通过开放模组、主板、部件和整机柜等基础硬件技术,驱动十余家整机厂商和近百家KPN伙伴形成差异化的产品竞争力;同时,开放开源openEuler操作系统、openGauss数据库等,与超过5500家行业应用软件伙伴联合开发逾16500个解决方案,在金融、政府、电信、能源等行业的核心业务场景落地生根。
在需求快速地增长的AI计算领域,基于昇思、CANN、MindIE的昇腾AI产业生态也加速演进——深度开放运行时、开发接口、图引擎等能力,促进开发者构筑核心算子和加速库。据了解,目前已有超过20家客户及伙伴基于昇腾和CANN原生开发120多个核心算子,大范围的应用于各类主流大模型。
秉承华为塑造开放生态的优秀基因,昇思MindSpore直面AI框架进化过程中的各种挑战,从诞生至今不断跨越更高台阶,探索出一条独具特色的发展路径。
从某种意义上讲,大幅度降低AI应用开发门槛、达成AI无处不在的愿景是AI框架必须攻克的首要课题。于2019年8月问世的昇思MindSpore正是以此为突破口,致力于打造能适应云、边、端全场景的AI框架。借助昇思自身的技术创新,有效克服AI计算的复杂性和算力的多样性难题,为开发者营造出友好的创新环境。
在多元场景适用、端云边协同的基础上,新的AI框架要尽快赢得市场认可,走开源之路是不二之选。昇思在2020年开源业界首个全场景AI框架,从此驶入开源开放的快车道。到了2023年,昇思MindSpore开源社区理事会正式公开宣布成立,开启“共建、共享、共治”的新纪元,一个开放、多元、包容的AI技术新生态呼之欲出。
如果说开源开放是重塑AI框架生态系统的催化剂,那么技术创新则是增强AI框架适应能力的最佳利器。
面对大模型主导人工智能演进方向的新局面,昇思在2023、2024年先后发布MindSpore 2.0和2.3版本,积极探索前沿技术,助力大模型开发训推更简、更稳、更高效。昇思通过训推一体的架构跃迁实现脚本、分布式策略、运行时的统一,并持续升级MindSpore TransFormers大模型套件和MindSpore One生成式套件,达成全流程开箱即用,推动AI框架迈向崭新境界。
显而易见,基于开源开放和技术创新的双轮驱动,AI框架的新生态已雏形初现,若有进一步的举措落地,有望加速成型。昇思在2024年发布“四项行动”,为AI框架跃迁添柴加薪:学术论文基金2.0将在3年内携手50多位全球AI学者,攀登学术新高峰;基于香橙派开发板提供系统化支撑,帮助开发者快速打造个性化应用;通过专项技术上的支持和市场联合推广,促使更多伙伴走向原生开发;借助昇思开源社区实习活动,让开发者在实践中完成蜕变。
不容回避的是,新AI框架被市场真正接受不可能一蹴而就——既需要开拓者自身的反复验证,更离不开成功案例的扎实积累。
在华为ToC和ToB业务的创新实践中,昇思MindSpore其实是隐形的幕后英雄。它能支持华为手机智慧助手小艺的演进,并在无人驾驶、智能手表AI管理算法等场景大展身手;同时,昇思还内置于鸿蒙、openEuler操作系统,为OS的智能化升级保驾护航。
除了“内部验证”的屡试不爽,昇思在AI新时代更展现出非凡的潜力,成为主流大模型和行业客户的“新宠”。在与智谱AI的合作中,代码生成大模型CodeGeeX4的新版本基于昇腾AI与昇思AI框架训练,依托昇腾与昇思的多维混合分布式并行技术等软硬件能力,大幅改善模型开发、训练的效率及模型精度;中国电信的星辰语义大模型也与昇腾AI基础软硬件完成适配,且使用昇思MindSpore等框架进行模型训练和推理,模型精度与性能均有不俗表现。
据统计,MindSpore社区共开源500多个模型,支持伙伴孵化、适配50+大模型,昇思已成为国内最具创新活力的AI框架。值此具有里程碑意义的时刻,昇思人工智能框架峰会将于12月14日在北京举行,来自院士、专家、学者、企业领袖、卓越开发者等产学研用相关各方齐聚一堂,探讨AI框架技术趋势,分享创新成果与实践经验。
当下是AI框架打造新生态的关键节点,也是国内AI产业赢得话语权和主动权的重要时间窗。昇思及其伙伴们共同迈出的每一步都值得重视,这些脚踏实地的印记将昭示数智化的未来图景。
作者关健,《IT创事记》合伙人、主笔:曾任《电脑商报》常务副社长兼执行总编、《中国计算机报》助理总编,媒体从业时间超过10年。
关健长期关注科技产业动态及趋势,与逾百位高科技公司领导者进行过对话,亦在众多科技会议与论坛中担任嘉宾主持。
【IT创事记】聚焦于企业级科技生态、策略及商业知识。你可以在各主流媒体平台看到IT创事记的同名文字专栏和【IT创事记·短视频】专栏。如果你有相应的内容希望分享,记得在公众号留言告诉我们。