九游会体育超节点架构的降生不仅是技巧的冲突-九游会j9·游戏「中国」官方网站

　　新浪科技讯 5月16日晚间音书，在本日的华为云AI峰会上，华为云副总裁黄瑾发表主题演讲九游会体育，先容了更多CloudMatrix 384超节点技巧上风与细节。他指出，跟着大模子测验和推理对算力需求的爆炸式增长，传统野心架构已难以相沿AI技巧的代际跃迁，超节点架构的降生不仅是技巧的冲突，更所以工程化翻新开发AI产业的新旅途。

　　现时，大模子测验履历了从早期小模子在单卡测验、小参数大模子在单机测验，到目下MoE、长序列、多模态大模子王人在AI集群上测验的演进经由。AI算力的瓶颈，从单卡算力的瓶颈到单机内总线带宽的瓶颈，再到目下集群间通讯带宽的瓶颈，需求增长了1万倍。然则往时的8年里，单卡硬件的算力增长了40倍，但是节点内的总线带宽只增长了9倍，跨节点的齐集带宽只增长了4倍，这使得集群齐集通讯成为现时大模子测验和推理的最大挑战。

　　黄瑾示意，濒临这些挑战，华为云推出了接收全平等互联架构的CloudMatrix 384超节点。这项技巧翻新跳出单点技巧为止走向系统性、工程性的翻新算力架构，直面通讯成果瓶颈、内存墙制约、可靠性短板三大技巧挑战。通过新式高速互联总线完了384张卡互联成为一个超等云办事器，最高提供300Pflops的算力界限，比业界同类居品跨越67%。

　　目下，基于CloudMatrix的超节点集群一经在芜湖、贵安、内蒙界限上线，黄瑾先容，华为云CloudMatrix 384超节点具备MoE亲和、以网强算、以存强算、长稳可靠、朝推夜训、即开即用六大技巧上风，以系统架构翻新再行界说新一代AI基础要津。

　　黄瑾强调，华为云超节点翻新系统架构的背后，是华为云坚抓“昇腾云办事支抓百模千态，盘古大模子重塑千行万业”的战术。一直以来华为云抓续鼓励昇腾AI云办事全面升级，通过打磨昇腾云的测验、推理的性能、可靠性和性价比，为中国乃至环球客户提供好用、易用的AI算力云办事。现已全面适配了DeepSeek在内的160多个大模子，以云办事的面貌，协助客户进行模子的树立，测验，托管和利用。昇腾AI云办事上线以来，面向政府、金融、零卖、互联网、交通、制造等行业一经办事六百多家翻新前锋企业，加快行业智能化利用的快速落地。

海量资讯、精确解读，尽在新浪财经APP

包袱裁剪：刘万里 SF014九游会体育