SambaNova发布第五代RDU AI芯片，专为智能体推理工作负载设计

电子发烧友网报道，近期，美国


人工智能


硬件及软件研发公司SambaNova宣布推出其第五代RDU可重构数据流单元


AI


芯片SN50芯片，同时推出基于该芯片的SambaR


ac


k SN50风冷机架系统。SN50芯片专为智能体推理工作负载设计，具备超低延迟、高吞吐量和节能等突出特性，性能更是达到上代产品的5倍。在存储结构上，它采用大容量内存 + HBM + S


RAM


的三层次架构，极大优化了时延表现。




与


英伟达


的产品相比，SN50表现亮眼。在Llama 3.3 70B模型上，其最大速度是英伟达B200


GPU


的5倍，智能体推理吞吐量是后者的三倍以上；对于OpenAI GPT-OSS-120B模型，能效可达B200的8倍。与SambaNova自身2024年推出的SN40L相比，SN50也有显著提升，提供2.5倍的16位浮点性能和5倍的FP8性能，分别达到1.6和3.2 petaFLOPS。




SambaNova标志性的三层内存架构在SN50上基本保持不变，该架构允许在几分之一秒内切换模型，并高效卸载键值缓存。每个RDU配备432MB片上SRAM、6


4G


B HBM2E内存（带宽1.8TB/s）以及256GB到2TB的


DDR


5内存。尽管HBM2E的选择看似奇特，但SambaNova首席执行官Rodrigo Liang表示，这是为了在内存价格上涨时期确保顺利出货，避免陷入供应链争夺。




虽然SN50在纸面参数上与现代GPU相比不那么突出，仅提供英伟达Blackwell架构约64%的密集FP8计算能力、三分之一的HBM容量和不到四分之一的内存带宽，但SambaNova认为其数据流架构通过重叠计算和


通信


减少数据移动开销，能使用更少、功耗更低的加速器。




对于SN50，与英伟达的B200相比，它可提供高达5倍的每用户生成速度。而且，SambaNova的SN40L加速器已展现出强大实力，能以每秒378个token的速度提供大语言模型服务，比最接近的基于GPU的推理服务提供商快100多个token每秒。




在扩展性方面，SN50也表现出色。单个推理工作器可扩展到多达256个加速器，是英伟达NVL72机架中加速器数量的3.5倍以上。同时，为每个RDU配备了通过交换结构实现的2.2TB/s双向芯片间带宽，支持更大扩展域。不过，由于只有16个风冷RDU和每机架15 - 30千瓦的功耗，其


芯片封装


密度不算高。




目前，软银将率先在其位于日本的下一代AI数据


中心


部署SN50芯片。




SambaNova于2017年由甲骨文前高管Rodrigo Liang与斯坦福大学教授Kunle Olukotun等联合创立，总部位于硅谷帕罗奥图。公司主营全栈生成式AI平台及定制化芯片研发，核心技术包含可重构数据流单元（RDU）、DataScale机架级系统及SambaFlow编译器，通过


神经网络


图映射硬件技术提升AI模型训练效率。




SambaNova2018年获谷歌风投领投5600万美元首轮融资，2020年完成贝莱德领投的2.5亿美元C轮融资，2021年D轮融资后估值达51亿美元，累计融资超11亿美元。2023年推出台积电代工的SN40L芯片，支持5万亿参数模型运算，应用于阿贡国家实验室的药品研发与气象预测项目。其SambaNova套件已部署于


ADI


等企业，支持从数据中心到边缘计算的AI应用。




近期，SambaNova又成功融资3.5亿美元，旨在推进数据流架构技术，将其定位为基于GPU的AI系统的替代方案。这轮融资参与者包括


英特尔


资本等，打破了英特尔计划收购SambaNova的传言。英特尔将与SambaNova建立“多年期”合作关系，新RDU将使用至强


处理器


，双方还将开展硬件软件协同设计。




尽管英特尔在生成式AI领域因数据中心GPU和Gaudi产品线失误而落后，但此次与SambaNova的合作，或许能为其带来新的发展机遇，而SambaNova也将在资金与技术支持下，在AI芯片领域继续大步前行。