浪潮信息元腦R1推理服務(wù)器已完成對開源框架SGLang最新版本的深度適配，成功實(shí)現(xiàn)在單機(jī)高性能運(yùn)行DeepSeek R1 671B模型時可最大支持超過1000路的用戶并發(fā)訪問。元腦R1推理服務(wù)器NF5688G7搭載FP8計算引擎，針對DeepSeek R1 671B模型部署速度快且無精度損失，顯存帶寬高達(dá)4.8TB/s，完美契合模型技術(shù)特征，實(shí)現(xiàn)推理解碼階段極致加速。GPU P2P帶寬達(dá)900GB/s，保障最佳通訊性能。（美通社）
