浪潮信息宣布元腦企智一體機(jī)已率先完成對Kimi K2萬億參數(shù)大模型的適配支持，并實(shí)現(xiàn)單用戶70 tokens/s的流暢輸出速度。Kimi K2是月之暗面推出的開源萬億參數(shù)大模型，模型總參數(shù)量達(dá)1萬億，激活參數(shù)為320億。元腦企智一體機(jī)采用元腦服務(wù)器NF5688G7作為算力底座，其搭載FP8計(jì)算引擎，配備1128GB HBM3e高速顯存，單臺(tái)服務(wù)器即可支持K2萬億參數(shù)全量模型部署，為Kimi K2提供了專家間高速并行通信，最大化并行效率。（美通社）
