se五月丁香久久|日韩精品一区二区三区|日韩久久不卡资源|老司机精品区在线|一区二区三区九九九|台湾熟妇免费在线视频|国产又大又粗又硬又长的免费视频|亚洲免费成人电影|五月丁香精品在线|中文字幕223页

AI推理進入"10毫秒、1塊錢"時代!浪潮信息發(fā)布面向智能體優(yōu)化AI計算系統(tǒng)

2025-09-28 11:14 413

北京2025年9月28日 /美通社/ -- 9月26日,在2025人工智能計算大會上,浪潮信息公布,基于元腦SD200超節(jié)點AI服務(wù)器,DeepSeek R1大模型token生成速度僅需8.9毫秒,創(chuàng)造國內(nèi)大模型最快token生成速度;而最新發(fā)布的元腦HC1000超擴展AI服務(wù)器,實現(xiàn)每百萬token成本首次擊破1元。浪潮信息對AI計算架構(gòu)的持續(xù)創(chuàng)新,旨在解決智能體產(chǎn)業(yè)化面臨的交互速度和token成本兩大瓶頸,為多智能體協(xié)同與復(fù)雜任務(wù)推理的規(guī)?;涞?,提供高速度、低成本的算力基礎(chǔ)設(shè)施。


隨著Scaling Law持續(xù)推動模型能力躍升,以DeepSeek為代表的開源模型極大的降低了創(chuàng)新門檻,加速智能體產(chǎn)業(yè)化的到來。智能體產(chǎn)業(yè)化的核心三要素是能力、速度和成本。其中模型能力決定了智能體的應(yīng)用上限,交互速度決定了智能體的商業(yè)價值,token成本決定了智能體的盈利能力。

僅需8.9毫秒!元腦SD200引領(lǐng)token生成速度率先進入"10毫秒時代"

浪潮信息最新公布,基于元腦SD200超節(jié)點AI服務(wù)器運行DeepSeek R1大模型,單token生成速度低至8.9毫秒,帶動國內(nèi)AI服務(wù)器token生成速度率先進入"10毫秒時代"。

元腦SD200基于創(chuàng)新研發(fā)的多主機低延遲內(nèi)存語義通信架構(gòu),在單機內(nèi)實現(xiàn)了64路本土AI芯片的高速統(tǒng)一互連,單機可承載4萬億參數(shù)單體模型,或部署多個萬億參數(shù)模型組成的智能體應(yīng)用,實現(xiàn)多模型協(xié)同執(zhí)行復(fù)雜任務(wù)。為實現(xiàn)極低的通信延遲,元腦SD200采用精簡高效的三層協(xié)議棧,原生支持多種內(nèi)存語義操作,避免冗余數(shù)據(jù)拷貝,將基礎(chǔ)通信延遲降至百納秒級,硬件化鏈路層重傳與分布式預(yù)防式流控進一步適配高吞吐、低延遲的 AI 推理場景。

元腦HC1000,推理成本首次擊破1元/每百萬token

浪潮信息重磅發(fā)布元腦HC1000超擴展AI服務(wù)器,基于全新開發(fā)的全對稱DirectCom極速架構(gòu),無損超擴展設(shè)計聚合海量本土AI芯片、支持極大推理吞吐量,推理成本首次擊破1元/每百萬token,為智能體突破token成本瓶頸提供極致性能的創(chuàng)新算力系統(tǒng)。


元腦HC1000通過全面優(yōu)化降本和軟硬協(xié)同增效,創(chuàng)新16卡計算模組設(shè)計、單卡"計算-顯存-互連"均衡設(shè)計,大幅降低單卡成本和每卡系統(tǒng)分?jǐn)偝杀尽M瑫r,全對稱的系統(tǒng)拓?fù)湓O(shè)計支持超大規(guī)模無損擴展。據(jù)測算,元腦HC1000通過算網(wǎng)深度協(xié)同、全域無損技術(shù),實現(xiàn)推理性能相比傳統(tǒng)RoCE提升1.75倍,單卡模型算力利用率最高提升5.7倍。

未來,智能體帶來的推理算力需求將呈現(xiàn)出指數(shù)級的爆發(fā)式增長。浪潮信息將通過軟硬件協(xié)同設(shè)計與深度優(yōu)化,持續(xù)推動AI計算架構(gòu)的創(chuàng)新與突破,不斷實現(xiàn)token生成"提速降本",積極促進大模型、智能體等人工智能技術(shù)與實體經(jīng)濟的深度融合,讓人工智能成為千行百業(yè)的生產(chǎn)力和創(chuàng)新力。

消息來源:浪潮信息
China-PRNewsire-300-300.png
全球TMT
微信公眾號“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營動態(tài)、財報信息、企業(yè)并購消息。掃描二維碼,立即訂閱!
collection