se五月丁香久久|日韩精品一区二区三区|日韩久久不卡资源|老司机精品区在线|一区二区三区九九九|台湾熟妇免费在线视频|国产又大又粗又硬又长的免费视频|亚洲免费成人电影|五月丁香精品在线|中文字幕223页

積算科技上線(xiàn)赤兔推理引擎服務(wù),創(chuàng)新解鎖FP8大模型算力

2025-07-30 16:25 1293

北京2025年7月30日 /美通社/ -- 近日,北京積算科技有限公司(以下簡(jiǎn)稱(chēng)"積算科技")宣布其算力服務(wù)平臺(tái)上線(xiàn)赤兔推理引擎。積算科技PowerFul-AI應(yīng)用開(kāi)發(fā)平臺(tái)與赤兔合作,打造高性?xún)r(jià)比的模型輕量化部署方案。用戶(hù)通過(guò)遠(yuǎn)程算力平臺(tái)預(yù)置的模型鏡像與AI工具,僅需50%的GPU算力即可解鎖大模型推理、企業(yè)知識(shí)庫(kù)搭建、智能體開(kāi)發(fā),加速大模型在智能問(wèn)答、報(bào)告生成、客服助手、智能體等典型行業(yè)場(chǎng)景的落地。


赤兔推理引擎由北京清程極智科技有限公司(以下簡(jiǎn)稱(chēng)"清程極智")開(kāi)發(fā),并聯(lián)合清華大學(xué)團(tuán)隊(duì)發(fā)布開(kāi)源版本。其核心價(jià)值在于,打破了FP8模型原生部署時(shí)GPU必須支持FP8精度的要求。通過(guò)底層算子優(yōu)化(如GeMM、MoE的指令級(jí)重構(gòu))和編譯技術(shù)創(chuàng)新,赤兔早在今年三月即首次實(shí)現(xiàn)在非FP8精度卡上原生運(yùn)行FP8高精度模型,并確保推理過(guò)程幾乎零精度損失。

積算科技聯(lián)合清程極智,完成了赤兔推理引擎在積算科技PowerFul-AI應(yīng)用開(kāi)發(fā)平臺(tái)上的驗(yàn)證測(cè)試。測(cè)試結(jié)果表明,赤兔推理引擎在積算科技PowerFul-AI平臺(tái)上運(yùn)行穩(wěn)定、性能表現(xiàn)優(yōu)異,滿(mǎn)足雙方兼容性認(rèn)證的各項(xiàng)標(biāo)準(zhǔn),能夠快速完成DeepSeek、Qwen等大模型推理部署,并支持基于非FP8精度GPU卡實(shí)現(xiàn)FP8模型部署,相比于使用BF16精度部署,GPU算力需求減半。以部署DeepSeek-R1-671B為例,原需4臺(tái)8卡機(jī)2560GB顯存,現(xiàn)僅需2臺(tái)8卡機(jī)1280GB顯存即可滿(mǎn)足要求。

積算科技PowerFul-AI平臺(tái)攜手赤兔推理引擎,將為AI大模型應(yīng)用開(kāi)發(fā)打造"成本減半、零性能損耗"的解決方案,提供構(gòu)建企業(yè)知識(shí)庫(kù)開(kāi)發(fā)、智能體搭建等功能,助力企業(yè)用戶(hù)靈活快速構(gòu)建大模型通用應(yīng)用及個(gè)性化端到端解決方案。

PowerFul-AI是積算科技的大模型應(yīng)用落地解決方案,能夠?yàn)锳I大模型落地應(yīng)用提供高效、易用、安全的端到端開(kāi)發(fā)平臺(tái),幫助企業(yè)及科研機(jī)構(gòu)高效開(kāi)發(fā)部署AI大模型應(yīng)用。目前,PowerFul-AI已經(jīng)全面適配DeepSeek R1、DeepSeek V3等模型。用戶(hù)只需選擇鏡像和模型文件,并配置模型所需的算力資源,即可快速完成模型部署,實(shí)現(xiàn)DeepSeek的"分鐘級(jí)"上線(xiàn)。

積算科技誕生于全球生成式AI浪潮,專(zhuān)注于智能算力服務(wù)市場(chǎng),致力于成為中國(guó)最具價(jià)值的智能算力服務(wù)商,聚焦互聯(lián)網(wǎng)、運(yùn)營(yíng)商、高校、新能源汽車(chē)等領(lǐng)域的多家頭部客戶(hù)提供算力服務(wù)。公司擁有萬(wàn)卡級(jí)先進(jìn)智能算力資源池,提供裸金屬、智能算力系統(tǒng)、專(zhuān)屬智能算力系統(tǒng)等算力服務(wù)產(chǎn)品,適用于大模型訓(xùn)練與推理、算法研究、大數(shù)據(jù)分析、自動(dòng)駕駛、智能科學(xué)計(jì)算等多元場(chǎng)景。其運(yùn)維和服務(wù)團(tuán)隊(duì)具備大規(guī)模智能算力系統(tǒng)設(shè)計(jì)建設(shè)、大模型開(kāi)發(fā)應(yīng)用及性能優(yōu)化能力,可提供全棧大模型應(yīng)用開(kāi)發(fā)服務(wù)支持,并根據(jù)客戶(hù)需求提供靈活服務(wù)模式。

消息來(lái)源:積算科技
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營(yíng)動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購(gòu)消息。掃描二維碼,立即訂閱!
collection