 |
上海2025年7月28日 /美通社/ -- 7月27日，移遠(yuǎn)通信宣布與RWKV公司建立全面合作關(guān)系，雙方將依托移遠(yuǎn)的算力平臺(tái)，優(yōu)化并支持RWKV最新模型架構(gòu)，共同推動(dòng)大模型在端側(cè)設(shè)備的低資源占用部署。此次合作成果于2025世界人工智能大會(huì)（WAIC）首次亮相，標(biāo)志著端側(cè)大模型解決方案向更高性能、更廣場(chǎng)景的應(yīng)用邁出關(guān)鍵一步。
RWKV（Receptance Weighted Key Value）是全球領(lǐng)先的RNN大模型架構(gòu)，它成功結(jié)合了遞歸神經(jīng)網(wǎng)絡(luò)（RNN）的恒定復(fù)雜度和高效串行推理，以及Transformer的并行處理優(yōu)勢(shì)，使其在文本生成、時(shí)間序列、圖像和視頻、語(yǔ)音和音樂(lè)等領(lǐng)域表現(xiàn)出色，推理成本和訓(xùn)練成本顯著低于Transformer。
這項(xiàng)技術(shù)的核心突破在于引入RWKV算子替代Transformer的位置編碼和多頭注意力機(jī)制。這一革新有效解決了Transformer在處理長(zhǎng)序列時(shí)的空間和時(shí)間復(fù)雜度問(wèn)題，在確保模型性能不受影響的前提下，實(shí)現(xiàn)了內(nèi)存占用恒定、token計(jì)算復(fù)雜度恒定，意味著運(yùn)算過(guò)程更高效、更省力。這一特性讓 RWKV 在端側(cè)設(shè)備部署中展現(xiàn)出顯著優(yōu)勢(shì)：處理長(zhǎng)序列時(shí)速度更快、內(nèi)存占用更低，相當(dāng)于為終端設(shè)備配備了一個(gè) "輕量化的AI大腦"。
在本次世界人工智能大會(huì)（WAIC）上，基于高通 QCS8550 平臺(tái)的兩大 RWKV 聯(lián)合解決方案將重磅登場(chǎng)：
RWKV Chat是一款離線(xiàn)AI聊天應(yīng)用，無(wú)需聯(lián)網(wǎng)即可實(shí)現(xiàn)推理、深度對(duì)話(huà)與文本續(xù)寫(xiě)，支持個(gè)性化會(huì)話(huà)配置，成為用戶(hù)的"口袋級(jí)"生產(chǎn)力伙伴。例如其中的RWKV7-G1 2.9B模型在高通手機(jī)平臺(tái)的速度可達(dá)30 token/s，且由于RWKV架構(gòu)無(wú)需KV cache，在超長(zhǎng)推理后仍然可以速度恒定，內(nèi)存占用恒定。
RWKV 數(shù)獨(dú)則展示了20M超小參數(shù)模型在超長(zhǎng)鏈?zhǔn)酵评恚–oT）下的數(shù)學(xué)解題能力，憑借恒定內(nèi)存與極少token消耗，輕松破解復(fù)雜數(shù)獨(dú)，直觀呈現(xiàn)RWKV架構(gòu)在端側(cè)的高效潛能。
在Transformer架構(gòu)主導(dǎo)大模型領(lǐng)域的當(dāng)下，移遠(yuǎn)通信以前瞻性的眼光，積極布局非Transformer的技術(shù)路線(xiàn)，致力于為客戶(hù)提供更低算力、更少內(nèi)存消耗的解決方案。
此次展出的RWKV7-G1 1.5B模型，經(jīng)過(guò)移遠(yuǎn)通信的工程優(yōu)化后，在SG885G模組上的實(shí)測(cè)數(shù)據(jù)表現(xiàn)亮眼，明顯優(yōu)于同等參數(shù)量的Transformer架構(gòu)的模型，具體來(lái)說(shuō)，在Prefill階段：
在Decoding階段：
移遠(yuǎn)通信的SG885G基于高通QCS8550平臺(tái)開(kāi)發(fā)，其AI綜合算力高達(dá)48 TOPS，能夠支撐7B左右參數(shù)級(jí)的多模態(tài)模型在本地化推理，從而實(shí)現(xiàn)實(shí)時(shí)視覺(jué)理解與多模態(tài)信息融合。在模型兼容性方面，移遠(yuǎn)構(gòu)建了強(qiáng)大的端側(cè)適配體系，率先實(shí)現(xiàn)對(duì)Llama、通義千問(wèn)、DeepSeek等主流開(kāi)源模型的全方位兼容，兼容的參數(shù)范圍覆蓋0.5B至8B，打造出了功能強(qiáng)大的端側(cè)大模型超級(jí)平臺(tái)。此外，在架構(gòu)創(chuàng)新上，SG885G支持運(yùn)行非Transformer路線(xiàn)的RWKV7架構(gòu)，這一特征顯著降低了對(duì)算力和內(nèi)存的需求。
移遠(yuǎn)通信首席運(yùn)營(yíng)官?gòu)垪?/b>表示："此次與RWKV的戰(zhàn)略合作，是移遠(yuǎn)通信 ‘讓終端擁有AI大心臟'技術(shù)理念的關(guān)鍵落地！RWKV的線(xiàn)性注意力架構(gòu)，突破性地解決了端側(cè)設(shè)備的長(zhǎng)序列處理瓶頸，再結(jié)合移遠(yuǎn)的高算力模組，成功將AI大模型‘裝進(jìn)'了物聯(lián)網(wǎng)終端。當(dāng)農(nóng)機(jī)能‘看懂'土壤的干濕，當(dāng)手表可以‘提醒'健康風(fēng)險(xiǎn)，AI就不再是飄在云里的概念，而是真真切切來(lái)到了田間地頭、來(lái)到了你我的手腕上，讓科技真正服務(wù)于每一處需要它的地方。"
RWKV聯(lián)合創(chuàng)始人&COO羅璇表示："我們希望讓每一臺(tái)設(shè)備都聰明起來(lái)，就像為它們植入了會(huì)思考的‘大腦'。隨著RWKV架構(gòu)在移遠(yuǎn)算力平臺(tái)上實(shí)現(xiàn)規(guī)?；渴?，讓終端設(shè)備突破資源限制，構(gòu)建‘云端能力+本地智能'的雙引擎協(xié)同生態(tài)，為萬(wàn)物智聯(lián)時(shí)代奠定技術(shù)基石。"
移遠(yuǎn)通信與RWKV的戰(zhàn)略合作，不僅是一次技術(shù)與硬件的強(qiáng)強(qiáng)聯(lián)合，更是推動(dòng)智能計(jì)算走向普惠的關(guān)鍵里程碑，讓"AI大模型"真正走出云端，融入萬(wàn)物。
7月26日-29日，誠(chéng)邀蒞臨WAIC 2025移遠(yuǎn)展臺(tái)（H1 D815），近距離體驗(yàn)端側(cè)大模型解決方案的前沿科技魅力。
關(guān)于移遠(yuǎn)通信
上海移遠(yuǎn)通信技術(shù)股份有限公司（股票代碼：603236）是全球領(lǐng)先的物聯(lián)網(wǎng)整體解決方案供應(yīng)商，擁有完備的IoT產(chǎn)品和服務(wù)，涵蓋蜂窩模組(5G/4G/3G/2G/LPWA)、車(chē)載前裝模組、智能模組（5G/4G/邊緣計(jì)算）、短距離通信模組(Wi-Fi&BT)、GNSS定位模組、衛(wèi)星通信模組、天線(xiàn)等硬件產(chǎn)品，以及物聯(lián)網(wǎng)平臺(tái)、認(rèn)證與測(cè)試服務(wù)、RTK網(wǎng)絡(luò)校正方案、工業(yè)智能、智慧農(nóng)業(yè)等服務(wù)與解決方案。公司具備豐富的行業(yè)經(jīng)驗(yàn)，產(chǎn)品廣泛應(yīng)用于智慧交通、智慧能源、金融支付、智慧城市、無(wú)線(xiàn)網(wǎng)關(guān)、智慧農(nóng)業(yè)&環(huán)境監(jiān)控、智慧工業(yè)、智慧生活&醫(yī)療健康、智能安全等領(lǐng)域。更多信息，敬請(qǐng)?jiān)L問(wèn)移遠(yuǎn)官網(wǎng)https://www.quectel.com.cn/，關(guān)注微信公眾號(hào)/視頻號(hào)"移遠(yuǎn)通信"或發(fā)送郵件至marketing@quectel.com。
