Publier

万亿参数开源模型跑出981词/秒,Cerebras测试KimiK2.6提速29倍

币界网
币界网
币界网消息,Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6,通过直接在整张12英寸硅晶圆上集成芯片,彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示,其生成速度达到981 tokens/s,比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中,总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒,提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值,层间通信完全运行在晶圆内部的网络织网上,其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化,Kimi K2.6以原始的4-bit权重进行低损存储,计算时使用16-bit浮点数维持精度,并采用定制算子内核与推测性解码最终达成实时化运行。

Avertissement : les contenus d'OKX Orbit sont uniquement publiés à titre informatif. En savoir plus

Réponses

Aucun commentaire pour le moment. Soyez le premier à répondre !

Related Flash News

Avatar sourceBlockbeatsIl y a 1 s

Morgan Stanley soumet des dépôts révisés pour l’ETF au comptant Solana

Avatar sourceBlockbeatsIl y a 1 s

Wintermute : Le récit macro se déplace vers des attentes de hausse des taux d’intérêt, mettant en lumière la vulnérabilité de l’effet de levier sur le marché des cryptomonnaies

Avatar sourceBlockbeatsIl y a 1 s

Analyse : Les données on-chain montrent que les grands fonds n’ont pas encore fui pendant la baisse continue du BTC, et qu’il y a eu une prise de contrôle d’environ 76 000 $

Avatar sourceBlockbeatsIl y a 1 s

BitGo Holdings a augmenté ses avoirs de 776 BTC au premier trimestre, portant son total à 2 449 BTC

Avatar sourceBlockbeatsIl y a 1 s

Vitalik : Ethereum fait progresser la confidentialité native, avec des initiatives à court terme incluant la combinaison d’AA et FOCIL

Avatar sourceBlockbeatsIl y a 1 s

Ark Invest a acheté environ 4,4 millions de dollars d’actions Bullish lors de baisses, après une série de cinq jours de pertes

Avatar sourceBlockbeatsIl y a 1 s

La start-up manufacturière SendCutSend a conclu un financement de 110 millions de dollars, mené par Paradigm et d’autres

Avatar sourceOdailyIl y a 24 m

Analyse : La fermeture d’Hormuz déclenchera la crise d’approvisionnement énergétique la plus grave depuis des décennies

Avatar sourceChainCatcherIl y a 41 m

Un fonds sous l’égide de Mouro Capital a levé 400 millions de dollars et investira dans les secteurs de l’IA et de la blockchain

Avatar sourceChainCatcherIl y a 44 m

L’assistant de collaboration IA, Viktor, a mené un tour de financement de 75 millions de dollars, mené par Acel