Postare

万亿参数开源模型跑出981词/秒,Cerebras测试KimiK2.6提速29倍

币界网
币界网
币界网消息,Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6,通过直接在整张12英寸硅晶圆上集成芯片,彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示,其生成速度达到981 tokens/s,比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中,总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒,提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值,层间通信完全运行在晶圆内部的网络织网上,其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化,Kimi K2.6以原始的4-bit权重进行低损存储,计算时使用16-bit浮点数维持精度,并采用定制算子内核与推测性解码最终达成实时化运行。

Declinarea responsabilității: conținutul OKX Orbit este furnizat doar în scopuri informative. Aflați mai multe

Răspunsuri

Încă nu există niciun comentariu. Fiți primul care răspunde!

Related Flash News

Avatar sursăBlockbeats1s în urmă

Morgan Stanley a depus documente revizuite de depunere pentru ETF-urile spot Solana

Avatar sursăBlockbeats1s în urmă

Wintermute: Narațiunea macro se îndreaptă spre așteptările privind creșterea ratei, evidențiind vulnerabilitățile de levier pe piața cripto

Avatar sursăBlockbeats1s în urmă

Analiză: Datele on-chain arată că fondurile mari nu au fugit încă în timpul declinului continuu al BTC, iar preluarea a avut loc în jur de 76.000 de dolari

Avatar sursăBlockbeats1s în urmă

BitGo Holdings a crescut deținerile cu 776 BTC în primul trimestru, ajungând la 2.449 BTC

Avatar sursăBlockbeats1s în urmă

Vitalik: Ethereum promovează confidențialitatea nativă, cu inițiative pe termen scurt care includ combinarea AA și FOCIL

Avatar sursăBlockbeats1s în urmă

Ark Invest a cumpărat acțiuni Bullish în valoare de aproximativ 4,4 milioane de dolari în perioade de scădere, după o serie de cinci zile cu pierderi

Avatar sursăBlockbeats1s în urmă

Startup-ul de producție SendCutSend a încheiat finanțarea în valoare de 110 milioane de dolari, condusă de Paradigm și alții

Avatar sursăOdaily4m în urmă

Analiză: Închiderea Hormuzului va declanșa cea mai gravă criză de aprovizionare cu energie din ultimele decenii

Avatar sursăChainCatcher22m în urmă

Fondul Mouro Capital a strâns 400 de milioane de dolari și va investi în domenii precum AI și blockchain

Avatar sursăChainCatcher25m în urmă

Asistentul colaborării AI Viktor a finalizat o rundă de finanțare de 75 de milioane de dolari, condusă de Acel