Posteo

万亿参数开源模型跑出981词/秒,Cerebras测试KimiK2.6提速29倍

币界网
币界网
币界网消息,Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6,通过直接在整张12英寸硅晶圆上集成芯片,彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示,其生成速度达到981 tokens/s,比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中,总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒,提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值,层间通信完全运行在晶圆内部的网络织网上,其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化,Kimi K2.6以原始的4-bit权重进行低损存储,计算时使用16-bit浮点数维持精度,并采用定制算子内核与推测性解码最终达成实时化运行。

Deslinde de responsabilidades: el contenido de OKX Orbit se brinda únicamente con fines informativos. Más información

Respuestas

Aún no hay comentarios. ¡Envía la primera respuesta!

Related Flash News

Avatar fuenteBlockbeatsHace 1 s

Anuncio: El informe de resultados del primer trimestre de Nvidia y las actas de la reunión de la Reserva Federal se publicarán juntos esta noche

Avatar fuente币界网Hace 4 h

Ruixun Group: El informe de resultados de Nvidia ha debilitado el impacto del sentimiento de los inversores en IA

Avatar fuente币界网Hace 6 h

Duan Yongping realizó una compra masiva de Tesla, redujo sus participaciones en Apple y vendió Alibaba

Avatar fuenteTechFlowHace 13 h

La batalla por los beneficios de Nvidia se acerca, y los tres principales productos de trading de Bybit ayudan a los usuarios a captar las fluctuaciones de la IA a través de las fronteras

Avatar fuenteOdailyHace 20 h

El sector estadounidense de semiconductores experimentó una reversión en forma de "V" durante la sesión, y la caída de muchas acciones se estrechó bruscamente o incluso alzó

Avatar fuenteChainCatcherHace 1 d

Los futuros de los índices bursátiles estadounidenses bajaron ligeramente y las acciones de semiconductores continuaron cayendo

Avatar fuente币界网Hace 1 d

Bitget Wallet añade 130 nuevas acciones tokenizadas de Xstocks

Avatar fuente币界网Hace 1 d

Zyphra publica la primera revisión de inferencia del MI355X: el texto largo se acerca a B200

Avatar fuenteChainCatcherHace 1 d

Instituciones: La demanda de centros de datos con IA podría impulsar la revaloración de los mineros de Bitcoin, y se han anunciado más de 90.000 millones de dólares en cooperación

Avatar fuente币界网Hace 1 d

Dell se ha asociado con Palantir para lanzar un sistema operativo nativo de IA: el almacenamiento subyacente sustituye a Ceph, apuntando directamente a los bancos de defensa y núcleos