Допис

万亿参数开源模型跑出981词/秒,Cerebras测试KimiK2.6提速29倍

币界网
币界网
币界网消息,Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6,通过直接在整张12英寸硅晶圆上集成芯片,彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示,其生成速度达到981 tokens/s,比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中,总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒,提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值,层间通信完全运行在晶圆内部的网络织网上,其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化,Kimi K2.6以原始的4-bit权重进行低损存储,计算时使用16-bit浮点数维持精度,并采用定制算子内核与推测性解码最终达成实时化运行。

Застереження. Вміст, опублікований на OKX Orbit, надається виключно в інформаційних цілях. Докладніше

Відповіді

Ще немає коментарів. Додайте першу відповідь!

Related Flash News

Аватар джерелаBlockbeats1с тому

Morgan Stanley подає оновлені документи для Solana spot ETF

Аватар джерелаBlockbeats1с тому

Wintermute: Макроекономічний наратив зміщується в бік очікувань підвищення ставок, що підкреслює вразливості кредитного плеча на крипторинку

Аватар джерелаBlockbeats1с тому

Аналіз: Дані ончейнув показують, що під час послідовних падіння BTC великі фонди ще не виходили, з підтримкою близько $76,000

Аватар джерелаBlockbeats1с тому

BitGo Holdings збільшила свої активи на 776 BTC у першому кварталі, довівши загальну суму до 2 449 BTC

Аватар джерелаBlockbeats1с тому

Віталік: Ethereum просуває нативну приватність, впроваджуючи короткострокові ініціативи, зокрема поєднання AA та FOCIL

Аватар джерелаBlockbeats1с тому

Ark Invest придбав близько $4,4 мільйона бичачих акцій на падіннях після п'ятиденної серії збитків

Аватар джерелаBlockbeats1с тому

Стартап у виробництві SendCutSend закрив фінансування на суму 110 мільйонів доларів, очолюваного Paradigm та іншими компаніями

Аватар джерелаOdaily21хв тому

Аналіз: Закриття Ормузу спричинить найсерйознішу енергетичну кризу за останні десятиліття

Аватар джерелаChainCatcher38хв тому

Фонд Mouro Capital залучив 400 мільйонів доларів і інвестуватиме у такі сфери, як штучний інтелект та блокчейн

Аватар джерелаChainCatcher41хв тому

Асистент із співробітництва з ШІ Віктор закрив фінансування на суму 75 мільйонів доларів, очолюване Accel