Публикация

万亿参数开源模型跑出981词/秒,Cerebras测试KimiK2.6提速29倍

币界网
币界网
币界网消息,Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6,通过直接在整张12英寸硅晶圆上集成芯片,彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示,其生成速度达到981 tokens/s,比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中,总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒,提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值,层间通信完全运行在晶圆内部的网络织网上,其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化,Kimi K2.6以原始的4-bit权重进行低损存储,计算时使用16-bit浮点数维持精度,并采用定制算子内核与推测性解码最终达成实时化运行。

Дисклеймер: контент OKX Orbit предоставляется исключительно в информационных целях. Подробнее

Ответы

Комментариев еще нет. Будьте первым!

Related Flash News

Аватар по умолчаниюBlockbeats1 с. назад

Объявление: Отчёт Nvidia по доходам за первый квартал и протокол заседания Федеральной резервной системы будут опубликованы сегодня вечером вместе

Аватар по умолчанию币界网4 ч. назад

Группа Ruixun: Отчёт о прибыли Nvidia ослабил влияние настроений инвесторов в сферу ИИ

Аватар по умолчанию币界网5 ч. назад

Дуань Юнпин совершил крупную покупку Tesla, сократил свои активы в Apple и продал Alibaba

Аватар по умолчаниюTechFlow12 ч. назад

Впереди битва за прибыль Nvidia, и три основных торговых продукта Bybit помогают пользователям фиксировать колебания искусственного интеллекта за границами

Аватар по умолчаниюOdaily20 ч. назад

Полупроводниковый сектор США провёл «V-образный» разворот во время сессии, и падение многих акций резко сузилось или даже выросло

Аватар по умолчаниюChainCatcher1 д. назад

Фьючерсы на американские фондовые индексы немного снизились, а акции полупроводниковой компании продолжили падать

Аватар по умолчанию币界网1 д. назад

Bitget Wallet добавляет 130 новых токенизированных акций Xstock

Аватар по умолчанию币界网1 д. назад

Zyphra выпускает первый обзор вывода MI355X: длинный текст близок к B200

Аватар по умолчаниюChainCatcher1 д. назад

Институты: Спрос на дата-центры ИИ может стать причиной переоценки майнеров биткоина, и было объявлено о сотрудничестве на сумму более 90 миллиардов долларов

Аватар по умолчанию币界网1 д. назад

Dell объединилась с Palantir для запуска собственной операционной системы на базе ИИ: базовое хранилище заменит Ceph, напрямую нацеливаясь на оборонные и основные банки