Bài đăng

万亿参数开源模型跑出981词/秒,Cerebras测试KimiK2.6提速29倍

币界网
币界网
币界网消息,Cerebras宣布在企业测试中上线万亿参数大模型Kimi K2.6,通过直接在整张12英寸硅晶圆上集成芯片,彻底消除了传统板级通信的互联延迟。第三方评测机构Artificial Analysis实测显示,其生成速度达到981 tokens/s,比主流GPU云服务快6.7倍。在10000输入、500输出token的长文本任务中,总响应耗时从Kimi官方接口的163.7秒缩短至5.6秒,提速达29倍。由于模型权重被分配到多个晶圆中流式传输激活值,层间通信完全运行在晶圆内部的网络织网上,其物理通信带宽达到英伟达NVL72架构中NVLink的200倍以上。配合分布式计算优化,Kimi K2.6以原始的4-bit权重进行低损存储,计算时使用16-bit浮点数维持精度,并采用定制算子内核与推测性解码最终达成实时化运行。

Miễn trừ trách nhiệm: Nội dung OKX Orbit chỉ để tham khảo. Tìm hiểu thêm

Phản hồi

Chưa có bình luận. Trở thành người phản hồi đầu tiên!

Related Flash News

Ảnh đại diện gốcBlockbeats1 giây trước

Thông báo: Báo cáo thu nhập quý 1 của Nvidia và biên bản cuộc họp của Cục Dự trữ Liên bang sẽ được công bố cùng nhau vào tối nay

Ảnh đại diện gốc币界网4 giờ trước

Swissquote Group: Tác động của báo cáo thu nhập của Nvidia đối với tâm lý nhà đầu tư AI đã suy yếu

Ảnh đại diện gốc币界网5 giờ trước

Duan Yongping mua Tesla trên quy mô lớn, giảm vị thế của mình trong Apple và thanh lý Alibaba

Ảnh đại diện gốcTechFlow12 giờ trước

Cuộc chiến thu nhập của Nvidia đang đến và ba sản phẩm giao dịch chính của Bybit giúp người dùng nắm bắt những biến động của AI xuyên biên giới

Ảnh đại diện gốcOdaily20 giờ trước

Lĩnh vực bán dẫn của Mỹ đã đảo chiều "hình chữ V" trong phiên giao dịch và sự sụt giảm của nhiều cổ phiếu thu hẹp mạnh hoặc thậm chí tăng

Ảnh đại diện gốcChainCatcher1 ngày trước

Hợp đồng tương lai chỉ số chứng khoán Mỹ giảm và cổ phiếu bán dẫn tiếp tục giảm

Ảnh đại diện gốc币界网1 ngày trước

Bitget Wallet bổ sung 130 cổ phiếu token hóa Xstocks mới

Ảnh đại diện gốc币界网1 ngày trước

Zyphra phát hành bài đánh giá suy luận MI355X đầu tiên: văn bản dạng dài đang tiến gần đến B200

Ảnh đại diện gốcChainCatcher1 ngày trước

Các tổ chức: Nhu cầu trung tâm dữ liệu AI có thể thúc đẩy việc định giá lại các thợ đào Bitcoin và hơn 90 tỷ đô la hợp tác đã được công bố

Ảnh đại diện gốc币界网1 ngày trước

Dell đã hợp tác với Palantir để ra mắt một hệ điều hành AI gốc: bộ nhớ cơ bản thay thế Ceph, nhắm mục tiêu trực tiếp vào các ngân hàng phòng thủ và lõi