Publier

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Avertissement : les contenus d'OKX Orbit sont uniquement publiés à titre informatif. En savoir plus

Réponses

Aucun commentaire pour le moment. Soyez le premier à répondre !

Related Flash News

Avatar sourceChainCatcherIl y a 26 m

Lighter complète la vérification du mécanisme d’évasion L2, et les utilisateurs peuvent toujours retirer de l’argent vers le mainnet lorsque le séquenceur échoue

Avatar sourceChainCatcherIl y a 28 m

Plusieurs portefeuilles utilisateurs Bankr ont été volés, impliquant l’interaction de Grok avec Bankrbot, entraînant des signatures de transactions non autorisées

Avatar sourceChainCatcherIl y a 1 h

Grafana : L’enquête a révélé que les incidents de sécurité récents n’ont pas affecté les systèmes de production ou les opérations des clients

Avatar sourceChainCatcherIl y a 1 h

Gouverneur adjoint de la Banque d’Angleterre : La tokenisation peut réduire les coûts, accélérer les règlements et promouvoir la concurrence

Avatar sourceChainCatcherIl y a 1 h

Données : Les baleines associées à a16z ont acheté et misé 206 325 HYPE dans leurs nouveaux portefeuilles

Avatar sourceChainCatcherIl y a 1 h

La plateforme de brevets d’IA Stilta a finalisé un tour de financement initial de 10,5 millions de dollars, mené par a16z

Avatar sourceChainCatcherIl y a 1 h

Huatai Securities : La Réserve fédérale pourrait augmenter les taux d’intérêt deux fois l’année prochaine

Avatar sourceChainCatcherIl y a 1 h

Trump a signé un décret exécutif exigeant un examen des restrictions imposant aux entreprises crypto-américaines d’accéder aux systèmes de paiement américains

Avatar sourceChainCatcherIl y a 1 h

L’adresse Bitcoin d’un trafiquant de drogue irlandais a transféré 500 BTC supplémentaires

Avatar sourceChainCatcherIl y a 2 h

Paulson : Maintenir des taux d’intérêt stables pour évaluer les conditions économiques