Post

Zyphra发布首个MI355X推理评测：长文本直逼B200

币界网
币界网
币界网消息，Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测，测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1，并对标NVIDIA B200。实测显示，AMD的288GB显存远超B200的180GB，使其在处理超长文本时能更高效地利用缓存，降低硬件成本。然而，AMD在芯片间互联上处于劣势，B200通过NVLink交换机实现900GB/s带宽，而MI355X采用点对点直连，通信效率较低。为弥补这一短板，Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示，尽管在单请求速度上NVIDIA B200仍领先，但在长文本场景下，Zyphra推理栈的吞吐量逐渐逼近B200，证明AMD在长文本生产环境中具备竞争力。
18:44 · 19.05.26·4.835 Aufrufe·
Quelle besuchen
0
0

Haftungsausschluss: OKX Orbit-Inhalt dient nur zu Informationszwecken. Mehr erfahren

Antworten

Noch keine Kommentare. Schreib die erste Antwort!

Related Flash News

QuellenavatarChainCatcher•Vor 26M

Lighter schließt die L2-Fluchtmechanismus-Verifikation ab, und Nutzer können weiterhin Geld ins Hauptnetz abheben, wenn der Sequencer ausfällt

QuellenavatarChainCatcher•Vor 28M

Mehrere Bankr-Nutzer-Wallets wurden gestohlen, wobei Groks Interaktion mit Bankrbot zu unautorisierten Transaktionssignaturen führte

QuellenavatarChainCatcher•Vor 1Stunden

Grafana: Die Untersuchung ergab, dass jüngste Sicherheitsvorfälle die Produktionssysteme oder Abläufe der Kunden nicht beeinträchtigt haben

QuellenavatarChainCatcher•Vor 1Stunden

Vizegouverneur der Bank of England: Tokenisierung senkt Kosten, beschleunigt Abwicklungen und steigert den Wettbewerb

QuellenavatarChainCatcher•Vor 1Stunden

Daten: Eine neu erstellte Whale-Wallet, die mit dem a16z verknüpft ist, hat 206.325 HYPE gekauft und gestaken

QuellenavatarChainCatcher•Vor 1Stunden

Die KI-Patentplattform Stilta schloss eine 10,5-Millionen-Dollar-Seed-Runde ab, angeführt von a16z.

QuellenavatarChainCatcher•Vor 1Stunden

Huatai Securities: Die Fed könnte die Zinssätze im nächsten Jahr zweimal erhöhen

QuellenavatarChainCatcher•Vor 1Stunden

Trump unterzeichnete eine Exekutivanordnung, die eine Überprüfung der Beschränkungen für Krypto-Unternehmen beim Zugriff auf US-Zahlungssysteme vorsieht.

QuellenavatarChainCatcher•Vor 1Stunden

Irischer Drogendealer Bitcoin-Adresse übertrug erneut 500 BTC

QuellenavatarChainCatcher•Vor 2Stunden

Paulson: Halten Sie die Zinssätze stabil, um die wirtschaftlichen Bedingungen zu bewerten