Innlegg

Zyphra发布首个MI355X推理评测：长文本直逼B200

币界网
币界网
币界网消息，Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测，测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1，并对标NVIDIA B200。实测显示，AMD的288GB显存远超B200的180GB，使其在处理超长文本时能更高效地利用缓存，降低硬件成本。然而，AMD在芯片间互联上处于劣势，B200通过NVLink交换机实现900GB/s带宽，而MI355X采用点对点直连，通信效率较低。为弥补这一短板，Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示，尽管在单请求速度上NVIDIA B200仍领先，但在长文本场景下，Zyphra推理栈的吞吐量逐渐逼近B200，证明AMD在长文本生产环境中具备竞争力。
18:44 · 19.05.26·4,84k visninger·
Gå til kilde
0
0

Ansvarsfraskrivelse: OKX Orbit-innholdet er kun gitt for informasjonsformål. Finn ut mer

Svar

Ingen kommentarer ennå. Vær den første til å svare!

Related Flash News

KildeavatarChainCatcher•26m siden

Lighter har fullført verifisering av L2-escape-mekanismen, slik at brukere kan ta ut penger til hovednettet selv om sequenceren feiler

KildeavatarChainCatcher•28m siden

Flere Bankr-bruker-lommebøker ble stjålet, noe som førte til at Roks interaksjon med Bankrbot resulterte i uautoriserte transaksjonssignaturer

KildeavatarChainCatcher•1t siden

Grafana: Etterforskningen fant at nylige sikkerhetshendelser ikke har påvirket kundenes produksjonssystemer eller drift

KildeavatarChainCatcher•1t siden

Bank of Englands viseguvernør: Tokenisering kan redusere kostnader, akselerere oppgjør og fremme konkurranse

KildeavatarChainCatcher•1t siden

Data: En nyopprettet lommebok knyttet til a16z kjøpte og staket 206 325 HYPE

KildeavatarChainCatcher•1t siden

AI-patentplattformen Stilta fullførte en seed-runde på 10,5 millioner dollar ledet av a16z

KildeavatarChainCatcher•1t siden

Huatai Securities: Fed kan heve renten to ganger neste år

KildeavatarChainCatcher•1t siden

Trump signerte en presidentordre for å gjennomgå restriksjoner på kryptoselskapenes tilgang til amerikanske betalingssystemer

KildeavatarChainCatcher•1t siden

Irsk narkotikahandler Bitcoin-adresse overførte 500 BTC igjen

KildeavatarChainCatcher•2t siden

Paulson: Hold rentene stabile for å vurdere økonomiske forhold