Допис

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Застереження. Вміст, опублікований на OKX Orbit, надається виключно в інформаційних цілях. Докладніше

Відповіді

Ще немає коментарів. Додайте першу відповідь!

Related Flash News

Аватар джерела币界网1г тому

a16z стала шостою за величиною холдинговою компанією HYPE з плаваючим прибутком у 79,29 мільйона доларів

Аватар джерелаChainCatcher1г тому

Lighter завершила верифікацію механізму escape L2, що дозволяє користувачам знімати кошти на основну мережу навіть у разі відмови секвенсора

Аватар джерелаChainCatcher1г тому

Багатокористувацькі гаманці Bankr були скомпрометовані, що стосувалося взаємодії Grok з Bankrbot, що призвело до несанкціонованого підписання транзакцій

Аватар джерела币界网1г тому

Відомий трейдер Loracle: «HYPE Short Positions TOP 1»: Відомий трейдер Loracle відкрив 874 155 нових довгих позицій LIT на HyperLiquid

Аватар джерелаChainCatcher2г тому

Графана: Розслідування показало, що нещодавні інциденти безпеки не вплинули на виробничі системи та операції клієнтів

Аватар джерелаChainCatcher2г тому

Заступник голови Банку Англії: Токенізація знижує витрати, прискорює розрахунки та посилює конкуренцію

Аватар джерелаChainCatcher2г тому

Дані: Новостворений гаманець кита, пов'язаний з a16z, придбав і застейкав 206 325 HYPE

Аватар джерелаChainCatcher2г тому

Патентна платформа на основі штучного інтелекту Stilta завершила початковий раунд на суму $10,5 мільйона під керівництвом a16z

Аватар джерелаChainCatcher2г тому

Huatai Securities: ФРС може підвищити процентні ставки двічі наступного року

Аватар джерелаChainCatcher2г тому

Трамп підписав виконавчий указ, який вимагає перегляду обмежень на доступ криптокомпаній до платіжних систем США