Допис

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Застереження. Вміст, опублікований на OKX Orbit, надається виключно в інформаційних цілях. Докладніше

Відповіді

Ще немає коментарів. Додайте першу відповідь!

Related Flash News

Аватар джерелаBlockbeats1с тому

Оголошення: Звіт про прибутки Nvidia за перший квартал та протокол засідання Федеральної резервної системи будуть опубліковані разом сьогодні ввечері

Аватар джерелаOdaily1г тому

Bitget UEX продовжує розширюватися і тепер підтримує понад 340 американських акційних активів

Аватар джерела币界网5г тому

Відкрита модель з трильйонним параметром працює зі швидкістю 981 слово на секунду, а Cerebras тестує KimiK2.6 прискорюється у 29 разів

Аватар джерела币界网7г тому

Swissquote Group: Вплив звіту про прибутки Nvidia на настрої інвесторів у сфері ШІ послаб

Аватар джерела币界网9г тому

Дуань Юнпін у великому масштабі купив Tesla, скоротив свою позицію в Apple і ліквідував Alibaba

Аватар джерелаTechFlow15г тому

Наближається боротьба за прибутки Nvidia, і три основні торгові продукти Bybit допомагають користувачам фіксувати коливання штучного інтелекту через кордони

Аватар джерелаOdaily23г тому

Напівпровідниковий сектор США під час сесії зазнав «V-подібного» розвороту, і падіння багатьох акцій різко звузилося або навіть піднялося

Аватар джерелаChainCatcher1д тому

Ф'ючерси на фондовий індекс США трохи знизилися, а акції напівпровідникової компанії продовжували падати

Аватар джерела币界网1д тому

Bitget Wallet додає 130 нових токенізованих акцій Xstock

Аватар джерелаChainCatcher1д тому

Інституції: Попит на дата-центри ШІ може спричинити переоцінку майнерів біткоїна, і було оголошено про співпрацю на суму понад 90 мільярдів доларів