Публикация

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Дисклеймер: контент OKX Orbit предоставляется исключительно в информационных целях. Подробнее

Ответы

Комментариев еще нет. Будьте первым!

Related Flash News

Аватар по умолчаниюChainCatcher26 мин. назад

Lighter завершила верификацию механизма выхода из системы L2, что позволяет пользователям выводить средства в основную сеть даже при отказе секвенсора

Аватар по умолчаниюChainCatcher28 мин. назад

Многочисленные пользовательские кошельки Bankr были скомпрометированы, что связано с взаимодействием Grok с Bankrbot, что привело к несанкционированному подписанию транзакций

Аватар по умолчаниюChainCatcher1 ч. назад

Графана: Расследование показало, что недавние инциденты с безопасностью не повлияли на производственные системы или операции клиентов

Аватар по умолчаниюChainCatcher1 ч. назад

Заместитель управляющего Банка Англии: Токенизация снижает затраты, ускоряет расчёты и усиливает конкуренцию

Аватар по умолчаниюChainCatcher1 ч. назад

Данные: Недавно созданный кошелёк кита, связанный с a16z, купил и застейкал 206 325 HYPE

Аватар по умолчаниюChainCatcher1 ч. назад

Патентная платформа ИИ Stilta завершила стартовый раунд на сумму 10,5 миллиона долларов под руководством a16z

Аватар по умолчаниюChainCatcher1 ч. назад

Huatai Securities: ФРС может дважды повысить процентные ставки в следующем году

Аватар по умолчаниюChainCatcher1 ч. назад

Трамп подписал исполнительный указ о пересмотре ограничений на доступ криптокомпаний к платежным системам США

Аватар по умолчаниюChainCatcher1 ч. назад

Ирландский наркодиллер: Биткоин-адрес снова переведён 500 BTC

Аватар по умолчаниюChainCatcher2 ч. назад

Полсон: Держите процентные ставки стабильными, чтобы оценить экономическую ситуацию