Публикация

Zyphra发布首个MI355X推理评测:长文本直逼B200

币界网
币界网
币界网消息,Zyphra发布了基于AMD旗舰芯片MI355X的端到端大模型推理实测,测试在真实单节点环境下运行DeepSeek V3.2、Kimi K2.6与GLM-5.1,并对标NVIDIA B200。实测显示,AMD的288GB显存远超B200的180GB,使其在处理超长文本时能更高效地利用缓存,降低硬件成本。然而,AMD在芯片间互联上处于劣势,B200通过NVLink交换机实现900GB/s带宽,而MI355X采用点对点直连,通信效率较低。为弥补这一短板,Zyphra开发了张量序列并行(TSP)与树状注意力(Tree Attention)算法。最终结果显示,尽管在单请求速度上NVIDIA B200仍领先,但在长文本场景下,Zyphra推理栈的吞吐量逐渐逼近B200,证明AMD在长文本生产环境中具备竞争力。

Дисклеймер: контент OKX Orbit предоставляется исключительно в информационных целях. Подробнее

Ответы

Комментариев еще нет. Будьте первым!

Related Flash News

Аватар по умолчанию币界网38 мин. назад

Угроза забастовки Samsung снята, фондовый рынок Южной Кореи вырос более чем на 6%

Аватар по умолчанию币界网1 ч. назад

Cohere open source Command A+: 218-параметровая большая модель MoE, ориентированная на корпоративных агентов и суверенитет данных

Аватар по умолчанию币界网2 ч. назад

Илон Маск объявил, что SpaceX будет предоставлять услуги по вычислениям на основе искусственного интеллекта и ведёт переговоры с другими компаниями

Аватар по умолчаниюChainCatcher6 ч. назад

Nvidia выросла после работы, а её доход в первом финансовом квартале превзошел ожидания

Аватар по умолчаниюBlockbeats10 ч. назад

Объявление: Отчёт Nvidia по доходам за первый квартал и протокол заседания Федеральной резервной системы будут опубликованы сегодня вечером вместе

Аватар по умолчаниюChainCatcher10 ч. назад

Анализ показывает, что Биткоин снова под давлением, а рисковые настроения в акциях США подавляют крипторынок

Аватар по умолчаниюOdaily12 ч. назад

Bitget UEX продолжает расширять свои мощности и сейчас поддерживает более 340 американских акций

Аватар по умолчанию币界网15 ч. назад

Открытая модель с триллионом параметров работает с частотой 981 слово в секунду, а Cerebras тестирует KimiK2.6 ускоряется в 29 раз

Аватар по умолчанию币界网17 ч. назад

Группа Ruixun: Отчёт о прибыли Nvidia ослабил влияние настроений инвесторов в сферу ИИ

Аватар по умолчанию币界网19 ч. назад

Дуань Юнпин совершил крупную покупку Tesla, сократил свои активы в Apple и продал Alibaba