Inter发布Gaudi 3 AI加速器,官方称其领先NVIDIA H00 50%

  新酷产品第一时间免费试玩,发方还有众多优质达人分享独到生活经验,加速快来新浪众测,器官其领体验各领域最前沿、发方最有趣、加速最好玩的器官其领产品吧~!下载客户端还能获得专享福利哦!发方

Inter发布新一代AI加速器Gaudi 3,加速对标NVIDIA H00,器官其领官方称Gaudi 3与NVIDIA H00对比,发方LLM大模型推理领先50%,加速训练时间领先40%,器官其领性价比超越NVIDIA高达200%。发方

Gaudi 3 制造工艺采用台积电5nm,加速MME高达8个,器官其领MME的TPC拥有8个,总数共计拥有64个,媒体编码器拥有14个。MME BF16/FP8都是1835 TFlops,矢量BF16为28.8 TFlops,较之前分别提升至320%、110%、160%。

开发方面,Gaudi 3 无缝兼容PyTorch框架、Hugging Face Transformer和扩展模型。

Gaudi3 支持三种形态部署,标准夹层版最高被动散热峰值功耗900W,液冷峰值功耗1200W;通用基板支持八颗Gaudi 3;HL-338扩展卡可四卡互联,PCIe 5.0 x16,被动散热峰值功耗600W。

相关文章