首页 > 科技资讯 > 亚马逊推出Inferentia芯片 提升AWS推理计算效益
在 re:Invent 大会上,AWS 不仅宣布了 SageMaker Studio 机器学习集成开发环境,还推出了 Inferentia 芯片。去年首次宣布的该芯片,能够加速机器学习的推理计算。在 Inferentia 芯片的加持下,研究者可较之前预先训练过的模型带来更明显的提速、且更具成本效益。

1.jpg

(图自:AWS

AWS 首席执行官 Andy Jassy 指出:许多企业都在模型训练的定制芯片上投入了大量精力,尽管常规 CPU 上已经能够较好地执行推理运算,但定制芯片的效率明显更高。

与 EC4 上的常规 G4 实例相比,Inferentia 能够让 AWS 带来更低的延时、三倍的吞吐量、且降低 40% 单次的成本。

2.jpg

(截图 via AWS

新的 Inf1 实例,可实现高达 2000 TOPS 的特性、与 TensorFlow、PyTorch 和 MXNet 集成、且支持可在框架之间迁移的 ONNX 模型格式。

目前其仅可在 EC2 计算服务中使用,但 AWS 将很快为其引入对 SageMaker 机器学习和其它容器服务的支持。

阅读原文
iChuk:dynamicichuk4.0 强力驱动45055