最新MLPerf基准测试:基于阿里云GPU云服务器的AIACC在图像识别封闭式场景下夺冠

最新MLPerf基准测试:基于阿里云GPU云服务器的AIACC在图像识别封闭式场景下夺冠_第1张图片

近日,全球权威 AI 基准评测组织 MLCommons 公布了最新一期 MLPerf™ v2.1 推理性能基准测试结果。阿里云在 Edge 封闭式、数据中心和 Edge 开放式、数据中心网络等场景均表现亮眼。其中,基于阿里云弹性计算 GPU 云服务器的神龙 AI 加速引擎(AIACC)在图像识别的 Edge 封闭式场景中实现了最低延时,突破性能天花板,处于业界第一。

MLPerf Benchmark 是一套用于测量机器学习软硬件性能的通用基准,由来自学术界、研究实验室和相关行业的 AI 领导者组成的联盟,旨在“构建公平和有用的基准测试”;评估在不同条件下,不同企业硬件、软件和服务的训练和推理性能;可以帮助企业简化选择 AI 软硬件服务的流程。

MLPerf 覆盖了图像分类、目标检测、医学图像分割、自然语言处理等不同的 AI 服务场景,阿里云 AIACC 本次参与的主要是图像识别的封闭式推理场景。

封闭式即指在不对模型进行任何改动,仅优化底层软硬件平台的情况下获得的性能,具有极大优化难度。往期的封闭式场景结果中,搭载最新的 NVIDIA TensorRT 版本是所有 NVIDIA GPU 硬件平台的性能天花板,不同厂商的差距仅在于不同 GPU 硬件产生的小幅性能差异。本次 MLPerf™ v2.1 推理结果的 Edge 封闭式计算中,神龙 AI 加速引擎(AIACC)针对 ResNet50 的单流(单任务处理)推理进行了专门的深入优化,超过了直接使用 NVIDIA TensorRT 的用例,获得了 0.38 毫秒的最低延时,意味着在阿里云上识别一张图片只需要 0.38 毫秒。

最新MLPerf基准测试:基于阿里云GPU云服务器的AIACC在图像识别封闭式场景下夺冠_第2张图片

MLPerf Inference Edge v2.1 截图

阿里云神龙加速引擎 AIACC 团队本次主要基于两款阿里云 GPU 云服务实例——gn7i、gn7e 实例。

在 gn7i 实例上,AIACC 实现了单流时延 0.40 毫秒,低于业界其他厂商 0.44-0.50 毫秒的时延;在 gn7e 实例上,AIACC 加速的 ResNet50 推理时延为仅为 0.38 毫秒,远低于其他厂商 0.50-0.53 毫秒的延时。

最新MLPerf基准测试:基于阿里云GPU云服务器的AIACC在图像识别封闭式场景下夺冠_第3张图片

最新MLPerf基准测试:基于阿里云GPU云服务器的AIACC在图像识别封闭式场景下夺冠_第4张图片

阿里云 GPU 云服务器是提供 GPU 算力的弹性计算服务,具有超强的计算能力,服务于深度学习、科学计算、图形可视化、视频处理多种应用场景,能为客户提供软件与硬件结合的完整服务体系,助力客户在实际业务中实现资源的灵活分配、弹性扩展、算力的提升以及成本的控制。

基于阿里云弹性计算服务 ECS 的神龙计算加速引擎致力于为阿里云 ECS 客户提供快速、便捷、用户无感的计算加速服务,覆盖 AI 训练与推理、大数据、通用计算等领域。在 AI 训练与推理领域,神龙 AI 加速引擎(AIACC)持续深耕性能优化技术,服务了大量客户优化 AI 计算业务性能,助力其业务在阿里云 GPU 云服务器上线部署和提速,并曾在世界 AI 性能权威榜单 DAWNBench 中斩获 4 项世界第一。在大数据领域,神龙大数据加速引擎(MRACC)亦在世界大数据权威榜单 TPC Benchmark Express-BigBench(TPCx-BB) SF3000 摘得桂冠。

AIACC 和 MRACC 等性能优化技术在长期服务客户的过程中得以积累和沉淀,客户可在阿里云 GPU 云服务实例和阿里云弹性计算 ECS 实例上开放使用,应用无感的提升客户业务的性能。

点击这里,了解阿里云 GPU 云服务器。

丨近期活动预告

面对“元宇宙”概念兴起,我们邀请到 NVIDIA 中国 Omniverse 业务负责人何展、沙核科技创始人楼彦昕、阿里云弹性计算产品专家张新涛,分享行业理解、落地案例、瓶颈挑战等。数字世界先锋 x 科技艺术家 x 云计算活化石,欢迎看三位碰撞出何种观点。

本次对谈节目,将于 9 月 26 日下午 2 点播出,点击这里预约直播
最新MLPerf基准测试:基于阿里云GPU云服务器的AIACC在图像识别封闭式场景下夺冠_第5张图片

你可能感兴趣的