• 收藏

  • 点赞

  • 评论

  • 微信扫一扫分享

英伟达扩大AI推理性能领先优势,首次在Arm服务器上取得佳绩

来源:爱集微

#英伟达#

09-23 17:45

集微网消息,根据今日发布的基准测试结果,英伟达在使用x86及Arm CPU进行AI推理时取得了最佳成绩。

这是英伟达连续第三次在MLCommons推理测试中创造性能和能效纪录。据了解,MLCommons是一家成立于2018年5月的行业基准测试组织。

在最新一轮测试中,由NVIDIA AI平台驱动的系统在所有七项推理性能测试中都名列前茅,这些系统来自英伟达和其九家生态系统合作伙伴,包括阿里巴巴、戴尔科技、富士通、技嘉、慧与、浪潮、联想、宁畅和超微。

推理(Inference)指计算机通过运行AI软件来识别对象或进行预测。在这个过程中,计算机使用深度学习模型来过滤数据,进而发现人类所无法捕捉的结果。

MLPerf推理基准测试基于当今最常用的AI工作负载和场景,涵盖计算机视觉、医学影像、自然语言处理、推荐系统、强化学习等。

英伟达指出,随着AI用例从数据中心扩展到边缘和其他领域,AI模型和数据集将不断增加。

凭借在能效性能上的不断增长和不断扩展的软件生态系统,Arm架构正在向全球各地的数据中心进军。

最新基准测试表明,作为GPU加速的平台,在AI推理工作中,使用Ampere Altra CPU的Arm服务器与具有类似配置的X86服务器提供的性能几乎相同。事实上,在其中的一项测试中,Arm服务器的性能甚至超过了类似配置的x86系统。

最新推理结果表明,Arm CPU和NVIDIA GPU驱动的Arm系统已能够应对数据中心中的各种AI工作负载。


英伟达AI技术得到了广大和日益扩展的生态系统的支持。在最新基准测试中,七家OEM厂商共提交了22个GPU加速的平台。这些服务器中的大多数型号都是NVIDIA认证系统,经验证可以运行多种加速工作负载,而且其中很多型号都支持上个月正式发布的NVIDIA AI Enterprise软件。

据悉,参与本轮测试的合作伙伴包括戴尔科技、富士通、慧与、浪潮、联想、宁畅、超微以及云服务提供商阿里巴巴。

据英伟达介绍,能够在所有AI用例中取得成功的一个关键因素是其完整的软件栈。在推理方面,这包括针对各种用例的预训练AI模型。NVIDIA TAO Toolkit运用迁移学习为特定应用定制这些模型。

NVIDIA TensorRT软件对AI模型进行了优化,使其能够最有效地运用内存并且实现更快的运行速度。英伟达经常使用该软件进行MLPerf测试,该软件可用于X86和Arm的系统。

在这些基准测试中,NVIDIA还采用了NVIDIA Triton 推理服务器软件和多实例GPU(MIG)功能。它们为所有开发者提供了通常需要专家级程序员才能实现的性能。

随着该软件栈的不断改进,与四个月前的MLPerf推理基准测试相比,英伟达提升了高达20%的性能和15%的能效。

(校对/Sharon)

责编: Carrie

Jimmy

作者

微信:L_canvas

邮箱:zhangshh@lunion.com.cn

作者简介

早日退休

读了这篇文章的人还读了...