共探训推融通新路径!壁仞科技 x 龙蜥社区 x PyTorch生态共建MeetUp圆满收官

来源:壁仞科技Birentech #壁仞科技# #龙蜥社区# #PyTorch#
597

8月28日,“训推融通 全栈协同,PyTorch生态共建MeetUp” 在上海张江科学之门模力社区顺利举办。本次活动汇聚了来自壁仞科技、PyTorch、龙蜥社区、阿里云、上海交通大学、密瓜智能等产学研领域的顶尖技术专家,吸引150余位开发者到场参会。现场座无虚席、互动热烈,开发者踊跃提问、交流不断。

此次MeetUp大咖云集,专家们分享硬核,精彩不断。

壁仞科技战略规划高级副总裁魏明,Java Champion,Java标准委员会JCP-EC中国唯一代表,阿里云技术总监李三红,PyTorch基金会亚洲总监李昊阳先后发表开场致辞。

壁仞科技战略规划高级副总裁魏明

壁仞科技高级副总裁魏明表示,训练与推理边界正快速消融,深入适配PyTorch生态是下一代 AI 基础设施的竞争关键。壁仞科技持续迭代全栈软件平台BIRENSUPA™,并推出首个开源项目TorchSUPA,作为新一代产品 BR20X的开源首发,基于PyTorch现有机制分层复用、逐步替换。他强调,壁仞科技坚定走开放共建路线,愿与社区、云厂商、学术界及创业公司协同,共建开放透明的计算底座。

李三红认为,软件生态是AI规模化应用的核心关键。相较于标准化的CPU生态,AI从算力、编译、框架、推理到应用全链路高度碎片化,生态割裂问题突出,也是制约产业规模化落地的瓶颈。

阿里云技术总监李三红

李昊阳介绍,PyTorch开源基金会已从单一PyTorch项目,升级为覆盖训练、推理框架与AI基础设施的伞形基金会。其中,社区共建生态项目作为技术资源储备,持续沉淀优质能力;基金会直属孵化项目聚焦推理优化等场景,由官方统一运营孵化。

PyTorch基金会亚洲总监李昊阳

鉴于PyTorch在AI基础设施中的重要地位,壁仞科技推出了适配其GPU产品的PyTorch插件TorchSUPA,助力开发者更便捷地使用壁仞科技算力。目前,TorchSUPA 已正式开源,开发者可前往壁仞开发者社区体验并反馈。壁仞科技基础框架高级技术专家冯思博对TorchSUPA的技术特点进行了详细分享。

TorchSUPA 基于壁仞科技BIRENSUPA™开发,可让 PyTorch 直接运行在壁仞GPU之上,并完整兼容现有用户的使用习惯。其核心功能特性包括:支持PyTorch常用计算API;支持集合通信原语,可配合FSDP2加速分布式训练;支持动态图捕获与静态图优化;支持通过Profiling分析显存占用与执行时间等关键信息。

壁仞科技基础框架高级技术专家冯思博

壁仞科技深度学习框架高级架构师黄亚玲分享了PyTorch新后端集成的最佳实践。她表示,TorchSUPA 之所以能快速接入PyTorch框架,核心在于采用PrivateUse1 这一第三方硬件接入PyTorch的标准入口:以插件形式扩展硬件,无需改动官方源码,显著降低维护成本;直接复用PyTorch现有Dispatcher与基础设施,避免重复造轮子;并以极低成本验证新后端可用性,加速从概念到落地的迭代。

对开发者而言,通过TorchSUPA可将已有CUDA风格代码零修改迁移至SUPA后端,同时复用PyTorch已有的CUDA Kernel,避免从零重写算子。简言之,TorchSUPA站在PyTorch现有机制与CUDA生态资产之上,分层复用、逐步替换,有效降低新后端建设与用户迁移的双重成本。

壁仞科技深度学习框架高级架构师黄亚玲

主题演讲环节中,Intel工程师、PyTorch Accelerator Integration Working Group联合主席于广业从社区视角系统梳理了硬件加速器体系的设计理念、类别划分与核心功能,并详解了各类加速器的接入路径,为国产算力融入PyTorch生态提供了一份 "官方指南"。

阿里云高级技术专家王卓深入剖析了Torch.compile的落地收益、使用边界与针对性优化实践,展示了在生产环境中极致释放国产计算卡性能潜力的可行路径。他指出,PyTorch是最重要的AI基础设施之一,通过torch 相关优化,已在诸多AI场景中实现20%至50%的性能提升。

(图/于广业)

(图/庞浦)

(图/王卓)

(图/李孟轩)

上海交通大学计算机学院助理研究员、龙蜥社区智算联盟成员单位代表庞浦分享了其团队在应用层、框架层与编排层的协同探索,核心目标是将 "独占GPU分配" 转变为 "异构硬件弹性共享",从而实现真正的按需资源供给。

密瓜智能联合创始人兼CTO李孟轩同样聚焦推理优化,由浅入深地讲解了如何借助PD分离技术与llm-d等开源项目,持续提升集群整体算力利用率。

从硬件加速器体系的设计,到TorchSUPA的开源落地;从云端编译优化的实战经验,到推理集群调优的方法论,本次MeetUp不仅是一场技术分享的盛会,更是一次国产算力与开源生态“双向奔赴”的集中展示。

本次MeetUp的举办,让我们看到本土AI开源技术生态正加速生长。壁仞科技始终秉持开放共建的理念,携手产业伙伴共享硬核技术,聚力打造繁荣的国产芯片生态。期待与更多开发者同行,共促国产AI产业向上生长。

责编: 集小微
来源:壁仞科技Birentech #壁仞科技# #龙蜥社区# #PyTorch#
THE END
关闭
加载

PDF 加载中...