为旌科技张晓峰:车规软件架构及工具链对BEV+Transformer的支持

来源:为旌科技 #为旌科技# #汽车人工智能#
1.5w

在由盖世汽车主办的2024第二届汽车人工智能大会上,为旌科技联合创始人张晓峰以《车规软件架构及工具链对BEV+Transformer的支持》为主题发表演讲,与业内专家共同探讨满足ASIL-D级别的智驾域车规软件如何助力芯片硬件发挥极致性能。

01 为旌御行系列芯片车规软件架构

为旌科技于2023年7月和2024年4月,分别荣获ISO 26262 ASIL-D汽车功能安全流程体系认证,和为旌御行VS919系列芯片ASIL-D汽车功能安全产品认证。为旌御行VS919系列芯片拥有完备的车规体系认证,完全符合汽车供应体系的要求,并为汽车行业提供更安全、更智能的自动驾驶方案。

为充分发挥芯片硬件的性能并满足功能安全要求,为旌科技在搭建嵌入式软件开发流程过程中,功能安全V模型全程覆盖,定义车规级软件代码规范,严格遵守汽车功能安全体系,使用符合功能安全软件的设计方法及验证标准,同时,开发工具链置信度满足最高ASIL-D等级。

车载软件部署

在车载软件部署过程中,硬件算力单元包括ACPU、DSP、NPU、GPU等,底部有ISP等相应硬件模块。为旌的SDK主要加载在A核上,以对接第三方中间件。在中间件层之上,客户可以部署自己的不同算法。另外芯片还开放3个R核供客户开发高实时性要求的业务。

软件架构

在整体的软件架构中,顶层是AI算法及APP,再下一层是对业务诸如雷达、毫米波、IMU等硬件抽象出的基本服务层。中间层进行通信管理、时间同步,配置管理、网络管理等,通过硬件通讯接口,可支持SOME/IP,DDS等通信协议。底层是为旌提供的软件库,包括Camera/ISP库、媒体库、AI部署库、DSP的API接口、OpenGL以及OpenGLES等。此外,我们还提供图像调试、性能Profiling、Debug,OTA等工具。

02 VS919高效支持BEV+Transformer 

以为旌御行旗舰产品VS919为例,内部集成MCU,单独电源分区管理,内置的ASIL-D级别安全岛,支持双核锁步,同时提供整体的Autosar CP解决方案。模块化的车规软件架构,清晰的层次关系,方便软件并行开发和快速迭代。

VS919可支持BEV+Transformer,提供高灵活性、可编程的算子。目前VS919支持200+加速算子,面对INT8/INT16/FP16等不同精度的计算场景,为旌星图TM工具链集成了多种量化策略与功能模块,通过混合精度量化高效支持Transformer模型加速。

而随着Transformer的演进,SwinT在计算机视觉领域中性能表现出色,并被广泛应用在智能驾驶领域。为旌星图TM工具链,支持SwinT的量化与部署,在模型部署过程中,我们可以为开发者提供全方位的技术支持,以帮助用户快速完成算法部署与执行。

此外,我们可通过OBU模块,添加自定义算子。通过实际性能评测,SwinT的计算性能可达到竞品的6倍。

03 合作共赢是未来发展的主要趋势

单芯片行泊一体解决方案,作为VS919的典型应用场景,配备了7V5R12U的外接传感器组合,包括2颗双目前视8MP摄像头,4颗最高支持3MP的环视摄像头, 1颗2MP的后视摄像头,12颗超声波雷达以及1颗前雷达和4颗角雷达。为保证行车、泊车算法全时复用,低延时,不丢帧,为旌科技在软件数据通路上进行了针对性开发,提供分布式数据流调度机制满足多核异构架构的性能要求。

在演讲的最后,张晓峰提到:合作共赢一定是未来智能驾驶发展的主要趋势,专业的人做专业的事。为旌科技对自己的定位是为客户提供好用、易用、耐用的芯片平台,支撑客户基于为旌的平台开发差异化产品,进而形成差异化的竞争力。同时,为旌科技始终欢迎与业内合作伙伴加强交流,通过各自领域交叉以及资源共享,配置优化,共同推动中国乃至全球的智能驾驶产业的发展和创新。

责编: 爱集微
来源:为旌科技 #为旌科技# #汽车人工智能#
THE END
关闭
加载

PDF 加载中...