为旌科技双目视觉方案,立体感知,赋能机器视觉

来源:为旌科技 #为旌科技# #视觉#
2.3w

随着工业4.0的到来,不论是工业自动化还是家居智能化,已日渐成为常态,AGV、送餐机器人、扫地机器人等已屡见不鲜。这些小型服务机器人看似简单的工作,其实是需要机械、电子、控制,甚至人工智能等多个学科领域配合才能完成的。其中SLAM(Simultaneous Localization and Mapping)是小型服务机器人的核心技术之一。

01 SLAM技术及挑战

SLAM意为“即时定位与地图构建”,它是指运动物体根据传感器的信息,一边计算自身位置,一边构建环境地图的过程,用于机器人在未知环境下运动时的定位与地图构建问题。

SLAM一般可以分为两大类:激光SLAM和视觉SLAM

激光SLAM通过激光测距仪测量机器人与周围环境距离,并根据三角测距或TOF算法获得精确距离信息,从而生成周围环境地图,建图和定位精确度较高。但是激光传感器成本高,激光雷达的机械特性易损坏,凸起结构增加了机身厚度,降低通过率。

视觉SLAM通过视觉传感器识别周围环境,可分为单目(Monocular)、双目(Stereo)和深度摄像头(RGB-D),根据视觉识别绘制地图。这种方案硬件成本低,信息采集丰富,适用范围广,在功能拓展上有更多可能性。

激光SLAM应用时间较早,但是视觉SLAM有望成为下一代机器人的主流方向,当前主要挑战在于:对主控芯片的算力资源要求很高,因为实时处理视频信息需要很高的计算能力,因此对算法精度和效果的高要求是视觉SLAM面临的第一重挑战。另外,以扫地机器人为例,室内不同环境的采光条件不同,如明亮环境,屋内墙角等弱光环境,甚至床底等暗光环境,是视觉SLAM算法面对的第二重挑战。

02 为旌科技双目视觉方案

为旌海山®系列旗舰产品VS839拥有丰富的接入能力及强大的异构计算资源,在提升纯视觉方案性价比的同时还可根据客户需求,提供多种解决方案。

视觉SLAM中的主流实现方式是双目视觉。双目在硬件结构上模仿人类视觉,利用双目视差,实现深度探距。为旌VS839内置双目深度算法,可提供高精度深度图,同时还可包含环境场景中物体的结构信息。

双目深度示意

双目测距在某些场景下,深度图边界容易失真,错误主要体现在以下三方面。

缺失(Missing):边界缺失是指高质量RGB图像中存在真实对象边界,但在深度图中这些边界丢失了;

虚假(Fake):虚假边界是指在深度图中存在对象边界,但在RGB图像中不存在真实边界的情况;

错位(Misaligned):RGB图像和深度图中均有真实边界,但彼此没有很好的对齐;

下图可以很容易地看到这3种情况:

A:缺失;B:虚假;C:错位

为旌海山VS839内置的双目深度算法结合了单目视觉图像,实现了深度图增强算法,对深度图边界失真进行修复,进一步提高深度精度指标,为后续SLAM算法实现提供高质量输入,满足各类客户的需求。

某客户纯视觉双目方案开发板

目前已有若干客户正在开发基于VS839系列的纯视觉双目机器人方案,立体感知,赋能机器视觉。

03 多核处理提升算力优势

视觉SLAM是一个框架,在传感器数据处理之外还包含多种算法,典型视觉SLAM框架如下图所示:

视觉里程计(Visual Odometry,VO,又称为前端,Front End):视觉里程计估算相邻图像间相机的运动以及局部地图的样子。

后端优化(Optimization):后端接受不同时刻视觉里程计测量的相机位姿,以及回环检测的信息,对它们进行优化,得到全局一致的轨迹和地图。由于接在VO之后,又称为后端(Back End)。

回环检测(Loop Closing):后端根据前端输入进行优化后得到的全局地图存在累计误差,长期估计的结果将不可靠,回环检测判断机器人是否曾经到达过先前的位置。如果检测到回环,它会把信息提供给后端进行处理。

建图(Mapping):根据估计的轨迹,建立与任务要求对应的地图。

以上模块又各自包含多种算法。算法彼此配合且需要处理实时视频数据,对主控芯片算力资源提出很高要求,也是视觉SLAM方案在机器人领域大规模应用的阻碍之一。

为旌VS839集成四核A55 CPU和双核DSP,提供充足异构计算资源,满足客户对主控芯片的算力资源要求,赋能客户实现算法性能卓越、高性价比的机器人产品。

04 为旌海山®旗舰产品VS839

为旌海山®系列产品,拥有业内领先的星光全彩图像效果,支持低照场景提亮和智能降噪,即使是在全暗光0.01Lux场景下,也能实现如白天般的图像效果,细节纤毫毕现。能够为客户提供高质量的图像,助力客户开发具有市场竞争力的产品。

责编: 爱集微
来源:为旌科技 #为旌科技# #视觉#
THE END
关闭
加载

PDF 加载中...