HDR传感器的设计工程师是一群特别的“艺术画家”。他们以实验室为画室,以相机镜头为画布,而用芯片调配出最丰富的色彩。
当我们拍摄一幅明暗悬殊的画面时,镜头捕捉的图像往往会与亲眼所见的景象相差甚远。而这些“艺术画家”的作品——HDR技术则能够帮我们留住更加真实的画面。
也许你早就使用过相机的HDR功能了,但你对它真的了解吗?
HDR到底是什么?为什么他能让画面更加真实?下面就让我们一起来揭开光影的秘密吧。
什么是HDR
HDR(High Dynamic Range)代表高动态范围。动态范围越大,图像能清晰呈现的明暗差别也就越大。与传统的SDR(标准动态范围)相比,HDR图像能够以更高质量同时显示画面的亮部和暗部。
HDR的实现有赖于显示器和传感器的双重进步。
显示技术的发展让我们能够在电视、电脑和手机上看到接近现实世界的亮度和色彩,而图像传感器的不断革新使HDR图像可以被我们用相机实时记录,并且画面质量逐渐得到提升。
接下来请随我们一起追溯HDR传感器的发展历史。
HDR传感器的发展
2000s—LOFIC
我们拍摄的照片来自传感器上的像素,它们将光处理为电信号,组合起来输出画面。当捕捉对象亮度过强,大量电荷挤在单个像素内,生成的图像就会过曝。
LOFIC(Lateral Overflow Integration Capacitor,横向溢出集合电容)的结构就像鸳鸯锅,当电荷超过像素原本能承载的最大限度(最大阱容),多余的电荷就会流到相邻的“锅”里,而不至于溢出来。这样,高亮画面就能清晰显示了。
然而,LOFIC结构复杂,难以适应电子设备日益轻薄化的发展趋势。因此,LOFIC如今在相机和手机中已经难觅踪影。
2003——Large/small pixels
2003年,富士(Fujitsu)公司推出了具备Large/small pixels(大小像素)分离结构的“Super CCD SR”,巧妙借助像素性质的差异实现HDR。 1传感器每“格”中的一大一小两个像素同时进行拍摄,获取高曝光和低曝光两幅画面。合成后,就形成了覆盖不同动态范围的HDR图像。不过,由于画面易形成瑕疵,这项技术并没有被大范围采用。
2010s——Multi-frame HDR
HDR技术最常见的运作方式是拍摄(捕获)具有不同曝光的多个画面,并合成出完美的HDR图像。其中,最原始的是Multi-frame HDR(多帧异曝光HDR)。由于曝光时间不同,它所用的原理是相机连续拍摄多张不同曝光的照片,并叠加这几张照片,从每张照片中提取最好的部分进行合成。
然而当拍摄物体处于运动状态或拍摄时出现抖动则会造成“运动伪影”,例如上图中八条腿的马。
2014——iHDR
iHDR(Interlaced HDR,行交织HDR)的诞生是为了解决运动伪影的问题(例如上图中在运动的马,合成后会出现多条腿的问题)。它将传感器划分为行,并以两行间隔设置长曝光和短曝光。当按下快门时,长曝光和短曝光同时开始。这种技术可以一次拍摄长曝光和短曝光图像,并最终获得一张HDR图像。不过,行交织的原理使iHDR损失了一半的分辨率,图片也时常不够自然。由于种种缺点,导致iHDR未能批量生产。
2014——ZigZag HDR
紧接着,索尼提出了像素排列的另一种可能——Zigzag HDR(Z字形HDR)。 2这是iHDR的升级版本。传感器上同时存在长曝光和短曝光设置,以“ Z”字交叉分布。与iHDR相比,分辨率损失得到了有效降低,并且画面也更自然,还能应用于视频拍摄。
2014——HDR+
同年(2014年),谷歌推出了HDR+技术。 3传感器至少8次连续拍摄同样曝光的画面,将其叠加分辨出暗部中的细节与噪点,从而利用算法实现宽广的动态范围。谷歌相机的“突发模式”能够在按下快门前即自动开始预拍,以实现HDR效果的快速抓拍。这与当初的multi-frame HDR已不可同日而语。
20174 ——QHDR
QHDR(Quad HDR,四像素HDR)与Zigzag HDR相比,不仅在行对齐方面有所不同,而且在传感器中像素的排列方式上也有所不同。在QHDR中,每个2×2的四像素区域成为一个单元,以不同曝光设置共同工作。这项技术速度快、效果好,非常适合应用在视频拍摄中。
2018——Staggered HDR
在Staggered HDR(单帧逐行HDR)功能中,快门以滚动逐行读取信息的特性,由上到下滚动输出长、短曝光的数据。在长曝光行数据输出的过程中,短曝光行图像也同时生成。这使得两行图像之间能够紧密衔接,从而解决了iHDR图像不自然的问题,也有效减少了运动伪影。
SK海力士的CIS图像传感器
如今的相机技术已经朝着模仿人体视觉系统的方向飞速发展,力求使数码相机镜头捕捉的图像更加接近消费者的所见所感。为了实现这个目标,通过缩小像素面积来提高分辨率,从而捕获清晰图像,一直以来都是重要的发展方向。 此外,为了更好地表现每个像素的颜色,HDR技术的重要性如今也不断被强调。
SK海力士目前已经完成了QHDR和staggered HDR技术的开发,并且现已准备就绪,可向客户提供。特别是应用于高分辨率产品的QHDR技术,可以通过内置传感器的ISP来处理图像。通过这种方式,即使面对动态的拍摄对象,传感器也可以实时处理图像,并提供清晰的高分辨率图像。
将来,用于表达精确颜色和丰富光线的HDR技术的发展将成为相机技术的支柱之一。而随着人工智能在CIS传感器中的应用,HDR技术有望得到进一步发展。在不远的将来,有望开发出使用神经网络对人类视觉感知特征进行建模的HDR技术,以去除低亮度噪点并恢复饱和区域中丢失的信息。
展望未来,HDR技术会越来越先进,呈现的图片也将更加贴近人眼所见的景象。
本文作者:裴钟贤/SK海力士
PL (Project Leader) of ISP(Image Signal Processing) SW Team