五感传感器令电子设备更接近人类

东京大学研究院情报学专业教授历本纯一表示:“iPhone 与Wii 的上市完全颠覆了以往的鼠标操作方式。”历本教授同时也是索尼计算机科学研究所(索尼 CSL) 交互实验室的主任,他从上世纪九十年低后期就开始在索尼CSL研究被称为多触点式的用户界面(UI),这是类似于苹果公司2007年推出的iPhone中采用的用户界面。虽然索尼很早就开始了此方面的研究,但由于当时的界面还处于鼠标时代,因此索尼公司认为多触点技术距离实用还言之尚早。
通过五感传感器传递情感
历本教授认为iPhone 的上市将带动今后用户界面的多样化发展。未来设备的用户界面将逼真到让人觉得设备就像在跟人打交道,甚至可以通过握手来交流感情( 图1) 。iPhone 与Wii 的广受欢迎并不是奇迹,而是必然结果。

图1 用户界面从按键进化为五感传感器
历本教授同时还认为:“鼠标发明于1964年,最初就像一块四方的石头。当时人们认为鼠标只是用于输入逻辑命令,与电脑之间无需情感交流,因此鼠标也不必具有人类的情感。但是,人手是非常灵活的,哪怕是握手这么简单的一个动作,也可以通过力度强弱等与对方进行交流。因此,未来的电子设备将会十分重视与用户的情感交流,采用更人性化的用户界面。”
要想开发出新型的用户界面,让人们可以更直接地与电子设备进行互动,其中最重要的就是传感器,特别是对应人类视觉、听觉、触觉、味觉和嗅觉的五感传感器(见表1)。要使用户界面更人性化,前提条件就是电子设备必须具有类似于人类感觉器官的传感器。实际上,iPhone的用户界面就采用了相当于触觉器官的触觉传感器。索尼等公司也开始在相机及手机上采用“微笑快门”,用于检测镜头里的人物面部信息,当识别出笑脸时就自动按下快门。任天堂的Wii所采用的 “Wii Fit平衡板”中则使用了压力传感器,站在板上的人可通过动作对其进行控制。压力传感器也可以感知一部分触觉。

表1 五感传感器
改变人与设备的关系
集成在上述产品上的五感传感器仍然处于初级水平,但其今后的发展将很有可能会改变电子设备与人类之间的关系。东京大学名誉教授山崎弘郎长年从事传感器研究,他认为五感传感器的发展将会改变人与设备的关系。
山崎教授评论说:“目前的电子产品都要由人来配合机械,所以需要一定的相关技能。如果能将五感传感器作为输入系统,那么就可以让机械来配合人。更先进的是可以直接感应人脑的活动。如果真能达到那种程度,设备与人之间就可以实现情感的分享和动作的配合等。”
从1位到多位
集成直观用户界面的产品获得了巨大成功,也迅速推动了五感传感器在应用方面的研发工作。传感器系统通常包括传感器元件、相关布线、信息加工处理系统、信息识别系统,以及根据信息作出反应的驱动设备等,其中传感器元件、信息处理和识别系统都推出了特别先进的技术(见图2)。

图2 新的五感传感器系统
其中一个变化就是可以检测多样化的信息。例如,目前的触摸式传感器只能检测手指与触控笔的位置,而且大多只能检测1点。而最近已有可检测多点的用户界面上市,而且有的界面还可以检测力与压力,可以知道用户的按键强度,甚至还有能支持弯曲表面的用户界面。厂商们也在灵活运用此类界面,比如开发通过握手来了解对方情绪的机器人或汽车。
以往的传感器通常是用于检测单一信息的产品。例如,采用红外感应的红外传感器只使用1 位信息来表示人是否在某个地方。但最近,通过类似于模拟信息的多位信息,新的传感器可以详细了解人的具体状态。例如,游戏机上可以直接使用传感器所测得的模拟信息,此外还出现了通过非接触式用户界面来检测人接近状态的静电容量传感器。
五感传感器中的视觉与听觉传感器也在迅速实用化。不仅能够简单地记录影像、声音,在某种意义上,还可以提取出情感与表情信息。这与其说是传感器元件的进步,实际上不如说是处理传感器元件检测信息的信息处理技术的进步。东京大学历本教授认为:“在开车时,司机与副驾驶席上的人交谈时,不大会引发事故。而通过手机通话时,由于司机不知道通话对方的情况,所以引发事故的概率较高,即使使用免提通话,事故也在所难免。如果在手机通话时不仅可以识别声音,还可以知道对方的情绪,了解对方正在笑、生气或是很紧张,那么就有可能降低事故发生的概率。”
五感传感器令电子设备更接近人类(二):改变生活
集成化与大面积化业界在提高传感器元件集成度的同时,也在开发面向大面积应用的传感器。夏普与索尼等公司就已经将液晶屏幕的TFT与光学触摸传感器元件成对集成到玻璃面板上。索尼的3.5 英寸液晶屏内集成了触摸传感器,比以往产品薄1mm,仅1.5mm厚。在微软面向宾馆、餐厅等推出的新款平面电脑MicrosoftSurface 中,30英寸的显示屏内也集成了触摸传感器。嵌入触摸传感器的不光是显示屏,还可包括设备的外壳。
听觉传感器方面,各公司也在研发硅麦克风。此类麦克风由MEMS工艺制造,已经开始嵌入到手机外壳内。将硅麦克风像感光元件那样以格状排列,就可以达到声音的空间分散。以此为基础,业内还研发了更新的技术,即使有多人同时讲话,也可以识别说话的人,还可以只提取出某个人所说的话。
通过调味器调整味道
到目前为止,五感传感器中的嗅觉与味觉无论是在技术层面还是实用层面都属于进展较缓慢的。不过,这方面也将会发生较大变革。目前正在研发的传感器甚至可以检测人无法感觉到的气体,而且也在进行小型化的研究,将来准备集成到手机终端上。此外,目前正在进行研究的还包括可直接再现人类嗅觉、味觉的技术,以及将所收集的气味、香味进行数值化的技术。
最先实用化的有可能是嵌入味觉传感器的电饭煲,可以通过传感器知道米饭在什么时候是最好吃的。另外,可以自动加入材料或调味料进行调味的自动烹调器也将不再是梦想。
取代导盲犬与缉毒犬
如果五感传感器技术进一步进化,其应用将扩大到以下三个领域(见图3)。首先是采用五感传感器的用户界面。家电与汽车将可以通过传感器自然地接收人类所发出的信息,大大提高设备的易用性。

图3 五感传感器的三大应用
此外,传感器在许多方面比人类的感觉更灵敏,因此,功能超强的传感器可用于辅助残障人士或强化设备的功能。而且,它不仅可用于制作眼镜与助听器,甚至可以使人具有更好的耳目功能。
东京大学大学院信息理工系研究科智能机械信息学专业教授广濑通孝一直从事虚拟现实技术的研究,他认为有可能研发出高性能的眼镜,可看到人类看不到的紫外线与红外线,而且还能够清楚地看见月球表面。甚至还有可能研发出取代导盲犬的机器,给残障人士带来极大的方便。
最近,嗅觉传感器也正在进行新的开发,据说新技术可以取代缉毒犬来检测毒品,或者识别人是否患有疾病。
第三个应用就是通过传感器让设备具有专业人士的技能。五感传感器可以将捏寿司的力度大小、香水调香师的嗅觉、美食家的味觉等感觉信息数值化,并用于开 发产品。在汽车行业,已经开始采用支持超高帧速率的摄像头来进行冲突测试分析,还开发了嵌入压力传感器的轮胎,通过传感器将螺钉最合适的松紧度进行数值化 的技术也正在开发中。
家电将成为宠物
五感传感器应用的扩展将打破人与电子设备之间的壁垒。实际上,将上述传感器用于人类,令一部分生物功能“机械化(cyborg)”的研究也正在进行。相反,将五感传感器嵌入设备内,使设备更像人类的研究,也可被称为“逆机械化”。
不久的将来,设备不光只等待人的输入,而且可以自动察觉人的喜怒哀乐等情绪,并根据该情绪来预测人类的行为,并提出相应建议。由早稻田大学创造理工学 院综合机械工科WABOT-HOUSE 研究所教授菅野重树领导的研发小组开发的看护机器人TWENDYONE 就力图通过识别、预测人类的感情而执行相应的动作。丰田汽车也于2008 年1 月发表声明说已经开发了可以检测驾驶员眼睛开闭情况的系统,用来防止事故发生。如果此类功能进一步完善,那么对于人来说,家电、汽车都可以让人感觉是具有 特殊功能的宠物。
五感传感器令电子设备更接近人类(三):开发状况
具有并超越人类感觉的五感传感器
各类五感传感器处于完全不同的开发阶段(见图4),从技术高度化、实用化的观点来看,可以分为以下几大阶段:开发新的传感器元件的阶段;进行小型化、集成化的阶段;发展信息处理及识别技术的阶段。

图4 触觉、嗅觉、味觉的开发开始追赶视觉、听觉
其中,触觉传感器、嗅觉传感器、味觉传感器在开发传感器元件的阶段就已经落后于其他传感器,但最近其新技术及崭新应用正在急速增加。例如,之前的触觉传感器只能检测位置,而新的传感器可检测压力与温度。而嗅觉传感器已经可以通过体臭或口臭识别疾病。味觉传感器则可真实再现人的味觉,将应用于烹调器具。
处于较领先地位的是听觉传感器与视觉传感器,此类传感器在信息处理、识别技术上的发展惊人。不久,应该就可以从超高速动态影像中提取出各种信息,并扩大人类视野,可以看到以前人类看不到的地方。
上述五感传感器开发的共通之处就是技术发展都充分参考了生物体的结构。不光是开发仿真人类感觉的传感器,而且还在致力于开发大大超越人的感觉及能力的传感器。
下文将从传感器元件的初级开发阶段开始,按触觉、嗅觉、味觉、听觉、视觉的顺序,对各传感器的最前沿技术进行介绍。
触觉 目标是具有人类皮肤的触觉
接触是人类最基本的交流手段之一。触觉传感器技术的提高,将有利于开发更具易用性的电子产品。但是,从目前所有集成了触觉传感器的系统来看,大部分还处于传感器元件开发的初级阶段。
在触觉传感器中,触摸式传感器技术从以前就被当作用户界面使用,PC的鼠标也可说是触觉传感器的一种,而笔记本电脑等的触摸板早在上世纪90 年代初就已上市。
上述传感器中采用了各种各样的技术(见表2)。例如,用间隔层隔开X、Y轴的布线,检测X、Y轴上通过光线的过滤情况;使用声波或超声波检测静电容量的变化等技术。虽然各类技术有各自的特征及研究课题,但大部分技术都只是输出触摸板上的二维位置信息,而且只能同时检测1 点的信息。通过这1 点的位置信息所进行的操作,在使用上是难以大幅超越鼠标的。

表2 触觉传感器的主要类型及方式
模仿人类感觉的应用在不断扩大
触觉传感器技术最近已真正开始实用化,而且具有非常高的性能。具体来说,业界正在进行以下三大方面的新技术开发(见图5):大面积化、使用场所及应用的多样化;目标是具有人类皮肤的感觉,不仅检测位置,还将检测力度、压力、温度、表面凹凸、有无摩擦等;利用CMOS 工艺等进行集成。

图5 触觉传感器开发的三大方面
大面积方面有像微软公司的Microsoft Surface那样的大型液晶屏上市,该屏幕上布满了触摸传感器,不光面积大,而且可同时检测多根手指的接触,所以可以用两只手对屏幕上显示的相片、图形等进行移动、扩大、缩小、旋转等操作。
人日常所接触到的家电将来也会向该方面发展,设备外表面将布满触摸传感器。
早稻田大学的研究小组开发的看护机器人TWENDYONE 内嵌入了多种触觉传感器。胸与腕等处共计嵌入了164个8位分布式动力传感器FSR(Force Sensing Register),头与手指上安装的是6轴传感器,可测量3轴的力与3轴的力矩。在手掌的硅橡胶人工皮肤下,还安装了美国PPS(Pressure Profile Systems)公司的触觉传感膜,可检测微小的压力,并且可以抓住柔软的物体。每只手掌上有241个感应点。
与人的手指相比,这种密度自然不算高。不过如果从机器人的整体性能来看,目前还无需更高的密度。以往的触觉传感器仅仅用来检测位置,但实际上人触摸机器人时,触摸的方式不同,所包含的情感信息也不同,十分复杂。早稻田大学的菅野教授表示,此次的机器人TWENDYONE 里就安装了可以控制这类复杂信息的传感器。
五感传感器令电子设备更接近人类(四):目标是具有人类皮肤的触觉
根据脉搏测出血管年龄
PPS 公司触觉传感器的布线在X、Y轴上用间隔层隔开,并设置了柔软的压膜,通过该压膜可以扫描检查加压时X、Y轴上布线寄生电容的变化。目前的分辨率间距为2.0mm~2.5mm。由于可以随时间变化进行检测,所以可以将压力变化通过PC 等进行图形化。
PPS公司的日本代理表示,上述触觉传感膜已经被业界各厂商们广泛使用。现在的主要应用包括:汽车轮胎的抓地力、假牙的咬合力与舌压、燃料电池各单元之间的压力测量等,最近在美国已开始用于临场乳癌触诊及血压测量。一般来说,乳癌触诊必须要有一定经验,但通过用传感器将经验数值化之后,就可以将诊断水平标准化。当做为血压计使用时,传感器可通过脉搏波形的细微变化判断出血管年龄。
追求易用性
在触觉传感器的应用方面,最近备受关注的应该是手机。日本鸟取三洋电机与三洋电机集团领先其他公司一步,率先在手机上安装了触摸传感器,而且并不是用于液晶屏,而是用在拨号键盘上。该功能被称为Smooth Touch,只需要用手指触划就可以输入文字或进行拍照等操作。最初是在于2006年10月上市的W42SA 手机上集成了该功能,之后的W54SA、W61SA上也集成了同样的功能,以带给用户更人性化的操作体验。
三洋电机在收集了手机用户的反馈意见后发现,如果是在液晶屏上安装触摸传感器,大多数用户会不太习惯用两只手使用手机的方式,而且还有人觉得用手指触摸很容易弄脏屏幕。因此,该公司就不再让人适应设备,而是采取了新的方式,让设备迎合人的习惯。Smooth Touch 功能据说可以单手操作。
不接触外壳也可以操作
三洋电机并未公布开发触摸传感器的具体公司。但像这种嵌入在设备外壳上的触摸传感器大多是静电容量型产品,如意法半导体、日本阿尔卑斯电气等公司开发的产品。静电容量型产品的特征是可以通过塑料外壳检测到手指。只要人的手指接近,就可检测出电场的变化。因此,无需直接接触传感器就可以对人的手指做出反应。
在CEATEC JAPAN 2007展会上,以日本阿尔卑斯电气公司为首,多家公司都进行了静电容量型触摸传感器的现场演示,演示中手即使离机壳15cm~20cm,也可以操控游戏。虽然传感器元件自身也进行了一定的完善,但最主要的是利用了错误校正电路,目前已经可以检测出100aF左右的微小静电容量的变化。
类似人类感官的高灵敏度
也有企业在开发类似人体感官的传感器触觉结构。CMC技术开发公司就利用被称为CMC 的线圈状碳纤维制作了多款触觉传感器(见图6)。所谓CMC就是将2 根直径约1μm 的碳素纤维绕合成线圈状,线圈直径大约5μm~10μm,长度约300μm。

图6 仿真人类皮肤
CMC的形状与人类触觉感官之一的触觉小体基本相同。该公司将CMC嵌入到硅橡胶里开发出新的触觉传感器,用来对橡胶所加载的数百kHz 的交流电场的波形变化进行频率分析,然后测得其频谱模型。CMC技术开发公司董事长河边宪次宣称:“1 个CMC 实际上就是一种LCR电路,传感原理与使用CR电路的静电容量型产品相近。”
使用CMC 的优点就是其体积很小,仅有0.1mm2,但灵敏度非常高。其最小感知压力为1Pa,最小感知位移为 0.1μm。并且与静电容量型传感器一样,无需直接接触,只要把手靠近,就可检测到手的接近。而且,当刺激不同时,也会显示不同的波形,所以可以分辨刺压、摩擦的细微区别。如果能使传感器元件表面像人的指纹一样凹凸不平,那么灵敏度将更高。
还有一种在橡胶里加入碳素粉末的触觉传感器,被称为感压导电橡胶,根本无需使用CMC。不过,感压导电橡胶的传感方式不同,是根据应力检测电流的变化。因此如果要保证灵敏度,传感器大小就需要几mm。
CMC技术开发公司已经开发了多款产品,准备用于各种设想的应用,现正处于样品出货阶段。例如,可装在电梯门或机械臂上,用来检测人手的接近,以防止夹伤手;或者装在医用导管上,用来检测血管壁与导管的接触情况。
感传感器令电子设备更接近人类(五):模仿可读盲文的手指
模仿可读盲文的手指
另外,科学家们还在尝试模仿其他人类触觉的研究。例如,人指的触觉功能不光是接触与压力,还包括可以检测温度的温觉,而且具有很强的空间分辨能力,可以区分1mm~2mm 的凹凸。
日本丰桥技术科学大学电气电子专业准教授高尾英邦所领导的研究小组,已实现了人指的温觉及空间分析能力,接下来的目标是开发具有时间分析能力的超越人类感觉的触觉传感器。
目前该小组已经制作了多个可感觉温度并分辨细微空间差别的触觉图形传感器。该传感器有几mm2,其中排列了36 个像素,每个像素的大小约为150μm2~420μm2。每个像素里集成了应力传感器与温度传感器(见图7a)。在该传感器中,传感器元件呈阵列状排在感应面,当元件内部形成空气压时,感应面会凸出。设计的原理就是通过凸出的感应面压向接触面,从而测量凹凸及温度等。
应力传感器采用了硅压阻元件。当硅压阻元件的硅受到应力时,电阻就会发生变化。应力传感器就是利用这一原理进行检测的。温度传感器所采用的热电偶使用了PIN硅。整个芯片采用Post CMOS 工艺制造。
高尾英邦表示,目前该芯片已具有足够的分辨率,可以嵌入IC 卡用于指纹识别、或用于读取点字。目前每个像素的小型化目标是100μm2,将来还可以更小。高尾英邦还表示:“MEMS的高度一般只有几μm,如果可以用来分辨如此细微的凹凸,那么现在由于原子力显微镜(AFM)过大而无法使用的场合,或者无法测量非常狭小部位的问题,全部都将得以解决。”
另一方面,其时间分析能力大约为2kHz 左右, 已经超过人指约1kHz 的时间分析能力(见图7b)。不过,该传感器现在对于音压的灵敏度仍然较低,如果能进一步提高灵敏度,将来应该可以取代硅麦克风。

图7 具有多种功能且具有高分辨率的触觉传感器
高尾英邦所领导的研究小组目前正研究的课题是如何解决接触时易损坏的问题,还有电路板的柔性化问题。虽然加厚接触面的覆盖膜可以提高耐久性与耐伤性,但会降低空间分析能力。
增大面积时布线大幅增加
目前业界也正在研究如何增大面积,也就是将上述触觉传感器遍布到电子设备的外壳、显示器、墙壁等,以及如何通过小型化、高集成化来达到可与人指媲美的感应能力。但是,大面积化与集成化实际上是有冲突的,这就是安装传感器时布线数过多的问题。克服这一问题虽然有多种方法,但尚未有最终结论。
日本电气通信大学智能机械专业教授下条诚认为,人指触觉小体的密度大约是1500 个/cm3,再加上其他感觉器官及负责感应痛觉的游离神经末梢,人手上大约有1.7万根神经纤维。这种结构很难通过传感器实现。
目前一种方法是采用动态矩阵。动态矩阵与采用X、Y布线连接各传感器的图像传感器一样,都使用了TFT(薄膜晶体管)。但此方法有一个缺点,当增加传感器数量时,扫描时间会变长,因此会降低应答速度。据说一般机器人的应答速度都大于1ms。
另一种方法就是利用无线技术。东京大学大学院信息理工系研究科系统信息学专业准教授筱田裕之开发了直接使用RF 信号的二维通信膜,虽然是有线的,但传感单元之间无需布线。不过,无线主要是面向广播或多播通信,所以怎样区分每个传感单元,以及怎样避免通信堵塞都是需要解决的课题。
此外还有一种方法是:当需要特别高的空间分析能力时,采用阵列式传感器;而无需高空间分析能力时,就干脆减少传感器的密度。人体本身其实也采用了这种方式。日本丰桥技术科学大学的高尾教授也采取了这种方法,但当应用面积大大超过人体面积时,还是有局限性。
电气通信大学下条教授的研究小组与日本藤仓公司开发了新的传感器元件,不管在多大的面积上,都只需4根布线,并且不会影响应答性与分辨率。该技术将电流的面积积分改写成一元积分,然后根据流过触觉传感膜周围的电流,计算出人与物体所接触的位置。其重点在于计算出电流动量重心。下条教授的研究小组正在开发应用此技术的系统,在走廊下全部铺上触觉传感膜,并根据走路方式的不同来识别人。
但这种方式仍然有缺点,它无法同时检测多个接触点的位置。不过,如果将布线数增加到7根,就可以克服此缺点,该技术据说已经成熟,并且成功制作了样品。
五感传感器令电子设备更接近人类(六):利用气味信息
嗅觉 活用气味中的信息
人们开始渐渐了解生物嗅觉的真谛及隐藏在各种气味里的信息。模拟嗅觉功能的传感器发展也与此步调一致,应用于各领域的机会进一步扩大。
人类并不能有意识地发出特定气味。因此,嗅觉传感器应用于电子设备的用户界面时,与集成视觉、听觉、触觉传感器时的方法不同。人类利用设备的视觉、听觉、触觉,可以有意识地通过表情、声音、动作来控制设备。但是,以气味为媒介的用户界面,却可用来将人本身的状态通知给设备。设备通过人类发出的气味得到相应信息,从而做出判断要执行什么样的动作。比如,集成嗅觉传感器后,设备就可以诊断疾病。
两大应用
用传感器检测气味的方法主要分为两种(见图8)。其中一种是气体传感器,其采用多个对特定气体浓度可做出反应的传感器,来检测发出气味的味源物质浓度。另一种方法就是模拟人类嗅觉功能的生物传感器。前者已经开始实用化,后者尚处于研发阶段。

图8 传感器灵敏度提高、应用扩大
由于气体传感器在各行业已经开始使用,所以嗅觉传感器比较容易进入实用化。再加上其不仅能检测气味,还可以检测出特定物质,所以应用范围很广。不过,在使用气体传感器时,由于产生气味的物质有很多种,所以需要根据物质的种类并用多个传感器。像咖啡、牛肉、啤酒等近1000种气味的味源物质已被确认。实际上,为了使测量结果接近于人类的感官评价值,在选择气体传感器时需要一定的经验。
此外,还需要使用被称为主成分分析的统计方法以及神经网络等,用于识别味源物质的结构与气味的对应关系。此类应用大多是工业用大规模分析设备或者特定应用范围的小型设备。
另一方面,如果使用生物传感器,那就可通过检测结果与气味的对应关系再现人的感觉。不过,现在的气体传感器尚未达到那种高度逼真的程度,将来是否能实现也尚未明确。对于嗅觉结构来说,目前仍处于初级研究阶段,还没有办法完全模拟。
通过分析技术提高选择性
以气体传感器为基础的工业用嗅觉传感器已经上市,在实际应用中主要用来开发食品等。
气体传感器技术开发的关键在于提高灵敏度与选择性。随着分析结果与气味之间对应关系的建立、以及主成分分析等模式识别技术的进步,性能方面已经大幅增强。
气体传感器有半导体式、电气化学式、接触燃烧式等多种类型(见图9),各类传感器可检测的气体浓度范围及使用性各不相同。其中嗅觉传感器大多采用了半导体气体传感器。

图9 传感器能力及应用领域
一般来说,大多数气体传感器的能力弱于生物嗅觉的灵敏度。但是,虽然其他类型的气体传感器无法检测低浓度的味源物质,但高灵敏度的半导体气体传感器可以实现低浓度检测。浓度仅2 0 p p b ~30ppb(10 亿分之1)硫化氢气就能造成工厂恶臭,此种气体及VOC(有机挥发物)等都可以用半导体气体传感器进行检测。
半导体气体传感器不光灵敏度高,而且应答速度快,稳定性也好,而且容易维护。日产汽车开发了新的系统,通过检测酒精浓度来防止酒后驾驶。
不过,半导体气体传感器的选择性较差,也就是说,在区别不同种类的气体时,其检测能力较差。但是,最近信息处理技术的发展已经可以弥补这一缺陷。例如通过比较多个不同特性的传感器所输出的结果,并进行主成分分析等,然后换算成所检测气体的浓度。虽然传感器元件仍是原来的产品,但识别气体的能力得到了提高。
使用了上述半导体气体传感器的嗅觉传感器已经上市,目前主要用于食品的开发及品质管理。在日本,市场占有率最高的是岛津制作所的FF-2A(见图 10),该装置可以通过咖啡的香味来区分是摩卡咖啡还是乞力马扎罗咖啡。FF-2A 内安装了10 个半导体气体传感器,可以检测硫化氢类、硫黄类、氨类、胺类、有机酸类、醛类、酯类、芳香族类、碳化氢类等9种类型的气味,并能将分析结果用雷达图表示出来。

图10 用于食品开发的气味分析设备

使用半导体气体传感器的嗅觉传感器结构
区分疾病的气味
最近嗅觉传感器在医疗领域的应用引起人们关注,其原理就是当人类生病时会发出各种气味,不同疾病的气味不同。
幽门杆菌是引起胃炎与胃溃疡的主要原因。目前已有半导体气体传感器可以检测CO2(二氧化碳)的浓度,从而判断此病菌是否存在。而且此类气体传感器已经应用到设备上,在日本已认定为医疗设备。在美国等国家也在进行各种疾病与气味关系的研究,并在讨论是否适用于实际诊断(见表2)。

表2 患病时,呼气中特定成分的气体浓度会增加
如果小型嗅觉传感器真能检测呼出气体中所含有的疾病气味,那么就可以用手机进行日常的健康诊断。而且,如果有日常健康状态的数据,一旦患病时,也更能对症治疗。
发出气味的电视
在嗅觉传感器应用方面,气味显示屏也备受人们关注。通过此类传感器可将气味数值化,并可以进行保存、传输等。它可用来将多种气味混合制作出好闻的气味,或者使电视可以根据播放的图像释放出相应的气味。以大学为首,已有多家研究机构加入相关技术的开发行列。
东京工业大学准教授中本高道所领导的研究小组就研发了再现气味的技术,可将发送方嗅觉传感器所检测到的气味数值化,然后在此基础上对32种主要气味成分进行调配,从而人工再现气味。虽然味源物质少于实际水果所含的物质,但已经可以基本仿真原物的气味。
五感传感器令电子设备更接近人类(七):分析设备小型化是关键
分析设备小型化是关键
若要扩大嗅觉传感器的应用领域,系统就必须小型化,这是今后的开发重点。
例如,将来有可能将现在仅用于实验室的气相色谱分析功能嵌入到各种设备上。最近,食品的仿冒及变质问题已经成为社会问题,如果能够开发出具有气相色谱分析功能的设备,那么消费者就可以很容易地识破上述问题。
此外,还能够将可通过呼气诊断疾病的手机连接到日常健康保健中心。手机是个人随身携带的设备,在通话时常常无意识地呼气,将其作为日常检测健康状态的设备是最合适的。
在CEATEC JAPAN 2007 展会上,NTT DoCoMo 发布了可以记录口臭、人体脂肪率、脉搏、步数的终端,而且该终端可以将测得的数据发送给服务器。如果能够在疾病恶化之前及时发现并加以治疗,那么就可以大大降低医疗费用。
MEMS 的小型化成为后动力
目前已有多款小型嗅觉传感器实现产品化。
日本FIS 公司是一家半导体气体传感器生产商,该公司已实现了台式简易气相色谱仪的产品化(见图11) 。该产品的灵敏度为0.1ppb~1ppb。普通的气相色谱仪需要气罐来提供载气(流动相气体),所以体积巨大。但该新产品是通过内置泵吸入空气作为载气,所以体积非常小。检测对象虽然只限于呼气及VOC等特定气体的分析,但已经可以识别肉的特定种类及品牌产品所发出的气体。

图11 通过气味区分肉的种类及商标
此外,虽然尚处于研究阶段,但使用MEMS技术使气体传感器更小型化,而且可检测更多气体种类的开发也开始起步。作为嗅觉传感器元件,此技术是面向下一代产品的技术,技术水平与后文将要介绍的生物仿真嗅觉结构的传感器差不多。
瑞士巴塞尔大学的研究小组已经开发了将悬臂用于气体传感器的技术,悬臂是用MEMS技术制作而成,其中使用了原子力显微镜。悬臂的一侧是高分子膜,可对气体做出反应,当高分子膜上吸附特定气体时会发生变形,借此就可以检测高分子膜的变形,从而换算为气体浓度。
如果将多个悬臂阵列状排列,各悬臂上的高分子膜分别对应不同的检测气体,那么就可以实现可检测多种气体的小型气体传感器。
仿真嗅觉结构
半导体气体传感器的灵敏度与以前相比已大为提高,但是,它并不是对所有气味的味源物质都具有足够的灵敏度。而且,现在检测气体的时间有时会长达几分钟,检测时间仍需缩减。
为了解决上述问题,科学家们正致力于开发仿真生物嗅觉结构的嗅觉传感器,目前已经开发出可检测气味的传感器芯片(见图12),可检测的浓度为ppb级,已与人类嗅觉相当。

图12 检测气味的生物传感器
生物的嗅觉结构复杂,为了模拟生物嗅觉结构制作传感器,就必须掌握味源物质的感应组织与识别组织。人类大约有350 种气味感应体,而气味的味源物质约有1万种以上,这些分子与嗅觉细胞中的感应体结合,就可检测出气味。通常,1种气味的味源物质要与多个感应体结合。而且,1个感应体也与多种味源物质结合。总之,气味与感应体的对应关系是多对多的关系。
感应体并不直接检测味源物质的分子,而是读取一部分分子结构,确认分子中是否存在苯环、是否存在特定长度的疏水链。通过制作可读取这类分子结构的传感器元件,就得到了嗅觉传感器。
传感器元件使用表面分极控制法来读取味源物质分子的分子结构。该方法通过控制电极表面电位,然后根据电化学阻抗测量电位与化学物质之间的相互作用。这是一种成熟的电化学测量方法,其电路组成方法及操作方法已经明确,所以容易得到较高的灵敏度。
利用抗原抗体反应原理仿真犬类的嗅觉
人类的嗅觉能力已经退化,在动物之中属于嗅觉不发达的物种。如果能实现比人类嗅觉更灵敏的嗅觉传感器,那么其应用就有可能扩大到更大的范围,甚至是目前无法想象的领域。
众所周知,犬类是嗅觉较佳的动物。人类大约有4000 万个感应气味的细胞。但是,犬类动物大约有10 亿个,数量庞大。这种程度就可以感应到ppt 级的嗅觉。
在美国已有医疗机构开始利用犬的嗅觉来诊断早期乳癌。日本OJPC 福利犬养育协会已经训练出名为玛琳的癌探知犬,可以100%检测从初期到晚期的食道癌、肺癌、胃癌、肝癌、大肠癌、乳癌、胰腺癌,肺癌、恶性淋巴肿瘤等。明海大学外崎肇一教授专门负责研究疾病与气味的关系,据他介绍:“辨别结构并不是很明确。但是与癌有关的部分,也就是癌特有的蛋白质是在细胞内合成的,因此狗可以检测到此类蛋白质所发出的气味。”
为了实现与犬类同等水平的嗅觉传感器,科学家们正在进行多项研究。但是,即使是使用台式气相色谱仪和目前已开发的嗅觉结构仿真生物传感器,要达到此类ppt级别的检测也不容易,还需要基于更新的概念技术。
作为解决方法,科学家们已提出利用抗原抗体反应,来检测爱滋病毒与登革热病毒(见图13)。该方法是以气味的味源物质为抗原,然后制成与其1对1结合的物质,并通过其检测出气味。抗原与抗体的结合会造成传感器表面折射率发生细微变化,然后用高灵敏度的表面等离子共振检测这种变化。不光是医疗方面,预计还将用来检测炸药TNT 的气味,以及探测地雷等。

图13 可检测地雷等ppt 级的气味
九州大学教授都甲洁所领导的研究小组所试制的传感器可以同时检测4 种化学物质,容积大约是30cm3,重量不到10kg。该传感器据说可检测几ppt气味的味源物质,已经实现ppt 级的灵敏度。
五感传感器令电子设备更接近人类(九):“顺风耳”
听觉 将圣德太子的耳朵安装到所有设备上
微软公司在发布Windows Vista之前,曾面向证券分析师公开演示了新操作系统的语音识别功能,但此次演示却未能成功。演示人员试着让机器识别“Dear Mom”的发音,并显示成文本,但显示出来的却是“Dear aunt”。演示人员口头指挥其进行修正,最后的修正结果变成了“Dear aunt, let’s set so double the killer delete select all”。苦笑着的演示人员用食指指了指嘴巴,示意听众安静一些。
音源分离是关键
这一实例直接说明了语音识别技术的难度之大。微软具有该领域最先进的技术,但还是会如此失败。这主要是因为将识别对象的声音与周围杂音进行分离的技术难度太高,目前语音识别技术仍处于发展中(见图16)。
与电子设备听觉相对应的传感器是麦克风。目前,音响设备、PC、汽车导航仪等许多电子设备上都配备了麦克风。因此,当小型、高性能的硅麦克风作为听觉传感器元件上市之后,就无需再烦恼其集成到设备中时的尺寸问题,而且听觉效果十分丰富。如果在一个设备上集成多个硅麦克风,那么设备就可以具有优良的耳朵,性能方面可达到前所未有的程度。

图16 听觉传感器技术发展方向
本来,使用硅麦克风的用户界面应该可以更为普及,但现实并非如此。主要原因就是语音识别技术不够成熟。反过来说,将识别对象的声音从周围杂音中分离出来的声音分离技术的改善,是听觉传感器普及的关键。
应用领域可能迅速扩大
日本历史上有名的圣德太子,据说能在10个人同时发声时听懂每个人所说的话。这虽然是极端的例子,但人在喧闹环境下确实可以将谈话对方的声音从周围的杂音中分离出来,这种人耳所具有的区分声音的能力被称为鸡尾酒会效应。
利用目前的电子设备中所集成的语音识别技术,如果使用头戴式麦克风,只需辨识某个人发出的声音,也能获得很高的识别率。但其应用必然有所限制。所以,目标是要让电子设备具有像圣德太子一样的能力。而且,不光是具有比现在更优良的语音识别性能,而且还能对设备所提取的声音进行自由加工。
比如可以开发具有新的均衡功能的视频设备。目前的均衡器只能按频率带宽控制声音强弱,而新的均衡器可以强调或减弱音乐中特定乐器的声音或特定的声音,打造全新的功能。如果在会议系统中应用此技术,就可以消除背景音乐,只抽取出特定发言人的意见,让人听得更明白。 而且,如果能与图像数据一同使用,通过位置信息还可以用箭头等标出发言人所在的位置。
此外,还可以面向不能使用助听器的重度听觉残障人士,开发同时具有HMD(头盔显示系统)功能的助听系统。无论从哪个角度、发出怎样的声音,都可以将其文字化并显示到显示屏上。
可同时听懂3个人的下单
京都大学教授奥乃博所领导的研究小组建立了音源分离的技术体系,同时也领导着各领域的实际应用开发。该研究小组已开发了可以分离、识别多人同时发出的声音的技术(见图17)。不光可分离人的声音,还可分离周边环境的音乐与杂音。已试制完成的识别系统可以在1.9s 内识别3 位客人同时下单的声音。如果不选择使用场所,就可以把任意说话人作为识别对象。该处理对硬件并无特殊要求,普通PC就足够满足性能要求。

图17 把握音源位置,通过分离提高识别精度
事实上,该技术已经被嵌入本田的双脚步行机器人ASIMO 体内。最关键的技术是具有语音识别功能的中间件,该中间件被称为HARK,是与日本本田研究所共同开发的。
奥乃教授开发的技术主要由三部分组成。音源定位:用来把握声音的方向;音源分离:从混合声音中分离个别声音;分离音识别:识别分离后所产生的已变形的声音信号。
音源定位是根据多个麦克风所取得的声音的差异来掌握音源位置。使用麦克风划分音源位置时,如果增加所用麦克风的数量,就可以更准确地确定位置。因此,ASIMO上左右两侧各集成了4个麦克风。小型硅麦克风的上市,使得一台设备上即使集成多个麦克风,也不会出现安装面积不够的问题。
音源分离分析需遵守以下原则:相同方向只有一个音源;相同的谐波结构(基本声音的表现);所捕捉声音的性质,如果细分的话,每个人是不一样的。HARK 参照位置与谐波结构的连续性,将声音分组后再分离音源。
但是,由于声音是从各种声音重合之后再分离的,所以分离后的各音源的声音波形会发生变形。如果不加以处理,就会产生识别错误。
因此系统中导入了被称为MFM(Missing feature Mask)的技术,通过该技术就可以识别变形后的声音信号。在利用MFM技术识别时,如果与参照模型有较大差异,就进行掩码处理,屏蔽掉变形较大的部分后再进行语音识别。也就是删除造成误差的部分,只对剩下部分的语音进行识别。
声音内所包含的情感及状况
除了语音分离技术之外,在该领域较为重要的技术开发有两种趋势。其一是从语音当中提取说话人的情感及周边环境信息的技术。另外就是直接提取说话人当时的真实环境下的声音,包括由于说话人所在位置周围的建筑物所引起的声音微妙变化等。虽然提取的是真实环境的声音,但输出时可自由输出。
人类发出的声音,除了包含一般语音识别可得到的语言信息之外,还包括了说话人的情感信息。例如面红耳赤时所发生的声音、震动的声音、低沉的声音等。此外,杂音中也包括了说话人所处周边环境的信息。
以往情况下,这些信息都是直接忽略的,如果要读取此类信息,可能就需要能够灵活控制电子设备工作的技术。例如,在汽车方面,当驾驶员陷入很容易引起操作失误的情绪时,汽车如果能够对此进行判断,那么就可以考虑相应的对策。
还有一种新的技术也正在开发,就是传输包括音源在内的音响空间的信息,这样,在重放时即可重现与现实十分接近的音响空间。即使闭上眼睛聆听,也可以感觉到周围有什么,空气是怎么流动。
京都大学与国际电气通信基础研究所共同开发了将音响空间传输到远方的技术。通过70 个麦克风与安装在听众周围的70 个扬声器,可以与远方共享相同的音响空间。
此外,东京理科大学教授沟口博所领导的研究小组所开发的技术,可以在3个方向安装32个扬声器,并可向扬声器所包围范围内的某人传输声音。分别控制各扬声器输出声音时的延时与振幅,然后通过相互干涉,可以只在圆柱状或球状范围内使人听到6dB~8dB的声音。 此技术可应用于街头广告等用途,例如可以只对行走在一定范围内的特定人员发送声音。
五感传感器令电子设备更接近人类(十):“千里眼”
视觉 挑战超人类的视野
与其他五感传感器相比,视觉传感器,特别是传感器元件部分(各种感光元件)的实用化程度高出很多。目前仍在进一步发展,其中包括人脸识别、笑脸识别之类的图像识别技术。不过,由于大部分产品都只是追求类似人类视觉的效果,所以在超越人类感觉上的开发目前尚未太多进展。特别是在超高速动态物体的拍摄及信息处理等方面,进展明显不够。
高精度与高速度
对于超越人类感觉的视觉传感器,目前正在进行开发的包括红外线、紫外线等非可视光感光元件,以及1个光子级的超微光检测技术,还有1万~100 万分之1秒极短时间内的曝光摄影技术等。此类技术在医疗、汽车事故测试等各种开发现场的需求较大。但是,如果要求综合性能高,追求高精度、高速度的图像识别性能,就只能选择特定功能的产品。例如,分辨率为1000 万像素的影像最多只能达到10fps,相反如果速度为1000fps,那么最高精度就只有100万像素,而且只能保存几十秒的记录,无法实现实时的图像识别等。
之所以如此,是因为以下三点原因。首先,受限于感光元件的反应速度。当像素数增加时,每次扫描时间就更长,帧速率就无法提高。如果像素为1000 万、速度为10fps,读出1 个像素所花费的时间就必须在10ns(1 亿分之1 秒)以下。第二,受限于传输带宽。将大容量图像数据从感光元件传往PC 等图像处理系统时,传输带宽有限。如果像素为100 万、速度为1000fps,每1 个像素的信息为10 位时,传输速度至少需要10Gbps。该速度已经是目前可使用的传输技术的上限,虽然可以实现,但成本太高。
第三,受限于存储器与图像识别速度。传输大容量数据时,如果速度超过10Gbps,那么即使设备的存储容量超过1TB,也只能保存13分钟左右的数据。要想实时处理图像数据,光靠芯片上的缓存是难以实现的。如果将数据保存到内存内,不光是传输速度的问题,传输延迟问题等也是瓶颈。
生物仿真视觉传感器
日本东北大学大学院工学研究科生物机器人专业教授小柳光正与准教授田中彻的研究小组,正在研究模拟生物眼睛的视觉传感器,以期能突破上述限制。其目标是用几十mW的极低功率实现相当于 1 万fps 的超高速影像。
具体来说,是开发仿真眼球视网膜结构的人工视网膜芯片(见图18)。该芯片将受光芯片、输出控制芯片、调制芯片等通过贯通电极纵向叠层而成。目前,主要面向视网膜功能受损的失明人士,目标是取代视网膜与视神经连接,从而恢复视力。该芯片由安装在眼镜上的电池进行无线电磁感应供电。目前已开发出在非层积型芯片上集成输出电路的试验芯片,并将该芯片嵌入到兔子的眼球里,确认了其反应。

图18 用层叠芯片实现超高速和超低功耗
该人工视网膜用芯片与现有的感光元件有几大差别。最大的不同就是各像素直接与神经相连,无需扫描像素。
据小柳教授介绍:“虽然最近已有感光元件通过采用并行扫描每个像素列的列并行技术实现了高速度。但我们开发的产品采用点并行方式,无需扫描就可同时读出所有像素,所以无需扫描时间。由于像素之间的运算能够实现超高速,所以应答时间快。如果用帧速率描述,大概相当于1000fps~10000fps。”
扫描型产品虽然在原理上可以通过提高帧速率来提高反应速度,但此时的功耗就过于庞大。相反,生物据说只需几十mW的能量就可以活动眼睛。所以如果是点并行技术,就无需提高每个元件与电路的处理速度。
此外,人工视网膜用芯片的输出电路是立体层叠而成的,所以开口率高,而且采用了脉冲数调制,调制方式与生物体的调制方式相同。这些都是与现有感光元件不同的地方。
超高速处理会改变社会
与东北大学小柳教授的开发思路类似,广岛大学大学院工学研究科复杂系统专业教授石井抱与东京大学大学院信息理工系研究科系统信息学专业教授石川正俊所领导的研究小组用现有技术也开发了阶段性执行图像数据处理的系统。石井教授开发的Hiroshima Hyper Human Vision (H3 Vision)系统,具有高精度且超高帧速率,而且可以实时处理信息。该系统由美国Photron公司的100 万像素、1000fps 的摄像头、FPGA信息处理电路,以及PC组成(见图19)。

图19 识别之前提取出必要信息
石井教授小组的目的是想调查将超高速帧的图像数据传输给电脑的途中,如果只抽取必要信息,会有什么结果。但是,传输超高速帧时,一般用来进行图像识别处理的电脑能力不足,存储器容量也不够,于是他们考虑在传输过程中去除一部分信息,以减轻电脑负担。因此,现在的系统比较类似脑视觉处理系统。
视觉变身为听觉和触觉
在石井教授开发的系统里,如果改变FPGA 的处理内容,并对提取的数据内容及运算处理进行各种变换,就可以适当改变传感器的作用(见图20)。例如,使用前后时序的数据,并对时间进行微分处理,就可以看见速度分布。石井教授的小组使用上述技术,可以让机器人在几米的近距离内以160km/s 的速度击球。由于可以看到以30 转/s 的速度旋转的球的样子,所以可以击打曲线球,这已经明显超过了人类的能力。

图20 超高速视觉传感器也可成为听觉传感器或触觉传感器
如果不采用时间微分,而是批量处理相邻的多个像素,那么就是在影像系统中实现实时的扩大/ 缩小,而且毫无杂音。而如果使用提取物体动作的算法,就可以通过视觉识别声音的振动。这是由于,帧速率达到1000fps~10000fps 时,正好与人类的大部分可听频率(20Hz~20kHz)及时间分辨率相重合。打响指、轻击物体但并不发出实际声音时,也可以通过视觉传感器取得声音信息。
此外,该系统还可用来制造加速度传感器与触觉传感器。只需再将速度分布进行微分,就可以看见加速度分布。牛顿定律F=ma 描述了加速度与力的关系。如果对列车过桥时的图像进行速度分布微分处理,那么就可以看到力加载在桥的哪里,而且可以发现螺栓的松弛及龟裂等问题。
用手指弹弄某物体时,可以根据振动分布及传递方式了解手指的接触位置与所弹物体的材质等,这相当于可以取代触觉传感器。(记者 伊藤元昭、野泽哲生 全文完)
|
|
|
|
