去年年底开始,以ChatGPT为代表的生成式AI浪潮席卷全球。活跃用户数5天破百万,2个月破亿,成为历史上增长最快的消费端应用程序,其背后隐含和衍生的意义有着无限的想象空间,可以说是下一个工业革命的到来。
大模型时代对于算力、存储、网络的要求是革命性的,随着全球公司正在从通用计算向加速计算和生成式AI过渡,一个全新的计算时代已经开始。
面对繁重的数据场景和日益增长的成本压力,以CPU、GPU为代表的传统计算架构和形式越来越显得力不从心,对于新的计算形态和基础设施的呼声也愈发强烈,深度思考算力和数据的关系是其中关键。其中,以数据为核心,围绕数据进行算力部署,成为计算架构变革、降本增效的发展方向。
军备竞赛,天文数字般的算力成本和数据量
著名科学家谷歌DeepMind的创始人兼首席AGI科学家Shane Legg曾经对通用人工智能(AGI)预测,随着全球数据量呈指数增长,机器的计算能力需要在未来几十年内呈指数增长。
“当计算和数据量都呈指数增长时,高度可扩展算法的价值才会不断提高,因为这些算法可以更有效地利用计算和数据。其次,通过可扩展算法的发现、模型的训练,未来模型的数据规模将远远超过人类一生中所经历的数据量。”
今年2月份后,国内开始感受到大模型的汹涌澎湃。以互联网厂商为代表,利用半开源的大模型进行研发迭代,结合自身的数据资源,推出相应针对不同场景的大模型产品,“百模大战”成为热词。
当前,对于算力的追逐,成为大模型竞争和掘金的胜负手。而在传统计算架构下,先进GPU的数量,决定了大模型企业能力的上限,围绕A100/H100、A800/H800已经展开了一场不断升级的“军备竞赛”,目前拥有这把钥匙的行业“卖铲人”英伟达因此一骑绝尘,同时谁能买到这些GPU几乎成了AGI行业的门槛,而且成为限制国产通用人工智能发展的筹码。
但相较于百花齐放,令人眼花缭乱的大模型产品,需要什么样的算力架构和数据结构予以支持,外界却还来不及太多关注。实际上,作为上游产业和基础设施,新的计算与数据之间的关系也在发生变革,这才是支撑大模型发展的关键所在,既要做到比现有GPU架构更加高效,又要降低计算成本,谁能够掌握这些,等于拥有打开下一个工业革命既AGI时代的金钥匙。
巨头企业疯狂砸钱,中小企业望而却步,面对大模型的机遇,企业却面对沉重的成本压力,同时也被拉开了巨大的差距。降低大模型的进入门槛,硬件和算力层面的降本增效变得至关重要,成为未来巨大的机会。
现在的语言大模型不像人类拥有情景记忆,人类的记忆可以简单分为:工作记忆,即最近发生的事情;皮层记忆存在于大脑皮层中,负责长期记忆。另外在两者之间还有一个系统,即情景记忆,由海马体负责。
情景记忆在帮助我们建立个人经历和学习新信息方面起着重要作用,可以帮助人类拥有非常高的样本效率,可以从较少的样本中学到更多的信息。然而目前AI大模型并不具备这样的功能,只是通过增加上下文窗口的长度(更像是工作记忆)来弥补情景记忆的缺陷。
关于AI的情景记忆的缺陷问题,DeepMind的创始人兼首席AGI科学家Shane Legg认为这涉及到了模型的架构问题。对于大型语言模型而言,在实际的模型训练时,它们会经历一个漫长的过程,处理数万亿个标记的数据,以更全面地学习语言的结构和规律。
在深存科技创始人&CEO袁静丰看来,“这对于计算架构有更高的需求,也就是如何在短时间内高效计算庞大数据量的内容,而这也使传统的以CPU为基础,并通过网络互联的计算和存储分离的架构遇到前所未有的挑战。”
结合之前的GPU短缺和高昂成本的问题,微软、OpenAI、特斯拉、谷歌、亚马逊、Meta六大科技公司纷纷开始研发自家的AI芯片,以GPU为代表的通用型芯片在大模型计算成本和效率上带来的挑战,正逐渐被更多企业所关注,而且这些英伟达的大客户们更是首当其冲,显然不愿把鸡蛋装进一个篮子里。
未来,算力将逐步取代电力,成为数字世界的核心能源
“算力基础设施是生产算力的场所和设施,可以提供数据服务、算力服务和智能服务等。大模型时代,数据是能源,算力是发动机,都是新时代的生产资料。以数据中心为主要载体的算力基础设施也是新基建中最具代表性的领域之一。”在深存科技创始人&CEO袁静丰看来,目前通用的GPU并非大模型时代算力的唯一最优解。
“有别于通用计算GPU往往要兼容数千个算子,大模型对于基础算子的要求并不多,只有数百个。大模型对于计算并非一定要追求通用性,而是更追求效率和成本方面进一步提升。”袁静丰说。现在业界的普遍挑战是如何开发更高效的算力和数据平台,并针对特定用例进行优化,从芯片到系统。
此次GPT引发的大模型浪潮,袁静丰认为将是下一次工业革命的开始,类似20几年前世界打开互联网的大门之时,因被视为抢占流量的入口,各种浏览器和互联网站百花齐放,具有通用人工智能的大模型也将成为链接万物的入口。
以此为参考,袁静丰认为,需要系统性的思考,就应用层面:一方面,利用公开数据集的通用大模型,最终将同浏览器一样逐渐走向归一。多模态趋势下,会进化成少数在不同的语言区域的超级智能中心或智能体。这可能需要5-10年的时间,而且给到互联网巨头或OpenAI这样的公司的机会更多。另一方面,对于行业垂类大模型而言,特点是数据相对封闭,在工业、医疗等众多行业领域场景前景广阔,留给行业企业的机会更多。
但无论怎样,大模型对于硬件和算力的需求,将给予第三方硬件厂商更多机会。
“互联网厂商自研芯片,既有目前GPU短缺和价格高昂问题,也有效率不足的原因,是不得已而为之。最终会面临通用性、投入产出比、以及产能到成本优势转换、供应链、硬件迭代能力等诸多挑战,芯片的研发需要高额的投入和长时间的积累,更需要长期大规模量产来摊销和降低成本。就长远来讲,这些硬件产品最后还是会回归到选择第三方独立硬件厂商的道路上来。”袁静丰说。
大模型呼唤新型计算架构,以及与数据之间关系,未来所有企业都会是AI+数据公司
“大模型时代,对于算力和数据的需求急剧增长,为芯片公司带来新的命题,人工智能工作负载需要新的处理器设计,解决大数据量造成的系统性问题。”袁静丰说。
一方面,模型算力增长脱离摩尔定律,大模型的算力需求每两年增长750倍,而硬件的算力供给每两年仅增长3倍。
另一方面,数据量也变得越来越高,大模型数据量也在呈现指数级增长的趋势。数据在网络中的传输速度非常慢,只有尽可能少地传输数据,减少将数据从存储节点传送到CPU处理器,然后再让CPU或GPU处理器进行运算,最后将结果传送回来的冗余工作。同时它非常并行,可以分散在各个数据节点附近。
在这样的趋势面前,传统的冯诺依曼体系下的计算架构变得难以应对,导致高昂的计算成本,也难以实现高效率计算。
相比以往对于数据容量和通量的关注,如今的算力架构更加强调响应时间和数据处理的实时性,这种被称作“快数据”的需求,这也可以理解为数据引力,由高通量数据需求和低延时应用引起的,正促使计算资源向数据进一步靠近,以数据为核心的计算(Data Centric Computing)成为行业界继基于GPU的计算加速,DPU/IPU的网络互联加速之后的重要趋势。
“因此,大模型时代,需要重新考虑如何优化AI计算架构和方式,从而使计算加速,解决数据繁重场景下的数据计算问题。围绕“数据湖”展开数据加速和算力部署的以数据为核心计算将会是未来业界的主要工作。”袁静丰提到。
比尔·盖茨在11月9日发表一篇博客称:个人化的AI Agent将彻底改变人们使用计算机的方式。文中提出,计算机领域将在五年内颠覆,迈向下一个互联网。其中AGI的数据结构会是什么样子? 我们需要一种新型数据库,可以捕获你的所有兴趣和关系的细微差别并快速检索这些信息,同时保护你的隐私。我们已经看到了储存由机器学习模型生成的数据的新方法,比如向量数据库,这可能更适合存储AI Agent数据。
袁静丰认为,新的大模型时代,是时候重新考虑计算和数据之间的关系。传统计算或通用型计算可以做计算密集型的工作,但数据量基本上是围绕内存来考虑。但如今新的数据中心基本采用了分布式架构,形成计算节点、存储节点跟网络节点三大技术模块或集群,这种被抽象成“东西流量”的形式需要考虑的是,面对大量应用数据在计算和存储节点之间的搬运,如训练数据、大模型向量数据库、应用和业务数据(互联网数据、短视频、碎片化文件)等等,带来的整体计算效率如何提升的挑战。
因此,随着大模型AI发展迅速,算力和数据供需矛盾更加突出,从计算密集场景到数据繁重场景,数据侧的算力部署,成为大模型降本增效的核心关键。由于数据体量的指数增长,存储带宽、网络互联传输时间等等之间的挑战,新的计算方式考虑在存储内部或附近进行计算,通过将计算和存储功能融合在一起提高数据处理和AI计算的效率和成本,近数据计算则成为优解方案。
“在芯片和系统的实际工作中,计算的能耗只占整个流程的很小部分,减少数据搬运是提升效率的关键。数据核心计算的思路是围绕数据流或存储节点处理大部分数据相关的业务,并为之加速,特别是大模型时代,这将变得尤为重要。”袁静丰说。
需要指出的是,数据核心计算并非都要在近数据节点将计算全部完成,但可以得到结果或者极大程度上减少数据搬运体量。其中涉及的工作,比如预处理、数据加速、甚至围绕数据流完成实时的AI计算,以及数据挖掘任务等等,使其降低数据在各个节点之间互联流转的体量和时间,同时减少对远端CPU或者GPU占用的诉求是主要目的,整体而言就可以大幅减少成本、增加效果和计算效率。
被看好的数据核心计算赛道
StorageX 深存科技成立于2020年底,是国际业内领先的高算力近数据计算/数据处理芯片/计算存储处理器及解决方案提供商,公司着力解决AGI大模型等数据繁重场景下的算力挑战问题,围绕全新的“以数据为核心计算”方向研发XPU/CSP处理器,构建AI+Data的一致性体系提高计算效率,应对高速增长的数据量及AI需求,与有限算力资源之间的矛盾,致力于解决“大数据”和“快数据”(Big Yet Fast Data)并存的难题。
作为业界首家研发高算力近数据计算XPU/CSP数据处理器的公司,深存科技推出业内领先的具备强大AI算力的高性能数据处理芯片XPU/计算存储处理器CSP及系统,有别于传统X86 体系下的CPU和GPU,其融合异构的计算架构基于以数据为中心的处理单元,与 CPU/GPU/存储/网络等节点等建立对等系统,从而构建一个新型的分布式计算架构,极致提高计算效率。
在袁静丰看来,从事近数据计算需要具备跨行业领域的理解能力,具有较高门槛,一是对于存储和数据加速领域的理解;二是对于AI算力架构的经验;此外还包括对于数据流设计、IO互联的深刻认知,需要较多跨领域的经验,这种跨计算、存储、互联领域knowhow的整合能力,包括一致性架构设计等一系列内容,是数据核心计算赛道创业公司的门槛所在。
近年来,海外一些计算、存储领域的龙头企业,都在布局近数据计算赛道,包括英伟达、英特尔、AMD、三星、海力士等都在投资了一些相关的初创公司,表明了对这一赛道的看好,但相对而言,国内目前涌现的初创公司并不多。
袁静丰指出,相比于海外的发展,国内半导体芯片产业发展普遍有滞后性,特别是在大芯片领域。比如GPU、AI领域的国内创业潮集中于2018年之后,但海外在2008年就开始兴起,过去十年已经是非常成熟的产业,基本由英伟达垄断。SmartNIC/DPU国内创业企业涌现是在2020年左右,海外则是在2015年。对于近数据计算和数据加速领域而言,海外市场从2018年左右开始,很多公司也处于起步阶段且无垄断企业,随着大模型挑战的与日俱增,这类芯片和解决方案变得尤为重要,这也是国内企业的机会。
也正因如此,2020年成立的深存科技因此具备有先发优势。作为目前该领域为数不多的国内创企,深存科技能够在短短几年快速实现产品落地,得益于强大的研发实力和背景。据了解,深存科技的创始团队一支平均从业时间15年以上的,具有包括AI、芯片及SoC、数据加速、底层软件算法、架构方向设计等跨领域的人才团队。
“围绕数据核心的近数据计算、计算存储领域仍有很多机会,算力和存储是相对独立的两条赛道,融合两者的发展是未来的关键,才能切实解决大模型给行业带来的挑战。目前大部分国内创企在单一的算力或存储赛道上发展,但是国际业界已经非常重视多方面融合的工作。过去几年结合业界巨头如英伟达、Intel、AMD、三星、Dell等等的参与,SNIA全球存储网络工业协会还专门成立了相关技术和标准工作组,相信随着大模型热度的发展,未来陆续会有更多初创企业出现,也将会获得国内行业以及资本的更多关注。” 同时作为多个国际相关行业协会的重要参与者的袁静丰说。
大模型相关产品明年推出
成立三年来,深存科技积极布局相关赛道,相继迅速推出了原型机、工程样机,到目前已进入产品量产阶段。与其他类似赛道的公司相比,深存科技采用了独立的XPU/CSP和存储节点融合的近数据部署方式,其处理器可独立工作提供更高性能,支持更通用化的多元场景。
目前,深存科技的主要产品包括钛湖Lake Ti系列XPU/CSP以及智能数据湖服务器,聚焦智能制造、工业智能化数字化、数据中心大模型、自动驾驶的数据闭环等三大业务方向。在功能方面,深存科技的钛湖Lake Ti产品具备强大的AI算力、数据加速能力和高效的互联能力。
据袁静丰介绍,深存科技的产品采用先进的异构融合设计,其AI、数据加速、I/O加速三大块能力可以融合使用以达到更高计算效率,也可以独立运作,在兼顾强大性能的同时,具备更多灵活性。
据了解,今年起,深存科技在商业化落地等场景进展顺利,已经实现很多客户的导入。在数字智能化场景、数据中心等业务方面,深存科技已与数十家客户建立了合作关系。其中,已经有超十家客户开始测试和导入深存科技的产品。预计明年将会大规模上量,开拓更多业务和场景。
在大模型方面,深存科技也在同一些战略合作伙伴一起积极进行布局,计划明年推出相关产品。此外,明年深存科技还将推出机器人跟车载数据方面的相关产品。
“从GPT3推出至今,大模型真正应用的历史不超过一年,但是带来的巨大变革已经被广泛认识。国内真正重视其大模型也就是在今年上半年,现在都处于大干快上阶段,先解决有无的问题,再去解决效率的问题。对于产业界而言,新的芯片和硬件的开发周期不会那么快,预计需要两三年时间,很多公司正在为此做准备。”袁静丰继续说道:“其实我们自公司成立之初提前做了很多这方面的准备,相信在未来场景里很快会看到更多相关的产品推向市场,让大家取得明显的降本增效的效果。”
行业先行者的底气和信心
数据核心计算是近年来涌现的新兴赛道,而像深存科技这类的创企,几乎与海外同步,且始终保持了技术创新层面的行业领先,体现出独特的产业价值。
在袁静丰看来,深存科技所提供的创新程度,是为未来的计算形态做准备,会比传统的CPU、GPU处理器更加具有颠覆性,相对而言,该领域并没有可以模仿借鉴的对象,创新层面确实有很多工作要做,很容易触碰到无人区。
作为一家注重投入产出比的公司,深存科技创新体现出的是一种综合性能力,不光是在芯片微架构层面,还包括系统体系架构层面的创新。截至今年9月,深存科技已申请近50项专利,其中绝大部分是发明专利,包括AI、大模型、近数据计算、SoC芯片、数据加速、IO加速及高速互联等领域。
一般而言,作为行业领先者,进入创新的无人区,对于创业者而言更需要智慧和勇气。
在20多年的从业经验里,袁静丰在国际公司曾带领团队研发且持续交付过许多个业界领先的芯片及系统级产品,包括美光首颗NAND存储芯片、行业最早的企业级存储、最早进入数据加速及算力融合领域等等。参与了众多行业第一的事件,也让袁静丰和团队对于开创性的工作更加具有信心和底气。同时袁静丰也一直处在国际产业最前沿,目前还是SNIA全球存储网络工业协会XPU/DPU工作组主席,以及CMSI计算及存储技术委员会的董事及投委。
快速的技术到商业化的进程是关键
此外,袁静丰表示,深存科技自成立伊始,便制定了清晰的战略规划,技术和商业化策略,公司的发展更注重实效和落地,同时也规避一些理想美好,现实骨感的领域。
“围绕数据繁重场景,除了数据中心,还包括智能制造人工智能、半导体、精密制造等数字化、智能化应用层面,深存科技都在部署,从而兼顾短期和中长期的目标。最主要的事情还是去如何解决用户的痛点以提高生产力。也正是由于注重客户体验和客户效率,深存科技的产品在客户端得到非常积极的反馈。”袁静丰说。
据了解,深存科技针对流媒体等场景的数据中心产品,TCO可以降到原来的几分之一,计算节点间网络互联流量降到原来的几十分之一。另外在大模型的应用层面,如向量计算和数据加速,深存科技的产品能够实现比现有主流方案好几倍到几十倍的效果,这样让大模型有更加优异的响应时间。
“我们自成立以来用了两年半的时间就开始进行客户导入测试等一系列的工作,差不多用了大芯片行业通常一半的时间走到了市场端,预计也会用行业一半的时间去达到营收目标。对于技术研发型初创公司,在做技术创新的同时,应该抓住核心重点迅速行动去做产品化和市场化落地;既要登高望远,又要脚踏实地,企业的发展在政策、资本持续的助力和支持下,抓住技术为生产力服务的核心关键,帮助客户提升效率和体验,商业化就会水到渠成。”袁静丰说:“这也是我过去二十几年产业生涯最深刻的体会和经验之一”。