“摩尔定律”正在逼近极限，那“黄氏动律”的界限在哪里？

集微网消息，“虽然越来越难，但我们仍然有好的想法。”以其人工智能芯片而闻名的半导体巨头英伟达的首席科学家Bill Dally说。

几十年来，半导体在摩尔定律的指导下不断进步，这一定律描述了数字技术急剧发展所带来的进步，以及近年来人工智能（如深度学习）等先进技术的进步。

摩尔定律是英特尔公司联合创始人戈登·摩尔（Gordon Moore）于1965年提出的，实际上是一种观察法。他认为，芯片上的晶体管数量大约每年翻一番。1975年，他将公式调整为每两年翻一番。几十年来，这个公式一直适用，并帮助解释了当今世界的许多问题，包括为什么智能手机和其他数字设备的性价比有了惊人的提高，尤其是与许多其他种类的商品相比。晶体管的售价曾经高达150美元一个。到了2019年，一个典型的英特尔微处理器包含50亿个晶体管，每个成本仅为0.0000001美元。

但是，随着晶体管尺寸变得如此之小，有人说，摩尔定律所描述的可预测的稳步发展已经走到尽头，因为某些努力已接近经济学和物理学的极限。与深度学习和其他形式的人工智能的进步密切相关的其他类型的半导体创新正在进行中。但是，我们已经不可能以如此清晰的方式来描述芯片创新的下一阶段，从而预测未来，让普通大众一目了然。

“那些日子已经一去不复返了，对吗？”负责设计人工智能最需要的芯片的半导体巨头英伟达公司的首席科学家Bill Dally说。英伟达以图形处理单元而闻名，这是一种采用多个内核同时进行计算的芯片。GPU在人工智能领域的需求量很大，尤其是在拥有许多密集层的神经网络方面。

尽管摩尔定律所描述的进步已不再像以前那样飞速前进，但英伟达、Google DeepMind和其他公司的研究人员却在一系列方面取得了长足进步。

“深度学习由硬件驱动。我们感到了继续前进的巨大压力。”斯坦福大学计算机科学系前系主任Dally说。目前，他仍是该校的兼职教授。

“难度越来越大，但我们仍然有好的想法……在四年之后，我们就能很好地了解性能的来源。我们还有很多探索性的工作要做，以回答四年后的性能将从何而来的问题。”Dally说，他领导着一支由300名拥有博士学位的研究人员组成的团队。

英伟达先进的数据中心芯片Hopper架构于2022年推出，成功地在芯片上封装了更多的晶体管，但芯片成本比以前的版本更高，而且单个晶体管的成本也更高，Dally说。“更小的晶体管对我们的帮助并不大，”Dally补充说，“从一代到下一代，我们的晶体管成本不再降低。”

尽管如此，考虑到摩尔定律之外的其他类型的创新，Hopper的性价比还是很高的。Dally说，他相信，至少在未来四年内，通向更多创新的道路是畅通的。这意味着，与人工智能力量不断增长密切相关的硬件改进也应继续下去，这将对从医学和医疗保健到金融和电子商务等众多领域产生影响。

这项工作借鉴了稀疏性，或将“小”数字四舍五入为零等概念，从而减少了芯片必须执行的乘法运算量。

八年前，Dally和现就职于麻省理工学院的Song Han等人在NeurIPS会议上发表了一篇论文。该论文表明，对于许多神经网络来说，他们可以让90%的数字为零，而这并不会改变结果的准确性。

“我们仍在研究如何用更好的硬件来利用这一点。”Dally说。

另一个创新领域涉及数字表示，即以各种方式表示一个数字，例如一串1和0。Dally说，如果能用更短的字符串来表示，比如用8个而不是16或32个单位或比特来表示，那么芯片在乘法等运行过程中所需的工作量就会相应减少，这就提高了芯片的整体功耗和效率。

英伟达和谷歌一直致力于为人工智能定制芯片。这使它们能够以比摩尔定律更快的速度提升人工智能芯片的性能，尽管在芯片上安装更多晶体管越来越难。2020年，《华尔街日报》专栏作家Christopher Mims以英伟达联合创始人兼首席执行官黄仁勋（Jensen Huang）的名字创造了“黄氏定律”（Huang's Law）一词。该定律指出，为人工智能提供动力的硅芯片的性能每两年就会提高一倍以上。

然而，人工智能算法每隔几个月就会进化一次，而设计一个芯片却需要两到三年的时间，这两者之间存在根本性的差异。

通过采用先进的人工智能，有可能大大减少芯片设计的时间和成本。一些研究人员认为，人工智能可以将设计过程从数年缩短到数天。在软件方面，更好的资源调度和更优化的代码可以提高现有芯片设计的性能。

缓慢而昂贵的芯片设计还有一个更微妙的后果，谷歌DeepMind数据中心和芯片研究总监Olivier Temam表示：它要求人工智能研究人员为现有芯片创建算法，而这反过来可能又会限制他们所设想的人工智能算法的跨度。如果研究人员能更容易、更便宜地制造出适应新型人工智能算法的芯片，就有可能在这一领域释放出更多创造力。

Temam说：“人工智能驱动的芯片设计的最新进展与正在进行的探索相结合，表明我们有朝一日或许能实现芯片设计自动化，最终大幅提高生产率，从而可能改变整个行业。”